آزمون A/B

ایده اصلی

به‌جای حدس و بحث درباره اینکه «کدام تیتر بهتر است»، هر دو را آزمایش کنید. مخاطبان به‌طور تصادفی به دو گروه تقسیم می‌شوند: گروه A نسخه فعلی (کنترل) و گروه B نسخه جدید را می‌بیند. چون تنها تفاوت دو گروه همان تغییر است، اختلاف نتیجه را می‌توان به آن نسبت داد. شرکت‌های بزرگ فناوری سالانه هزاران آزمون از این نوع اجرا می‌کنند.

چه چیزهایی را می‌توان آزمود؟

• صفحه فرود: تیتر، تصویر، طول فرم، رنگ و متن دکمه، ترتیب بخش‌ها.
• پیامک و ایمیل: متن، موضوع، زمان ارسال، پیشنهاد.
• قیمت‌گذاری و بسته‌بندی: نمایش قیمت ماهانه در برابر سالانه، دو یا سه گزینه.
• اسکریپت تماس: جمله آغاز یا نحوه طرح پیشنهاد (با تقسیم تصادفی سرنخ‌ها میان دو اسکریپت).
• تبلیغ: تصویر، متن، پیشنهاد.

گام‌های اجرای درست

1. یک فرضیه روشن: «تیتر مبتنی بر نتیجه از تیتر مبتنی بر ویژگی نرخ ثبت فرم بیشتری دارد.»
2. یک شاخص اصلی از پیش: مثلاً نرخ ثبت فرم، نه «هر چیزی که بهتر شد».
3. فقط یک تغییر در هر آزمون (یا استفاده از آزمون چندمتغیره با ترافیک بسیار زیاد).
4. تقسیم تصادفی و هم‌زمان؛ مقایسه این هفته با هفته قبل آزمون A/B نیست، چون عوامل دیگر هم تغییر کرده‌اند.
5. حجم نمونه کافی: پیش از شروع، با ماشین‌حساب‌های آماری حجم لازم را تخمین بزنید. با ده‌ها بازدید، نتیجه قابل اعتماد نیست.
6. مدت کافی: دست‌کم یک چرخه کامل هفتگی، تا اثر روزهای هفته خنثی شود.
7. توقف نکردن زودهنگام: نگاه روزانه و توقف به محض جلو افتادن یک نسخه، احتمال نتیجه کاذب را بالا می‌برد.

تفسیر نتایج

• اگر تفاوت معنادار نیست، یعنی این تغییر اثر قابل‌تشخیص نداشت؛ این هم یادگیری است.
• اثر را روی شاخص‌های پایین‌دست هم بررسی کنید: تیتری که فرم بیشتری می‌آورد اما سرنخ‌هایش نمی‌خرند، برنده نیست.
• نتایج را ثبت کنید تا تیم از تکرار آزمون‌های قبلی پرهیز کند.

اگر ترافیک کم است

بسیاری از کسب‌وکارهای کوچک ترافیک کافی برای آزمون آماری ندارند. در این حالت:

• تغییرات بزرگ‌تر و جسورانه‌تر را بیازمایید که اثرشان قابل‌مشاهده‌تر است.
• روی بالاترین نقطه ترافیک (مثلاً پیامک به کل فهرست مشتریان) آزمون کنید.
• از بازخورد کیفی و گفت‌وگو با مشتری کمک بگیرید.

ملاحظات اخلاقی

آزمون نباید به فریب یا تبعیض ناعادلانه منجر شود؛ مثلاً نمایش قیمت‌های متفاوت برای یک کالا به افراد مختلف بدون شفافیت، می‌تواند اعتماد را از بین ببرد.

پیوندها

آزمون A/B ابزار اصلی CRO است و برای بهبود صفحه فرود، پیامک و نرخ تبدیل به کار می‌رود.