شکست، بازخورد است: درس‌هایی از تست A/B برای خوش‌بینان

با تشکر از دوستانمان در باگ هرد (به خاطر حمایت مالی از این پست وبلاگ!) نویسنده: ریچی وونگ طراح ارشد در شرکت باگ هرد. «طراحی محصول یا طراحی بازاریابی… بعد از ده سال هنوز نمیتونم تصمیم بگیرم کدوم رو بیشتر دوست دارم. پس چرا هردو رو انتخاب نکنم؟»( خنده، خنده، AMA ) (باگ هرد)

حقیقت تلخ این است: بیشتر آزمایشات A/B و تجربه‌های شما با شکست مواجه خواهد شد.

یا نتیجه‌گیری‌ها خیلی نامشخص خواهند بود که قابل اجرا نباشند. خودتان انتخاب کنید.

در این مقاله، 5 آزمایشی را که انجام داده‌ایم، به اشتراک می‌گذاریم. باگ هرد که بیشترین تاثیر را در پیشبرد رشد داشته‌اند.

فراموش کنید تست دکمه قرمز در مقابل آبی را. این چیزی است که ما فهمیدیم واقعا جواب می‌دهد…

در این مقاله، از عبارت‌های «آزمون AB» و «آزمایش» به جای یکدیگر استفاده می‌کنم، زیرا از نظر من، هر دو یک معنی دارند.

مقدمه

اگر شما یک طراح محصول، تجربه کاربری یا وب هستید که روی بهینه‌سازی نرخ تبدیل (CRO) تمرکز دارید، احتمالا متوجه شده‌اید کهواقعا اینطور نیست که ساده باشهپیشرفت ایجاد کردن؛ چه جذب مشتریان بیشتر باشد، چه بهبود تجربه ورود کاربران، چه تبدیل کاربران به مشتریان

وقتی اولین قدم هام رو به عنوان طراح محور به CRO برداشتم، اینترنت رو زیر و رو کردم تا ایده ها و بهترین روش های عملی رو پیدا کنم. شاید الان که این مقاله رو می خونی، تو هم همین کار رو بکنی.

به راحتی در آزمایش‌های پیشنهادی خود به تیم، احساساتتان درگیر می‌شود و زمانی که یک سری از آزمایش‌ها بدون موفقیت انجام می‌شوند، دلسرد شدن نیز آسان‌تر است.

در نهایت، همه طراحان می‌خواهند ارزش و تخصص خود را به تیم نشان دهند و شما هم می‌توانید با نشان دادن اینکه می‌توانید به پیشرفت پروژه کمک کنید، این کار را انجام دهید.

راستش رو بخوای، تو تمام آزمایش‌های A/B که انجام دادم، تعداد آزمایش‌هایی که شکست خوردند خیلی بیشتر از آزمایش‌هایی بود که موفق شدند. اما با پشتکار و یادگیری مداوم می‌توان به آزمایش‌های موفق رسید.

۵ برنده بزرگ ما

یک لایه رنگ تازه

طراحان اغلب تعجب می‌کنند که ارزش واقعی بازطراحی برای کسب‌وکار چیست؟

در این آزمایش خاص، ماتا حدودیما با هدف پاسخ به این سوال، صفحه اصلی وب‌سایت بازاریابی خود را برداشتیم و نسخه‌ای از آن را ساختیم که محتوای مشابهی دارد، اما ظاهری تازه و جدید به خود گرفته است. این تغییر شامل مواردی مانند تصاویر، رنگ‌ها، طرح‌بندی و فونت‌ها می‌شود.

فرضیه ما بر این اساس بود که برندینگ ما کهنه شده و ممکن است مانع جذب مشتریان بالقوه برای محصول ما شود. این موضوع به‌ویژه با توجه به… بخش قابل توجهی از کاربران ما را خود طراحان تشکیل می‌دادند. افرادی که به خاطر ذوق و سلیقه‌ی خاصشان در طراحی شناخته شده‌اند.

نتیجه؟این نوع (متغیر) 82 درصد بهتر از نمونه‌ی کنترل عمل کرد. به زبان ساده، این یک پیروزی بزرگ بود.

نتیجه گیری؟هویت بصری فعلی ما دیگر مناسب نبود و زمان آن رسیده بود که نماد بصری برند خود را به روز کنیم.

خاموش کردن تبلیغات ما

تیم باگ هرد تصمیم گرفت تا نرخ تبدیل فرآیند ورود کاربران به محصول خود را بهبود بخشد: در حال حاضر، 5 نفر از هر 10 نفر از مشتریان بالقوه به طور موفق فرآیند ورود را به پایان می‌رسانند، اما ما معتقدیم که این عدد باید 7 نفر از هر 10 نفر باشد.

با این حال، پیش از شروع هرگونه آزمایش برای بهبود فرآیند ورود کاربران به محصولمان، لازم بود به یک سوال اساسی پاسخ دهیم و مطمئن شویم که مشکل را به درستی تشخیص داده‌ایم.

آیا نرخ تبدیل پایین جذب کاربران به دلیل کیفیت تجربه کاربری در مرحله‌ی جذب است یا به دلیل کیفیت سرنخ‌های ورودی؟

برای پاسخ به این سوال مهم، تصمیم گرفتیم که تمام هزینه های تبلیغات خود را که برای جذب مشتریان جدید اختصاص داده بودیم، به طور موقت متوقف کنیم. به این ترتیب، ترافیک سایت ما فقط از جستجوهای ارگانیک و تبلیغات دهان به دهان تامین می شود.

این مثل این بود که التهاب داشته باشید و برای شناسایی غذاهایی که باعث مشکل شما می‌شوند، سم‌زدایی انجام دهید.

نتیجه چه بود؟ بدون سرنخ‌های پولی، نرخ جذب ما به 6 از 10 رسید که یک قدم در جهت درست بود.

نتیجه گیری؟ هزینه تبلیغات ما برای جذب مشتریان بالقوه نیاز به بهینه‌سازی داشت.

به منظور حفظ محرمانگی، ارقام واقعی تغییر داده شده‌اند.

حذف مراحل غیرضروری در فرآیند ورود به کار

بعد از قطع هزینه‌های تبلیغات و تشخیص اینکه کیفیت لیدها در نرخ تبدیل مرحله‌ی راه اندازی نقش داشته، آماده‌ی آزمایش خودِ تجربه‌ی راه اندازی شدیم.

اما قبل از معرفی هر عنصر جدید، اولین قدم ما مشخص کردن نقاط ضعف بود. به همین دلیل، تلاش کردیم بخش‌هایی از فرایند راه اندازی BugHerd را که برای ماموریت اصلی ضروری نبودند، حذف کنیم.

در مورد باگ هرد، زمانی که کاربر فرصت تجربه ارزش اصلی محصول ما را پیدا کرد – یعنی توانایی ارائه بازخورد وب‌سایت در وب‌سایت خود یا هر وب‌سایت دیگری که انتخاب می‌کند – موفقانه آموزش اولیه را به پایان رساند. ما این را «لحظه آها» می‌نامیم.

برای انجام این کار، از کاربران آزمایشی خود می‌خواهیم که:

1. یک پرسشنامه در مورد هویت آن‌ها پر کنید.
2. آدرس وب سایت آنها را وارد کنید.
3. اضافه کن افزونه مرورگر باگ هرید
4. بر روی وبسایت آنها، باگ هرد را امتحان کنید.
5. تیم آنها را به باگ هرد دعوت کنید

در حالی که گام‌های دوم تا چهارم کاملاً ضروری بودند، گام اول اگرچه مهم بود، اما آنقدر بحرانی نبود. بنابراین، ما آزمایشی انجام دادیم که:

• گروه کنترل – کاربران مراحل ۱ تا ۵ فرآیند راه اندازی را مشاهده خواهند کرد.
• گروه نمونه – کاربران مراحل ۲ تا ۵ از روند راه اندازی را مشاهده خواهند کرد.

نتیجه چه شد؟این نوع از آن، ۱۷ درصد بهتر از نوع اصلی در نرخ تبدیل onboarding عمل کرد.

نتیجه گیری؟تجربه راه اندازی را ساده کنید و فقط مراحل ضروری برای رساندن کاربران جدید به لحظه “آه-ها” را در آن بگنجانید.

یک ویدئوی کوتاه نمایشی

آزمایش قبلی روی کاهش تمرکز داشت، اما این آزمایش به دنبال امتحان کردن چیزی جدید بود.

در این آزمایش خاص، در ابتدای فرایند آموزش، ویدیوی توضیحی کوتاهی به مدت ۳۰ ثانیه ارائه کردیم که به کاربران، به‌جای توضیحات نوشتاری، نمای کلی از باگ‌هرْد و نحوه‌ی شروع کار با آن را به‌صورت ویدیویی نشان می‌داد.

فرض ما بر این بود که با ارائه محتوای قابل فهم و آسان به کاربران جدید و تجربه “آها!” در ابتدای کار، می‌توانیم تجربه ورود به سیستم آن‌ها را بهبود بخشیم. ویدیوی توضیحی را در اینجا ببینید. .

• گروه کنترل – این کاربران با تجربه فعلی ورود به سیستم مواجه می شوند.
• گروه تغییرات – کاربران قبل از ورود به جریان موجود ثبت نام، ویدئو را مشاهده خواهند کرد.

گروه آزمایشی کارایی بیشتری در طی کردن فرآیند راه اندازی نشان داد که منجر به بهبود ۱۲ درصدی شد. اما قابل ذکر است که به دلیل اجباری کردن تماشای ویدیو (یعنی کاربران نمی‌توانستند ۱۰ ثانیه اول آن را رد کنند تا به تماشای آن ترغیب شوند)، با کاهش تعداد سرنخ‌ها مواجه شدیم.

نتیجه این آزمایش دو جنبه داشت: اول، اجباری کردن ویدیوهای توضیحی باید اجتناب شود. دوم، ارزش بالقوه استفاده از چنین ویدیوهایی در بخش‌های دیگر بازاریابی و فرآیند ورود به سیستم، مانند صفحات فرود یا داخل تبلیغات، را به رسمیت شناختیم.

آزمایش A/B صفحه قیمت گذاری. وقتی(بیشتر … بیشتر؟)

طراحان اغلب به اصل «کمتر، بیشتر است» پایبند هستند و به اختصار و خلاصه سازی تمایل دارند. این گرایش کاملا منطقی است، چراکه به بسیاری از طراحان آموخته شده است که اگر در پنج ثانیه اول توجه مخاطب را جلب نکنند، احتمالاً او را از دست داده‌اند.

در این آزمایش خاص، ما تمرکز خود را به سمت … صفحه قیمت گذاری ما تصمیم گرفتیم تا اطلاعات جزئی‌تری در مورد ویژگی‌های هر یک از برنامه‌های قیمت‌گذاری‌مان درج کنیم، به جای ارائه اطلاعات کمتر.

• گروه کنترل – کاربران قیمت‌های ما را به صورت خلاصه در قالب “کارت” می‌بینند.
• کاربران، طرح‌های قیمت‌گذاری را به‌صورت جدول و با اطلاعات مفصل‌تر مشاهده خواهند کرد.

نتیجه چه شد؟نسخه آزمایشی در همهٔ شاخص‌های مهم، از جمله نرخ تبدیل، زمان سپری‌شده در صفحه و نرخ پرش، از نسخه اصلی بهتر عمل کرد.

نتیجه‌گیری؟اگرچه اختصار در جلب توجه اولیه (مثل تبلیغات یا صفحات فرود) بسیار مهم است، اما وقتی بازدیدکنندگان وب‌سایت شما به مرحله‌ی بررسی محصول از نظر قیمت و ویژگی‌های خاص رسیده‌اند، ارائه اطلاعات مورد نیاز آن‌ها ضروری است.

اما چه می‌شود اگر…؟

در اینجا برخی از سوالات رایجی که من اغلب در مورد آزمایش A/B با آن مواجه می‌شوم، آورده شده است:

اگر نتایج نامشخصی به دست بیاید چه اتفاقی می‌افتد؟

در اغلب موارد، آزمایش A/B فقط به زمان بیشتری نیاز دارد. اگر بعد از یک هفته به نتایج قطعی نرسیدید، اجازه دهید تا سه هفته ادامه پیدا کند.

نتایج نامشخصی بعد از مدتی طولانی هنوز می‌گیرید؟ قانون کلی این است که به حالت کنترل پایبند باشید مگر اینکه در نوع آزمایشیتان افزایش آماری معنی‌داری ببینید.

آیا می توانم چند چیز را همزمان تست کنم؟

در حالت ایده‌آل، توصیه می‌شود که در هر زمان با یک متغیر آزمایش کنید. این رویکرد به شما کمک می‌کند که تشخیص دهید چه چیزی واقعاً جواب می‌دهد و چه چیزی جواب نمی‌دهد. با این حال، این را به عنوان یک راهنما در نظر بگیرید – نه یک قانون مطلق.

ما کاملاً جذابیت آزمایش همزمان چندین عنصر را درک می‌کنیم. دلایل مختلفی برای این رویکرد می‌تواند وجود داشته باشد:

• شاید تعداد کاربران شما برای رسیدن به نتیجه در زمان مورد نظر تیمتان کافی نباشد.
• ممکن است شما چندین مشکل جدی در وب‌سایت یا فرایند ورود به محصول خود، به ویژه از دیدگاه یک طراح، شناسایی کرده باشید.

در چنین شرایطی، از بهترین قضاوت خود استفاده کنید.

مدت زمان اجرای تست A/B چقدر است؟

حداقل ۳ هفته طول می‌کشد تا یک تست A/B داده‌های قابل‌توجهی جمع‌آوری کند. این مدت می‌تواند بسته به نوع تست و تعداد کاربرانی که با آن‌ها کار می‌کنید، تغییر کند.

جمع‌بندی

و این هم پنج برنده بزرگ ما در دنیای تست‌های A/B.

با این حال، باید به یاد داشت که زمینه این آزمایش‌ها بسیار مهم است. آنچه برای ما مؤثر بود، ممکن است برای کسب‌وکارهای دیگر به همان نتایج منجر نشود. هنگام استخراج بینش از مطالعات موردی ما (یا هر کس دیگری)، به‌کارگیری اصول اولیه ضروری است.