ابر هوشمند Optimizely: نحوه استفاده از Stats Engine برای تست A/B هوشمندتر و سریعتر

Optimizely Stats Engine و A/B Testing Strategies

اگر به دنبال اجرای یک برنامه آزمایشی برای کمک به آزمایش و یادگیری کسب و کار خود هستید ، احتمالاً از آن استفاده می کنید ابر هوش بهینه - یا حداقل به آن نگاه کرده اید. Optimizely یکی از قدرتمندترین ابزارهای بازی است ، اما مانند هر ابزار دیگری ، اگر از نحوه عملکرد آن مطلع نباشید ، ممکن است از آن اشتباه استفاده کنید. 

چه چیزی Optimizely را بسیار قدرتمند می کند؟ در هسته مجموعه ویژگی های آن ، آگاه ترین و بصری ترین موتور آمار در یک ابزار شخص ثالث نهفته است که به شما امکان می دهد تمرکز بیشتری بر روی انجام آزمایشات مهم داشته باشید-بدون نیاز به نگرانی که نتایج خود را اشتباه تفسیر می کنید. 

درست مانند یک مطالعه کور سنتی در زمینه پزشکی ، تست / B به طور تصادفی متفاوت نشان می دهد درمان سایت خود را با کاربران مختلف مقایسه کنید تا سپس اثربخشی هر درمان را مقایسه کنید. 

سپس آمار به ما کمک می کند تا نتیجه گیری کنیم که این درمان در دراز مدت چقدر مثر است. 

اکثر ابزارهای تست A/B بر یکی از دو نوع استنباط آماری تکیه می کنند: آمار فراوانی یا بیزی. هر مدرسه دارای مزایا و معایب مختلفی است - آمارهای متداول مستلزم تعیین حجم نمونه قبل از اجرای آزمایش است و آمار بیزی عمدتا به تصمیم گیری جهت دار خوب اهمیت می دهد تا مشخص کردن هر رقم واحد برای تأثیرگذاری ، برای ذکر دو مثال. ابرقدرت Optimizely این است که امروزه تنها ابزار موجود در بازار برای استفاده از آن است بهترین از هر دو جهان رویکرد.

نتیجه نهایی؟ Optimizely کاربران را قادر می سازد تا آزمایشها را سریعتر ، با اطمینان تر و بصری تر انجام دهند.

هرچند برای استفاده کامل از آن ، درک آنچه در پشت صحنه اتفاق می افتد مهم است. در اینجا 5 بینش و استراتژی وجود دارد که به شما کمک می کند از قابلیت های Optimizely مانند یک حرفه ای استفاده کنید.

استراتژی شماره 1: درک کنید که همه معیارها برابر نیستند

در اکثر ابزارهای آزمایشی ، یک مساله معمولاً نادیده گرفته می شود این است که هرچه معیارهای بیشتری را به عنوان بخشی از آزمون خود اضافه و پیگیری کنید ، به احتمال زیاد تصادفی نادرست مشاهده خواهید کرد (در آمار ، این مسئله "مشکل آزمایش چندگانه" نامیده می شود. ”). به منظور اطمینان از نتایج خود ، Optimizely از یک سری کنترل ها و اصلاحات استفاده می کند تا احتمال وقوع آن را تا حد ممکن پایین نگه دارد. 

وقتی به سراغ راه اندازی تست ها در Optimizely می روید ، این کنترل ها و اصلاحات دو معنی دارد. اول ، معیاری که شما به عنوان معیار خود تعیین کرده اید متریک اولیه سریعترین اهمیت را از نظر آماری و سایر موارد ثابت خواهد داشت. ثانیاً ، هرچه معیارهای بیشتری را به آزمایش اضافه کنید ، معیارهای بعدی شما طول می کشد تا به اهمیت آماری برسید.

هنگام برنامه ریزی آزمایش ، مطمئن شوید که می دانید کدام متریک شمال واقعی شما در فرآیند تصمیم گیری شما خواهد بود ، و آن را معیار اصلی خود قرار دهید. سپس ، بقیه لیست معیارهای خود را با حذف هر چیز اضافی یا مماسی بدون چربی نگه دارید.

استراتژی شماره 2: ویژگی های سفارشی خود را بسازید

Optimizely در ارائه چندین روش جالب و مفید برای تقسیم بندی نتایج آزمایش شما عالی است. به عنوان مثال ، می توانید بررسی کنید که آیا برخی روش های درمانی در دسکتاپ و موبایل بهتر عمل می کنند یا تفاوت ها را در بین منابع ترافیک مشاهده کنید. هرچند برنامه آزمایشی شما بالغ می شود ، شما به سرعت بخشهای جدیدی را آرزو می کنید-ممکن است این موارد مخصوص مورد استفاده شما باشد ، مانند بخشهایی برای خریدهای یکبار مصرف یا اشتراک ، یا به طور کلی به عنوان "بازدیدکنندگان جدید در مقابل بازدیدکنندگان مجدد" (که ، صادقانه بگویم ، ما هنوز نمی توانیم بفهمیم که چرا از جعبه ارائه نشده است).

خبر خوب این است که مهندسان آشنا با Optimizely از طریق زمینه Javascript Project Optimizely می توانند هر تعداد ویژگی سفارشی جالب را که بازدیدکنندگان می توانند به آنها اختصاص داده و بر اساس آنها تقسیم بندی شوند ، بسازند. در Cro Metrics ، ما تعدادی ماژول سهام (مانند "بازدیدکنندگان جدید در مقابل بازدیدکنندگان بازگشتی") ساخته ایم که برای همه مشتریان خود از طریق Project Javascript آنها نصب می کنیم. استفاده از این توانایی یک تمایز کلیدی بین تیم های بالغ است که از منابع فنی مناسب برای کمک به آنها در اجرای آنها برخوردار هستند و تیم هایی که برای تحقق پتانسیل کامل آزمایش تلاش می کنند.

استراتژی شماره 3: کاوش شتاب دهنده Optimizely's Stats

یکی از ویژگی های ابزار آزمایش اغلب استفاده از "راهزنان چند مسلح" است ، نوعی الگوریتم یادگیری ماشین که به طور پویا در جایی که ترافیک شما در طول یک آزمایش اختصاص داده می شود ، تغییر می کند تا تعداد بیشتری بازدیدکننده به "برنده" ارسال شود. تنوع تا حد ممکن مسئله در مورد راهزنان چند مسلح این است که نتایج آنها شاخص های قابل اعتماد عملکرد بلند مدت نیستند ، بنابراین موارد استفاده از این نوع آزمایشها به موارد حساس به زمان مانند تبلیغات فروش محدود می شود.

با این حال ، Optimizely دارای الگوریتم راهزنی متفاوتی است که در برنامه های بالاتر برای کاربران در دسترس است - Stats Accelerator (که امروزه به عنوان گزینه "Accelerate Learnings" در داخل راهزنان شناخته می شود). در این تنظیم ، به جای تلاش برای تخصیص پویا ترافیک به بالاترین تنوع ، Optimizely به طور پویا ترافیک را به تنوع تخصیص می دهد که احتمالاً سریعترین اهمیت آماری را به دست می آورد. به این ترتیب ، می توانید سریعتر یاد بگیرید و قابلیت تکرار نتایج آزمون A/B سنتی را حفظ کنید.

استراتژی شماره 4: ایموجی را به نام متریک خود اضافه کنید

در نگاه اول ، این ایده احتمالاً بی جا ، حتی بی معنی به نظر می رسد. با این حال ، یک جنبه کلیدی برای اطمینان از اینکه شما نتایج آزمایش مناسب را می خوانید ، این است که مطمئن شوید مخاطبان می توانند سوال را درک کنند. 

گاهی اوقات علیرغم تمام تلاش ما ، نام های متریک ممکن است گیج کننده باشند (منتظر بمانید - آیا هنگام پذیرش سفارش ، این معیار متوقف می شود یا وقتی کاربر به صفحه تشکر می رود؟) ، یا یک آزمایش معیارهای زیادی دارد که نتایج را بالا و پایین می کند صفحه منجر به بارگذاری شناختی کلی می شود.

افزودن ایموجی به نام معیارهای شما (اهداف ، علامت های علامت گذاری سبز ، حتی کیف پول بزرگ می تواند کار کند) می تواند منجر به صفحاتی شود که قابلیت اسکن بیشتری دارند. 

به ما اعتماد کنید - خواندن نتایج بسیار راحت تر خواهد بود.

استراتژی شماره 5: سطح اهمیت آماری خود را دوباره در نظر بگیرید

نتایج به دست آمده در چارچوب یک آزمایش Optimizely هنگامی که به آنها رسید ، قطعی تلقی می شود اهمیت آماریبه اهمیت آماری یک اصطلاح ریاضی سخت است ، اما اساساً این احتمال وجود دارد که مشاهدات شما نتیجه تفاوت واقعی بین دو جمعیت باشد ، و نه فقط یک شانس تصادفی. 

سطوح اهمیت آماری گزارش شده Optimizely به لطف یک مفهوم ریاضی به نام "همیشه معتبر" است آزمایش پی در پی - این در واقع آنها را بسیار معتبرتر از سایر ابزارهای تست می کند ، که اگر آنها را زود بخوانید مستعد انواع مسائل "peeking" هستند.

ارزش این را دارد که میزان آماری را که برای برنامه تست خود مهم می دانید ، در نظر بگیرید. در حالی که 95 the یک قرارداد در جامعه علمی است ، ما تغییرات وب سایت را آزمایش می کنیم ، نه واکسن. یکی دیگر از انتخاب های رایج در جهان تجربی: 90. اما آیا حاضرید کمی بلاتکلیفی بیشتری را بپذیرید تا آزمایشها را سریعتر انجام دهید و ایده های بیشتری را آزمایش کنید؟ آیا می توانید از 85 درصد یا حتی 80 درصد از اهمیت آماری استفاده کنید؟ عمدی بودن در مورد توازن ریسک و پاداش می تواند سودهای نمایی را در طول زمان پرداخت کند ، بنابراین این موضوع را با دقت بررسی کنید.

درباره Optimizely Intelligence Cloud بیشتر بخوانید

رعایت این پنج اصل و بینش سریع در هنگام استفاده از Optimizely بسیار مفید خواهد بود. مانند هر ابزاری ، این اطمینان حاصل می شود که از تمام سفارشی سازی های پشت صحنه به خوبی آگاهی داشته باشید ، بنابراین می توانید مطمئن شوید که از ابزار به طور م andثر و م usingثر استفاده می کنید. با این درک ها ، می توانید در مواقع نیاز به نتایج قابل اعتمادی برسید که به دنبال آن هستید. 

شما چه فکر میکنید؟

این سایت از Akismet برای کاهش هرزنامه استفاده می کند. بدانید که چگونه نظر شما پردازش می شود.