ابر هوشمند Optimizely: نحوه استفاده از Stats Engine برای تست A/B هوشمندتر و سریعتر

Optimizely Stats Engine و A/B Testing Strategies

اگر به دنبال اجرای یک برنامه آزمایشی برای کمک به آزمایش و یادگیری کسب و کار خود هستید ، احتمالاً از آن استفاده می کنید ابر هوش بهینه - یا حداقل به آن نگاه کرده اید. Optimizely یکی از قدرتمندترین ابزارهای بازی است ، اما مانند هر ابزار دیگری ، اگر از نحوه عملکرد آن مطلع نباشید ، ممکن است از آن اشتباه استفاده کنید. 

What makes Optimizely so powerful? At the core of its feature set lies the most informed and intuitive statistics engine in a third-party tool, allowing you to focus more on getting important tests live – without needing to worry that you’re misinterpreting your results. 

درست مانند یک مطالعه کور سنتی در زمینه پزشکی ، تست / B به طور تصادفی متفاوت نشان می دهد درمان سایت خود را با کاربران مختلف مقایسه کنید تا سپس اثربخشی هر درمان را مقایسه کنید. 

سپس آمار به ما کمک می کند تا نتیجه گیری کنیم که این درمان در دراز مدت چقدر مثر است. 

Most A/B testing tools rely on one of two types of statistical inference: Frequentist or Bayesian stats. Each school has various pros and cons – Frequentist statistics require a sample size to be fixed in advance of running an experiment, and Bayesian statistics mainly care about making good directional decisions rather than specifying any single figure for impact, to name two examples. Optimizely’s superpower is that it’s the only tool on the market today to take a بهترین از هر دو جهان رویکرد.

نتیجه نهایی؟ Optimizely کاربران را قادر می سازد تا آزمایشها را سریعتر ، با اطمینان تر و بصری تر انجام دهند.

In order to take full advantage of that, though, it’s important to understand what’s happening behind the scenes. Here are 5 insights and strategies that will get you using Optimizely’s capabilities like a pro.

استراتژی شماره 1: درک کنید که همه معیارها برابر نیستند

در اکثر ابزارهای آزمایشی ، یک مساله معمولاً نادیده گرفته می شود این است که هرچه معیارهای بیشتری را به عنوان بخشی از آزمون خود اضافه و پیگیری کنید ، به احتمال زیاد تصادفی نادرست مشاهده خواهید کرد (در آمار ، این مسئله "مشکل آزمایش چندگانه" نامیده می شود. ”). به منظور اطمینان از نتایج خود ، Optimizely از یک سری کنترل ها و اصلاحات استفاده می کند تا احتمال وقوع آن را تا حد ممکن پایین نگه دارد. 

وقتی به سراغ راه اندازی تست ها در Optimizely می روید ، این کنترل ها و اصلاحات دو معنی دارد. اول ، معیاری که شما به عنوان معیار خود تعیین کرده اید متریک اولیه سریعترین اهمیت را از نظر آماری و سایر موارد ثابت خواهد داشت. ثانیاً ، هرچه معیارهای بیشتری را به آزمایش اضافه کنید ، معیارهای بعدی شما طول می کشد تا به اهمیت آماری برسید.

هنگام برنامه ریزی آزمایش ، make sure you know which metric will be your True North in your decision-making process, make that your Primary Metric. Then, keep the rest of your metrics list lean by removing anything that’s too superfluous or tangential.

استراتژی شماره 2: ویژگی های سفارشی خود را بسازید

Optimizely is great at giving you several interesting and helpful ways to segment your experiment results. For example, you can examine whether certain treatments perform better on desktop vs. mobile, or observe differences across traffic sources. As your experimentation program matures though, you’ll quickly wish for new segments – these may be specific to your use case, like segments for one-time vs. subscription purchases, or as general as “new vs. returning visitors” (which, frankly, we still can’t figure out why that isn’t provided out of the box).

The good news is that via Optimizely’s Project Javascript field, engineers familiar with Optimizely can build any number of interesting custom attributes that visitors can be assigned to and segmented by. At Cro Metrics, we’ve built a number of stock modules (like “new vs. returning visitors”) that we install for all of our clients via their Project Javascript. Leveraging this ability is a key differentiator between mature teams who have the right technical resources to help them execute, and teams who struggle to realize the full potential of experimentation.

استراتژی شماره 3: Explore Optimizely’s Stats Accelerator

One often-overhyped testing tool feature is the ability to use “multi-armed bandits”, a type of machine learning algorithm that dynamically changes where your traffic is allocated over the course of an experiment, to send as many visitors to the “winning” variation as possible. The issue with multi-armed bandits is that their results aren’t reliable indicators of long-term performance, so the use case for these types of experiments are limited to time-sensitive cases like sales promotions.

با این حال ، Optimizely دارای الگوریتم راهزنی متفاوتی است که در برنامه های بالاتر برای کاربران در دسترس است - Stats Accelerator (که امروزه به عنوان گزینه "Accelerate Learnings" در داخل راهزنان شناخته می شود). در این تنظیم ، به جای تلاش برای تخصیص پویا ترافیک به بالاترین تنوع ، Optimizely به طور پویا ترافیک را به تنوع تخصیص می دهد که احتمالاً سریعترین اهمیت آماری را به دست می آورد. به این ترتیب ، می توانید سریعتر یاد بگیرید و قابلیت تکرار نتایج آزمون A/B سنتی را حفظ کنید.

استراتژی شماره 4: ایموجی را به نام متریک خود اضافه کنید

در نگاه اول ، این ایده احتمالاً بی جا ، حتی بی معنی به نظر می رسد. با این حال ، یک جنبه کلیدی برای اطمینان از اینکه شما نتایج آزمایش مناسب را می خوانید ، این است که مطمئن شوید مخاطبان می توانند سوال را درک کنند. 

گاهی اوقات علیرغم تمام تلاش ما ، نام های متریک ممکن است گیج کننده باشند (منتظر بمانید - آیا هنگام پذیرش سفارش ، این معیار متوقف می شود یا وقتی کاربر به صفحه تشکر می رود؟) ، یا یک آزمایش معیارهای زیادی دارد که نتایج را بالا و پایین می کند صفحه منجر به بارگذاری شناختی کلی می شود.

افزودن ایموجی به نام معیارهای شما (اهداف ، علامت های علامت گذاری سبز ، حتی کیف پول بزرگ می تواند کار کند) می تواند منجر به صفحاتی شود که قابلیت اسکن بیشتری دارند. 

به ما اعتماد کنید - خواندن نتایج بسیار راحت تر خواهد بود.

استراتژی شماره 5: سطح اهمیت آماری خود را دوباره در نظر بگیرید

Results are deemed conclusive in the context of an Optimizely experiment when they’ve reached اهمیت آماریبه اهمیت آماری یک اصطلاح ریاضی سخت است ، اما اساساً این احتمال وجود دارد که مشاهدات شما نتیجه تفاوت واقعی بین دو جمعیت باشد ، و نه فقط یک شانس تصادفی. 

Optimizely’s reported statistical significance levels are “always valid” thanks to a mathematical concept called آزمایش پی در پی - این در واقع آنها را بسیار معتبرتر از سایر ابزارهای تست می کند ، که اگر آنها را زود بخوانید مستعد انواع مسائل "peeking" هستند.

It’s worth considering what level of statistical significance you deem important to your testing program. While 95% is the convention in the scientific community, we’re testing website changes, not vaccines. Another common choice in the experimental world: 90%.  But are you willing to accept a little more uncertainty in order to run experiments faster and test more ideas? Could you be using 85% or even 80% statistical significance? Being intentional about your risk-reward balance can pay exponential dividends over time, so think this through carefully.

درباره Optimizely Intelligence Cloud بیشتر بخوانید

رعایت این پنج اصل و بینش سریع در هنگام استفاده از Optimizely بسیار مفید خواهد بود. مانند هر ابزاری ، این اطمینان حاصل می شود که از تمام سفارشی سازی های پشت صحنه به خوبی آگاهی داشته باشید ، بنابراین می توانید مطمئن شوید که از ابزار به طور م andثر و م usingثر استفاده می کنید. با این درک ها ، می توانید در مواقع نیاز به نتایج قابل اعتمادی برسید که به دنبال آن هستید. 

شما چه فکر میکنید؟

این سایت از Akismet برای کاهش هرزنامه استفاده می کند. بدانید که چگونه نظر شما پردازش می شود.