Оптимально інтелектуальна хмара: Як використовувати статистичний механізм для A/B -тестування розумніше та швидше

Оптимізовано статистику двигуна та стратегії тестування A/B

Якщо ви хочете запустити програму експериментів, щоб допомогти вашому бізнесу перевірити та навчитися, швидше за все, ви користуєтесь цим Оптимально інтелектуальна хмара - або ви хоча б подивились на це. Оптимізатор - один з найпотужніших інструментів у грі, але, як і будь -який інший, ви можете використати його неправильно, якщо не розумієте, як він працює. 

Що робить Optimizely настільки потужним? В основі набору функцій лежить найбільш поінформований та інтуїтивно зрозумілий механізм статистики в сторонньому інструменті, що дозволяє вам зосередитися на проведенні важливих тестів у реальному часі-не турбуючись про те, що ви неправильно інтерпретуєте результати. 

Подібно традиційному сліпому вивченню медицини, A / B тестування буде випадковим чином показувати різні лікування вашого сайту різним користувачам, щоб потім порівняти ефективність кожного лікування. 

Тоді статистика допомагає нам робити висновки про те, наскільки ефективним може бути це лікування в довгостроковій перспективі. 

Більшість інструментів тестування A/B спираються на один із двох типів статистичних висновків: частоту або байєсівську статистику. У кожної школи є різні плюси і мінуси - статистика часто відвідувачів вимагає визначити розмір вибірки перед початком експерименту, а статистика Байєса в основному дбає про прийняття правильних рішень щодо спрямованості, а не про визначення будь -якої окремої цифри для впливу, щоб назвати два приклади. Суперсила Optimizely полягає в тому, що це єдиний сьогодні інструмент на ринку, щоб взяти найкращий з обох світів підходу.

Кінцевий результат? Оптимізація дозволяє користувачам проводити експерименти швидше, надійніше та інтуїтивно.

Однак, щоб у повній мірі скористатися цим, важливо розуміти, що відбувається за лаштунками. Ось 5 знань та стратегій, які допоможуть вам скористатися можливостями Optimizely як професіонал.

Стратегія №1: Зрозумійте, що не всі показники створені рівними

У більшості інструментів тестування поширеною проблемою є те, що чим більше показників ви додаєте та відстежуєте в рамках свого тесту, тим більша ймовірність того, що ви побачите деякі неправильні висновки через випадковий випадок (у статистиці це називається «проблема множинного тестування» ”). Для того, щоб результати були достовірними, Optimizely використовує ряд елементів керування та виправлень, щоб максимально знизити ймовірність того, що це станеться. 

Ці елементи керування та виправлення мають два наслідки, коли ви переходите до налаштування тестів у програмі Optimizely. По -перше, метрика, яку ви позначаєте як свою Первинна метрика найшвидше досягне статистичної значущості, все інше - стало. По -друге, чим більше показників ви додасте до експерименту, тим довше ваші пізніші показники займуть досягнення статистичної значущості.

Плануючи експеримент, переконайтеся, що ви знаєте, який показник буде вашою справжньою північчю у вашому процесі прийняття рішень, зробіть це своєю основною метрикою. Потім збережіть решту свого списку показників худим, видаливши все зайве або дотичне.

Стратегія №2: Створіть власні користувацькі атрибути

Оптимізатор чудово дає вам кілька цікавих та корисних способів сегментування результатів експерименту. Наприклад, ви можете перевірити, чи певні методи лікування ефективніші для комп’ютерів та мобільних пристроїв, або побачити відмінності між джерелами трафіку. Однак у міру дозрівання вашої програми експерименту ви швидко побажаєте нових сегментів-вони можуть бути специфічними для вашого випадку використання, наприклад, сегменти для одноразових або покупок підписки, або такі загальні, як "нові відвідувачі проти тих, що повернулися" (що, чесно кажучи, ми все ще не можемо зрозуміти, чому це не надається з коробки).

Хороша новина полягає в тому, що за допомогою поля Project Optimizely Project, інженери, знайомі з Optimizely, можуть створити будь -яку кількість цікавих користувацьких атрибутів, за якими відвідувачі можуть бути призначені та сегментовані. У Cro Metrics ми створили ряд модулів (наприклад, "нові проти тих, хто повертається"), які ми встановлюємо для всіх наших клієнтів через їх проект Javascript. Використання цієї здатності є ключовим відмінником між зрілими командами, які мають належні технічні ресурси, щоб допомогти їм у виконанні, та командами, які намагаються реалізувати весь потенціал експериментів.

Стратегія №3: Дослідіть оптимізатор статистики прискорювач

Однією з часто переповнюваних функцій інструменту тестування є можливість використовувати "багаторуких бандитів", тип алгоритму машинного навчання, який динамічно змінюється, коли ваш трафік розподіляється під час експерименту, щоб відправити якомога більше відвідувачів до "виграшу" можливі варіації. Проблема з багаторукими бандитами полягає в тому, що їх результати не є надійними показниками довгострокових результатів, тому сценарій використання таких типів експериментів обмежується чутливими до часу випадками, такими як стимулювання продажів.

Оптимально, однак, є інший тип бандитського алгоритму, доступний для користувачів на вищих планах - Stats Accelerator (тепер відомий як опція "Прискорити навчання" всередині Bandits). У цьому налаштуванні, замість того, щоб намагатися динамічно розподіляти трафік до найефективнішого варіанта, Optimizely динамічно розподіляє трафік до варіантів, які швидше за все досягнуть статистичної значущості. Таким чином, ви зможете швидше навчитися і зберегти відтворюваність традиційних результатів тестування А/В.

Стратегія №4: Додайте смайли до своїх імен метрик

На перший погляд, ця ідея, ймовірно, звучить недоречно, навіть безглуздо. Однак ключовим аспектом переконання, що ви читаєте правильні результати експерименту, є те, що ваша аудиторія може зрозуміти питання. 

Іноді, незважаючи на наші зусилля, назви показників можуть викликати збентеження (зачекайте - чи спрацьовує цей показник, коли замовлення приймається, або коли користувач переходить на сторінку подяки?), Або експеримент містить стільки показників, що прокручують результати вгору та вниз сторінка призводить до повного когнітивного перевантаження.

Додавання смайлів до назв ваших показників (цілі, зелені галочки, навіть велика сумка грошей може спрацювати) може призвести до сторінок, які набагато більш доступні для сканування. 

Повірте нам - читати результати буде набагато легше.

Стратегія №5: Перегляньте свій рівень статистичної значущості

Результати вважаються переконливими в контексті експерименту Optimizely, коли вони були досягнуті статистичне значення. Статистична значимість - це важкий математичний термін, але по суті це ймовірність того, що ваші спостереження є результатом реальної різниці між двома популяціями, а не просто випадковою випадковістю. 

Повідомлені рівні оптимізації статистичної значущості "завжди дійсні" завдяки математичній концепції, що називається послідовне тестування - це насправді робить їх набагато надійнішими, ніж у інших інструментів тестування, які схильні до різного роду «підглядаючих» проблем, якщо прочитати їх занадто рано.

Варто подумати, який рівень статистичної значущості ви вважаєте важливим для вашої програми тестування. Хоча 95% - це умова наукового співтовариства, ми перевіряємо зміни веб -сайту, а не вакцини. Ще один поширений вибір в експериментальному світі: 90%. Але чи готові ви прийняти трохи більше невизначеності, щоб швидше проводити експерименти та перевіряти більше ідей? Ви могли б використовувати 85% або навіть 80% статистичну значимість? Навмисне визначення балансу ризику та винагороди може з часом виплатити експоненціальні дивіденди, тому ретельно продумайте це.

Докладніше про Optimizely Intelligence Cloud

Ці п’ять швидких принципів та уявлень будуть надзвичайно корисними для пам’яті під час використання Оптимізатора. Як і будь-який інструмент, він зводиться до того, що ви добре розумієте всі закулісні налаштування, тому ви можете переконатися, що ви використовуєте інструмент ефективно та ефективно. Завдяки цим розумінням ви можете отримати надійні результати, які вам потрібні, коли вони вам потрібні. 

Що ви думаєте?

Цей сайт використовує Akismet для зменшення спаму. Дізнайтеся, як обробляються ваші дані коментарів.