Методы Тагучи и обратная задача
Во время недавней конференции мне пришла в голову идея, которую, наверное, надо оформить в статью. Чтобы не забыть, изложу здесь ее вкратце.
В онлайн-рекламе приходится постоянно делать эксперименты, чтобы понять какая реклама и где лучше работает (более эффективна). Классический пример, что лучше, объявление А или Б. Это очень легко установить, если показать А и Б достаточное количество раз, скажем 10 тысяч. Ситуация несколько сложнее, если вариантов не два, а десять. И еще сложнее, если каждое объявление может быть параметризировонно. Предположим, что дано:
Если кто-то знаком с Методами Тагучи, то основная идея в приложении к дизайну экспериментов, это сократить количество экспериментов, не потеряв в качестве. То есть тестировать не все возможные сочетания параметров, а лишь некоторые. На остальные экстраполировать. Тагучи разрабатывал методы для "железа", а в железе любые эксперименты дороги.
Теперь несколько видоизменим задачу. Представим, что помимо самих вариантов объявлений, мы тестируем еще и где их лучше показывать. Для простоты возьмем:
Что же делать? Как тестировать рекламу?
В некотором роде эта задача обратная тому, что делал Тагучи: у нас есть статистика экспериментов, которыми мы не в полной мере управляем, и надо понять, какие эксперименты можно считать свершившимися (то есть набравшими необходимые 10 тысяч показов). Если подходить формально, то задачу можно формализовать следующим образом.
Для начала, представим параметры как дискретные измерения многомерного куба размерности N, в ячейки которого будем помещать количество показов и эффективность (как она считается, не важно, важно, чтобы был способ "складывать" эффективность в разных ячейках). Назовем проекцией куба на параметры (x1, ... xM) куб размерности M, где значение в ячеке равно сумме значений по тем параметрам, которые не входят в (x1, ... , xM). Прошу прощения за это полуформальное определение. Надеюсь, оно понятно. Тогда задачу можно сформулировать следующим образом. Из всего многообразия возможных сочетаний параметров выбрать те, проекции на которые дают искомые 10 тысяч или больше показов в каждой (!) ячейке. Полученные таким образом кубы будут представлять собой результаты успешных экспериментов.
Можно поставить задачу и иначе. Вместо проведения эксперимента, какая комбинация лучше, измерим эффективность, где можем. Эту задачу можно интерпретировать как поиск всех возможных подкубиков, где у нас есть пресловутые 10 тысяч показов. Еще более затратная задача в смысле перебора.
Примерно этим мы занимаемся, хотя и не так формально. Хочу сделать более развернутую статью на хабре по этой теме. Стоит?
В онлайн-рекламе приходится постоянно делать эксперименты, чтобы понять какая реклама и где лучше работает (более эффективна). Классический пример, что лучше, объявление А или Б. Это очень легко установить, если показать А и Б достаточное количество раз, скажем 10 тысяч. Ситуация несколько сложнее, если вариантов не два, а десять. И еще сложнее, если каждое объявление может быть параметризировонно. Предположим, что дано:
- 100 объявлений
- 2 цвета в каждом
- 3 размера шрифта
- 3 расположения картинки
- 3 варианта текста
Если кто-то знаком с Методами Тагучи, то основная идея в приложении к дизайну экспериментов, это сократить количество экспериментов, не потеряв в качестве. То есть тестировать не все возможные сочетания параметров, а лишь некоторые. На остальные экстраполировать. Тагучи разрабатывал методы для "железа", а в железе любые эксперименты дороги.
Теперь несколько видоизменим задачу. Представим, что помимо самих вариантов объявлений, мы тестируем еще и где их лучше показывать. Для простоты возьмем:
- 1000 слотов
- 100 стран
Что же делать? Как тестировать рекламу?
В некотором роде эта задача обратная тому, что делал Тагучи: у нас есть статистика экспериментов, которыми мы не в полной мере управляем, и надо понять, какие эксперименты можно считать свершившимися (то есть набравшими необходимые 10 тысяч показов). Если подходить формально, то задачу можно формализовать следующим образом.
Для начала, представим параметры как дискретные измерения многомерного куба размерности N, в ячейки которого будем помещать количество показов и эффективность (как она считается, не важно, важно, чтобы был способ "складывать" эффективность в разных ячейках). Назовем проекцией куба на параметры (x1, ... xM) куб размерности M, где значение в ячеке равно сумме значений по тем параметрам, которые не входят в (x1, ... , xM). Прошу прощения за это полуформальное определение. Надеюсь, оно понятно. Тогда задачу можно сформулировать следующим образом. Из всего многообразия возможных сочетаний параметров выбрать те, проекции на которые дают искомые 10 тысяч или больше показов в каждой (!) ячейке. Полученные таким образом кубы будут представлять собой результаты успешных экспериментов.
Можно поставить задачу и иначе. Вместо проведения эксперимента, какая комбинация лучше, измерим эффективность, где можем. Эту задачу можно интерпретировать как поиск всех возможных подкубиков, где у нас есть пресловутые 10 тысяч показов. Еще более затратная задача в смысле перебора.
Примерно этим мы занимаемся, хотя и не так формально. Хочу сделать более развернутую статью на хабре по этой теме. Стоит?