Сессионная vs событийная аналитика / Блог компании Carrot quest / Хабр

Сессионная vs событийная аналитика / Блог компании Carrot quest / Хабр Аналитика

Аналитик-стажер (trainee data analyst)

Наиболее важными критериями при найме человека на позицию аналитика-стажера являются: академическая база, способ мышления (mindset) и опыт программирования в университете или на каких-то проектах.

Академическая база

Аналитик работает со статистическими данными. У стажера может не быть практического опыта, но за время стажировки он разберется, зачем же у него был этот курс в университете. Если курса не было — объём обучения стажера становится слишком большим. Мы в Яндексе, скорее всего, не возьмем такого человека в команду.

Способ мышления

Это сложно формализуемая штука, но мы пытаемся придумать тесты на входе, которые не зависят от рабочего опыта кандидата. Например, взять процесс, с которым сталкивается каждый житель города ежедневно и формализовать его в виде продуктовых метрик. Таким образом мы проверяем способность человека поставить себя на место потребителя и выделить самое главное в его потребительском опыте.

Опыт программирования

Речь не о промышленном программировании. В работе аналитика данных нужно уметь читать документацию, быстро разбираться и использовать инструменты работы с данными, а также автоматизировать свою рутину. Это SQL разных реализаций, python, библиотеки pandas, библиотеки визуализации, умение использовать API.

Софт-скиллы

Без организованности и ответственности, умения вести конструктивную коммуникацию с коллегами сложно добиться какого-либо результата в команде. Бывают исключения из этого правила, но это большая редкость.

Постановка задач

Аналитик-стажер работает на уровне четко сформулированных и хорошо формализованных задач. Задачи стажеру ставит исключительно старший товарищ-аналитик (наставник или руководитель). Он же проверяет результаты выполнения этих задач перед тем, как отдать эти данные куда-либо еще.

Младший аналитик (junior data analyst)

Обработка данных

Младший аналитик – это стажер, который освоил инструменты обработки данных. Для него уже не существует ограничений в задачах по трансформации имеющихся данных к необходимой форме. Он всё ещё может делать что-то неоптимально: излишне греть вычислительный кластер неэффективными расчетами, тратить на простые задачи много времени, — но задачу он решит.

Недоверие к данным / валидация данных

Опыта младшего аналитика уже хватает, чтобы не доверять данным. Когда младший аналитик начинает работать с какими-то данными, он узнаёт природу этих данных и делает проверки: убеждается, что в данных именно то, что ожидается. Например, что показатели в нужной размерности, распределение величин выглядит разумно, нет странных выбросов, данные отражают реальную картину изучаемого явления и т. д.

Постановка задач

Младшему аналитику не хватает опыта в реальном продукте и бизнесе, поэтому он склонен решать задачи так, как они поступают:

Как правило при постановке задачи на младшего аналитика обсуждается детальный алгоритм с описанием данных, которые нужно использовать, способом трансформации этих данных (фильтрации, группировки, join’ы) и буквальным описанием, как должен выглядеть результат (если это график, то какие должны быть оси, нормировки, подписи, способ визуализации).

Простые задачи младшему аналитику бизнес-заказчик может ставить напрямую, но это не рекомендуется. В идеале все задачи всё ещё должны контролироваться его руководителем. По мере роста опыта младший аналитик может работать более уверенно со знакомыми данными и с меньшей детализацией задачи со стороны наставника. При этом флагом для определения уровня является то, как он работает с незнакомыми данными.

Внедрение и применение результатов работы

Как правило младший аналитик не в состоянии подготовить аналитический отчет или исследование в формате рекомендаций с понятным обоснованием. И тем более не способен довести свои рекомендации и выводы до уровня реальных изменений на уровне продукта, процессов или бизнеса.

Аналитик 1 (Middle data analyst 1 step)

Аналитик 1 обладает всеми навыками младшего аналитика данных с точки зрения технической работы с данными и критического мышления, но при этом продвигается дальше в следующих аспектах своей работы и влияния на бизнес.

Постановка задач

Это первый уровень самостоятельного аналитика. Почти все его задачи возникают в прямом взаимодействии с командой или бизнес-заказчиком. Младший аналитик перебирается на этот уровень после появления желания больше влиять на бизнес или продукт. Понятно, что одного желания недостаточно.

Нужно подкопить опыта и кармы, чтобы желание трансформировалось в возможность. Аналитик 1 всё чаще и чаще докапывается до сути идей и вопросов, с которыми к нему пришли. Думает про задачи в терминах решений, которые будут приняты, а не в терминах работы с данными.

Сложность решаемых задач и глубина решения

Аналитик на этом уровне справляется с большинством простых задач самостоятельно. Однако с учетом небольшого опыта решения задач именно в бизнесовой постановке (с обработкой данных, как мы помним, всё нормально уже с уровня джуниора), аналитику на этом грейде может не хватать глубины мышления или ширины контекста, чтобы лучше понимать природу сложных задач и подбирать лучший способ решения. Как правило трудности вызывают:

В этих ситуациях аналитику 1 требуется помощь старшего товарища для понимания задачи, её декомпозиции или презентации результатов (чтобы они были применены).

Софт-скиллз 

Высокая степень самостоятельности означает, что сотрудник на этом уровне обладает навыками тайм-менеджмента, формирования ожиданий, прогнозирования сроков. Аналитик 1 несёт ответственность за результат.

Данные

Аналитик 1 начинает договариваться со смежниками о логировании или поставках данных, если ему их не хватает для решения задач. Не факт, что он это делает оптимально с точки зрения развития аналитического хранилища, но свои локальные проблемы он уже может решать. В полной мере это умение развивается к следующему грейду.

Аналитик 2 (Middle data analyst – 2 step)

Аналитик 2 – автономный аналитический юнит. Наносит пользу бизнесу. Это более опытная версия предыдущего грейда, но есть и отличия, которые являются качественными, существенными: это понимание контекста и выросший уровень рефлексии. Ниже о том, почему это важно и как меняется характер взаимодействия и пользы от этого аналитического юнита.

Контекст и проактивность

Аналитик 2 находится в глубоком контексте того, что происходит в его продукте или кусочке бизнеса. Это позволяет ему проявлять проактивность, приходить с идеями и предложениями, помогать тогда, когда не спрашивали. Это радикально повышает пользу от такого сотрудника.

Рефлексия

Важное отличие Аналитика 2 от Аналитика 1 заключается в возросшем уровне рефлексии. Чтобы быть хорошим аналитиком, нужно во всем сомневаться и критически переосмысливать. К слову, на этом базируется наука и успешные аналитики, как и успешные ученые, обладают этим качеством.

Следствие возросшего уровня рефлексии — такого аналитика не страшно оставить одного с задачами и каким-то направлением бизнеса. Можно быть уверенным, что там не произойдёт каких-то глупостей. Если нужно, Аналитик 2 сам придёт за советом. В результате получаем особенность менеджмента Аналитика 2.

Сложность решаемых задач и глубина решения

Другое важное отличие — более высокий доступный уровень абстракции при мышлении о бизнесе. Аналитик 2 должен уметь за рутинными операционными задачами видеть какие-то системные направления развития доверенной ему части бизнеса и понимать, как задачи связаны с целями, куда и зачем глобально движется продукт/компания.

Аналитик 2 отлично погружен в предметную область, что позволяет ему копать глубоко. Он умеет сводить задачи бизнеса к задачам оптимизации метрик. В вопросах, с которыми к нему приходят, он умеет докапываться до сути и оцифровывать эту суть. Аналитик 2 решает задачи в бизнесовой постановке и результат его работы сформулирован обычно в таком же виде.

Результатам Аналитика 2 доверяют. Это характеристика как накопленного опыта и кармы, так и того, как аналитик на этом уровне оформляет и доносит результаты своей работы. Обычно в его задачах понятно описана методология, приложены скрипты и код, описаны допущения и область применимости результата, есть блок с выводами, и они написаны понятным языком.

Если результату аналитика не доверяют, этот результат не будет приводить к действиям, а значит, работа этого аналитика бесполезна. Большая часть результатов аналитика 2 должна быть actionable. Аналитик 2 – опытный профессионал, которого мы вырастили или наняли, чтобы он приносил пользу компании.

Данные

Аналитик 2 может быть самостоятельным заказчиком для команды аналитического хранилища (DWH) — описывать витрины, которые ему необходимы для работы.

Наставничество

Часто к Аналитикам 2 приставляют стажеров или младших аналитиков. Аналитик 2 должен уметь контролировать и обучать младших товарищей, в том числе должен уметь делегировать им какие-то простые задачи, растить их экспертизу и степень самостоятельности.

Старший аналитик (Senior data analyst)

Супер-герой – таких очень мало. Даже в режиме рутинной работы приносит колоссальную пользу бизнесу, выраженную во влиянии на ключевые показатели продукта или вверенного ему бизнес-процесса. По сравнению с предыдущим уровнем растет глубина и сложность решаемых задач, автономность и проактивность. К сожалению, не каждый аналитик 2 способен дорасти до этого уровня.

Сложность решаемых задач и глубина решения

Старший аналитик способен решать проблемы, у которых нет «решения в лоб» – и его результат вызывает доверие. Он умеет коммуницировать результат так, чтобы его поняли и приняли. Типичный пример такой задачи – оценить какой-нибудь запуск без А/Б теста, когда невооруженным глазом ничего непонятно (программа лояльности, влияние Драйва на Такси, каннибализации в перформанс-маркетинге и т.д.)

Старший аналитик обладает опытом и контекстом, который позволяет ему предугадывать, какие задачи могут возникнуть в перспективе. Старший аналитик – ценный ресурс. С точки зрения компании важно стремиться к тому, чтобы каждый результат старшего аналитика приводил к позитивным изменениям.

Если старший аналитик раскопал что-то ценное – он обязан сделать так, чтобы об этом узнали все причастные, пролоббировать нужное изменение в продукте или бизнесе. У старшего аналитика развиты коммуникативные навыки, он умеет находить подход к разным людям в компании, уметь выбирать способ коммуникации, подходящий под решаемую задачу, умеет простым языком объяснять сложные концепции.

Дополнительный анализ:  Счет 90 Продажи: типовые проводки

Данные

Опыт старшего аналитика позволяет ему быть квалифицированным заказчиком для команды DWH (аналитического хранилища). Он отлично формирует требования к данным и логированию, позволяющие решать на этих данных как текущие задачи, так и те, которые могут возникнуть в будущем.

Наставничество

Как правило, задачи и проекты старшего аналитика достаточно большие – он может декомпозировать их и раздавать части аналитикам помладше. В условиях растущей компании у старшего аналитика почти непрерывно есть стажер или младший аналитик, которого он обучает.

Менеджмент

Как правило старший аналитик управляется целями («сейчас мы в точке А, хотим попасть в точку Б»), большую часть из которых он определяет сам и согласует с руководителем. Чаще всего регулярное общение старшего аналитика с руководителем проходит в формате обсуждения стратегии, психотерапии, hr-вопросов.

Алгоритм «печатный станок»

Сетка – это очень простая система. Она выставляет отложенные и краткосрочные ордера в фиксированных значениях выше и ниже текущей цены. Прибыль получается при отклонениях рынка. Ордера открываются и закрываются в случае, когда цена пересекает значения сетки в любом направлении.

Гипотетически степень выигрыша здесь приближается к 100%, но на практике такого уровня добиться невозможно. Трейдеры обычно используют виртуальный механизм хеджирования, который открывает и закрывает позицию вместо того, чтобы открывать новую в противоположном направлении.

Вот пример скрипта на языке Zorro для подобной системы:

// вспомогательная функция, которая проверяет наличие условий для совершения сделки 
bool isFree(var Price,var Grid,bool IsShort)
{
  for(open_trades) {
    if(TradeIsShort == IsShort
      && between(TradeEntryLimit,Price-Grid/2,Price Grid/2))
        return false;
  }
  return true;
}

// основная функция для торговой стратегии по паре EUR/CHF 
int run() 
{
  BarPeriod = 60;
  Hedge = 5; // activate virtual hedging

  var Grid = 20*PIP; // set grid distance to 20 pips
  var Close = priceClose();
 
// place pending trades at 5 grid lines above and below the Close
  int i;
  for(i = Close/Grid - 5; i < Close/Grid   5; i  )
  {
    var Price = i*Grid;
// place short trades with profit target below the current price
    if(Price < Close && isFree(Price,Grid,true))
      enterShort(1,Price,0,Grid); 
// place long trades with profit target above the current price
    else if(Price > Close && isFree(Price,Grid,false))
      enterLong(1,Price,0,Grid);
  }
}

Сетка – типичная модель-ориентированная система. Она подразумевает, что некие условия рынка удерживают цену в определенном интервале. Например, ограничение не позволяет паре EUR/CHF опуститься ниже 1,20. Но и подняться слишком высоко цена также не может, учитывая факт, что Национальный банк Швейцарии должен будет в конечном итоге выкупить назад все франки, которые они продали ради поддержки определенного значения.

Вот пример применения метода для пары EUR/CHF от компании P&L в 2021 году:

На графике можно наблюдать значительные колебания цены с существенными снижениями в январе и мае. Но по причине имеющегося предела, мы можем предсказать максимальные потери и просто держать достаточно средств на счету. В данном случае годовая выручка составила 130%, коэффициент Шарпа – 1,7. Практически никакого риска до того момента, пока не отменено ограничение цены.

Новости о данной стратегии распространялись весь 2021 год. Неудивительно, что многие участники рынка, частные инвесторы захотели запрыгнуть в уходящий поезд. Через три года после решения банка Швейцарии на рынке действовали уже тысячи подобных систем. В результате волатильность цены EUR/CHF неуклонно снижалась.

Волатильность – ключевое условие для метода Сетки. Чем ее меньше, тем меньше доход. Для того чтобы компенсировать его снижение, нужно вкладывать больше средств и сжимать сетку. Но у нас есть естественный предел. Размер сетки не может быть меньше выплат по сделке.

К осени 2021 волатильность упала фактически до нуля. Это сопровождалось существенным падением цены, как будто кто-то из крупных игроков (скорее всего, сам Национальный банк Швейцарии) настойчиво продает евро и скупает франки в ожидании крупного события.

За пару минут цена EUR/CHF скатилась до значений существенно ниже 1,20. В отличие от ситуации, имевшей место четыре года назад, рынок отреагировал мгновенно. Многие пострадали. Самое интересное, что «реальное» соотношение пары, основанное на относительной покупательной способности каждой из валют, все это время держалось на уровне 1,50.

Кейс швейцарского франка

В сентябре 2021 года Национальный банк Швейцарии установил ценовое ограничение для швейцарского франка. Идея была в том, чтобы защитить туристическую индустрию и экспорт на фоне переоцененного курса. Лимит был установлен на уровне 1,20 для пары EUR/CHF (евро/франк).

Вообще, ценовое ограничение – очень редкий шаг и весьма показательный пример неэффективности рынка. Все это можно немедленно перевести в крайне выгодную, почти безрисковую трейдинговую систему. В нормальной ситуации можно ожидать решительную реакцию рынка, когда пара EUR/CHF приближается к значению 1,20. Но на практике реакция была сильно растянута во времени.

Безусловно, Швейцария – странное место на карте Европы. Большинство трейдинговых компаний США знают лишь, что здесь делают качественные сыр. Или они не заметили решения Национального банка, или европейские офисы этих компаний забыли об этом доложить.

Так что можно предпринять, зная о ценовом ограничении? Лишь к январю 2021 года у крупных игроков на рынке появилась идея. И она заключалась не в разработке торговой системы, в том, чтобы просто скупать франки для оказания давления на соотношение валютной пары EUR/CHF.

Изменения цены пары EUR/CHF в сентябре 2021 – августе 2021

Смысл был в том, что, когда цена достигает своего предельного значения, выгоду можно получить, пробив его. На кон была поставлена куча денег, терпения и сил. Начиная с мая 2021, цена EUR/CHF держалась предельно близко к значению 1,20. Но крушения ценового ограничения так и не произошло.

Изменения цены пары EUR/CHF в сентябре 2021 – мае 2021

Ретировались, освободив путь для работы алгоритмических систем. В течение битвы 2021 года они вынуждены были оставаться в стороне. У частных трейдеров не было столько средств, чтобы вступить в игру. В январе 2021 первые умельцы начали использовать неэффективность рынка в свою пользу.

Кто умнее: трейдер против рынка

Очевидно, что ни одна система трейдинга не будет работать в отсутствии каких-то неэффективностей рынка, которые можно было бы эксплуатировать для извлечения прибыли. Но даже, если неэффективность существует, ничего не выйдет, пока ей нельзя воспользоваться, и пока хорошо вооруженные игроки делают это за вас. Следовательно, нужно уметь проводить операции лучше, чем большинство участников рынка.

Вот три основные гипотезы, касающиеся неэффективности рынка, о которых вы, наверное, уже слышали:

  • Гипотеза A: рынки работают эффективно. Цены зависят от реальных событий (например, от публикации годовых отчетов компаний) и отражают реальную стоимость активов. Все трейдеры обладают полнотой информации, действуют оперативно и рационально. Скачки цен отсутствуют, изменения не несут в себе данных для прогнозирования. Техническая система трейдинга бесполезна. В ее основе будет лежать принцип удачи.
  • Гипотеза B: рынки неэффективны, но их неэффективность не дает преимущество частным трейдерам. Только крупные фирмы и хедж-фонды могут эксплуатировать такую неэффективность, обладая большим капиталом, быстрым и дорогим железом, опытными аналитиками и экспертами-математиками. Начать играть на их поле означает превратиться в легкую добычу для таких компаний.
  • Гипотеза C: Неэффективности рынков достаточно, чтобы хватило всем. В данной ситуации размеры компаний – это уже не преимущество, а недостаток. Крупные фирмы и хедж-фонды слишком неповоротливы. Все эти ресурсы, включая переоцененных аналитиков и гениев со слишком большими зарплатами, не способны вас опередить, если вы хорошо усвоили правила игры.

Мало кто сегодня все еще верит в первую гипотезу. Рынки не ведут себя рационально и эффективно. Примеров можно привести сколько угодно. Чаще всего стоимость компаний далека от их «реальной» стоимости. Но даже в такой ситуации можно разглядеть некоторые паттерны.

На вкус и цвет

По сути, есть два основных метода построения стратегий онлайн-трейдинга. Первый ориентирован на определенную модель, второй – на интеллектуальный анализ данных. В первом случае мы имеем дело с понятием неэффективного рынка. Метод включает работу с психологией трейдеров, экономикой, микроструктурой рынков, а также любыми внешними явлениями, которые могут оказывать влияние на цены акций.

Неэффективность ведет к аномалиям кривой цен или возникновению определенных паттернов колебаний цены, которые можно попытаться предсказать и использовать в торговом алгоритме. Среди стратегий, основанных на определенной модели, можно вспомнить стратегию следования тренду, mean reversion (возвращение к среднему значению), ценовые циклы и кластеры, статистический арбитраж и сезонность.

Здесь есть проблема – эта модель не реалистична. Это упрощенный образ реальности. Данная модель не может быть доказана или опровергнута. Ее надежность может быть обоснована только чрез влияние на кривую цен. Применимость такой модели зависит от определенной долгосрочной стабильности действий предсказанных с ее помощью аномалий. Проверить ее можно лишь посредством качественного алгоритма тестирования.

Интеллектуальный анализ данных в чистом виде работает иначе. Он используется для исследования паттернов ценовых изменений и построения по ним определенного алгоритма. Какие причины вызвали изменения на рынке здесь не так важно. Важно, чтобы они продолжали действовать и в будущем.

Такой подход привел к появлению систем трейдинга с использованием самообучающегося софта. Самый популярный прием в данном случае – метод подбора, проб и ошибок, использование свечных паттернов, регрессии, автокорреляции, метода k-средних, нейронных сетей, дерева принятия решений.

Преимущества анализа данных в том, что вам не нужно гадать о состоянии рынка. Недостаток: все эти методы обычно выявляют кучу случайных паттернов и следом генерируют кучу бесполезных стратегий. Отделить случайные паттерны от тех, что действительно оказывают влияние на состояние рынка – задача не из простых. В настоящий момент неизвестно об успешных трейдинговых системах, построенных исключительно на анализе данных.

Позиции канала в цепочке

Данные варианты считаются наиболее простыми, они доступны пользователям бесплатной версии Google Analytics, а также Яндекс.Метрики и других систем. Рассмотрим 6 позиций канала в цепочке.

First Click (FCM)

В цепочке из четырех касаний ценность уходит первому каналу.

Дополнительный анализ:  Мировой рынок крафтовой продукции стремительно растет - Ведомости

Преимущества:

Легко настраивается, не требует вычислений или иных аргументов при распределении ценности среди использованных каналов. Помогает маркетологам сформировать узнаваемость торговой марки и спрос.

Недостатки:

Не демонстрирует всей картины, заставляет переоценить каналы первого уровня. Пользователь обычно совершает несколько касаний, однако модель игнорирует данный момент.

Кому подходит:

Подойдет проектам, для которых имеет значение создание или повышение узнаваемости собственного бренда, увеличение охвата аудитории. Модель даст информацию о том, где лучше покупать трафик для последующей конвертации.

Last Click (LCM)

Одноканальная модель, где ценность конверсии передается последнему каналу, с которым покупатель соприкасается непосредственно перед конверсией. Снова вклад предыдущих каналов полностью игнорируется.

Преимущества:

Используется многими маркетологами. Позволяет оценить кампании, цель которых — быстро спровоцировать покупки, допустим, во время определенного сезона.

Недостатки:

Не демонстрирует всей картины, заставляя исключить прочие каналы цепочки.

Кому подходит:

Подходит бизнесам с коротким циклом продаж, которые обычно не используют более трех каналов для рекламы.

Last Non-Direct Click (LN-DC)

Одноканальная модель, которая представлена в Google Analytics, применяется там по умолчанию. При этом ценность конверсии атрибутируется, как и в предыдущем варианте, по последнему каналу.

Однако различие в том, что если это прямой заход, ценность будет атрибутирована предыдущему источнику.

Например, пользователь переходит из собственных закладок или же прямо вводит ссылку. Вероятно, он хорошо знает бренд, является уже привлеченным покупателем, которого не требуется брать в расчет.

Преимущества:

В этом случае можно исключить каналы, которые незначительны с точки зрения расходов на кампанию, полностью сосредоточившись на оплачиваемых источниках.

Может применяться в качестве базы для сравнения.

Недостатки:

Не демонстрирует всей картины, не учитывает вклад прочих каналов в конверсию. Предпоследним каналом чаще всего является электронная почта, однако эта модель не позволяет отследить, где именно покупатель познакомился с торговой маркой и почему оставил почту, чтобы в итоге прийти к покупке.

Кому подходит:

Модель подходит, если нужно оценить эффективность определенного платного канала, а узнаваемость бренда уже не является важным аспектом.

Position Based (PB)

Многоканальная модель, где наибольшую ценность получают первый канал — то есть тот, который познакомил покупателя и торговую марку, — и последний, что закрыл транзакцию. Каждому из них присваивается сорок процентов. На все средние каналы приходится двадцать процентов.

Преимущества:

Ценность передается каналам, которые привлекают и мотивируют покупателей — т.е. играют важнейшую роль.

Недостатки:

Случается, что именно средние каналы в цепочке больше продвигают покупателя, чем те, которые получают наибольшую ценность.

Кому подходит:

Этот вариант подойдет бизнесам, которые рассчитывают привлекать новых пользователей и подталкивать уже заинтересованных к совершению покупок.

Time Decay (TD)

В этом случае ценность конверсии будет распределена между каналами, которые заняты в цепочке, по принципу нарастания. Первый источник получает наименьшую ценность, последний — наибольшую.

Преимущества:

Рассматриваются все каналы. Наибольшая ценность отдается тому, который все же сумеет подтолкнуть к покупке.

Недостатки:

Недооценивается вклад отдельных каналов, которые могли повлиять на решение покупателя.

Кому подходит:

Подходит тем, кто желает оценить эффективность рекламных кампаний, ограниченных по времени — например, распродаж.

Linear model (LM)

Применяя данную модель, ценность конверсии принято разделять между всеми каналами цепочки.

Преимущества:

Более продвинутая, чем одноканальные модели. Позволяет учесть все каналы в цепочке, которые были задействованы перед покупкой.

Недостатки:

Не помогает перераспределять бюджет. Разделение его между всеми каналами поровну может оказаться неэффективным.

Кому подходит:

Подойдёт бизнесам с длительным циклом продаж. В этом случае важно поддержание контакта с покупателем на всех этапах прохождения воронки. Пример — B2B-компании.

На сегодняшний день имеется ряд исследований, которые доказывают, что маркетологи в Европе, США или СНГ чаще всего обращаются к модели LCM. LCM кажется наиболее понятной, хотя и обесценивает влияние всех каналов в цепочке, кроме последнего.

Причинами, почему наблюдается такая ситуация, можно считать следующее:

  • Непонимание потенциального эффекта от моделей атрибуции, использующих более сложный расчет. Если прямо объяснить, что алгоритмические модели могут принести увеличение прибыли на определенный процент, вряд ли маркетологи откажутся от этого.

  • За атрибуцию нет ответственного, т.е. разные маркетологи могут применять в ходе кампании различные варианты, что приводит к тому, что реальный доход оказывается меньше атрибутированного.

  • Слишком разрозненная информация. Google Analytics позволяет использовать стандартные отчеты, в которых, к сожалению, нет места офлайн-данным, ROPO-эффекту и т. д.

Если эти причины устранить, то проблема атрибуции будет решаться намного проще.

Сквозная аналитика как жизненная необходимость

Не более 30% клиентов делают заказ при первом же посещении сайта. Конкретное количество зависит от теплоты рынка и цикла принятия сделки, которая обычно невелика. Прежде чем что-то купить (совершить конверсию), человек, привлечённый разными рекламными источниками, заходит на сайт несколько раз.

Правильнее будет учитывать все касания (заходы) посетителя и использовать более продвинутые модели атрибуции.

Аналитика по каналам
Аналитика по каналам

Проблема 1:

Посетитель заходит на сайт из разных источников. Конверсия зачастую мультиканальна. Нужно применять некие модели атрибуции.

Проблема 2:

Покупатель совершает не 1 покупку. Повторные покупки могут быть намного больше, чем размер первого заказа. Значит, нужно считать LTV, а для этого не обойтись без внедрения CRM.

Проблема 3:

Каналы общения. Нужно отслеживать все каналы. В противном случае мы получим аналитику, не точно отражающую реальность, с необоснованными выводами, писанными вилами по воде.

Нельзя при этом считать заявки только через сайт или даже заявки звонки. Вот поэтому необходимо выстраивать сквозную аналитику.

Сквозная аналитика в маркетинге — метод анализа эффективности маркетинговых инвестиций (ROMI) на основе данных, отслеживающих полный путь клиента, начиная от просмотра рекламного объявления, посещения сайта и заканчивая продажей и повторными заказами (LTV).

Для реальной оценки эффективности маркетинга стоит поставить конкретную задачу:

Сквозной принцип в аналитике

При использовании обычной управленческой отчётности, в которой зафиксированы расходы на рекламу и продажи за тот или иной период, более-менее корректно ROMI посчитать можно только при определенных условиях:

В остальных случаях подсчёт будет некорректен. И главное, с такими данными мы можем посчитать только общий ROMI, но мы не узнаем ROMI отдельных рекламных каналов. Причина проста: мы знаем, сколько денег потратили на каждый рекламный канал, но не знаем, с каких именно пришли клиенты.

В связи с этим, необходимо отслеживать каждую заявку и заказ, сохраняя информацию о рекламном источнике. В этом и смысл сквозной аналитики. Без этого анализировать более чем 1 рекламный канал с не моментальными продажами не получится никак.

Логическая ошибка высокого ROMI

Основная логическая ошибка, которую сознательно, либо неосознанно, допускают многие маркетологи, это стремление к высокому ROMI. Кажется, что чем выше возврат инвестиций, тем лучше. Так ли это?

С одной стороны — да, высокий ROMI является прекрасным достижением.

С другой, следует учитывать 2 вещи:

  • ROMI показатель относительный, он не говорит напрямую о прибыли или обороте, т.е. тех вещах, которые на самом деле интересуют бизнес. Высокий ROMI вполне может быть из-за эффекта «низкой базы», и динамика его снижения при увеличении инвестиций заранее непредсказуема.

  • Сам по себе высокий ROMI — это не конечная цель, а лишь промежуточная. Поэтому кейсы маркетологов, где они гордятся высокими показателями ROMI, вызывают вопросы, если не описано, что дальше с этим делать.

Как считать? Пример:

Расчет ROMI
Расчет ROMI

Зеленым выделены лучше показатели, рыжим — худшие.

Как видим, при небольшом количестве трафика у нас максимальный ROMI, но минимальная выручка. Далее, при увеличении бюджета ROMI падает, стоимость привлечений 1 клиента растёт. До какого-то момента растёт общая прибыль, потом она начинает также падать. И наоборот, при большом трафике максимизируется ROMI уменьшается и становится отрицательным.

Зато валовая прибыль растёт и максимизируется лишь при ROI ~200%. Если же учитывать повторные заказы (LTV), картина меняется. Допустим, число повторных заказов равное 50% от числа новых заказов. Тогда прибыль максимизируется при ROI равном ~140%. Если же повторных заказов больше, выгодней удерживать еще меньший ROI.

А если повторных заказов больше? Тогда вполне возможно, что ROI ниже 100% даст максимальную долгосрочную прибыль. Понятно, что в реальных условиях даже максимизация прибыли не всегда является приоритетом: часто бывают риски, проблемы роста и многое другое. Но она явно намного важнее, чем максимизация ROI, которая является ложной целью.

Сравнение событийной (mixpanel) и сессионной (analytics) аналитики

 MixpanelGoogle Analytics
Просмотр страниц сайтаСобытия появляются вручную, что затруднительно и порой допускаются ошибки.Автоматически, через слежение за кодом.
Отслеживание воронокЛегко настраиваемые воронкиНастраивать воронки сложно, через пользовательские события
Отслеживание в реальном времениЖивой просмотр событий  в реальном времениСобытия не прослеживаются в реальном времени
Постановка задачЛегкая постановка задач, основанная на параметрахДовольно сложная настройка, через customs reports.
A/B тестированиеСбор данных о действиях пользователей с дополнительными свойствами для отслеживания показателей A/B тестовA/B тестовый фрэймворк автоматизирован, но сложен в использовании.
Отслеживание нажатия на ссылкиСложно делать это в автоматическом режиме, когда страницы меняются.Автоматизированно, основано на URL
ЦенаЗависит от data point, поэтому надо быть аккуратней и не тратить квоту.Бесплатно до 10М data points/месяц
ПоддержкаБыстрая поддержка от инженера в короткий период времениОфициальная документация — лучший источник.
ПользователиСобирает данные о действии каждого пользователя и оставленных контактахАгрегированные данные по всем пользователям

Событийная аналитика выглядит интереснее. Кроме того, она может дать не только аналитику, но и другие дополнительные возможности работы с вашими пользователями.

Мы уверены, что описанные возможности лишь верхушка айсберга. Так как знания о действиях каждого пользователя и данных, которые он оставил — еще не исследованный клондайк увеличения эффективности любого ресурса.

Уровни руководителей аналитиков данных

Задача руководителя аналитиков – масштабировать пользу от себя через свою команду. Например, если Вася – старший аналитик, то в роли менеджера Вася будет молодцом, если его команда из пяти аналитиков (и его самого) принесёт пользу хотя бы как три Васи.

Грейд руководителя обычно соответствует максимальному грейду сотрудника 1. Триггер для роста грейда руководителя – наличие трекшена по выращиванию людей до своего текущего уровня и их результативному менеджменту. Хорошо, когда руководителями становятся старшие аналитики, но жизнь сложна и иногда в порыве роста компании менеджерскую функцию приходится брать и специалистам среднего уровня.

Дополнительный анализ:  10 самых популярных методов подсчёта эффективности PR | Mediabitch

Руководитель аналитики 0

На самом деле такого грейда не существует, но я завел данную категорию, чтобы подчеркнуть, что наставничество не является менеджментом, как могут подумать некоторые начинающие наставники =)

Руководитель аналитики 1 (Analyst team lead)

Структура команды

Начинающий руководитель. Несколько аналитиков в прямом горизонтальном подчинении. Оптимально – до 5, но бывает и больше.

Наставничество

Руководителю аналитики 1 приходится растить своих ребят через наставничество. Помогать с задачами: декомпозировать большие задачи до необходимого уровня сложности, участвовать в постановках, решении, донесении результатов, учить новым подходам и технологиям.

Мотивация

Руководитель аналитики 1 занимается мотивацией сотрудников на ежедневной основе в рамках регулярных встреч с командой и отдельными сотрудниками. Формулирует вдохновляющие цели и помогает их достигать, делает так, чтобы команда чувствовала себя командой и возникала синергия от взаимодействия разных аналитиков, даже если они занимаются разными вопросами.

Экспертиза

Руководитель аналитики 1 обладает экспертизой в той части бизнеса, за которую отвечает, и является ключевым лицом, формирующим требования к данным по своему кусочку домена (например, перформанс маркетинг или клиентский продукт). Эти данные впоследствии будут переиспользоваться другими командами. Важно, чтобы они были корректны, удобно спроектированы и задокументированы. Это позволяет снижать порог входа для коллег.

Процессы

Руководителю аналитики 1 приходится заниматься выстраиванием процессов взаимодействия с бизнес-заказчиками и смежниками, чтобы команда и коллеги могли работать эффективно. При выстроенных процессах у коллег не должно возникать вопросов: к кому приходить с задачами, как их ставить, как в целом им могут помочь аналитики, как долго ждать результата, как повлиять на приоритет задачи.

С другой стороны – команда аналитиков должна находиться в одном контексте с бизнесом, они должны понимать друг друга с полуслова. Обычно это означает, что есть принятые ритуалы взаимодействия. В разных командах и компаниях они могут быть разными. Примеры: стендапы команды аналитики, регулярные встречи про приоритеты с бизнесом, семинары для обмена опытом, регулярные встречи один на один с руководителем, отчетные выступления о результатах работы аналитиков за сезон, правила работы над задачами (тикеты, код под контролем версий, нейминг метрик в отчетах и т. д.)

Подчеркну, что всё перечисленное – это артефакты деятельности руководителя, главное же – это смысл: аналитики должны приносить максимальную пользу, работать эффективно.

Руководитель аналитики 2 (Head of some analytics)

Существенное отличие от предыдущего уровня – в структуре команды и выросшей зоне ответственности.

Структура команды

У руководителя 2 существенно больше команда, поэтому в ней появляются промежуточные руководители. Обычно их 3-4. С точки зрения ответственности – всё то же самое, но в большем масштабе.

Процессы

Руководитель этого уровня занимается системными вопросами, которые помогают его команде и компании работать эффективнее. Это может касаться:

Как правило, руководитель такого уровня – опытный аналитик. Он хорошо знает, какие задачи бывают у аналитиков, с какими сложностями в процессе они сталкиваются. Одна из зон ответственности руководителя аналитики 2 уровня – удобная аналитическая инфраструктура и среда: виртуалки, jupyter hub’ы, библиотеки, облегчающие рутину, удобные витрины данных и т. д.

Является квалифицированным заказчиком для команды аналитического хранилища (DWH). Руководитель аналитики может не являться профессионалом в машинном обучении, но, безусловно, с предметной областью знаком и может говорить с data scientist на одном языке.

Хорошо понимает, когда задачу стоит решать методами машинного обучения. Это позволяет ему быть квалифицированным заказчиком для команды ML.Если компания маленькая, то руководителю аналитики на данном грейде могут быть подчинены команды DWH и Data Science.

Наставничество

Руководит руководителями 1 уровня. А значит, умеет воздействовать на команды и процессы в них без непосредственного вмешательства, а через промежуточного руководителя. Является наставником для начинающих руководителей.

Руководитель аналитики 3 (Директор по аналитике – Chief Data Officer / Chief Analytics Officer)C-level*.

Является частью топ менеджмента. Обладает отличным знанием и пониманием контекста (в том числе непубличного), в котором живет компания и рынок, цели и проблемы компании. В широком смысле отвечает за эффективность компании, помогая улучшать её с помощью аналитики и работы с данными.

Чтобы быть успешным директором по аналитике, нужно безусловно быть профессионалом в аналитике. Но описание роли директора больше похоже на описание роли любого другого директора в компании, если не учитывать предметную область.* Большие корпорации имеют сложные и разветвленные структуры.

Структура команды

Десятки или даже пара сотен человек (в зависимости от размера компании) разных специальностей:

Лидерство

Директор – безусловный авторитет и лидер своего направления. Аналитики и инженеры не хотят делать таски, они хотят влиять на компанию, продукт, клиентский опыт и делать мир лучше. Задача лидера – вдохновлять команду на крутые результаты, показывать, как цели и задачи конкретных ребят связаны с большими целями компании.

Почему это так важно для этого грейда? Безусловно, лидерство важно и на более младших уровнях, но если его не хватает, то с этим могут поддержать руководители постарше. Но когда ты самый большой начальник в направлении – помогать больше некому. Конечно, есть CEO, но его время очень дорого и ограничено, так что его помощь должна быть скорее исключением.

Прикладные задачи

Директор по аналитике занимается прикладными аналитическими задачами очень ограничено – как правило это важные исследования, на основании которых принимает решения топ-менеджмент. Что такое важные вопросы, в которых директор по аналитике участвует непосредственно, но которые при этом не являются частью построения системы? Приведу примеры:

  • построение системы kpi для всей компании и выставления целей по ним,
  • оценки профита от проектов и их ранжирование в рамках регулярного планирования,
  • построение прогнозных моделей компании и рынка,
  • исследования, которые могут поменять стратегию компании,
  • оценка потенциальных сделок M&A,
  • интеграционные проекты по результатам M&A,
  • проекты про данные, несущие большие регуляторные риски, например, на соответствие GDPR, SOX и другим дорогим аббревиатурам.

Процессы

В больших компаниях директор по аналитике (как и любой другой директор) не может контролировать каждый вопрос или задачу, которые возникают в его направлении, но при этом его функция – сделать так, чтобы результатам аналитики, на основе которых принимаются решения в локальных командах, можно было доверять, аналитика была actionable и приносила измеримую пользу бизнесу.

Директор добивается этого через найм правильных людей, их развитие и мотивацию, выстраивание процессов внутри компании (в широком смысле, не только аналитических), улучшение аналитической инфраструктуры, определение фокусов и целей команд. Чтобы нанимать лучших людей с рынка, директору приходится заниматься hr-брендом своего направления.

Цифровизация бизнеса

Сегодня даже малый бизнес имеет возможность быстро запустить рекламу для любого сегмента аудитории, настроить несколько рекламных каналов и оценить их реальную эффективность в продажах продукта.

Сквозная бизнес-аналитика позволяет оценить рентабельность вложений в те или иные рекламные каналы. С ее помощью можно отследить путь клиента от первого рекламного касания и до совершения сделки, а также повторных сделок.

Со сквозной аналитикой повышается эффективность digital-рекламы. Компании, которые отслеживают всё и принимают решения на основе данных выигрывают конкурентную гонку. Поэтому можно сказать что сквозная аналитика жизненно необходима.

Компании тратят деньги на рекламу, привлекают клиентов, получают прибыль с продаж своих товаров и услуг. Логично будет применить к интернет-маркетингу показатель возврата инвестиций ROI, а точнее, ROMI.

Return on Marketing Investment или сокращенно ROMI — это показатель рентабельности рекламных кампаний и в целом инвестиций в маркетинговую деятельность. Рентабельность оперирует такими метриками, как окупаемость, прибыль, возврат вложений.

Посчитать ROMI не так просто, как кажется. Посмотрим на простом примере.

ROMI равен 75%. Коэффициент выше 0, т.е. вроде бы всё хорошо. Но всё ли правильно мы посчитали?

Расчет ROMI
Расчет ROMI

Представим, что застройщик построил новый ЖК, создал для него сайт и запустил рекламную кампанию. Вот статистика за первые полгода:

Статистика продаж
Статистика продаж

Чем аналитика поможет бизнесу | медиа нетологии


На практике достаточно кейсов, когда управленческие решения принимаются без учёта внутренних данных. Например, на стадии становления проекта, когда данные ещё не накоплены, а нужно оперативно находить зоны роста.

Бизнес резонно вкладывает ресурсы в реализацию продукта, где «нащупывается» Product Market Fit, а для принятия решений есть только внешние бенчмарки и интуиция руководителя проекта («я так чувствую», «всегда так делали»).

Компании, которые начинают раньше собирать данные и оптимизировать с их помощью процессы, получают преимущество над конкурентами.

За стадией бурного роста следует этап насыщения продуктом. А в некоторых случаях — снижения интереса к продукту или усиления конкуренции. И здесь многие компании начинают задумываться о том, что снижение темпов роста может компенсировать эффективная работа с внутренними данными.

Растёт потребность в аналитике, который организует сбор данных, систему отчётности и поможет руководителям проектов и команд регулярно получать ответы на adhoc-вопросы, — то есть введёт в компании культуру data-driven (принятие решений на основе данных) и data-informed (синтез опыта и данных).

Звучит красиво — «введёт data-driven культуру». Но гораздо чаще на этапе насыщения бизнес панически думает не о выстраивании процессов, а о сиюминутном поиске ответа на вопрос «почему падают продажи». Для ответа на этот вопрос аналитику нужны данные — а их нет.

Маркетологу будет знаком другой кейс: большая охватная рекламная кампания работает на зону роста маркетолога. Когда эта кампания прошла и нужно подводить итоги, обнаруживается, что данных для комплексного анализа вклада этой кампании в продажи нет. И аналитик маркетологу помочь не может.

Осознанная потребность в выстраивании аналитической культуры с самого старта есть в очень маленькой доле проектов. Ещё реже встречаются кейсы специализации аналитики под потребности команд: продукта, маркетинга, продаж. При этом не стоит думать, что нанять аналитика достаточно, чтобы стать data-driven компанией.

Оцените статью
Аналитик-эксперт
Добавить комментарий