Аналитика для геймдизайнеров и продюсеров. Часть I / Блог компании ВШБИ — Менеджмент игровых интернет-проектов / Хабр

Аналитика для геймдизайнеров и продюсеров. Часть I / Блог компании ВШБИ — Менеджмент игровых интернет-проектов / Хабр Аналитика

Каковы основные метрики аналитики?

Метрика – это отслеживаемый во времени показатель. Отбирается все – от средней продолжительности сеанса до демографических данных игроков. Наиболее весомы следующие категории показателей:

  • Клиентская метрика – вся связанная с привлечением и удержанием клиентов информация. Это данные для маркетологов, притом наиболее важные из них – DAU (ежедневная активность пользователя) и ARPU (средний доход, приходящийся на одного пользователя).
  • Метрики сообщества – сосредоточенные на поведении и развитии сообщества показатели. К этой категории относятся всевозможные социальные взаимодействия, переписка в игровом чате, а также обмен сообщениями в игре и в социальных сетях.
  • Метрики производительности – показатели, отражающие производительность приложения и возможные сбои. Сюда входит время ответа удаленного сервера, продолжительность загрузки игры или частота кадров во время выполнения квеста. Все, что может помочь разработчику улучшить информационные системы проекта.
  • Метрики игрового процесса – показатели, регистрирующие взаимодействие между пользователем и программой внутри игры. Например, проведенное на заданном уровне время или сколько раз персонаж умирал во время его прохождения. Эти метрики дают нам возможность оценить качество выполнения сценариев.

Поначалу игровая аналитика может показаться инструментом маркетологов, направленным на повышение монетизации игры. На самом деле она необходима и для обеспечения комфортных игровых условий: он позволяет понять поведение игроков на основе фактических данных.

Примеры использования игровой аналитики:

  • Зная, где и когда игрок застревает, легко настроить сложность игры.
  • Имея информацию о самых популярных игровых товарах, можно грамотно рассчитать цены на них.
  • Определив средний возраст пользователей вашего продукта, легко адаптировать для них игровой контент.

Как не надо делать churn-модель

Несколько месяцев назад мы надумали сделать модель предсказания оттока для нашего основного проекта — World Poker Club, ведь это позволит значительно улучшить его ретеншен. Задача звучит довольно-таки просто: у нас есть большое количество пользователей (как отвалившихся, так и нет) и большой объем данных по ним.


Зависимость recall и precision

Первым делом нужно, естественно, собрать данные. Изначально мы понимали, что сделать хорошую модель универсальной тяжело, поэтому мы собрали большой датасет, который включает в себя поведение именно в нашей игре: вид авторизации, девайс, агрессивность игры, качество игры, платежи, уровень, количество матчей, информацию по оппонентам (гипотеза: пользователям не нравится играть с all-in’щиками), использование различных фичей (например, hold’ em/omaha, силомер) и т.д.

Итого в датасете было 68 колонок, описывающих сессию игрока всесторонне. Конечно, мы не забыли и про динамику; некоторые фичи отвечали за изменение поведения пользователя. Как таргет-переменную мы выбрали бинарную величину: придет ли пользователь в следующие 14 дней. Всего же в анализе была информация о 500 тысяч пользователей.

Естественно, датасет получился несбалансированным — большинство пользователей все-таки возвращается в течение 14 дней. Мы использовали undersampling, так как могли легко увеличить объем выборки, взяв больший промежуток времени. Здесь стоит оговориться, что сверху мы также ограничены: игра меняется, поэтому мы не можем брать слишком старую информацию. Так как в апреле игра претерпела очень большие изменения, этот месяц стал для нас наиболее старым.

Начали обучать классификатор. В рамках разработки были протестированы несколько различных моделей, начиная от логистической регрессии и заканчивая бустингом. Наиболее точную модель показал XGboost, точность которой на валидации составила 96%, на тесте — 90%. Что ж, модель есть; осталось понять — что делать дальше?

Во-первых, у нас появилось понимание, от чего зависит желание продолжать игру. Посмотрим F-score:


F score фичей для классификации to_churn

Таким образом, вероятность возврата сильнее всего зависит от времени жизни в игре; количества сессий; среднего соотношения количества фишек, что человек берет за стол, к общему; среднего интервала между сессиями за последние 14 дней; и др. В целом, мы были не особо удивлены этими результатами, но все же и рады, что наши предположения подтвердились.

Во-вторых, мы знаем пользователей, которые планируют не открывать приложение. Что же мы можем с этим сделать? Мы предложили: давайте этим пользователям дарить фишки через push-уведомления, чтобы замотивировать их снова заглянуть в игру. Гипотеза есть — можно проверять.

Что же в итоге? Ретеншн незначительно подрос, но количество матчей — нет. Оказывается, пользователи переходили по пушу, заходили в игру, шли all-in — и больше к нам не возвращались. Таким образом, мы ничего не могли сделать с этими людьми.

Как стать игровым аналитиком

В игровую аналитику приходят люди из самых разных профессий – маркетологи, физики, инженеры разных направлений, тестеры, сотрудники техподдержки и так далее. Очень хорошо, когда у аналитика есть технический бэкграунд и он может понимать как работают и игры и БД, но при этом неплохо также, если он может взглянуть на всё происходящее с точки зрения маркетолога (хотя этот навык приобретается с опытом).

Дополнительный анализ:  Нужно больше золота. Чем занимается игровой аналитик?

Если у вас нет математического бэкграунда, то это не помешает вам стать аналитиком, однако ваш путь будет сложнее, потому что вам придётся постоянно заниматься самообразованием (курсы, лекции, статьи, вебинары).

В геймдеве очень важна ещё и сама по себе любовь к играм, умение в них разбираться, а также уважение игр как жанра и как бизнеса. Для того, чтобы превратиться, например, из финансового аналитика в игрового, потребуется некая экспертность на уровне игрока.

То есть, нужно научиться чувствовать, что именно привлекает людей в игре. Например, на работу в компанию, занимающуюся разработкой популярной игры League of Legends, не нанимают людей, которые не достигли в ней определённого уровня. Так что будьте готовы к тому, что на собеседовании вас спросят, в какие игры вы играете.

Свой путь в аналитике можно даже начать с того, что стать фанатом какой-либо игры, предлагать какие-то полезные улучшения, и тогда вас тоже могут заметить разработчики и пригласить к себе работать (такие случаи реально были).

Базовые навыки аналитика игр: любовь к играм, знание SQL выше среднего, навык визуализации своих отчётов, знание R или python (но это необязательно), работающая голова умение фильтровать свои идеи.

Когда аналитика уже приняли на работу, то, чтобы успешно выполнять свои функции, он должен в деталях понимать текущее состояние проекта во множестве разрезов, и при этом оставаться в курсе всех последних событий и трендов на рынке.

Серые кардиналы игровой индустрии

Постепенно ситуация менялась. За разработку взялись специальные команды, появилось разделение на должности. Некоторые позиции “расщепились” в несколько, и вместо одних дизайнеров появились геймдизайнеры, дизайнеры уровней, дизайнеры боевых систем, интерфейсов, ИИ и много других.

Этими людьми стали аналитики, которые полагаются не на чуйку Ночной мартышки, и не гадают на кофейной гуще. Они сопровождают любое изменение, происходящее с игрой на всех стадиях, хладнокровными цифрами и помогают видеть картину в целом.

Они анализируют рынок при разработке концепта, изучают заинтересованность геймеров в тематиках и стилях, проводят А/В тестирования с фокус-группами, прогнозируют продажи и помогают принимать решения, полагаясь на четкие данные.

На ранних этапах разработки они оценивают аудиторию, строят прогнозы по платформам — как сейчас с Xbox Series X и PS5 — помогают готовить дизайн-документы и графики, по которым потом планируют бюджеты и оценивают успехи.

Это бойцы невидимого фронта, в руках которых находятся мощные инструменты и, зачастую, судьбы как отдельных игры, так и целых серий. Один их отчет, и некогда казавшаяся перспективной кампания идет под нож или массивное дополнение перерастает в полноценный сиквел.

Например, специалисты Microsoft потратили несколько месяцев на то, чтобы оценить интерьеры геймеров, узнать их предпочтения и помочь команде дизайнеров определиться с внешним видом нового поколения Xbox.

Во время разработки популярной сегодня Fall Guys был проанализирован рынок баттл-роялей и выбрана максимально свободная ниша — успех этой игры не даст усомниться в правильности решения, за которыми стоят цифры. Есть и другой пример: на основе цифр продаж Respawn решила не делать триквел Titanfall, потому что первые две части не были коммерчески успешными. Его, по слухам, все же делают, но не так рьяно, как могли бы.

Немалую роль в игровой индустрии играют аналитические компании и внешние независимые исследователи. Они оценивают финансовые успехи, продажи, считают копии, строят прогнозы и сравнивают конкурентов. На основе их данных говорят о превосходстве одной платформы над другой или том, что одной любви геймеров оказалось недостаточно для того, чтобы игра была признана финансово успешной.

Компании вроде NewZoo или NPD на регулярной основе предоставляют данные о продажах отдельных сегментов рынка, снабжают их своими выводами и оценкой.

https://www.youtube.com/channel/UC1KpzxuhaJZP7d_ipZj7k_A

Когда идет речь про инсайды игровой индустрии, знающие открывают твиттер. Тут собрались такие ребята, как Klobrille, Dusk Golem и Джейсон Шрайер. Нужны цифры? Тогда стоит присмотреться к Мэту Пискателла, Даниэлю Ахмаду, BenjiSales или Джеймсу Прендергасту.

Впрочем, есть и пример Майкла Пактера, к чьим прогнозам уже давно перестали прислушиваться, потому что он дискредитировал себя не одним десятков неудачных заявлений… Хотя есть слухи, что за этим сумасшествием кроется своя логика.

Но для серьезных инсайдов стоит следить за этими компаниями, которые регулярно мелькают в новостях про игры:

  • Piper Jaffray
  • Cowen & Company
  • DFC Intelligence
  • Ampere Analysis
  • EEDAR
  • IDC

Есть свои аналитики и в среде журналистов. Например, в этом деле собаку съели издания Business Insider и GameIndustry.biz, ориентированные на игровой индустрии. Они не уделяют значительную часть внимания геймплею, механикам и прочим актуальным для геймеров деталям, зато считаются королями цифр и имеют постоянные контакты среди ритейлеров, разработчиков и аналитических компаний.

Дополнительный анализ:  Дневник Трейдера - Форекс прогнозы. Сделки. Сигналы. - TORFOREX.COM

Хотя обычная игровая аудитория про них почти ничего не знает, роль этих изданий в индустрии не стоит недооценивать. Они вестники изменений, они рассказывают о достижениях, но и вскрывают болезненные явления. А любой редактор игрового издания обязательно просматривает отчеты, чтобы на их основе подготовить что-то доступное для массового восприятия.

Системы управления базами данных (субд)

Шахтёры погружаются в шахты, а аналитик — в данные. Все аналитические данные из игр хранятся в БД, откуда их необходимо достать, обработать и привести к читаемому виду.

Какие данные могут храниться в БД? Здесь дело ограничивается лишь вашей фантазией и командой программистов, которые пишут игру — в нашей практике встречались экзотические данные о том, сколько пользователь сделал кликов мышью (нам так и не удалось понять, для чего это было — кажется, just for teh lulz).

Нам, как игровому издательству, наиболее интересны следующие данные — с какого источника пришёл игрок, зашёл ли он в игру, вернулся ли на второй/третий/сотый день, когда внёс первый платёж (или не внёс) и в каком размере.

С базами данных приходится общаться на их собственном языке — просто так прийти к ней и сказать «Голова, дай денег!» не получится.

Самой распространённой СУБД, на данный момент, является MySQL и MS SQL соответственно. Основам работы с ними можно научиться не выходя из дома, например, здесь.

Data mining

fallout-terminalData mining — это процесс исследования больших объемов данных, с целью поиска неявных закономерностей. Например, кластерный анализ — разделение игроков на группы по схожему значению определённых параметров (активность, тип активности, платежеспособность и т.п.). Выявление кластеров позволяет применять наиболее эффективные типы коммуникаций к различным группам игроков. Прогнозная аналитика (predictive analytics) позволяет предсказывать определенный исход для выбранных гипотез на основе обученной модели на архивных эмпирических данных. Например, можно предсказать, что определенная группа игроков совершит такое-то действие (покупка, уход из игры и т.п.). Для занятия data mining нужны серьёзные знания теории вероятности и математической статистики.

Data mining, в том числе, применяется при построении и изменении внутриигровых экономик — например, мы применяем его при оперировании нашим танцевальным симулятором MStar.

Смежные области

Заинтересованные обязательно найдут, чем заняться в игровой сфере. Можно отвечать за коммуникацию в социальных сетях и помогать набирать миллионы подписчиков аккаунтам. Взяться за интернет-маркетинг, где закупать трафик, работать с изданиями и партнерами.

Точек входа в геймдев предостаточно. Можно попасть на стажировку и зарекомендовать себя. Еще один вариант — пойти новостником в одно из игровых изданий, учиться и со временем перейти на работу в игровую студию, издателя или агентство.

Таких примеров достаточно:

  • Геворг Акопян стал боссом Riot Games в России
  • Дмитрий Лазарев уехал в голландский офис в Blizzard
  • Максим Самойленко — в Blizzard в Париже
  • Слава Мостицкий пару лет успешно работает за Destiny 2
  • Захар Бочаров переехал из Москвы в Киев заниматься продвижением S.T.A.L.K.E.R. 2

Самый продуктивный вариант — не ограничиваться только игровой индустрией, а пойти по пути профессионала, который решает задачи, а не оперирует в одной области. Классный аналитик, маркетолог или менеджер проектов могут адаптироваться для работы в игровой индустрии, энергетическом секторе, медицине и даже в области космических стартапов.

Всего за 6 месяцев занятий в GeekBrains можно получить квалификацию менеджера проектов. За год на факультете инженера данных получить не только знания, но и весь базовый опыт работы. При этом, нередки случаи, когда усердные студенты своими проектами привлекают внимание так, что их забирают работать еще во время учебы. Тем более, если знать программирование или обладать другими полезными навыками.

Сейчас все эти профессии востребованы даже больше, чем раньше. Мы научили компьютеры собирать данные, используем машинное обучение для анализа больших массивов, но мир после пандемии уже не будет таким, как прежде. Чтобы понять, куда ступать и взаимодействовать, нужны новые специалисты, не связанные прошлыми привычками.

Так что открывайте GeekBrains и смотрите, может быть вы сможете реализовать себя как:

Чем вообще занимается игровой аналитик?

Игровой аналитик собирает и исследует данные. По результатам исследований, аналитик строит прогнозы по развитию и даёт рекомендации.  Важно точно сформулировать цель анализа и правильно сгруппировать данные — тогда исследование обретёт прикладной смысл и ответит на поставленные вопросы.

Учебники описывают обязанности аналитика как «Получение данных, выборку информации, её анализ и получение знания». Ключевая задача игрового аналитика — оценить эффективность проекта,
маркетингового канала или менеджера проекта. Он оценивает расходы и перспективы их55b8c892cf1f02836f97ab378c1f9ecc_400x400 последующего возвращения. Метрики и причинно-следственные связи определяют курс развития проекта.

Аналитик отдела маркетинга в игровом издательстве анализирует затраты на рекламу и оценивает эффективность кампании. Он вычисляет ROI, показатели CPA (Cost Per Anything)-каналов, подсчёт органики и её параметров, собирает сводки по метрикам проектов (DAU, MAU, Revenue и так далее), анализирует перформанс проектов (ARPU, LTV), даёт рекомендации по её улучшению. Говоря человеческим языком и без использования аббревиатур, игровой аналитик в издательстве.

Дополнительный анализ:  Смотрим позиции и площадки Яндекс.Директа в Google Analytics / Блог компании iConText / Хабр

Самые распространённые маркетинговые аббревиатуры и термины

Ряд аббревиатур сбил вас с толку? Не пугайтесь, сейчас разберём их по порядку.

ROI (return on investment), говоря по-русски — окупаемость инвестиций за определенный период. Этот коэффициент используется, чтобы понять, отбились ли вложенные средства и принесли ли они прибыль. Или не принесли.

CPA (cost per action) — модель оплаты рекламы за конкретное действие пользователя, например, регистрацию в игре (CPI), покупку в интернет-магазине (CPO), участие в голосовании и так далее.

CPM (cost per millenium) — модель оплаты рекламы за тысячу показов. Об эффективности CPM-модели всегда шли споры, поэтому в последние годы крупные рекламодатели массово отказываются от её применения, предпочитая CPA, а СРМ оставляют только для имиджевых целей. К тому же при работе по CPM модели есть риск получить накрутку показов рекламного объявления (боты, тизерный трафик, редиректы и т.п.)

CPC (cost per click) – модель оплаты за клики по рекламному объявлению. При такой модели очень важно иметь целевое рекламное объявление (максимально отвечающее целевой аудитории вашего продукта), чтобы не платить за не релевантную аудиторию.

DAU (daily active users) — количество уникальных пользователей, которые хотя бы раз в день зашли в игру. MAU (monthly active users) — аналогично DAU, но показывает количество пользователей за месяц.

Revenue — выручка с проекта за условленный период.

Retention — показатель, характеризующий пользователей, возвращающихся в игру через определенный период. Например, retention второго дня показывает, как много игроков продолжили играть на второй день после регистрации. Существует несколько методов подсчета retention, например, в социальных играх в качестве retention иногда берут отношение DAU/MAU ARPU (average revenue per user) — показатель средней выручки с одного пользователя за определённый период (например, за месяц это (revenue за месяц)/MAU).

LTV (lifetime value) — метрика, показывающая, сколько денег в среднем приносит одна регистрация за все время, проведенное в игре. При подсчете LTV нужно отсекать концы распределения, т.е.тех, кто ушел из игры в первые дни и тех, кто играет годами (если их не большинство :)). Понимание этой величины задает верхний потолок для цены за привлечение в игру. При определение всех метрик, связанных с выручкой, мы принимаем, что помимо цены привлечения игрока мы больше не несем никаких затрат, хотя это, очевидно, не так. В реальности нужно учитывать издержки на обслуживание серверов, выплаты royalty (при издательской модели), зарплату маркетологов и т.п.

Кроме того, не стоит забывать о сборе статистики с проектов и приведение их к понятному для восприятия виду — это особенно важно, когда приходится иметь дело с большим количеством игр (и платформ, на которых они работают) одновременно, так как каждый разработчик использует свои методы сбора и выдачи данных.

Совсем уж абстрактно, аналитик отвечает на извечный русский вопрос: «Кто виноват и что делать».

Чем он занимается

У аналитика (не только игрового) есть две главные задачи – отыскивать узкие места проекта и находить точки его роста. 

Если смотреть более детально, то задачи игрового аналитика будут зависеть от размера компании:

В больших компаниях аналитик занимается только игрой, а анализом рынка, аналитикой каналов трафика и т.д. занимаются маркетологи и другие специалисты. Однако сам аналитик при этом понимает, что и как функционирует в этих областях.

В маленьких компаниях подобного разделения не существует, и аналитик анализирует всё, что похоже на данные, а также тестирует проект после внесения изменений.

Что именно подразумевается под “анализом игры”:

  • проектирование системы сбора данных;

  • внедрение средств аналитики в проекты;

  • установление KPI внутри проекта;

  • мониторинг и расчёт метрик, в том числе, наблюдение за воздействием на них обновлений;

  • создание отчётов о результатах обновлений;

  • поиск возможных проблем, в том числе, планирование экспериментов, их организация, подсчёт и трактовка результатов;

  • формулирование гипотез по улучшению проекта на основе своих отчётов.

Какого-то фиксированного разделения аналитиков на сферы ответственности не существует – опять же, всё зависит от компании. Например, в ней может работать аналитик игровых событий (аналитик-геймдизайнер), маркетинговый аналитик, продуктовый аналитик и другие.

Задачи аналитиков меняются ещё и в зависимости от жанра игры. В match3 играх (играх, в которых нужно совместить три объекта, чтобы они исчезли) главная задача – анализ уровней. В MMO играх (например, Warcraft) главное – баланс валют (как игрок их накапливает, что у него доступно на каждом конкретном уровне, что ещё ему предложить).

В играх жанра Social Casino (азартных) нужно вырабатывать оптимальную стратегию подтасовки результатов, которая позволила бы удерживать игрока. В гиперказуальных играх, которые монетизируются за счёт рекламы, нужно проанализировать, как можно удерживать игрока, например, сделать геймплей максимально спокойным, чтобы ему было приятно оставаться в игре.

Оцените статью
Аналитик-эксперт
Добавить комментарий

Adblock
detector