Стоит ли смотреть в сторону Data science? / Хабр

Основные навыки аналитика данных:

• Сбор и анализ требований заказчиков к отчетности.
• Получение данных с помощью языка запросов SQL.
• Применение в работе ключевых математических методов и основ статистики.
• Очистка и трансформация данных с помощью Python.
• Прогнозирование событий на основе данных.
• Анализ результатов кампаний, исследований и тестирования продуктовых гипотез.
• Способность создавать аналитические решения и представлять их бизнесу

А еще хорошие аналитики данных умеют работать с Big Data, проверять гипотезы с помощью подходов А/Б-тестирования и быть настоящими исследователями. 

Большинство работодателей просят посчитать определенные метрики, например, какие товары чаще всего возвращают покупатели. Иногда нужно рассчитать инвестиционный потенциал и скорректировать бизнес-модель.

Что требуют работодатели от аналитика данных

Мы проанализировали свыше 450 вакансий на позицию аналитика данных, открытых в августе-сентябре 2020 года. Во многих случаях требования к специалистам очень отличаются. Как мы писали выше, границы между Data Analyst, Data Engineer и Data Scientist стерты, поэтому часто бывает, что в заголовке вакансии пишут «Аналитик данных», а фактически вакансия полностью соответствует «Инженеру данных».

Минимальный набор скиллов начинающего аналитика:

1. Работать в Google-таблицах, группировать, фильтровать данные — на ходу, без перекладывания из таблички в табличку.
2. Уметь писать SQL-запросы.
3. Изучить минимум один язык программирования: Python или R.
4. Делать выводы и представлять результаты в виде интерактивных дашбордов (Tableau, Power BI).
5. Разбираться в бизнес-процессах и понимать ключевые метрики анализа эффективности.

Инструменты, которые используют аналитики

Определить, можем ли мы реализовать прогнозы по выполнению целевых показателей

Пример. Среднее число посетителей интернет-магазина в месяц — 100 тыс. человек. Стандартное отклонение — 3,5 тыс. человек.

Рекламодатель заказал CPA-стратегию и настоял на штрафе, если за отчетный период будет совершено меньше девяти тыс. транзакций. В ответ агентство предложило включить в договор бонус, если аналитика зафиксирует больше 11 тыс. транзакций.

На основе накопленной статистики датасаентист определит вероятность свершения каждой из гипотез.

Обучить модели для решения логистических и регрессионных задач

Пример. Сервис по продаже автомобилей разрабатывает приложение. В нем можно быстро узнать рыночную стоимость своего авто. В распоряжении датасаентиста исторические данные: технические характеристики, комплектации и цены автомобилей. Нужно построить модель для определения стоимости машины, которая будет загружена в базу.

Заказчику важны качество и скорость предсказания, время обучения алгоритмов. Применяя технику градиентного бустинга и модели линейной регрессии, LGBMRegressor, CatBoostRegressor и GradientBoostingRegressor, нам удалось найти оптимальное решение с RMSE 2153.

Зашифровать данные

Пример. Есть данные клиентов страховой компании. Нужно разработать такой метод их преобразования, чтобы было сложно восстановить персональную информацию участников базы. Что важно — следует преобразовать данные так, чтобы качество предсказаний не ухудшилось.

Для решения задачи численные признаки умножаются на обратимую матрицу. Математически доказано, что измененная в результате умножения матрица не снижает и не меняет предсказаний той же самой линейной регрессии.

Работать с временными рядами

Пример. Пиццерия собрала исторические данные о заказах на севере Москвы. Чтобы подготовить оптимальное количество свежих ингредиентов на складе в период пиковой нагрузки, нужно спрогнозировать количество заказов на следующий день. Датасаентисту предстояло подобрать модель для такого предсказания, чтобы метрика среднеквадратичной погрешности на тестовой выборке была не больше 48.

В чем сложность сотрудничества бизнеса и подрядчика?

Вот мы и дошли до основных сложностей на этапе первых шагов сотрудничества бизнеса и датасаентиста из агентства:

• Заказчик ставит задачу без конкретных вводных

Например, «внедрить модели аналитики для оптимизации бизнес-процессов». Непонятно, к каким метрикам это относится и что в приоритете. Такая постановка задач может привести к негативным последствиям.

Сценарий №1. Заказчик будет менять таргеты по ходу работы, но он не осознает, что процессы напрямую связаны со смыслом таргета, поэтому весь процесс и выбор методов оптимизации тоже придется менять.

Сценарий №2. Датасаентист самостоятельно выберет метрику из машинного обучения, например auc, и будет ее совершенствовать. Позже окажется, что для бизнеса эта работа была бесполезной.

• Лоскутная организация труда с максимальным разделением обязанностей

В компании могут быть аналитик для коммуникации с агентством и технологами, инженер для работы с данными и датасаентист агентства, который делает просто import sklearn и fit/predict. Такое многоуровневое разделение обязанностей отрывает датасаентиста от реального расклада. Повышается риск упустить серьезные аспекты исходной задачи, что негативно отразится на конечном результате.

• Датасаентистам не объясняют, откуда берутся данные

Data Scientist не обязан по умолчанию понимать, как и откуда вы собираете данные. Компания должна быть заинтересована, чтобы аналитик досконально понимал природу данных, иначе их обработка будет долгой и не приведет к успешному моделированию. Обязательно познакомьте датасаентиста с источниками данных перед тем, как заключать договор о сотрудничестве.

Ваша задача точно не решится быстро, если вы хотите спрогнозировать часовое энергопотребление, но собираете данные потребления только по месяцам. Датасаентист ничего не сможет сделать, пока не накопятся актуальные данные по часовому расходу энергии. 

• Датасаентистам не выдают дополнительные данные

Это нормально, что Data Scientist просит дополнительные данные.

Они могут понадобиться, если:

1. нужны еще сырые данные;
2. датасаентист хочет дополнить Data Set новыми признаками;
3. датасаентист хочет увеличить размер Data Set за счет исторических данных.

Data Scientist-ы просят данные, когда понимают, что это повысит качество прогноза.

• Датасаентистов просят использовать модные методы

Иногда клиенты выдвигают требование — изучить популярные статьи, чтобы для решения задачи использовать модный метод. Поясняю.

Сегодня Data Science — это популярная область и постоянно создается все больше методов обработки данных, но это не означает, что «раскрученный» метод даст больший профит для решения конкретно вашей задачи. В этом убедить заказчиков не всегда непросто.

Это далеко не полный список проблем, с которыми датасаентист встречается на практике. Перечень постоянно пополняется, но вы легко можете избежать ошибок при работе с датасаентистом.

Просто помните: чтобы работа с данными была полезной, важны компетенции анализа данных, машинного обучения и условия, в которых Data Scientist четко понимает бизнес-задачи. Все это в совокупности даст грандиозный результат. Желаю вам не совершать ошибок, о которых рассказал в колонке.

Исторический экскурс

Датский астроном Тихо Браге, живший в эпоху Возрождения, первым в истории человечества систематически в течение многих лет проводил астрономические наблюдения за движением планет. За годы деятельности он накопил огромный массив сверхточных данных, у которых не было обоснованных объяснений и научного применения.

Немецкий математик и астроном Иоганн Кеплер, интерпретируя данные, полученные Тихо Браге, эмпирически открыл законы движения планет. В начале XVII века, когда жил Кеплер, человечество еще не обладало математическими знаниями, которые позволили бы найти практическое применение уникальной информации.

Только почти столетие спустя три закона Кеплера обобщил Исаак Ньютон. Он применил математический анализ и законы механики, которые не были известны Тихо Браге и Кеплеру. Законы Кеплера (обобщенный анализ движения планет) подвели Ньютона к открытию закона всемирного тяготения. Именно тогда человечество сделало первый практический шаг на пути освоения космоса.

Какой вывод можно сделать из этого исторического экскурса? Даже огромный массив данных, в котором содержится уникальная и достоверная информация, не принесет практической пользы, если для его применения нет подходящих инструментов или навыков. Это особенно важно для бизнеса, результатом которого должна быть прибыль – источник роста, развития и трансформации организации.

Ищете работу, которая вам подходит

Цель этого поста — показать что есть море вариантов интересной работы.

Многим, желающим попасть в дата сайенс — будет интересно работать на позициях аналитиков и дата инженеров. Найти такую работу может быть проще, и финансовое вознаграждение, в итоге, может быть на том же или очень близком уровне.

Идти в дата сайенс без опыта работы в ИТ, примерно как захотеть стать нейрохирургом, без опыта работы в медицине. Разумнее получить хотя бы часть более простых смежных навыков, начать работать в этой сфере, и далее расти в ней «естествнным путём», получая релевантный опыт не только из теории, но и из регулярной практики работы.

Как стать аналитиком данных и где этому учат

67% специалистов по аналитике пришли в Data Science из других сфер. В основном это разработчики и маркетологи, но есть и неожиданные профессиональные бэкграунды: геммологи, звукорежиссеры и даже ядерные физики.

Чаще всего изучать аналитику начинают с профессиональной литературы, тематических статей, авторитетных блогов и профильных каналов в мессенджерах. В открытом доступе много теоретической информации, где можно собрать базовый пул теории и практики.

Какими качествами и навыками должен обладать специалист business science?

Хорошему бизнес-аналитику, работающему с массивами данных, нужно уметь:

• интерпретировать и анализировать данные – выделять из огромного объема цифр и показателей, которыми располагают современные компании, полезные для бизнес-анализа. На основании логики и анализа имеющихся данных разрабатывать прогнозы и рекомендации, работать со статистикой и математическими алгоритмами, так как бизнес-анализ основан на статистических концепциях;
• визуализировать – трансформировать выводы о тенденциях и закономерностях в визуально понятный формат, представлять информацию графически в виде диаграмм, графиков;
• эффективно коммуницировать – навык убеждения необходим для представления и защиты предложений по усовершенствованию бизнеса перед менеджментом и инвесторами – людьми, принимающими решения.

Качественная аналитика для бизнеса

Образно говоря, специалисты Business Science помогают менеджменту компании превращать цифровые данные (показатели) в добавочную стоимость (прибыль). Интерес современного бизнеса к науке о данных является потребностью в качественной бизнес-аналитике, способной правильно сформулировать проблему, предусмотреть потенциальные риски и указать оптимальный путь к цели.

Business Science – это именно то, что нужно. Наука представляет рекомендации на основе данных, сочетая современные возможности информационных технологий, лучшие бизнес-практики и даже бизнес-интуицию, которой обладают лучшие управленцы.

Кто такой аналитик данных

Неверные решения при разработке нового продукта или функции сервиса могут стоить компании репутации и денег. Чтобы этого не произошло, компании обращаются к аналитику данных. Он собирает, обрабатывает, изучает и интерпретирует данные: проводит А/B-тесты, строит модели и проверяет, как пользователи и клиенты реагируют на нововведения. Это стоит дешевле и снижает риски бизнеса.

Такие специалисты особенно востребованы в data-driven компаниях — то есть тех, которые ориентируются в решениях на big data и аналитику данных.

Например, специалисты по данным Netflix вычислили популярность сериала «Карточный домик» с помощью аналитики: зрителям оригинального британского «Карточного домика» также нравились фильмы Финчера и (или) картины, где играл Спейси. Netflix объединили Дэвида Финчера (один из режиссеров House of Cards), политические интриги и Спейси в одном проекте.

Личные качества

Хороший аналитик данных — это не только метрики и отчеты. Вне зависимости от профиля, классный специалист должен обладать гибкими навыками, которые нужны для продуктивной работы:

• Системное мышление и логика. Важно уметь анализировать, синтезировать, сравнивать и делать выводы из порой неочевидных закономерностей. Аналитик должен понимать, из каких предпосылок он исходит в своих суждениях, и проверять их корректность.
• Внимание к деталям, методичность и рациональный скептицизм. Все результаты анализа должны быть проверены, перепроверены и обоснованы. Лучше уточнить непонятные детали и усомниться даже в самом авторитетном мнении, чем запустить ненужный продукт.
• Вежливость, навыки общения и повествования. Аналитики общаются со специалистами из разных направлений: бизнес, ИТ, бухгалтерия и безопасность. Важно сохранять конструктивный и вежливый подход, не поддаваться на провокации и лоббировать интересы своего отдела.
• Терпение. Пригодится при очередном письме «концепция изменилась, давайте посчитаем заново».
• Прагматизм и деловой подход. Важно концентрироваться на тех вопросах, которые позволят улучшить показатели работы компании: увеличить доходы, сократить затраты, оптимизировать процессы.
• Стремление учиться. Хороший аналитик любит узнавать новое и расширять свой кругозор.

Маркетинговая/веб аналитика

Анализ и визуализация даных по продажам — огромная сфера. Большая часть подобных вакансий, с интересными и более творческими задачами — в онлайн компаниях.

Знания специфические для веб-маркетинга (помимо обще-аналитических):

Немного статистики

По результатам исследования консалтинговой компании Accenture, 92% высокоэффективных организаций заявили, что инвестиции в глубокую аналитику окупились, а среди низкоэффективных компаний затраты окупились только у 24% участников исследования.

Специалисты изучили причины, которые помешали некоторым бизнесам получить выгоду. Выяснили, что высокоэффективные компании делают намного больше для преодоления внутренних проблем. В результате Accenture сформировали принцип 5A в аналитике больших данных.

Принцип 5А

• Align — выравнивание ожиданий топ-менеджеров и формирование правильной команды.
• Act — запуск процесса трансформации сбора данных и их переработки.
• Adjust — корректировка подхода всех бизнес-юнитов по мере продвижения процесса трансформации.
• Adopt — использование полученных инсайтов, технологий и экспертизы.
• Adapt — изменение самих процессов принятия решений на основе аналитики на разных уровнях организации.

Вот основные причины безуспешной работы аналитики, которые выявила консалтинговая компания:

Причина 2. Не получилось или не было желания изменить корпоративную культуру. 81% высокоэффективных компаний поддерживают внедрение новаторских и экспериментальных решений. Они понимают, что не все сработает. Такой же позиции придерживаются только 25% низкоэффективных компаний.

Причина 3. Политика компании и стиль управления не готовы к переменам. Такое встречается более чем в 50% низкоэффективных компаний.

Причина 4. Недостаточная вовлеченность всех заинтересованных сторон. 75% высокоэффективных компаний внесли изменения в работе на разных уровнях управления.

Эти препятствия приводят к тому, что компании строят фабрики данных, привлекают квалифицированных и дорогих специалистов, развивают модели продвинутой аналитики и машинного обучения, но не меняют подходов к принятию решений. Результат — почти ничего не меняется.

Чтобы понять, готова ли ваша компания к цифровой трансформации, основанной на аналитике, дайте себе ответы на восемь вопросов:

Нераскрытые сокровища бесполезны

Науку о данных упоминают, когда говорят о перспективной высокооплачиваемой профессии современности или обсуждают возможности успешного бизнеса. Но действительно ли Data Science – это именно то, что всегда нужно бизнесу?

Бизнесу требуется информация, которая стимулирует действия и процессы, приносящие прибыль. Неструктурированные данные можно сравнить с еще ненайденным кладом или пока не реализованным потенциалом. Их интеллектуальная ценность скрыта от несведущих людей до тех пор, пока не примет форму, применимую в практической сфере.

Так и в корпоративных базах данных хранятся несметные сокровища информации, которая при правильной интерпретации и дальновидной стратегии может стать ключом к успеху. Business Science – данные для бизнеса, применимые к конкретным практическим бизнес-целям.

Приведем пример из далекого прошлого, повлиявший на развитие всего человечества.

Обязанности аналитика данных

Рабочие задачи Data Analyst находятся на стыке математики, программирования и продакт-менеджмента. В результате его работы компания может получать больше прибыли и делать пользователей счастливее. Обязанности аналитика данных могут различаться в зависимости от места работы и уровня квалификации.

Как правило, такой специалист проводит статистические тесты и решает бизнес-проблемы, на которые пока ответа нет. Затем составляет прогнозы, стратегии, планы и рекомендации.

От редакции

Если вы хотите стать Data Scientist, то советуем

, длящийся 5 месяцев. После обучения вы получите диплом о профессиональной переподготовке по специальности «Аналитик данных/Специалист по машинному обучению». Преподаватели — реальные специалисты из Yandex Data Factory, OWOX, Rambler, Сбербанк-Технологии, Microsoft, МТС и другие.

Откуда прийти в профессию и куда расти аналитику данных

Есть мнение, что попасть в касту аналитиков можно только с исключительными знаниями математики. Но это не так.

В аналитику обычно уходят Junior- и Middle-разработчики на Python. Если вдобавок есть базовые знания SQL — вообще отлично. В таком случае разобраться со всеми особенностями работы будет намного проще.

Также можно начать карьеру непосредственно с аналитика. Выбирайте один из десятков доступных курсов — и вперед. Высшую математику знать необязательно. Для Data Analyst уровня Junior и Middle нужно только знание инструментов работы с данными. А в большинстве случаев хватит и школьных знаний математики.

Возможностей роста для специалиста аналитики данных тоже хватает. Три самых очевидных: Data Mining Specialist, Data Engineer, Data Scientist. Первый работает непосредственно с поиском данных для аналитики, второй разрабатывает инфраструктуры данных, а третий занят прогнозированием и стратегией.

Еще один возможный вариант — BI-аналитика. Визуализация данных аналитики — это отдельный скил, и многие крупные компании ценят сотрудников, которые умеют не только анализировать информацию, но и доходчиво предоставить выводы руководству.

Примеры использования данных в business science

Сегодня аналитика данных применяется в различных предпринимательских сферах. С ее помощью компании выполняют самые разноплановые задачи. Спектр применения очень широк – от привлечения новых клиентов, разработки программ лояльности и умных маркетинговых кампаний, управления потоками товаров до определения таких рисков, как прогноз и предотвращение поломок оборудования, вычисление мошенников и недобросовестных партнеров.

Продуктовая аналитика

Это близко к маркетинговой аналитике. Пример задачи: понять паттерны по которым пользователи взаимодействуют с каким-то он-лайн продуктом (например, приложением интернет-банка).По сути, тут могут быть достаточны только базовые знания, стандартные для любых аналитиков.

Различия в data science и business science

Data Science – дисциплина, в целом изучающая анализ и обработку цифровых данных. Академический предмет включает множество современных наук, связанных со статистикой, искусственным интеллектом, проектированием баз данных. В данной области используются как структурированные, так и неструктурированные данные.

Business Science – это инструментарий точной аналитической настройки, созданный на основании достижений науки о данных. Работает только со структурированными данными. Изучает тенденции и закономерности, характерные именно для бизнеса. Business Science применим для решения конкретных задач бизнеса в разных областях деятельности, оптимизации путей их достижения и в конечном результате – максимизации прибыли.

Использование Business Science с целью анализа и определения трендов уже широко встречаются в таких отраслях, как финансы, медицина, маркетинг, розничная торговля, управление поставками, телекоммуникации и др. По факту, Business Science – это источник операционной эффективности бизнеса.

Рынок труда и будущее аналитики данных

Только за последние два года через направление Data Science Нетологии прошло более 3000 студентов, большинство из них работают на профильных позициях в российских и зарубежных компаниях. 

Со временем эксперты ожидают повышение спроса на аналитиков Big Data и представителей смежных специальностей. Чтобы оставаться востребованными, необходимо учиться и работать. 

По данным International Data Corp. (IDC), мировой доход от решений для больших данных и бизнес-аналитики (BDA) достигнет 260 миллиардов долларов в 2022 году при среднегодовом темпе роста (CAGR) 11,9 процента. В 2025 программные роботы будут выполнять большинство задач, таких как очистка и сбор данных, т.е. многие процессы станут более автоматизированными. К 2030 году Data Science уже не будет заниматься поиском и очисткой данных. Эту задачу возьмут на себя программные роботы.

В настоящее время технологии уже развиваются и достигают своих высот. Подумайте о будущем, когда искусственный интеллект будет в зените, машинное обучение — на пике, облако захватит рынок, а интернет вещей начнет проникать в большинство отраслей. Специалисту по данным потребуются лучшие навыки, будь то технические или социальные, чтобы быть востребованным к 2030 году.

Сколько зарабатывают аналитики данных в россии

Зарплата будет зависеть от опыта и географии. Так, аналитик-стажер в Воронеже получает 25 тысяч рублей, а Data Analyst в московском офисе международной компании зарабатывает 200 тысяч рублей.

В Москве аналитик данных с опытом работы от двух лет в среднем зарабатывает 134 тысячи рублей. В Санкт-Петербурге такой же специалист может рассчитывать на 101 тысячу рублей в месяц. Стажеры и Junior-специалисты зарабатывают от 60 тысяч рублей.

Сколько зарабатывают аналитики данных в сша

Больше половины аналитиков готовы рассмотреть релокацию и работать за рубежом. Средняя годовая зарплата для аналитиков данных в США составляет $62 тысячи.

Больше всего на американском рынке труда востребованы Data Scientists. Это одна из самых высокооплачиваемых специальностей со средней годовой зарплатой в $130 тысяч. По прогнозам McKinsey, в ближайшие годы разрыв между предложением и спросом у специалистов в этой области составит 50%.

Софт скиллы

В целом они практически совпадают для всех специальностей, которые работают с данными:

Многие считают профессию аналитика данных «малообщительной». Аналитик кажется нердом, который работает только с цифрами, а не с людьми.

На самом деле, все немного иначе. Аналитик данных действительно много времени проводит над анализом, но ему также важно уметь донести выводы руководителям компании или отдела. Навыки выступления перед публикой и грамотного подбора аргументации очень пригодятся. Ведь от того, насколько правильно ЛПРы поймут результаты аналитики, будут зависеть их дальнейшие действия в развитии компании или конкретного проекта.

Особняком из софт скилов стоит разве что

английский язык

. Многие компании отмечают знание английского как преимущество, но есть ряд вакансий, которые рассчитаны на работу в международных командах и с англоязычными проектами. В таких свободное владение английским обязательно.

Обязательный английский часто приятно отражается на зарплате. Вакансии в международных проектах гарантируют денежные компенсацию в 1,3-2 раза больше, чем в русскоязычных.

Сравнение бизнес-аналитиков и специалистов data science — novainfo 105

Чем data scientist способен помочь бизнесу?

Data Scientist-ы создают модели прогнозирования и динамического анализа, внедряют алгоритмы автоматизации и обучения. Например, в нашей компании они работают с библиотеками анализа данных Python, MySQL и обладают скиллами по визуализации собранных данных.

Бизнес может ставить разные задачи аналитику больших данных. Приведу наиболее популярные для нашего агентства.

Этапы работы с продвинутой аналитикой

Большую часть работы датасаентиста, на удивление, занимает не построение моделей, а подготовка данных: их сбор, систематизация, очистка и трансформация. Давайте по порядку. 

• Первый шаг при работе с большими данными — четко определить конечную цель

Она не формулируется абстрактно и должна быть измерима. Например, увеличение прибыли на 40% и более, рост конверсии на 35%, уменьшение простоя оборудования на 30%.

• Создание культуры работы с данными

Работа датасаентиста требует много данных. Очень много данных! И собирать их нужно не как попало. Качественная обработка данных напрямую зависит от культуры работы с ними, включая сбор и хранение.

Каждый специалист компании должен осознавать, что любая входящая и исходящая информация несет ценность. К сожалению, для многих это не очевидно, поэтому перед началом работы научите сотрудников бережно собирать и хранить материалы.

• Не жалейте времени на сбор данных

Чем больше услуг и клиентов, тем дольше будет формироваться база. Повторюсь, данных должно быть много! Чем их больше, тем лучше обучаются модели. Соответственно, Data Science принесет более точнее прогнозы и меньше погрешностей.

После подготовительной работы строятся разные модели. Сначала они обучаются на 75% собранных данных. После обучения модели тестируются на контрольной выборке — оставшихся 25% данных.

Модели, прогноз которых максимально совпал с реальным результатом, — самые подходящие. Не удивляйтесь, если их окажется несколько. Тут, как в математике, к правильному результату могут привести разные решения.

Близимся к финалу — проверяем результаты на боевых данных. Оцениваем разницу между прогнозом и реальностью.

Необходимо определить причину расхождения прогноза с реальным результатом (если есть). Возможно, модель обучалась на устаревших данных, или аналитики во время тестирования искусственно подгоняли результат под прогноз. В любом случае нужно провести финальную проверку и внести коррективы, чтобы повысить точность прогноза.

Это дорого

Даже с большим опытом работы в ИТ я потратил 8 месяцев, не работая и проедая все свои накопления, только на учебу, оставаясь без работы. Мой уровень ЗП в первый год после того как я нашёл работу, был ниже, чем до этого. Только спустя 2 года я вышел на тот же уровень дохода.

И это всё было достаточно страшновато, при том что у меня были своя квартира, большая финансовая подушка, и отсутствие финансово зависимых родственников. Большая часть людей, желающих поменять свою жизнь, не могут себе позволить такую траекторию переобучения, по её финансовым ограничениям.