Инженер данных и инженер данных

Data analyst, data engineer и data scientist — это три разные роли в сфере анализа данных со своими особенностями и зоной ответственности.

Развитие науки о данных дало старт нескольким профессиям с префиксом «дата-», которые несложно перепутать. Работа дата-сайентиста и дата-инженера во многом похожа, но эти специалисты не взаимозаменяемы и выполняют разные задачи. Позиция Data Engineer — прикладная, а Data Scientist — более творческая и аналитическая.

Дата-аналитиков и дата-сайентистов часто путают, а иногда даже спрашивают в поисковиках: «Смесь аналитика данных и дата-сайентиста». Сферы их работы могут быть похожи, но деятельность и результат отличаются. Вместе с Натальей Соколовой, руководителем отдела аналитики в крупной компании, и Леонидом Саночкиным, научным сотрудником AIRI, разбираемся, в чем же все-таки разница.

Недавно мы писали статью про самые востребованные IT-профессии 2024 года. И поняли, что специалисты по работе с данными будут очень нужны на рынке труда. Появится много вакансий для дата-сайентистов и дата-аналитиков. Но проблема в том, что эти роли часто путают. Сегодня расскажем про их задачи, обязанности и навыки. Выясним, кто есть кто. Вдруг ты захочешь стать аналитиком данных или уйти в Data Science. Почему бы и нет? Это отличная идея!

Мир цифровых профессий поражает своим величием и многообразием. Человеку неискушенному легко в нем запутаться. Однако и тем, кто видит в терминологии «очень много знакомых букв» зачастую непонятны нюансы, скрывающиеся за разницей в одну-две буквы в названии профессии или направления деятельности.

Вы сможете понять все, что угодно, если пройдете наши программы «Когнитивистика» и «Лучшие техники самообразования». А мы сегодня поговорим про аналитику данных, Data Science и разницу между Data Analyst и Data Scientist. Начнем с определения терминов.

Если ты хоть раз задумывался о работе с данными, то точно сталкивался с понятиями data analyst, data engineer и data scientist и думал: кто все эти люди, чем они занимаются, есть ли разница или это все один специалист? Небольшой спойлер: это все разные специалисты и их отличительный фактор — основные задачи, над которыми они работают.

Например, задача Data Scientist состоит в том, чтобы извлекать идеи из необработанных данных. Инженер данных занимается разработкой и обслуживанием конвейеров данных. Аналитик данных в основном предпринимает действия, которые влияют на сферу деятельности компании.

В статье мы детальнее рассмотрим каждое понятие и разберем основные навыки, которыми должны обладать все три специалиста.

В этом материале мы разобрали, кто такие data analyst, data engineer и data scientist и какими навыками они должны обладать. Несмотря на то, что сфера данных все еще активно развивается, такие специалисты очень востребованы на рынке труда и уже со старта в этом направлении можно зарабатывать от $700, если обладать необходимыми навыками. Если ты находишься в поиске курсов по данному направлению, советуем обратить внимание на курсы от DAN.IT, где за 6 месяцев студент получит базовые знания по обслуживанию баз данных, будет иметь продвинутые знания по обработке и нормализации данных, работать с инструментами PowerBI, Tableau и смогут на практике понимать потребности бизнеса и разрабатывать соответствующие бизнес-решения.

Кто владеет информацией — тот владеет миром. Кому же принадлежит мир сегодня? Людям, которые обрабатывают терабайты данных и получают из них ценные инсайты — специалистам по Data Science и аналитикам данных. Поговорим о разнице этих профессий.

Чем занимаются дата-сайентисты и аналитики данных

На первый взгляд, эти специалисты похожи: они собирают и анализируют данные, чтобы сделать выводы и ответить на вопросы бизнеса. Но между аналитиками и дата-сайентистами есть важные различия.

Аналитик ищет ответы на вопросы «Что происходило?» и «Почему это происходило?». Например, какие продукты компании клиенты покупали чаще всего и почему.

Дата-сайентист анализирует не только прошлое, но и смотрит в будущее. С помощью алгоритмов он может находить более сложные закономерности и предсказывать события.

Аналитик проводит короткие исследования, которые занимают от 1 дня до недели.

Дата-сайентист работает с более длительными проектами, которые требуют недель и даже месяцев работы.

Аналитик чаще общается с заказчиками и должен уметь переводить с языка данных на человеческий.

Дата-сайентист обычно работает в команде с техническими специалистами и менеджерами проектов.

Какие навыки нужны в этих профессиях

Навыки аналитиков и дата-сайентистов пересекаются. Эти специалисты хорошо разбираются в математической статистике, играюче добывают нужную информацию из таблиц или баз данных, а ещё уверенно владеют SQL и Excel. Но есть и отличия.

Аналитик больше погружен в бизнес-процессы, понимает экономические метрики и умеет красиво и доступно представлять информацию заказчикам.

Дата-сайентист глубже понимает математику, умеет программировать и применяет машинное обучение.

Как стать аналитиком или дата-сайентистом?

Выбирайте один из практических курсов от Академии Eduson: «Аналитик данных» или «Специалист Data Science». Проходите обучение в удобное время, получайте сертификат и стройте карьеру в мире данных.

Пожалуйста, соблюдайте правила общения в блогах компаний

Кто это и что должен уметь

Data Scientist – это специалист в области данных, который использует продвинутые методы статистики и машинного обучения для создания моделей, предсказывающих будущие события. Он работает на стыке программирования, математики, статистики и бизнес-знаний. Его задача – преобразовывать большие и сложные объемы данных в понятные и эффективные модели машинного обучения, которые можно использовать для:

Дата-аналитик смотрит на состояние бизнеса здесь и сейчас, исследуя ретроспективные данные. А Data Scientist заглядывает в будущее с помощью своих моделей. Он может спрогнозировать продажи, тренды и последствия тех или иных решений. Немножко аналитик, капельку ученый и 100% – волшебник.

Data Scientist

Работа дата-сайентиста требует глубоких знаний и умения видеть картину в целом. В его основные задачи входит:

Как видишь, задачи дата-аналитика и Data Scientist  довольно сильно отличаются. Посмотрим на скилы.

Что должен знать и уметь Data Scientist

Дата-сайентисты – это профи с широким набором навыков. Вот что им нужно для работы:

Для профессии Data Scientist также важно развивать софт скилы. Их список будет таким же, как в случае дата-аналитика.

Перспективы карьеры Data Scientist в IT

Дата-сайентисты могут расти до высоких позиций, таких как Senior Data Scientist, руководитель отдела аналитики и Chief Data Officer. Либо выбрать нишу и работать с тем, что им интересно (например, с изображениями и текстом или в сфере кибербезопасности).

Это популярная и высокооплачиваемая специальность с большими возможностями для развития. Количество вакансий для таких профи будет стремительно увеличиваться, потому что данные, машинное обучение и искусственный интеллект имеют огромное значение в нашей жизни.

Что нужно знать аналитику и дата-сайентисту?

Дата-аналитику важно знать SQL для эффективной и самостоятельной работы с базами данных и выгрузки данных из них. Python нужен для обработки больших массивов данных. Я чаще всего использую аналитические библиотеки Pandas, NumPy, Scikit-learn, а также графические Seaborn, Matplotlib. Желательно знать BI-инструменты, например Power BI.

В дополнение пригодятся любые таблицы: Excel или Google Таблицы. Они нужны, чтобы делиться информацией с сотрудниками других подразделений. Например, некоторые готовы воспринимать данные лишь в виде презентаций PowerPoint.

Из софт-скиллов необходимы самостоятельность и любознательность. В компании важно налаживать отношения. Также не стоит рассчитывать на то, что за вас все будут решать старшие коллеги или отвечать на ваши вопросы моментально. Некоторые вопросы можно просто погуглить.

Стек навыков у дата-сайентиста отличается в зависимости от специализации: ML-инженеру достаточно базовых знаний SQL, потому что его задача — получить данные, изучить и положить обратно. Data-инженер, который строит весь пайплайн (процесс) работы с данными в компании, должен знать способы и места хранения данных, в какой базе они находятся и как пополнять их. Такой инженер не будет обучать новые модели на этих данных — он скорее будет их предоставлять.

Также в работе важны база и математическая подготовка, понимание вероятностных моделей. Все это нужно для того, чтобы понимать, как работают методы. Но в последнее время сфера становится более дружелюбными, и сталкиваться с этим придется не каждый день. Например, мидл может объяснить джуниору, как лучше сделать, или при выборе метода будет дано простое объяснение формул и область их применения.

Обязанности инженера данных

Вы также можете найти их на моем канале. Ладно, а теперь давайте поговорим о деньгах. Если мы посмотрим на данные, предоставленные Indeed, опытные внутренние аналитики данных в Соединенных Штатах могут зарабатывать более 120 000 долларов в год. Ученый по данным может зарабатывать до 190 000 долларов в год. И инженер данных зарабатывает примерно столько же, сколько ученый по данным, около 190 000 долларов.

Теперь, если речь идет о фрилансерах, аналитики данных могут зарабатывать от 36 до 45 долларов в час. Фрилансеры-ученые по данным зарабатывают от 25 до 50 долларов в час. И зарплата фрилансеров-инженеров данных составляет около 48-64 долларов в час.

Итак, как вы видите, друзья, ученые по данным и инженеры данных обычно зарабатывают больше, чем аналитики данных. Это потому, что им требуются более серьезные технические навыки. Ладно, люди, это завершает наше сравнение между аналитиком данных, ученым по данным и инженером данных. Не стесняйтесь делиться своими мыслями в комментариях. И если вы хотите улучшить свои навыки в области анализа данных, науки о данных или инженерии данных, я подготовил для вас лучшие ресурсы.

Кто такой инженер данных?

Data engineer (инженер данных) — отвечает за разработку и поддержку инфраструктуры хранения и обработки данных. Они строят и управляют системами сбора, хранения и обработки данных, разрабатывают и воплощают решения по базам данных, ETL (extract, transform, load) процессов и других инструментов для эффективной работы с большими объемами данных. Инженеры данных также отвечают за обеспечение надлежащего качества данных, их интеграцию и обеспечение доступности для аналитиков и других заинтересованных сторон. Data Engineering также включает в себя разработку платформ и архитектур для обработки данных.

Инженер данных разрабатывает основу для различных операций с данными, он отвечает за разработку формата, над которым будут работать исследователи и аналитики данных.

Data Engineers должны работать как со структурированными, так и с неструктурированными данными. Поэтому им нужен опыт работы с базами данных SQL и NoSQL.

Такие специалисты имеют дело с большими данными и участвуют в многочисленных операциях, таких как очистка данных, управление, преобразование, дедупликация данных и не только.

Инженер данных более опытен в основных концепциях и алгоритмах программирования. Роль инженера данных также тесно связана с ролью инженера-программиста. Почему? Потому что инженер данных разрабатывает платформы и архитектуру, которые используют рекомендации по разработке программного обеспечения.

Например, разработка облачной инфраструктуры для облегчения анализа данных в реальном времени требует различных принципов разработки. Поэтому построение интерфейсного API — одна из должностных обязанностей дата-инженера. Кроме того, инженер данных хорошо разбирается в инструментах проектирования и тестирования.

В чем отличие аналитика от сайентиста?

У аналитика данных есть самое простое определение: это человек, который работает с данными, обрабатывает их, интерпретирует и получает из них ценные для бизнеса инсайты. Получив необработанную информацию в построчном виде, он создает отчеты и дашборды, отвечает на вопросы бизнеса и дает свою оценку и рекомендации происходящему.

Аналитик часто общается с командой и бизнесом, чтобы лучше понять бизнес-процессы.

Data Scientist обрабатывает большие объемы информации, анализирует их и на этой основе разработать модель, которая «предскажет будущее». Созданные дата-сайентистом алгоритмы помогут оптимизировать логистику транспортной компании или предположить, кто из сотрудников скоро уволится, изучив его рабочий день.

Такие специалисты не только смотрят в будущее, но и занимаются наукой, передавая свои знания другим. Для работы им нужно знать математические основы и принципы работы машинного обучения, понимать основы бизнеса или той сферы, в которой разрабатывается проект.

Отличия дата-сайентиста от аналитика данных. Больше карточек в посте в нашей группе в VK

Основное отличие аналитика и дата-сайентиста заключается в том, что первый работает с ретроспективными данными здесь и сейчас и помогает бизнесу принять правильное решение на их основе. Второй же смотрит в будущее и создает такие модели, которые могут упростить, модифицировать или же найти креативные решения в работе компании.

Время работы специалистов также отличается: если неделя работы над одним отчетом для аналитика — часто непозволительная роскошь, то сайентист может работать над проектом месяцами. Это связано с тем, что отчеты по продажам должны быть сделаны быстро, а аналитические модели нужно сначала обучить, чтобы они давали хороший результат и действительно помогали в работе.

Роль, навыки и задачи

Data Analyst играет ключевую роль в превращении данных в ценные инсайты. Это профи, который помогает компаниям осмысленно использовать информацию для принятия важных решений. К нему приходят, чтобы оценить эффективность работы, найти возможности для развития и подсветить проблемы. Он как доктор, который следит за состоянием бизнеса. Только вместо градусника у него разные отчеты. У нас есть несколько статей про дата-аналитика. Обязательно почитай их.

Кто такой дата-аналитик

Дата-аналитик – это специалист, который занимается поиском, сбором, и анализом информации. Он может работать в самых разных сферах, например:

Этот список можно продолжать, потому что дата-аналитика полезна в каждом сегменте бизнеса. Без нее компания как слепой котенок – не понимает, что делать и куда двигаться. Или как недальновидный человек в темном лесу без фонарика и компаса. Не надо так. Теперь ты знаешь, кто такой дата-аналитик. Перейдем к его задачам.

Чем занимается аналитик данных

Аналитик – это детектив и исследователь. Вот его ключевые обязанности:

Дата-аналитик – это очень интересная и ответственная профессия. Такие специалисты во многом влияют на то, станет бизнес успешным или нет. Потому что решения принимаются на основе их выводов и отчетов. Как тебе такая роль?

Что нужно знать дата-аналитику для работы

Если хочешь увидеть все, что должен уметь Junior Data Analyst, посмотри программу наших курсов. Там полный список необходимых знаний и навыков. Мы перечислим некоторые из них:

Среди софт скилов для data-аналитика можно выделить:

На наших курсах по дата-аналитике есть отдельный модуль с софт скилами, английским и занятиями по трудоустройству. Для поиска первой работы это важно.

Карьерный путь дата-аналитика в IT разнообразен. Можно расти до должности Senior Data Analyst или Team Lead, перейти в бизнес-аналитику, продуктовую аналитику, а также Data Science. Стать фрилансером или запустить собственный курс. Если говорить о деньгах, то средняя зарплата аналитика данных в Украине – $1500.

Попробуй себя в роли дата-аналитика на нашем бесплатном онлайн-марафоне. Так ты точно поймешь, нравится тебе это или нет. Перейдем к  дата-сайентисту.

Дата-аналитик и Data Scientist – отличные варианты профессий для тех, кто любит работать с данными. Приходи на курсы и бесплатные марафоны от GoIT.

В чём отличия между специалистами

Различия. Хорошо, давайте разберем различия между учеными по данным, аналитиками данных и инженерами данных. Ученые по данным похожи на решателей проблем в мире данных. Они погружаются в сложные вопросы и используют данные для прогнозирования. Аналитики данных – это детективы данных. Они собирают, очищают и анализируют данные, чтобы помочь бизнесу принимать более умные решения. Инженеры данных – это технические строители. Они создают и поддерживают системы, которыми пользуются ученые по данным и аналитики для работы с данными.

В дополнение к этому, есть некоторые дополнительные детали. Ученые по данным склонны к статистике и машинному обучению. Аналитики склонны к математике и бизнесу. А инженеры имеют крепкий фундамент в информатике и инженерии.

Итак, как вы можете видеть, друзья, у каждой роли есть свои суперспособности в мире данных. Как выбрать? Хорошо, эти работы имеют много общего. Они все имеют дело с данными и цифрами. Но вы можете спросить, какую из них выбрать? Ну, друзья, выбор правильной роли зависит от ваших навыков и интересов. Если вы любите использовать данные для решения проблем и прогнозирования, выбирайте ученого по данным. Если вам нравится копаться в данных, чтобы помочь бизнесу принимать умные решения, выбирайте аналитика данных. Для тех, кто любит идею создания и поддержания систем данных, выбор – инженер данных. Тем не менее, не забывайте, друзья, что независимо от выбора, сильные аналитические и проблемные навыки играют важную роль. И, конечно, не забывайте о своих навыках коммуникации.

Потому что умение объяснять и представлять свои результаты руководству критично. Сегодня существует множество ресурсов онлайн для изучения науки о данных, анализа или инженерии. И существует множество курсов и программ сертификации, которые могут предложить ценные знания. Я рассмотрел многие из них на своем канале, так что не стесняйтесь заглянуть. Кроме того, я сделал три отдельных видеоролика о путях в науку о данных, аналитику данных и инженерию данных.

Кто такие исследователи данных и дата-инженеры?

Дата-инженер разрабатывает, строит, тестирует и поддерживает архитектуру данных: крупные базы данных, хранилища или системы для обработки информации. Он работает с сырыми данными, перерабатывает их и строит пайплайны (схемы по их обслуживанию) — то есть подготавливает материал для использования дата-сайентистами.

Дата-сайентист использует обработанные дата-инженером данные, чтобы построить прогнозные модели и решить те или иные бизнес-задачи. Такой специалист использует методы описательной статистики для анализа и систематизирования данных и строит модели с помощью алгоритмов машинного обучения, чтобы снабжать бизнес прогнозами и инсайтами.

Какая разница между аналитиком данных и специалистом Data Science?

Вопрос о различиях возникает регулярно, в том числе у тех, кто обмысливает свой возможный путь в IT-индустрию. По причине востребованности данной темы эксперты IT-отрасли столь же регулярно предпринимают попытки разъяснить разницу.

Для достижения максимальной объективности изучим несколько тематических обзоров, потому что разные эксперты делают разные акценты, когда говорят о различиях, но практически единогласно признают наличие общих моментов и то, что в небольших компаниях эти обязанности могут быть совмещены в рамках одной вакансии.

Разница заключается в том, что аналитика данных сфокусирована на интерпретации результатов, тогда как Data Science занята преимущественно поиском корреляций между блоками данных. Так, Data Scientist значительную часть усилий тратит на так называемую «очистку данных».

Это очень ответственный момент, когда, с одной стороны, нужно учесть максимальное количество действующих факторов и не упустить из вида ни одной детали, а с другой стороны, важно не перегрузить будущий анализ избытком однотипных или вовсе нерелевантных данных. Иначе есть риск скатиться в исследования на уровне «влияние лунного света на рост телеграфных столбов».

И второй момент – это степень полезности полученных выводов. Даже если допустить, что телеграфные столбы «растут» на 2-3 миллиметра в столетие, как утверждают некоторые горячие головы от науки, вряд ли эта информация принесет пользу промышленности или энергетике. Тем более что такое исследование учитывает только интенсивность лунного света и не берет в расчет процессы, идущие внутри грунта, на котором установлены столбы.

Data Scientist обычно занимается намного более прозаичными вещами. К примеру, пытается высчитать оптимальный размер вложений в производство новой продукции с тем, чтобы скорее «отбить» затраты и начать получать прибыль.

Главное отличие между профессиями по мнению экспертов «Яндекс.Практикум» заключается в том, что аналитик не имеет навыков машинного обучения, поэтому работает в большей степени «по старинке». Например, запрашивает у маркетологов сведения по прошлым рассылкам для клиентов и сегментирует аудиторию по возрастному, гендерному и прочим признакам, сопоставляет эти признаки с последующими запросами и покупками клиентов и пытается выявить взаимное влияние параметров и прочие закономерности, в том числе не всегда очевидные.

Отметим, в данном случае эксперты профориентационного ресурса считают, что владение технологиями машинного обучения и знание языка программирования Python нужно только специалисту по Data Science, в то время как мы уже видели реальные описания вакансий, где для аналитика данных выдвигается требование владения языком Python.

Впрочем, можно считать, что это еще один аргумент в копилку тех, кто полагает границы между обязанностями аналитика и Data Scientist слишком размытыми, а иногда и вовсе условными. Тем более что, как мы выяснили ранее, в небольших компаниях эти обязанности может совмещать один человек, а эксперты «Яндекс.Практикум» считают аналитику данных разделом Data Science.

Итак, мы ознакомились с тем, как видят разницу между направлениями деятельности образовательные структуры и профориентационные ресурсы. А что же думают по этому поводу специалисты, которые уже работают с данными?

Для справки: Tableau – это программное обеспечение для интерактивной визуализации данных и бизнес-аналитики.

Если коротко, с точки зрения практиков знания Data Scientist – это в придачу, а не вместо знаний Data Analyst, равно как и Data Analyst вполне может пользоваться теми же инструментами исследования, которыми пользуется специалист по Data Science.

Помимо этого, аналитику может пригодиться знание языка программирования R для статистической обработки данных и работы с графикой. А в качестве альтернативы Tableau можно воспользоваться Power BI.

Для справки: Power BI – это комплексное программное обеспечение бизнес-анализа от компании Microsoft, объединяющее несколько программных продуктов и web-сервисов.

Кроме того, наши специалисты считают важным разбираться в той отрасли, в которой планируется работать с данными: промышленность, строительство, транспорт, ритейл, туризм, HoReCa, медицина, право, политика и т.д. Это вкратце о том, как видят наполнение терминов и разницу между профессиями специалисты-практики.

Data Scientist = Data Analyst + Data Mining Specialist

Для справки: Data Mining Specialist – это специалист по интеллектуальной обработке данных. Как правило, его задача – создание предиктивной модели для прогнозирования вариантов развития событий и поиска наилучшего решения на основе ранее сделанных прогнозов.

Если говорить о каких-то рекомендациях для людей, рассматривающих будущую карьеру в IT-индустрии и пока не определившихся с выбором, можно сказать, что начать лучше с освоения профессии аналитика данных, потому что это чуть проще, чем Data Science.

Особенно это касается людей, не имеющих математического или высшего технического образования и, следовательно, не знакомых с математическим анализом, статистикой и прочими дисциплинами, изучаемыми в этих вузах.

К слову, в приведенной выше подборке есть интервью с человеком, который закончил педагогический университет и смог освоить профессию аналитика данных настолько хорошо, что теперь работает в государственной страховой компании.

Итак, мы с вами разобрались в общих чертах, что такое аналитика данных и Data Science и какая разница между Data Analyst и Data Scientist. Вы сможете разобраться практически в любой новой для себя сфере, если пройдете наши программы «Когнитивистика» и «Лучшие техники самообразования».

Мы желаем, чтобы ваша работа приносила вам моральное удовлетворение и достойное финансовое вознаграждение. Мы ждем вас на наших курсах и программах и предлагаем ответить на вопрос по теме статьи:

Data scientists

Эта профессия занимается изучением сложных цифровых данных, расшифровкой их сложностей. Они используют статистику, машинное обучение и навыки программирования, чтобы понять, что данные пытаются нам сообщить. Это похоже на решение головоломок в данных, выявление тенденций и прогнозирование будущих событий.

Теперь вы можете спросить, что мне нужно, чтобы получить эту роль? Ну, подумайте о том, чтобы получить опыт и овладеть навыками, такими как продвинутая статистика, машинное обучение и обработка данных. Основные задачи для этой роли обычно включают очистку беспорядочных данных, работу с моделями машинного обучения, выявление тенденций в данных, делание прогнозов и докладывание о своих открытиях своему руководству. Хорошо, теперь давайте посмотрим на data analysts. Ребята, если вы планируете работать с данными и хотите начать с начального уровня, data analyst – это ваш выбор.

Как учиться и насколько перспективна профессия?

Мое обучение заняло примерно пять лет: в 2011 году я закончила магистратуру по маркетингу, а до этого училась на факультете статистики. Уже через несколько лет я знала большинство основных инструментов и могла претендовать на хорошие должности.

Первой работой стал крупный оператор сотовой связи, где я занималась анализом эффективности продуктового портфеля и расчетом LTV (life-time-value) и других ключевых метрик абонентов после ввода новых продуктов. Там я научилась многому: работодатель отправлял меня на сначала на базовые курсы SQL, а после — на продвинутые.

Для аналитиков сейчас растут требования: 10 лет назад нужно было знать SQL, 5 лет назад — SQL и Python, а сейчас добавились и BI-инструменты. Выучить это можно в университете, с помощью коллег или самостоятельно. Обойтись без базиса в виде высшего образования можно, но тогда лучше быть любознательным и готовым учиться и развиваться.

Профессия пригодится везде, и она очень перспективна. Человек, который взаимодействует с бизнесом и помогает принимать решения не на основе интуиции, а на основе цифр, очень важен. Автоматизация в этой сфере действительно может произойти, но многие предприятия далеки от этого. Кому-то не хватит денег, а у кого-то это просто невозможно. Поэтому люди всегда будут нужны.

Я математик по образованию: получив знания по прикладной математике, сразу же пошел в Data Science и работаю там уже 11 лет.

Чтобы вырасти в сфере, придется понимать математику, так как без нее не получится продвинуться дальше позиции стажера или джуниора. Но не стоит ее бояться, так как в профильных университетах или на курсах дают достаточно большой объем.

Сейчас есть все условия для дата-сайентистов: такие специалисты требуются как в России, так и за границей. Многие заинтересованы в этом направлении из-за выросшего объема данных, а систем, которые могут справиться с таким их количеством, еще не так много.

К тому же дата-сайентист не только прогнозирует, распределяет и обучает модели, но и уменьшает человеческие затраты и ресурсы. Компаниям это выгодно.

Навыки для всех трёх профессий

Теперь давайте ближе рассмотрим эти роли, чтобы увидеть, какие навыки им нужны для работы. Data scientists и data analysts имеют много общих навыков, но data scientists углубляются глубже. Они могут создавать базы данных и объединять информацию из различных источников.

Ребята, важно помнить, что в отличие от data analysts, data scientists нужны продвинутые навыки программирования, им нужно хорошо понимать языки программирования, такие как Python, C++ или Java, плюс некоторая экспертиза в SQL. Другие навыки data scientists включают машинное обучение и глубокое обучение, data mining, Apache Spark, Apache Hive, Apache Peak и Hadoop, визуализацию данных и бизнес-аналитику. Data analysts.

Вот суть, ребята. Аналитики данных приходят из самых разных сфер. Традиционно аналитик данных может иметь степень в математике или информатике, но в наши дни они могут приходить из любой области, которая имеет дело с цифрами, включая бизнес или естественные науки, поэтому становление аналитиком данных не строго привязано к определенному образованию, это скорее о ваших навыках работы с данными и их интерпретации, поэтому если вы планируете стать аналитиком данных, вам может захотеться изучить навыки, такие как хранение данных, базовое программирование, скриптование и статистика, базы данных и SQL, Excel и инструменты визуализации данных.

Ладно, люди, а теперь давайте поговорим о навыках, необходимых для становления инженером данных. Инженеры данных. Они похожи на архитекторов и хранителей мира данных. Их основная работа связана со системами баз данных. Исходя из этого, их набор навыков включает продвинутое программирование, хранение данных и ELT, глубокие знания систем баз данных, Hadoop, MapReduce, Hive, поток данных и архитектуру данных с созданием конвейеров. Я знаю, друзья, до сих пор мы видели много сходств между этими тремя профессиями. Но теперь давайте поговорим о том, что делает их уникальными.

Обязанности дата-сайентиста

После того как мы познакомились с ролями дата-аналитика и дата-сайентиста, становится ясно, что хоть обе профессии и работают с данными, у них разные подходы и задачи.

Дата-аналитик сконцентрирован на анализе существующей информации, чтобы помочь бизнесу принимать решения здесь и сейчас. Он пользуется историческими данными, находя в них закономерности и тренды.

А Data Scientist фокусируется на создании моделей и алгоритмов машинного обучения для предсказания тенденций и событий. Теперь ты знаешь, чем Data Scientist отличается от аналитика данных.

Если тебя привлекает работа с числами, ты любишь находить конкретные ответы на бизнес-вопросы и не боишься рутинных задач, смотри в сторону аналитики.

Если же ты склонен к более глубокому погружению в математику и статистику, обожаешь программирование и прогностические модели, твой вариант –  Data Science. Это область для тех, кто хочет создавать что-то новое, заниматься исследованиями и наукой. Обе специальности открывают широкие перспективы в IT и предлагают множество возможностей. Выбор зависит от твоих навыков, желаний и интересов.

У нас есть курс и бесплатный марафон по дата-аналитике. А еще программа Master of Science in Computer Science в GoIT Neoversity с дипломом международного образца. Так что обязательно приходи к нам. Будет круто!

Кто такой исследователь данных?

Data scientist — специалист, который занимается использованием данных для выявления новых знаний, разработки моделей прогнозирования и решения сложных проблем. Они используют методы машинного обучения, статистики и алгоритмы для анализа данных, разработки моделей и прогнозирования будущих событий.

Хотя наука о данных все еще очень молода, она уже успела занять почти все отрасли промышленности. Каждая компания ищет специалистов по данным, чтобы повысить свою производительность и оптимизировать производство. Компании извлекают данные для анализа и получения информации о различных тенденциях и практиках. Для этого они нанимают специализированных специалистов по данным, которые обладают знаниями в области статистических инструментов и навыками программирования. Более того, специалист по данным обладает знаниями алгоритмов машинного обучения.

Эти алгоритмы отвечают за предсказание будущих событий. Таким образом, науку о данных можно рассматривать как океан, который включает в себя все операции с данными, такие как извлечение данных, обработка данных, анализ данных и прогнозирование данных для получения необходимой информации.

Однако наука о данных не является единственной областью. Это количественная область, которая имеет общие корни с математикой, статистикой и компьютерным программированием.

Заработная плата каждого из специалистов

Ниже мы рассмотрим статистику средней заработной платы junior-специалистов по данным dou.ua:

Data scientist — $950.

Data Analyst — $785.

Data engineer — $815.

Что Data Scientist и Data Engineer могут делать в одной компании?

У исследователя данных и дата-инженера обычно разные цели. Первый непосредственно решает запросы бизнеса: для этого он проверяет гипотезы и строит прогнозные модели. Второй отвечает за оптимальное и надежное хранение данных, их преобразование, а также за быстрый и удобный доступ к ним. Это позволяет дата-сайентисту работать с корректными и актуальными данными. Компании, которые хотят использовать Data Science для развития своего бизнеса, могут нанимать и дата-инженера, и дата-сайентиста.

Пример: в онлайн-магазине бытовой техники каждый раз, когда посетитель сайта нажимает на тот или иной товар, создается новый элемент данных.

Дата-инженер может собрать эти данные и сохранить в удобном для доступа формате. Дата-сайентист получает данные о том, какие клиенты купили те или иные товары, и использует эту информацию так, чтобы предсказать вариант идеального предложения для каждого нового посетителя сайта.

Пример: работа в платной онлайн-библиотеке. Если компания хочет узнать, какие пользователи тратят больше денег, им нужны компетенции и дата-сайентиста, и дата-инженера. Инженер соберет информацию из логов сервера и журналов событий сайта и создаст пайплайн, который соотносит данные с конкретным пользователем. Затем инженеру нужно будет обеспечить хранение полученной информации в базе данных так, чтобы ее можно было без труда запросить. После этого дата-сайентист сможет проанализировать действия пользователей сайта и узнать особенности поведения тех, кто тратит больше денег.

Кто такой дата-аналитик?

Data analyst использует данные для выявления трендов, получения инсайтов и формулирования выводов. Они занимаются обработкой, анализом и визуализацией данных, используют статистические методы и инструменты для выявления зависимостей и делают прогнозы на основе данных. Аналитики данных выполняют задачи отчетности, разрабатывают дашборды и готовят аналитические отчеты, которые помогают бизнесу принимать решения.

Есть несколько отраслей, где используется аналитика данных, например, технологии, медицина, социальные науки, бизнес и не только. Разные бизнесы могут анализировать тенденции на рынке, требования своих клиентов и изучать свои показатели с помощью анализа данных. Это позволяет им принимать взвешенные решения на основе данных.

Двумя наиболее важными методами, используемыми в анализе данных, являются описательная и логическая статистика. Аналитик данных также хорошо разбирается в нескольких методах и инструментах визуализации. Для такого специалиста крайне необходимо иметь навыки презентации.

Аналитика данных позволяет отраслям обрабатывать быстрые запросы для получения действенных результатов, которые необходимы в короткие сроки.

Два популярных и распространенных инструмента, которые используют аналитики данных, — SQL и Microsoft Excel.

Что именно делает исследователь данных, а что — дата-инженер?

Часть навыков этих специалистов пересекается (например, в области доступа к данным или программирования), но специализация у них разная. Дата-инженер — более прикладная позиция, она направлена на кропотливую работу по формированию пайплайнов данных и их дальнейшему поддержанию. Работа дата-сайентиста — более творческая и аналитическая.

Data engineers

Data engineer настраивает и управляет системами для data scientists и analysts.

Они являются архитекторами за кулисами. Они убеждаются, что данные собираются, хранятся и анализируются без сбоев. Их работа включает создание и управление потоками данных, обеспечение безопасного и эффективного хранения данных. Так что, чтобы стать data engineer, у вас обычно есть два варианта. Получить степень магистра в области данных, получить опыт работы и вырасти из data analyst. Некоторые ключевые навыки, которые вам понадобятся, это хорошее техническое понимание, умение создавать и использовать API и понимание потоков данных и обеспечение их бесперебойной работы.

Задачи data engineering обычно включают управление потоками данных, обеспечение безопасного и организованного хранения данных, обеспечение качества данных и поддержание инфраструктуры данных. Так что, ребята, как вы видите, некоторые повседневные задачи, которые выполняют эти профессионалы, похожи. Конечно, есть определенное пересечение.

Нет сюрприза. Все эти роли связаны с работой с данными и деланием их полезными. Еще одна важная вещь, которую я хотел бы добавить, это то, что эти роли востребованы во многих отраслях. Например, сферы, такие как здравоохранение, технологии, электронная коммерция и финансы, нуждаются в компетентных data scientists, analysts и engineers. Ладно, теперь вы знаете, чем занимаются data scientists, data analysts и data engineers.

Data analysts

Data analysts собирают, очищают и анализируют данные, чтобы помочь бизнесу принимать умные решения. Представьте их как рассказчиков, которые превращают данные в понятные отчеты и красивые визуализации. И если вы хотите стать data analyst, вам нужно всего лишь бакалаврский диплом и хорошее понимание статистики. Но на самом деле, ребята, сегодня формальное образование не является обязательным. Потому что важнее ваши навыки. Просто убедитесь, что у вас есть некоторые знания о работе с данными, моделировании и отчетности.

И вы в порядке. Понимание бизнес-аспектов было бы большим плюсом. Вот что обычно делают data analysts. Сбор данных из разных источников. Очистка и организация данных.

Анализ данных для выявления тенденций. Создание отчетов и визуализаций и деление своих результатов с другими. Наконец, давайте поговорим о data engineers.

Объясняем на примерах

Сейчас я работаю в сфере Fashion-Tech. В моем подчинении четыре человека: дата-инженер, джун и два мидла. И результат нашей работы может быть разным. В первую очередь мы рассчитываем оптимальный уровень цен, их величину внутри различных каналов продаж, даем рекомендации по оптимальному распределению товаров между каналами продаж и маркетплейсами. Также занимаемся настройкой отчетности BI (инструменты для обработки и визуализации), вопросами коммерческой эффективности товарных групп, ad hoc-запросами (единоразовые запросы). Иначе говоря, полным обеспечением информацией руководства и заинтересованных участников.

Например, я могу анализировать, почему товар на одном из маркетплейсов продается хуже. При этом изначальные данные будут говорить о том, что цены, как и условия, схожи с конкурентами. Однако после проведения анализа может выясниться, что они могут продвигаться за счет промо или другого профиля потребителя.

К тому же в работе есть большое количество специализированных одноразовых задач (ad hoc-запросы). Например, нужно создать отчет и сделать вывод по эффективности нового продукта. Тогда, как правило, ни один из существующих отчетов не подходит и его необходимо создавать с нуля.

В этой статье мы рассказали, чем занимается аналитик данных в сервисе Gett Delivery

Мой KPI в институте AIRI — публикация результатов исследований в журналах и выступление на конференциях. Мы выдвигаем гипотезы, проводим эксперименты, выводим новые методы и делимся этой информацией с другими.

Взаимодействие с бизнесом тоже есть — все проекты должны на что-то существовать, — но при том далеко не каждая модель или результат исследований может быть монетизирован. Например, проект Сбера ruDALL-E, который генерирует картинку по описанию: там монетизация почти что невозможна, но модель двигает сферу вперед.

Стоит понимать, что Data Science-специалисты в основном не работают в науке и не развивают используемые методы, а применяют готовые методы и модели для решения прикладных бизнес-задач.

Я занимаюсь исследованиями в области активного обучения. Мой проект — модель для распределения новостей по тематикам.

Основная идея заключается в обучении модели только на наиболее информативных примерах, что значительно снижает накладные расходы на разметку данных. Это особенно актуально в областях, где для разметки приходится привлекать высококвалифицированных экспертов, например при решении задач в области медицины.

Рассмотрим пример с обучением модели классификации текстов новостей по тематикам: социальная, спорт, политика, общество и другие. Для обучения ей нужны данные, причем размеченные. Этим сначала занимаются люди: вручную распределяют часть текстов по тематикам.

Чтобы добиться хорошего качества работы модели, можно обучать ее не на всех доступных текстах, а на наиболее информативных — это сильно сократит затраты на разметку данных.

Один из вопросов, которые я решаю в ходе исследования, — как найти необходимые примеры. Самый простой способ — рассмотреть вероятности, с которыми модель относит неразмеченный текст к тому или иному классу.

Если модель предсказывает, что вероятность политической новости 95%, то это уверенное предсказание. Соответственно, размечать ее не стоит. А если у новости одинаковая вероятность по всем классам, то модель не уверена в своем решении и такой текст передается разметчику.

Применять обученные модели можно не только на текстах. В сельском хозяйстве это поможет посчитать поголовье скота и выявить зараженные участки растений, в ритейле — помочь с логистикой и покупательскими предпочтениями. Даже музыкальные рекомендации пользователей связаны с моделями предсказаний.

Какую профессию выбрать?

На практике четкая граница между специальностями дата-сайентиста и инженера данных существует только в IT-компаниях и крупных корпорациях с большими IT-отделами. Специалист по Data Science часто сочетает навыки смежных позиций — он должен подстроиться под конкретную задачу и решить ее.

Вход в профессию будет легче, если человек уже обладает частью навыков: умеет программировать, знает математику и статистику. Человек с бэкграундом в IT быстрее поймет принципы работы с данными и сможет выбрать для себя специализацию. Часто разработчики и аналитики переучиваются на дата-сайентистов, продакт-менеджеры — на аналитиков данных, а бухгалтеры и маркетологи — на бизнес-аналитиков.

Изучать науку о данных можно и без технического бэкграунда и умения программировать. Так как позиции дата-аналитика, дата-сайентиста и дата-инженера близки, при необходимости можно будет довольно быстро поменять специализацию.

Помимо этих двух специальностей, есть и другие, связанные с наукой о данных: дата-аналитик, администратор баз данных, менеджер данных, бизнес-аналитик, маркетолог-аналитик, ML-инженер. Все они подразумевают работу с данными и требуют изучения базовых понятий Data Science.

Оптимальный путь для начинающего специалиста — освоить базовые навыки Data Science, а уже затем углубиться в ту область, которая покажется самой интересной.