Лучшие методы и практики анализа рынка

Мы используем файлы Cookie, чтобы оптимизировать работу нашего сайта

аналитика программирование data science

Пройди программу и присоединяйся
к нашей команде!

Выбери направления стажировки

• Оконченное высшее образование;
• Знание ОС Windows, MS Office;
• Грамотная устная и письменная речь;
• Самодисциплина;
• Креативность;
• Развитые коммуникативные навыки.

• Изучение проектной деятельности, видов, этапов проекта;
• Взаимодействие с Заказчиком и проектной командой;
• Использование инструментов системного и бизнес-анализа, работа с технической документацией;
• Ознакомление с архитектурой ПО, интеграцией и структурой БД;
• Тестирование и выпуск готового ПО и задач в ОПЭ и ПЭ.

Выбери направления стажировки

• Разработка ПО для инфраструктуры роботов, интерфейсов;
• Разработка драйверов, обратный инжиниринг, оптимизация энергопотребления;
• Настройка и конфигурирование складских роботов;
• Контроль и корректировка работы роботов на складах заказчиков;
• Подготовка и запуск контрольных примеров роботы роботов.

• Оконченное высшее образование;
• Хороший математический аппарат;
• Знание одного из языков программирования.

Плюсом будет опыт работы с ROS и нейросетями.

Нажимая на кнопку, вы даете

согласие на обработку персональных данных

и соглашаетесь c

политикой конфиденциальности

• Знание Python на базовом уровне и библиотек для анализа и визуализации данных (Pandas, matplotlib, seaborn или plotly, statsmodels);
• Знание SQL на базовом уровне обязательно (join и его разновидности, оконные функции);
• Знание статистики и теории вероятности, базовое понимание статистических критериев и их отличий;
• Самодисциплина;
• Креативность;
• Развитые коммуникативные навыки.

• Сбор, очистка и анализ данных для выявления тенденций и паттернов;
• Разработка отчетов и визуализаций данных;
• Участие в построении витрин данных;
• Участие в документировании процессов или продуктов.

Выбери направления стажировки

• Оконченное высшее или 3-4-й курс профессионального образования IT-направлений;
• Аналитический склад ума;
• Способность решать сложные логические задачи;
• Увлеченность программированием;
• Уверенное знание одного из ООП языков;
• Знание основ программирования на 1С будет преимуществом.

• Основы программирования на 1С;
• Программирование в контуре оперативного учета;
• Программирование в контуре бухгалтерского учета;
• Программирование в контуре кадрового учета и расчета ЗП;
• Типовые и нетиповые обмены данными между конфигурациями;
• Работа с веб-сервисами

Выбери направления стажировки

• Оконченное высшее или 3-4-й курс профессионального образования IT-направлений;
• Аналитический склад ума;
• Способность решать сложные логические задачи;
• Увлеченность программированием;
• Знание основ программирования на GOlang (структуры данных, горутины).

• Основы программирования на GO;
• Конкурентное программирование и многопоточность;
• Создание CLI-приложений;
• Изучение патернов программирования и основ Дизайна Архитектуры;
• GRPC;
• Изучение Git, Postman, Docker, Kafka и др.

Выбери направления стажировки

• знание Python на базовом уровне и библиотек для анализа данных (Pandas, NumPy, scikit-learn, XGBoost/LightGBM/Catboost);
• Знание SQL на базовом уровне обязательно;
• Понимание, как устроены классические ML алгоритмы, их ключевые особенности и ограничения;
• Знания в области теории вероятностей и математической статистики
• Самодисциплина и самообучаемость;
• Креативность;
• Развитые коммуникативные навыки.

• Исследование и анализ данных для выявления закономерностей и трендов;
• Разработка и реализация моделей машинного обучения для решения бизнес-задач;
• Оценка и оптимизация производительности моделей;
• Участие в разработке сервисов;
• Ad-hock аналитика.

Выбери направления стажировки

Автомакон – cистемный интегратор.

Мы выполняем широкий пул задач в области автоматизации ритейла, дистрибуции, производства, логистики, фарминдустрии, госсектора. Работаем с 2009 года, в команде 1000+ специалистов, 9 направлений деятельности.

новая профессия всего за 4 месяца

сопровождение и помощь опытного наставника

стипендия и трудоустройство по окончании стажировки

работа с известными клиентами (ВкусВилл, OBI, Магнит и другие)

удаленный формат обучения — можно совмещать с учебой

Отбор состоит из 3 этапов:

1. Экспресс-тест
2. Индивидуальное задание
3. Общее задание

Как попасть к нам в команду?

Как попасть к нам в команду?

Принцип стажировки:
1. Изучение учебного материала
2. Практическая отработка
3. Сдача заданий наставнику
4. На протяжении всего курса отслеживание успеваемости
5. Выбор специализации (направления) и углубленное изучение материала, связанного с ним
6. Длительность: 4 месяца

Как попасть к нам в команду?

Перевод на одно из направлений

Нажимая на кнопку, вы даете

согласие на обработку персональных данных

и соглашаетесь c

политикой конфиденциальности

Нажимая на кнопку, вы даете

согласие на обработку персональных данных

и соглашаетесь c

политикой конфиденциальности

Нажимая на кнопку, вы даете

согласие на обработку персональных данных

и соглашаетесь c

политикой конфиденциальности

Нажимая на кнопку, вы даете

согласие на обработку персональных данных

и соглашаетесь c

политикой конфиденциальности

Нажимая на кнопку, вы даете

согласие на обработку персональных данных

и соглашаетесь c

политикой конфиденциальности

Лекции, самостоятельные задания, групповые задания, презентации, связь с ментором, контрольные работы.

Для нас важны результаты работы без привязки к месту. Вы можете выполнять задачи из дома / кофейни или сидя на пляже 🙂

Работаем с 2009 года. Начали с 1С, а теперь у нас 9 разнообразных направлений деятельности, включая самые передовые (нейросети и Big Data).

Открытая корпоративная культура

Общаемся на «ты» независимо от должности, прислушиваемся к предложениям по улучшению процессов.

Возможности для профессионального роста

Проводим внутренние курсы и вебинары по развитию софт- и хард-скиллов, организовываем обмен опытом внутри команд.

Все материалы структурированы, наполнены и понятны. После каждого задания организованы встречи для обратной связи. Это помогает закрепить материал, заполнить пробелы и разобрать ошибки. Также полезным оказался курс по SoftSkils, а особенно встречи для отработки практики. Саша (наставник) — это чудо, которое произошло с нами, стажерами-аналитиками. Безумно позитивный, рассудительный, умный, понимающий и иногда строгий руководитель. В общем, все как и должно быть. Всегда можно было обратиться за помощью, обсудить детали или решить какую-то проблему.

Баланс знаний и опыта: мне кажется, что программа хорошо сбалансирована между техническими знаниями, практическим опытом и развитием софт-скиллов. Это дает хороший фундамент для дальнейшего развития. Формат обучения: нравится, как организован процесс обучения. Комбинация лекций, самостоятельного изучения, домашних заданий и семинаров позволяет глубже погрузиться в тему и усвоить материал.

Темп изучения нового материала высокий и не позволяет расслабляться, но это хорошо. Очень нравится отработка реальных кейсов в формате ролевой игры, действительно очень ценный опыт. Отдельно хочу отметить встречи с обсуждением книг по специальности: очень многое из того, что мы читаем, Саша переносит на реальный опыт и это помогает лучше всё осознать и запомнить. Еще нравятся большие подборки материалов по каждой теме.

Процесс выстроен круто, даны материалы, составлен план. Отдельно хотелось бы отметить возможность постоянного взаимодействия с наставником. Проверяет навыки, помогает решать трудные вопросы, объясняет, если что-то непонятно. В общем, по обучению довольно сложно придумать, что можно улучшить. В условиях возможности постоянного взаимодействия с наставником все идет без каких-либо трудностей. Еще очень прикольно, что дополнительно организовано обучение по софтам. Понравился мобильный тренинг)

администратор GO, MS SQL, PostgreSQL (прошла программу стажировки)

Поэтапное погружение в разработку и постепенное углубление знаний работает на отлично.

Дмитрий Олейник — прекрасный руководитель стажировки, который всегда поможет советом, наставит на путь истинный, но не будет давать тебе всё на блюдечке, заставит подумать тебя своей головой, что очень благоприятно сказывается на усвоении материала.

Стажировка мне понравилась, построена хорошо, дает разносторонние знания. Кураторы отзывчивы, помогают, но в основном небольшими советами, а не прямыми подсказками, так что все решения так или иначе приходится придумывать стажеру. В целом впечатления о стажировке положительные.

программист 1С (прошел программу стажировки)

системный аналитик (прошла программу стажировки)

Практическое руководство, примеры и шаблоны

Лучший способ понять теорию — получить больше опыта в разных проектах. Для системных и бизнес-аналитиков я постоянно показываю подходы к работе через публикацию разборов задач: БД, API, Интеграции, требования, и все, что связано с проектированием систем.

После публикации поста общий подход к работе с задачами системного аналитика, меня попросили показать, как его применить на практике. Собрала примеры постановок задач и описаний системы по одному из проектов. Здесь постараюсь емко изложить его. А в конце оставлю ссылку на подборку примеров, которые можно посмотреть и переиспользовать в своих проектах.

Проект

Мобильное приложение для сообществ, через которое можно регистрироваться на бесплатные вебинары, читать статьи со всех социальных сетей и блогов сообщества, проходить обучение.

Все примеры в статье будут связаны с этим проектом.

Общий подход к работе системного аналитика

01 Знакомство с бизнес-контекстом и бизнес-требованиями, их уточнение

Во‑первых, что такое бизнес‑контекст? Это как фон, на котором мы пытаемся понять нашу задачу. В нашем случае, это может быть, например, понимание того, как сообщество общается сейчас, какие у него проблемы и какие цели оно преследует. Здесь мы можем поговорить с руководством сообщества, пообщаться с его действующими участниками, изучить их текущие способы общения — социальные сети, форумы, вебинары и так далее. Либо просто получить уже собранную информацию с описанием работы сообщества сейчас — это AS IS (описание «как есть» для проекта).

Теперь, что такое бизнес‑требования? Это то, что бизнес хочет от будущей системы. В нашем случае, это может быть, например, желание сделать процесс регистрации на вебинары проще и удобнее, или желание собрать всю информацию из разных соцсетей в одном месте. Бизнес‑требования мы также обычно собираем на встречах с заказчиком, проводим интервью и обсуждения. Это To Be — как должно быть в результате разработки.

Важно понимать, что первоначально собранные требования часто бывают не полными или не точными.

Задача системного аналитика — уточнить эти требования, не погружая заказчика в технические детали реализации, но уже примерно представляя, что будет «под капотом». Мы возвращаемся к заказчику или потенциальным пользователям с вопросами, уточняем детали, проверяем понимание, проводим дополнительные интервью, если необходимо, чтобы убедиться, что мы все правильно поняли.

По итогу этого этапа у нас должна быть ясная картина того, как работает бизнес сейчас, и чего он хочет от новой системы. И все это мы оформляем в виде требований, которые дальше передадим команде разработки.

02 Определение ролей пользователей и приложений. Верхнеуровневое проектирование архитектуры

Определение ролей пользователей и приложений

Сначала нужно понять, кто будет пользоваться приложением и как. Это могут быть участники сообщества, организаторы вебинаров, модераторы. У каждой из этих групп будут свои потребности и требования к приложению.

Участники, например, хотят легко регистрироваться на вебинары и читать новости. Организаторы вебинаров хотят удобно запланировать и анонсировать событие. Модераторы хотят следить за общением внутри сообщества и модерировать его при необходимости. Наша задача — понять и описать все эти роли и их потребности.

По итогам получится список ролей и пользовательские требования To Be для каждой из них.

Верхнеуровневое проектирование архитектуры

Сначала выделяем компоненты системы — отдельные приложения, сервисы:

• сервер Backend, который будет обрабатывать запросы от приложения, и может включать в себя подсистемы (сервисы, микросервисы),

• база данных для хранения информации о пользователях, вебинарах и новостях,

• внешние системы — источники данных, из которых надо получать данные и в которые их надо передавать (интеграции).

Для визуализации архитектуры можно использовать нотацию C4.

Этот этап работы системного аналитика важен для того, чтобы у всей команды было общее понимание того, как будут организованы основные компоненты системы и как они будут взаимодействовать между собой.

На картинке ниже пример описания архитектуры в разработанной мною нотации, которая легко трансформируется в C4.

03 Выделение и описание основных сценариев работы с системой

На этом этапе мы пытаемся понять, как именно будут взаимодействовать различные роли с нашей системой. Мы рассматриваем каждую роль, которую мы определили на предыдущем этапе, и для каждой из них описываем основные действия, которые они будут выполнять в приложении.

Use Case

Для описания сценариев очень удобно использовать формат use case. Use case — это описание того, как система и пользователи взаимодействуют друг с другом для достижения какой-то цели. Use case включает в себя не только последовательность действий, но и роли, которые участвуют в этом взаимодействии, и возможные альтернативные сценарии.

Основное удобство формата use case в том, что он позволяет представить сценарии взаимодействия с системой в простой и понятной форме. Use case показывает, какие роли участвуют в сценарии, что они делают, и как система на это реагирует. Это помогает всей команде лучше понять, как должна работать система, и учесть все возможные варианты взаимодействия пользователей с системой.

04 Проработка альтернативных сценариев

На этом этапе мы начинаем рассматривать, что произойдёт, если взаимодействие пользователя с системой не будет идти по основному сценарию. Это могут быть ситуации, когда что-то идёт не так, или когда пользователь решает сделать что-то по-другому.

На примере мобильного приложения для сообщества. Мы уже описали основной сценарий «Регистрация на вебинар», где пользователь успешно зарегистрируется на интересующий его вебинар. Но что, если вебинар уже прошел? Или если пользователь уже зарегистрировался на этот вебинар? Или если подключение к интернету пропало во время регистрации?

Все эти варианты мы должны проработать и описать как альтернативные сценарии. Каждый альтернативный сценарий должен описывать, что происходит в этой ситуации, и как система должна на это реагировать.

Этот этап работы системного аналитика помогает учесть все возможные исключения и ошибки, которые могут произойти при работе с системой. Это помогает команде разработки создать более надёжное и удобное для пользователей приложение.

05 Задачи на дизайнера

Следующая задача — представить, как эти сценарии будут выглядеть в интерфейсе нашего приложения — UI/UX. Здесь на помощь приходит дизайнер.

Задача системного аналитика на этом этапе — правильно и полно передать всю собранную информацию дизайнеру. Это может включать в себя описание всех ролей и сценариев, предпочтения целевой аудитории.

Иногда системный аналитик рисует макеты, используя Figma, Miro, Draw.io, Axure RP Pro или другие инструменты.

Например, мы можем дать задачу дизайнеру создать макеты экрана регистрации на вебинар, учитывая все шаги, которые мы уже определили в нашем сценарии, и все возможные исключения из альтернативных сценариев. Мы также можем попросить дизайнера учесть, что наша аудитория — это люди разных возрастов, поэтому интерфейс должен быть простым и понятным для всех.

Работа системного аналитика и дизайнера — это командная работа. Поэтому на этом этапе обычно проводятся совместные сессии обсуждения и скетчинга, чтобы вместе придумать, как лучше реализовать все задуманное.

Этап формулировки задач на дизайнера важен, потому что от него зависит, насколько удобно и понятно будет работать с нашим приложением пользователям.

06 Определение ключевых данных: сущности и их свойства

На этом этапе системного аналитика мы пытаемся понять, какие данные необходимы для работы нашего приложения и как они связаны друг с другом. Данные в системе обычно представлены в виде различных сущностей, которые имеют свои свойства и взаимосвязи.

Вернемся к нашему примеру мобильного приложения для сообщества. Основными сущностями в нашем случае могут быть «Пользователь», «Вебинар» и «Новость». У каждой из этих сущностей будут свои свойства. Например, у «Пользователя» могут быть свойства «Имя», «Email», «Дата регистрации», и т.д. У «Вебинара» — «Название», «Дата и время», «Описание», «Организатор», и так далее.

Также мы должны определить, как эти сущности связаны друг с другом. Например, «Пользователь» может быть зарегистрирован на одном или нескольких «Вебинарах». Эта информация важна, потому что она поможет нам понять, как должна быть организована база данных нашего приложения.

Определение ключевых данных, сущностей и их свойств — это важный этап работы системного аналитика, который помогает создать структуру для нашей системы и понять, как данные будут храниться и использоваться в приложении.

От того, насколько продуманно будет создана БД и определены сущности, зависит масштабируемость системы в будущем.

07 Задачи на доработку Базы Данных

Прежде чем программисты начнут разрабатывать методы Backend, им нужно подготовить базу данных.

• создать новые таблицы,

• добавить поля в существующие таблицы,

• сделать миграции данных (перенос и автозаполнение),

• иногда поменять типы данных, удалить лишние поля и так далее.

Для этого аналитик на основе выделенных сущностей сначала проектирует логическую или физическую модель базы данных (если работа с реляционной БД), а затем ставит задачи на разработчиков:

Шаблон Confluence и инструкция

08 Задачи на подготовку тестовых данных

После того, как мы определили все ключевые данные и сущности нашей системы, нам нужно понимать, что тестировщикам затем придется проверять, как она будет работать. Для этого мы подготавливаем набор тестовых данных, которые будут использоваться для тестирования системы.

Эта задача может быть сделана как системным аналитиком, так и смело передана на тестировщика.

Например, в случае нашего приложения для сообщества, мы можем создать несколько тестовых «Пользователей» с разными параметрами — с корректными и некорректными email’ами, зарегистрированными на разное количество «Вебинаров», и т. д. Мы также можем создать несколько тестовых «Вебинаров» и «Новостей» с различными свойствами.

На этом этапе надо подготовить такой набор тестовых данных, который бы максимально точно отражал все возможные ситуации в работе системы. Это поможет команде разработки проверить все функциональности системы и убедиться, что она работает корректно.

09 Задачи на разработку методов Backend (методов API)

В работе приложений существует нечто, что помогает передавать данные между разными частями системы, например, между пользовательским интерфейсом (фронтендом) и сервером (бекендом). Это называется API, или Application Programming Interface.

Системный аналитик должен уметь формулировать требования на разработку методов API, которые позволят фронтенду взаимодействовать с бекендом. Это может включать в себя, например, метод для регистрации нового пользователя, метод для просмотра списка вебинаров, метод для регистрации на вебинар, и так далее.

Для каждого метода API, системный аналитик должен определить, какие данные он принимает на вход (например, данные для регистрации нового пользователя), и что он возвращает на выход (например, подтверждение успешной регистрации).

Ошибки на этом этапе могут так же, как и при проработке БД, привести к проблемам с масштабируемостью и развитием системы. В случае плохой проработки задачи очередная фича в системе может требовать серьезную проработку, чтобы сделать совместимые с предыдещими версиями обновления в системе.

Пример задачи на бэкенд — шаблон постановки задачи + инструкция

10 Задачи на фронтенд / мобильные

Фронтенд и мобильная разработка – это та часть работы, которую видит и непосредственно использует конечный пользователь. В нашем случае это мобильное приложение для сообщества, где пользователи могут регистрироваться на вебинары и следить за новостями.

Задача системного аналитика на этом этапе — описать, что именно должен видеть и делать пользователь в приложении. Для этого аналитик подготавливает список задач для фронтенд или мобильных разработчиков, которые включают работу, сделанную на предыдущих этапах: описание Use Cases, дизайн, методы Backend, тестовые данные, чтобы можно было в процессе разработки воспроизвести все ошибки, до передачи в тестирование.

Вот пример таких задач:

1. Создание экрана регистрации на вебинар.

2. Отображение списка доступных вебинаров.

3. Создание уведомлений о предстоящих вебинарах.

4. Добавление возможности читать новости сообщества в приложении.

В каждой из этих задач системный аналитик должен максимально подробно описать, как должен выглядеть и работать каждый из элементов экранных форм, чтобы разработчики могли воплотить задуманное в жизнь.

Пример задачи на фронтенд — шаблон постановки задачи

11 Задачи на тестирование

На этом этапе системный аналитик может подготовить список задач для тестировщиков. Он не обязателен. Тестировщики могут сделать задачи себе сами. Но иногда он просто необходим. Зависит от компании и проекта, иногда от конкретной задачи. Он включает в себя описание того, что именно нужно протестировать, и какие результаты должны быть получены.

Допустим, в случае нашего приложения для сообщества, задачи могут выглядеть так:

1. Проверить, происходит ли корректная регистрация пользователя на вебинар.

2. Убедиться, что новости сообщества отображаются правильно и актуальны.

3. Проверить работу уведомлений о предстоящих вебинарах.

4. Протестировать работу приложения на разных устройствах и разных версиях операционной системы.

На этом этапе системный аналитик в тесном сотрудничестве с тестировщиками должен убедиться, что все задачи выполнены, и приложение работает так, как предполагалось. Благодаря тестированию мы можем быть уверены, что пользователи получат приложение без багов и неприятных сюрпризов.

12 Задачи на сохранение важных артефактов по документации после разработки — документация

Даже после того, как разработка приложения завершена и оно уже запущено, работа системного аналитика все еще не закончена. Один из важнейших этапов — это сохранение и поддержание актуальности всей документации, связанной с проектом.

Артефакты и документация — это не просто свалка статей Confluence + задач Jira, а ключевая информация о проекте. Она помогает новым участникам команды разработки быстрее разобраться в проекте, а также служит источником правды при необходимости внести изменения или улучшения в будущем.

В случае нашего приложения для сообщества, системный аналитик может сохранить следующую документацию:

1. Документы, описывающие функциональные требования и пользовательские сценарии.

2. Диаграммы и схемы, включая C4 диаграммы архитектуры системы и Use Case диаграммы.

3. Документы с описанием ключевых данных, сущностей и их свойств.

4. Документацию API и описание логики работы методов.

5. Документы с результатами тестирования и проблемами, обнаруженными в процессе разработки (особенности и известные проблемы).

Все это может быть собрано в ранее приведенных шаблонах требований для Confluence.

Сохраняя и обновляя документацию, системный аналитик помогает обеспечить долгосрочную жизнь IT-проекта.

Проекты не заканчиваются с моментом запуска — они постоянно развиваются и совершенствуются, и качественная документация играет в этом важную роль.

Про процесс документирования:

Применение описанного подхода на практике

Проект: мобильное приложение для сообществ, через которое можно регистрироваться на бесплатные вебинары, читать статьи со всех социальных сетей и блогов, проходить обучение.

Подборка моих блогов с теорией + примерами требований + диаграмм + постановок задач: здесь. В ней вы найдете шаблоны Сonfluence, структуру документов и примеры описаний для каждого этапа работы аналитика над задачей.

Заключение

Это общий подход. Он адаптируется в зависимости от типа задачи и проекта. Я его придерживаюсь, чтобы не упустить шаги по проработке требований и точно определить весь список задач, которые нужно создать и распределить на команду.

Если эта публикация вас вдохновила и вы хотите поддержать автора — не стесняйтесь нажать на кнопку

Зачем и как практиковаться начинающему аналитику

— Что работодатели хотят от джуниор аналитика данных?
— Работодатели хотят, чтобы он был мидлом.

Если ты не смеёшься над этим анекдотом, то наверняка недавно закончил (либо заканчиваешь) обучение по обретению специальности «Аналитик данных». А ещё ты пока не нашел, но уже начал искать свою первую работу.

Меня зовут Ольга Матушевич, я наставник на курсе «Аналитик данных» в Практикуме. В этой статье я предложу решение проблемы «как получить опыт работы, если без опыта никуда не берут» с помощью самостоятельных проектов. 

Сделают ли самостоятельные проекты меня мидлом

Самостоятельные проекты сделают тебя джуном плюс. Вот как ты изменишься при работе над внеучебными проектами.

1. Поработаешь с реальными данными. В учебных проектах данные существенно отличаются от реальных, и вот почему:

   • Часто данные для учебных проектов генерируют искусственно. Кроме прочего такой подход решает все проблемы с возможными нарушениями авторских прав. 

   • Данные предварительно подготовили для студентов, почистив от самых ужасных аномалий. Да, на хороших курсах студентов готовят к реальной работе, а потому чистить данные «до идеала» не будут. Часть проблем оставят. Но все равно они будут существенно лучше реальных сырых данных.

В любом случае опыт работы с реальными данными на учебных курсах приобрести сложно. И работодатели это понимают.

2. Получишь опыт самостоятельного поиска информации для выполнения проекта. Даже если учебный контент не давал 100% необходимой информации для решения проекта, он обеспечивает большую её часть. Ты точно знаешь, что на 80% вопросов ты найдёшь ответ в последнем модуле курса, на ещё 10% — в предыдущих модулях. И останется буквально пару вопросов для самостоятельного поиска. Но даже тут ты можешь попросить о помощи преподавателя или наставника. Другое дело — самостоятельный проект. Тут уж придётся искать информацию самому. Да, ты также можешь попросить о помощи — например, на stackoverflow. Но помощь будет не гарантированной и не такой быстрой. 

3. Научишься взаимодействовать с реальным заказчиком. Не любой самостоятельный проект подразумевает существующего настоящего заказчика. Если даже заказчик есть, часто общение с ним ограничено. Но опыт общения и обратная связь от заказчика — бесценны. 

4. Научишься работать в команде. Проект можно выполнять на 100% самостоятельно. Но если есть возможность получить опыт работы в команде других специалистов — используй её, это действительно ценно.

5. Научишься самостоятельно выстраивать план работы, оценивать трудозатраты и свои возможности. Учебный проект часто содержит пошаговую инструкцию. К реальным проектам инструкция не прилагается. Необходимо самостоятельно определить этапы работы и оценить требуемое для их выполнения время. При дефиците времени — как и в реальном проекте — нужно отказаться от части запланированных этапов. 

6. Приобретёшь нужный именно тебе опыт. Хочешь работать над дашбордами в банке? Ищи банковские данные и создавай дашборд с принятыми именно в этой области метриками. Интересует машинное обучение и сфера недвижимости? Ищи данные по недвижимости и строй модели на их основе. При прохождении собеседования на позицию мечты у тебя будут доказательства, что ты действительно не новичок в этой сфере и она тебе точно интересна. 

7. Научишься работать с неудачами. Что ты сделаешь, если цели заказчика или твои идеи на имеющихся данных недостижимы? Бросишь проект и постараешься забыть о нём? Попробуешь выжать из имеющихся данных максимум возможного? Постараешься найти дополнительные? Сможешь ли объяснить заказчику, каких именно данных не хватает?

Где искать проекты

Самое простое решение — найти сразу и данные, и проект для работы. В этом тебе помогут хакатоны — соревнования, в которых участники в течение ограниченного времени работают над решением конкретной задачи или проекта.

Найти информацию о хакатонах и других соревнованиях для аналитиков можно на сайтах:

1. Соревнования от Open Data Science

2. Соревнования от Kaggle — тут потребуется знание английского. 

Советую не ограничиваться только этими ресурсами. Лучше регулярно гуглить в поисках других соревнований и искать новые возможности. 

В Практикуме проводят хакатоны от компаний-партнёров для выпускников, которые находятся на этапе поиска работы. Из недавних примеров: выпускники курса «Аналитик данных» решали задачу по оптимизации телеграм-канала для «Иннополиса». А будущие специалисты по Data Science — для Яндекс Музыки и Маркета. 

Плюсы участия в хакатонах:

• Участие в командных проектах.

• Общение с опытными специалистами.

• Шанс привлечь внимание потенциальных работодателей.

• Опыт работы с реальными заказчиками.

Минусы участия в хакатонах:

• Высокий порог входа для участников. 

• Высокий уровень стресса, в том числе из-за сжатых сроков работы.

• Хакатоны сложны в организации, а потому их проводят редко. Поиск хакатона на интересующую тематику может занять много времени.

Где искать датасеты для проектов

Если участие в хакатонах тебе пока не подходит — можно поискать данные в открытых источниках. Огромное количество датасетов можно получить совершенно бесплатно. Вот несколько возможных источников:

Плюсы работы с открытыми источниками:

• Большой выбор данных для работы.

• Возможность работы с неточными данными, получения на их основе неточных результатов и недостоверных выводов.

• Отсутствие свежих данных.

Парсинг данных

Иногда нужные данные проще собрать самостоятельно, чем искать в интернете. В этом поможет парсинг — процесс автоматического сбора и обработки информации с веб-страниц или других источников данных. 

Для парсинга используют специальные программы и/или библиотеки, которые позволяют извлекать нужную информацию и сохранять её в удобном формате для дальнейшего анализа.

• Большой объём данных, которые можно использовать для анализа.

• Возможность получить данные, которые недоступны в открытых источниках.

• Автоматизация процесса сбора, что позволяет сэкономить время и усилия.

• Сам факт того, что вы умеете парсить нужные данные, уже является вашим конкретным преимуществом в глазах потенциальных работодателей.

• Получение самых свежих данных.

1. Необходимо изучить специальные библиотеки для парсинга.

2. Важно проверить правовую сторону использования данных.

3. Возможность получить неточные результаты и недостоверные выводы.

Более лёгкой и легальной альтернативной парсингу технически будет использование API (Application Programming Interface) — интерфейса, позволяющего программам и другим системам обмениваться данными и информацией. Не каждый сайт заботится о лёгком доступе к своим данным для сторонних пользователей. Но если такая возможность есть, советую ей воспользоваться. Для примера можно посмотреть API сайта HH.ru. 

Как создавать проекты

Итак, данные найдены, изучены и очищены. Что с ними делать дальше? Где взять идеи проектов? 

Можно изучить интересные тебе вакансии — что хочет видеть работодатель? Какие метрики его интересуют? Он ожидает снижения расходов, поиска наиболее перспективных областей для развития или хочет лучше понять существующих клиентов? 

А можно посмотреть чужие проекты, например:

Это может дать идеи для твоих собственных проектов. 

Один из самых простых способов — попробовать повторить учебные проекты на новых данных. Что можно сделать лучше? Получится ли прийти к тем же выводам? Чем можно их дополнить?

1. Начни с постановки цели и задач проекта. 

   Даже если в процессе выполнения проекта задачи изменятся — этот этап будет полезен. Он сократит время работы над проектом и повысит его качество. 

2. После тебе обязательно придётся уделить внимание чистке данных. 

• Проведи поиск дубликатов. 

• Подумай над пропусками — стоит ли их удалять, восстанавливать, заполнять заглушками. Или лучше просто оставить как есть. 

• Найди и обработай неправдоподобные значения. К ним может относиться отрицательное время поиска работы или возраст клиентов банка более 100 лет.

• Если какие-то данные относятся к категориальным значениям — можно ли объединить категории. 

• Преобразуй типы данных.

3. После можно переходить к исследовательскому анализу.

• Используй графики для обобщения основных характеристик, выявления закономерностей и визуализации распределения данных. Наиболее подходящие типы графиков — ящик с усами и гистограмма.

• Определи выбросы и обработай их. 

• Выяви связи между данными, например, рассчитав коэффициент корреляции.

4. Подумай, нужно ли создавать новые признаки. Например, в датасете с признаками «дата получения заказа» и «дата выполнения заказа» может быть полезно вычислить такие величины, как:

• срок выполнения заказа;

• месяц поступления заказа;

• маркер, был ли заказ выполнен в установленный срок. 

5. Переходи к самому исследованию. Вернись к списку задач и постепенно переходи от одной к другой. Ты можешь, например:

• вычислить все запланированные метрики;

• проверить выдвинутые гипотезы;

• если хватает данных — провести статистические тесты;

• подобрать графики, удачно иллюстрирующие твои выводы.

6. Финальной частью проекта является формулирование выводов и выдача рекомендаций. Это одна из важнейших частей. Выводы и рекомендации должны быть полезными, понятными даже неспециалисту, грамотно написанными и хорошо структурированными. 

Что делать с готовым проектом

Опубликуй его в своём портфолио на GitHub — крупнейшем веб-сервисе для хостинга IT-проектов и их совместной разработки. Также можно сделать посты в соцсетях об успешном завершении проекта или написать о нём статью на Хабре.

проект основывается на детальном анализе рынка. На нашем счету уже более 250 проектов, в каждом из которых мы проводим 15+ исследований для различных секторов бизнеса. Наш опыт использования множества разнообразных инструментов анализа рынка (от традиционных методов до искусственного интеллекта) позволил нам выработать методологию анализа рынка, которая позволяет найти ключ к качественному росту. В предыдущей статье мы рассказали, зачем бизнесу маркетинговый анализ рынка и показали наш алгоритм работы с аналитикой.  В этой статье мы погрузимся в методологию исследования рынка.

Вы можете использовать ее как руководство для превращения обыденного процесса анализа в мощный инструмент стратегического планирования.

Содержание:

Разработка методологии анализа рынка

Методология ー это очень важный элемент процесса анализа рынка. Если собрать данные неправильно, то получится как в поговорке: “Trash-in — trash out” (мусор на входе — мусор на выходе). Если у вас на входе некачественная информация — не ждите полной и правдивой аналитики на выходе. Верно поставленная задача еще не означает, что данные будут собраны правильно. Здесь одним из главных факторов успеха является опытный методолог. 

Мы провели не менее 3 тысяч интервью с Клиентами. Как методологи, мы очень хорошо понимаем, как правильно решать эту задачу. Если человек ни разу не проводил интервью, он не справится без опытного методолога, который даст ему правильную технологию. 

При разработке методологии анализа рынка важно не придумывать велосипед, необходимо либо искать подробные инструкции в сети, либо привлекать опытного консультанта или методолога. 

При разработке методологии есть 2 основных :

1. Если аналитика подразумевает глубокую экспертизу, то необходимо искать экспертов и получать от них эту информацию. В качестве экспертов могут выступать инсайдеры, отраслевые эксперты и даже клиенты. Последних не стоит списывать со счетов экспертов по вашему продукту. являются ценным источником информации о преимуществах и недостатках продукта и других важных показателях бизнеса. 
2. Если глубокая экспертиза не требуется

На стратегических сессиях к мини-группам Клиента мы добавляем идеи еще от 2-х групп: группа консультантов, где мы, как эксперты, даём идеи построения стратегии, и стратегические альтернативы от искусственного интеллекта. Это позволяет нам добиться комплексности стратегии и открывает доступ к лучшим практикам мира.Пример: мы попросили чат GPT сформулировать идеи роста для компании по торговле на маркетплейсах на основании лучших мировых практик. Мы скормили ему информацию о положении дел на данном рынке и задали определенную роль. Итоговый промпт получился таким:

Наша компания занимается торговлей товарами на маркетплейсах. Сейчас на данном рынке наблюдается ситуация высокой конкуренции в связи с ростом количества продавцов и большим числом слабо дифференцированных товаров.

Представь, что ты CEO Amazon. Сформулируй факторы успеха роста компаний на маркетплейсах. Собери длинный список идей и лучших мировых практик, которые позволят нам отстроиться от конкурентов и увеличить прибыль.

Мы получили следующий ответ чата GPT:

Image/png;base64,iVBORw0KGgoAAAANSUhEUgAAA94AAALSCAYAAAAr2AnkAAAACXBIWXMAAA7EAAAOxAGVKw4bAAAK6klEQVR42u3BAQ0AAADCoPdPbQ43oAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAXgylxwABFZE1xgAAAABJRU5ErkJggg==» data-lzl-srcset=»https

Несмотря на то, что иногда идеи чата GPT дублируют идеи других команд, это помогает нам убедиться, что мы движемся в правильном направлении. Еще больше нас радует, когда искусственный интеллект предлагает инновационные и прорывные идеи, которые мы активно используем в дальнейшей работе. Мы видим полезный эффект, когда за такие идеи мы получаем много голосов участников команд и их положительный отклик. 

Сбор данных для анализа

В каждом проекте мы разрабатываем карту аналитик, которая в комплексе решает все вопросы, учитывает все проблемное поле компании, открывает новые возможности и точки роста. В карту аналитик мы включаем в  среднем 15+ аналитик, которые позволяют собрать всю необходимую информацию о рынке, клиентах, конкурентах и самой компании.

Карта аналитик для торговой компании

Например, на картинке изображена карта аналитик для торговой компании. Каждую карту для сбора аналитики мы готовим на основе специфики бизнеса клиента. Для этого при проведении интервью важно задать правильные глубокие вопросы, подсвечивающие боли клиента и скрытые возможности. А при анализе данных продаж надо посмотреть на разные срезы (по клиентским сегментам, каналам, конфигурациям продукт-рынок), проанализировать, какие факторы влияют на рост и доходность.

Процесс сбора данных для анализа рынка содержит несколько значимых факторов успеха:

• белым листом: полностью абстрагироваться от своего мнения и своих установок. Профессиональный аналитик должен взять это за правило. Если у тебя есть свое мнение и стереотипы, ты навязываешь это другим. Это может привести к низкой объективности и надежности получаемых данных.
• Четко следовать методологии. Если в процессе сбора данных что-то идет не так, велик соблазн поджать хвост и бросить изначальную задумку. Разработанная методология, особенно при участии эксперта, представляет собой систему взаимосвязанных элементов, отсутствие какого-либо из которых может привести к искажению результатов. Поэтому даже если кажется, что без определенной информации можно обойтись, вам кажется. Это касается и желания собрать дополнительные данные просто потому, что захотелось. Сбор данных сверх прописанных в методологии могут принести дополнительные затраты, а их полезность будет под вопросом.
• Адаптировать аналитику к изменениям. В нашей практике бывали случаи, когда уже в процессе сбора данных всплывали обстоятельства, которые требовали изменения методов сбора информации или даже исключения/добавления в план определенных аналитик. Нужно быть готовым пересматривать и корректировать процесс сбора данных на основе промежуточных результатов и обратной связи. Важно уметь отделять такие ситуации от моментов, описанных в предыдущем пункте.
• Тщательно выбирать источник данных. Важно использовать надежные и проверенные источники информации и комбинировать различные типы источников, включая первичные (опросы, интервью) и вторичные (исследования, публикации).
• Обеспечить подготовку участников сбора данных. Необходимо погрузить всех участников исследования в контекст исследования. Например, каждая наша аналитика, которая подразумевает сбор информации без нашего участия содержит подробную информацию о целях анализа и правильности ее заполнения.
• Проверить, чтобы все данные соответствовали принципу ВИСИ: Взаимно Исключающие, Совместно Исчерпывающие. Т.е. вместе давали полную картину происходящего, но при этом не конфликтовали и не дублировали друг друга.

Например, компания занимается предоставлением услуг в области фитнеса и спорта. Она хочет расширить свое присутствие на рынке и привлечь новых клиентов. Для этого проводится комплексный анализ рынка фитнес-услуг с использованием принципа ВИСИ:

Шаг 1: Сегментация рынка фитнес-услуг

Сначала рынок делится на взаимоисключающие и исчерпывающие сегменты. Это позволяет всесторонне оценить рынок и не упустить значимые ниши:

• • По типу услуг: групповые занятия, персональные тренировки, онлайн-тренировки, специализированные программы (йога, пилатес, боевые искусства).
  • По целевой аудитории: дети, подростки, взрослые, пожилые люди, профессиональные спортсмены.
  • По уровню доступности: бюджетные, среднего класса, премиум-клубы.
  • По географическому расположению: центр города, спальные районы, бизнес-центры, онлайн.

Шаг 2: Глубокое исследование каждого сегмента

Для каждого из сегментов проводится анализ спроса, предложения конкурентов, потенциала роста, и особенностей целевой аудитории.

Шаг 3: Выявление трендов и возможностей

На основе собранных данных компания идентифицирует ключевые тренды на рынке фитнес-услуг (например, растущий спрос на онлайн-тренировки или фокус на здоровье) и определяет недостаточно насыщенные сегменты, где возможно эффективное позиционирование новых услуг.

Шаг 4: Разработка стратегии расширения

Используя полученные данные, компания разрабатывает стратегию расширения. Например, вводит новые услуги, целевое предложение для недостаточно охваченных групп потребителей, или расширяет географическое присутствие через открытие новых клубов или запуск онлайн-платформы.

Вас может заинтересовать:

• Как провести стратегическую сессию?
• Анализ рынка
• Как реализовать стратегию на 100%? Чек-лист для проверки
• Как выйти на новый рынок?
• Как найти точки роста для своего бизнеса в 2024 году? 10 идей