Аналитика и анализ. В чем разница? – аКолесица — ЖЖ

Что такое аналитика

Ежегодно объемы информации возрастают, не имеет значения, какая это сфера деятельности. Тот, кто увлекается спортом, знаком с бейсбольной статистикой Moneyball и понимает, что произошла революция в профессиональном бейсболе. Это стало возможным лишь благодаря проведенному анализу данных о том, насколько эффективны действия каждого из участников игры. Сегодня эту статистику внедрили во многие виды спорта.

Геймеры, которым нравятся сетевые компьютерные игры, знают, что такие компании, как Zynga и ElectronicArts, занимаются сбором, накоплением, а также анализом всех данных об их игровом поведении.

Если вы увлекаетесь кинофильмами, то, скорее всего, знаете о методике, которую применяет компания Netflix, чтобы прогнозировать пользовательские предпочтения в данной области. Также вы наверняка слышали, что известные киностудии в Голливуде, к примеру, RelativityMedia, применяют подобные методики, чтобы принять верное решение о том, какие фильмы запустить в прокат.

Необходимо понимать, что есть множество типов данных. Какие-то используются для бухучета. К примеру, в вашей организации, скорее всего, хранятся данные о том, когда вас зачислили в штат, а также сколько дней вы провели в отпуске.

Однако, когда разных типов данных накапливается слишком много, руководство организации принимает решение начать использовать их с выгодой для фирмы, к примеру, чтобы выбрать дальнейший вектор развития.

Чаще всего используют базу данных о сотрудниках. Изучив эту информацию, владелец компании может спрогнозировать, сколько человек напишет заявление с просьбой об увольнении в будущем году. Кроме того, эти сведения позволят понять, насколько эффективно трудились те сотрудники, которые полностью использовали свои отпускные.

Собирать и анализировать информацию нужно не только для того, чтобы принимать наиболее эффективные управленческие решения.

Что должен знать/уметь аналитик и как этому научиться?

Читавшие упомянутую выше книгу «Путь аналитика. Практическое руководство IT-специалиста», особенно те коллеги, которые только начинают свою карьеру в ИТ, наверняка

прифигели

несколько удивились тому объему знаний и умений, которые автор предлагает освоить несчастному читателю. Если вкратце, то следуя данной книге, аналитик должен освоить весь накопленный человечеством опыт в данной области со всеми методологиями, техниками и инструментами, а заодно и в максимальной степени обладать всеми положительными личными качествами, присущими человеческим существам.

На мой скромный взгляд, там все-таки описан некий сферический аналитик в вакууме идеал, к которому можно (но не факт, что нужно) стремиться. Фанатичное стремление овладеть сразу всеми знаниями и навыками приведет, разве что, в Кащенко. Готов поспорить на бутылку Talisker 16 y.o., (с кем-нибудь одним, а то же, неровен час, найдутся Шелдоны (смайл)), что в природе нет ни одного человека, полностью соответствующего продвигаемому в книге образу (со всем описанным набором знаний и навыков), включая самого автора книги.

Однако, как я уже упоминалось во вступлении, знания и навыки аналитика и способы их приобретения – тема очень большая. И чтобы не раздувать этот пост, не буду пытаться осветить ее здесь подробно. А в если в двух словах, то конечно стоит иметь представление:

О необходимости владеть в совершенстве Word-ом или его аналогом даже не пишу (смайл). А вот о необходимости владеть хотя бы одним инструментом для проектирования макетов интерфейсов, стоит упомянуть. Выделенные интерфейс-дизайнеры – редкость, так что эта работа часто «падает» на аналитиков. Здесь кроме очевидного Visio могу посоветовать простой и удобный Evolus Pencil.

Плюс, некоторые личные качества, такие как ответственность, коммуникабельность и внимание к деталям, действительно стоит «прокачивать». Для этого есть специальные техники.

Аналитика в наши дни

За последние годы человечество не только создавало все больше и больше данных, но еще и научилось их обрабатывать. Теперь мы можем анализировать большие объемы информации из различных источников, что приводит нас к недоступным ранее решениям. Анализ больших неструктурированных блоков часто именуется “аналитикой больших данных”.

Спорт: Аналитика активно используется для улучшения спортивной производительности профессиональных атлетов и обычных людей. Например:

• Каждый желающий может купить бейсбольный мяч с 200 сенсорами, позволяющими определить силу удара, направление движения и т.д. Мяч был создан компанией InfoMotion Sports Technologies совместно с Мичиганским университетом и в настоящее время проходит доработку.
• Мобильные приложения Run Keeper и Nike Running используют встроенные в смартфон сенсоры, чтобы отслеживать и анализировать скорость бега и количество потраченных калорий.
• Для Олимпийских гонок используются велосипеды с сенсорами в педалях, которые определяют величину ускорения, придаваемого транспорту при каждом толчке. Эта информация 
  позволяет оценить производительность спортсмена и улучшить ее.
• Система SlamTracker предназначена для записи теннисных матчей и предоставляет статистику в режиме реального времени.
• Наконец, мы все видели фильм “Человек, который изменил все”, рассказывающий историю жизни Билли Бина. Он работал генеральным менеджером команды Окленд Атлетикс и не мог найти новых игроков традиционными методами, но аналитика помогла ему добиться успеха и обыграть более богатые клубы.

Здравоохранение: Аналитика медленно, но верно меняет современную систему здравоохранения. Рассмотрим следующие примеры:

• Больничные отделения, которые оказывают помощь недоношенным и больным младенцам в буквальном смысле анализируют каждый их вздох. Это помогает выявить определенные закономерности – например, заподозрить инфекцию за 24 часа до появления симптомов и начать заблаговременное лечение.
• Мощные аналитические инструменты позволяют расшифровывать ДНК гораздо быстрее, чем раньше (в частности, в настоящее время на расшифровку уходит всего один день). Это позволяет предсказывать некоторые закономерности (например, вероятность того или иного заболевания) и принимать информированные решения (например, о превентивных мерах). Кроме того, расшифровка ДНК способствует появлению новых методов лечения болезней (например, рака).

Аналитика и анализ. в чем разница?

Аналитические методы

Провести аналитическое исследование деятельности можно с помощью разнообразных методов, выбор которых зависит от целей. Итак, выделяют:

• статистику – этот метод представляет собой сбор, систематизацию, анализ, интерпретацию, а также оглашение данных;
• прогнозирование – при реализации этого метода оценивается динамика определенной переменной в выбранный момент в будущем на основе данных о ее прошлой динамике;
• интеллектуальный анализ данных (Datamining) – автоматизированное либо полуавтоматизированное выявление зависимостей, которые были неизвестны ранее, в больших массивах данных при помощи вычислительных алгоритмов либо статистических методов;
• интеллектуальный анализ текстов (Textmining) – с помощью аналитического исследования получится выявить неизвестные зависимости либо тенденции в тексте, используя методы, аналогичные интеллектуальному анализу данных;
• оптимизация – применение математических методов с той целью, чтобы выявить подходящие решения, основываясь на заданных критериях и установленных ограничениях;
• эксперимент – под этим методом аналитического исследования понимается формирование тестовой и контрольной групп (случайный отбор), чтобы выявить причины и степени влияния независимых переменных на зависимую переменную.

Все вышеописанные методы аналитического исследования являются популярными, при реализации многих из них применяют одинаковые аналитические приемы и процедуры.

К примеру, регрессионный анализ – известный и часто используемый аналитический прием в предсказательной аналитике, также он нередко применяется в статистике, прогнозировании и интеллектуальном анализе данных.

Еще один пример: анализ временных рядов, специальная аналитическая процедура из статистики, применяемая, чтобы проанализировать меняющиеся во времени значения переменных, встречается в статистике и прогнозировании.

Виды аналитиков

Аналитики могут работать в разных сферах и выполнять разные задачи — из-за этого внутри профессии произошло разделение на несколько специализаций. Рассмотрим два основных вида специалистов — бизнес-аналитики и системные аналитики.

Бизнес-аналитики. Простыми словами это специалисты, которые отвечают за аналитику бизнес-процессов. Они отслеживают риски, анализируют целесообразность финансирования и инвестиций, обрабатывают бухгалтерскую отчётность и др.

Ловите подборку программ для бизнес-аналитиков: топ лучших онлайн-курсов по бизнес-аналитике

Системные аналитики. Чаще всего эти специалисты заняты в IT. Самыми популярными направлениями системной аналитики выступают веб-аналитика и дата сайенс.

Веб-аналитики отслеживают работу сайтов, приложений и прочих веб-продуктов и исследуют: кто и как покупает товары онлайн, какие траты несёт компания для привлечения покупателей и какова эффективность этих вложений и как повысить прибыль.

Дата-сайентисты обрабатывают большой объём бессистемных данных, чтобы получить новые, не угадываемые выводы. В их работе присутствует элемент эксперимента и творчества — этим они отличаются от других видов аналитиков.

Курсы для системных аналитиков ищите в нашей подборке Топ-5 курсов по системному анализу

В чём разница. В глобальном смысле, между системными и бизнес-аналитиками очень тонкая грань. Система кажется более широким понятием, чем просто бизнес, и создаётся впечатление, что системный аналитик может проанализировать самостоятельно абсолютно всё.

В то же время, тогда как системный аналитик тесно связан с IT и его выводы и предложения по улучшению сводятся к внедрению новых IT-решений, бизнес-аналитик может предложить любые способы улучшения ситуации, в том числе с помощью высоких технологий.

Что общего. Целью любой аналитики является совершенствование продукта, которое достигается путём автоматизации процессов — с этой точки зрения, системная и бизнес-аналитика схожи.

Что выбрать. В эпоху цифровизации перспективнее выглядит системная аналитика. Даже для бизнес-аналитиков, чья работа не связана с IT, будет полезно немного углубиться в тему. Так, освоив язык программирования Python, можно автоматизировать рутинные задачи, обработать больше информации и быстрее проанализировать необходимые данные.

Зачем нужны аналитики? (привет, кэп)

До сих пор от некоторых разработчиков (хотя сейчас уже очень редко) можно услышать, что аналитики (равно как руководители проектов, менеджеры по продукту и т.д.) не только не вносят полезный вклад в дело, но и просто «мешаются под ногами». Лезут, понимаешь, со своими процессами, бумажками и прочей бюрократией — не дают простому девелоперу спокойно работать (смайл).

Излишняя бюрократизация конечно зло, но реализовать большой проект «на коленке», да еще усилиями специалистов лишь одного профиля в современном мире нереально. Никто не оспаривает важную роль разработчиков, но будут ли они продавать, оформлять кучу сопутствующей документации, пытаться понять своеобразный язык заказчиков и т.д.? Позволю себе предположить, что вряд ли многих из них это заинтересует.

К слову, если бы все вышеназванные товарищи (аналитики, менеджеры и т.д.) были бы обычными дармоедами, их бы в нашем мире жесткой конкуренции не нанимали в таких количествах и не платили бы им таких денег. Оговорюсь только, что речь идет об Enterprise-проектах.

Создать успешное мобильное приложение и заработать на нем понятные деньги сейчас (пока еще?) под силу одному человеку. Возвращаясь, собственно, к роли аналитиков. Чтобы не растекаться мыслью по древу, просто перечислю основные моменты, с которыми им приходится сталкиваться в реальных проектах:

Так же аналитиков частенько «припахивают» к не совсем профильным для них задачам, вроде участия в тестировании, внедрении и разработке пользовательской документации. Бороться с этим или смириться – по большому счету личное дело каждого. Более интересной, хоть и тоже не совсем профильной активностью является участие в пресейлах. Кстати, часто эта деятельность бывает весьма увлекательной и развивающей (хотя и чрезвычайно затратной по времени).

Имитационное моделирование

В ряде случаев бывает необходимо узнать, как будут вести себя одни показатели, если изменить другие. К примеру, какие изменения продаж произойдут при повышении стоимости товара. Выполнять подобное тестирование в реальности не всегда возможно, поскольку это мероприятие достаточно затратное и может привести к финансовым потерям. В таких ситуациях аналитическое исследование рынка осуществляется с помощью имитационной модели.

Предположим, нужно узнать, какое влияние оказывают различные факторы на продажи торговой точки. Потребуются следующие данные: продажи, цены, количество покупателей. Используя эту информацию, получится создать модель магазина.

После этого можно внести необходимые изменения, например поднять либо снизить стоимость товара, изменить число консультантов, увеличить количество клиентов. От этих факторов зависят другие показатели. Проведя такой эксперимент, получится выбрать наиболее эффективные решения, чтобы затем реализовать их на практике.

Имитационное моделирование чем-то напоминает предиктивную аналитику. Однако в данном случае предугадывание будущих событий происходит по гипотетическим, а не реальным данным.

Имитационную модель получится создать без больших данных. Однако чем больше информации, тем более точной окажется модель, поскольку в ней будет учтено максимальное количество факторов.

Такой подход показывает высокую эффективность, если нужно проверить гипотезу, однако проводить эксперимент на бизнесе достаточно затратно. К примеру, крупномасштабное изменение стоимости товара на длительный период может привести к банкротству фирмы.

Необходимо понимать, что при построении масштабной модели невозможно учесть все факторы. Это значит, что результаты моделирования не будут 100 % точными. При реализации задуманных изменений следует учитывать возможные риски.

Краткое техническое отступление

Давайте сознательно прервем повествование и остановимся на самих требованиях. Что касается видов, атрибутов, характеристик, подходов к сбору и оформлению требований – пожалуй, большего «бардака» сложно найти. Состав и содержание документов с требованиями существенно различаются (взять, к примеру, наш ГОСТ и RUP, и имхо это не сравнение пушки и рогатки).

Набор атрибутов требований так же в каждом подходе приводится свой, часто весьма неоднозначный (например, в BABOK). В довершение, часто путают результаты этапов анализа и проектирования, заставляя исполнителей включать в аналитические документы финальный вид диаграммы классов и полную схему БД (об этом ниже).

Не претендуя на истину в последней инстанции или какое-то ноу-хау (примерно то же написано в Википедии), сформулируем два ключевых способа классификации требований.

По уровню:Бизнес-требованияСамые высокоуровневые требования, которые определяют цели создания ПО. Примерами таких требований могут быть достижение 20%-го сокращения издержек или повышение качества управления (например, за счет возможности оперативного формирования отчетности).

Данные требования обычно описываются в отдельном документе — «Видении проекта» (Vision) или «Бизнес-требованиях», который так же включает определение основных ролей будущих пользователей Системы и перечисление ее основных сценариев использования.

Требования пользователейОни определяют набор пользовательских задач, которые должна решать Система, с описанием сценариев решения данных задач. Требования пользователей обычно представляются в виде перечисления вариантов использования Системы и взаимосвязей между ними (как правило, в виде Use-case диаграммы языка UML).

Сами варианты использования описывается в виде составляющих их последовательностей действий со всеми возможными пред/постусловиями и ветвлениями. Часто описание является текстовым (эта тема хорошо описана в книге Алистера Коберна ” Современные методы описания функциональных требований к системам “).

Функциональные требованияДетально описывают все элементы функционала, который должен быть непосредственно реализован в Системе, чтобы обеспечить возможность выполнения всех сценариев использования, описанных в Требованиях пользователей.

Функциональные требования являются наиболее детализированными. Они описывают, в том числе, входные/выходные данные и их проверки, алгоритмы обработки данных и элементы пользовательского интерфейса (без дизайна).Как правило, данные требования оформляются в виде отдельного документа («Технического задания» и т.д.).

В этом же документе детализируются сценарии использования Системы (Требования пользователей), к которым обычно и привязываются функциональные требования.Пример функционального требования: «По клику на кнопке <Кнопка А> на форме <Форма Б> должно отображаться модальное диалоговое окно, содержащее <Содержание окна>».

По типу:Функциональные требованияОписывают непосредственно функционал, реализуемый Системой (пример приведен выше в описании классификации требований по их уровню в пункте «Функциональные требования»);

Нефункциональные требованияОписывают характеристики системы и ее окружения, а так же накладываемые ограничения.Примерами нефункциональных требований могут служить ограничения на поддерживаемые разрабатываемой Системой аппаратные платформы и операционные системы, а так же требования к производительности, к безопасности и т.д.

Примечание:Как видно из описания, приведенного выше, функциональные требования – это категория требований как по их уровню, так и по их типу. К сожалению, в настоящий момент сложилась именно такая неоднозначная терминология (по опыту многих проектов и нескольких работодателей). Если у вас есть другие подходы, пожалуйста, поделитесь.

Описывать характеристики (непротиворечивость, полноту и т.д.) качественных требований и все их атрибуты (статус, источник и т.д.) здесь не буду, чтобы не раздувать пост. Если эта тема будет интересна, с удовольствием освещу ее в отдельной статье, хотя все это без труда гуглится.

Последовательность работ и их результатовСледует четко различать результаты этапов анализа и проектирования. На этапе анализа формируются требования к Системе.Все детали реализации Системы определяются уже на следующем этапе – этапе проектирования.

1. Произойдет смешивание в одном документе результатов различных типов работ, выполняемых разными людьми (аналитиком и архитектором);
2. Срок сдачи технического задания будет увеличен, т.к. для его завершения потребуются некоторые результаты этапа проектирования.
   Результаты этапа проектирования эффективнее оформлять в отдельном документе, описывающем архитектуру Системы.

Однако некоторые отступления, такие как включение в «Техническое задание» спроектированных макетов интерфейса (без дизайна/оформления), допустимы, т.к. выполняются теми же людьми, которые разрабатывают само техническое задание.

Порядок сбора самих требований:

1. Сначала выявляются цели создания Системы (бизнес-требования). Может сложиться впечатление, что фиксация данных требований не является обязательной для разработки. Но в этом случае у Исполнителя не будет возможности контролировать соответствие разработанной Системы тем целям, для которых она создавалась, а так же – возможности устанавливать семантические зависимости между целями разработки системы и сценариями ее использования;
2. Далее определяются роли пользователей Системы (как людей, так и других программных систем). После этого выявляются и описываются сценарии использования Системы каждой из данных ролей. Так формируются Требования пользователей.
3. Далее разрабатывается полный набор требований к функционалу Системы таким образом, чтобы данный функционал позволял выполнить все сценарии, описанные в Требованиях пользователей. Так же фиксируются ограничения для Системы и параметры среды ее функционирования.

Отсутствие дублирования в описании требованийКлючевым моментом управления требованиями является отсутствие дублирования, т.е. каждое требование должно быть зафиксировано только в одном документе и только в одном месте данного документа.

Отступление от данного принципа приведет как к серьезному увеличению трудозатрат на поддержку данных документов, так и к неизбежному нарушению их целостности (т.к. для сложно программной системы учесть все нюансы всех новых требований параллельно во всех документах является сложной и ресурсоемкой задачей).

Управление изменениямиПри разработке современных программных систем часто требуется внести изменения в требования уже по окончании этапа анализа. Здесь важно, чтобы стороны понимали и принимали следующие принципы:

Доступность информационных ресурсов, заинтересованных лиц, экспертов предметной области и технических специалистовДля формирования полного и точного перечня требований к Системе специалисты Исполнителя должны иметь в достаточном объеме доступ:

Во втором случае имеются в виду:

1. заинтересованные лица
2. эксперты предметной области
3. лица, участвующим в согласовании и утверждении требований
4. технические специалисты со стороны заказчика либо других подрядчиков/субподрядчиков.

На этом, пожалуй, закончим это небольшое отступление. Язык повествования получился сухой, каюсь. Но тема достаточно формализованная.

Маркетинг

Демографические исследования, сегментация клиентов, совместный анализ и другие методы позволяют маркетологам использовать большие объемы информации о покупках и данные опросов клиентов для формирования маркетинговой стратегии[11].

Маркетинговая аналитика состоит как из качественных, так и из количественных, структурированных и неструктурированных данных, используемых для принятия стратегических решений о бренде и доходах. Этот процесс включает прогнозное моделирование, маркетинговые эксперименты, автоматизацию и коммуникации в режиме реального времени.

Веб-аналитика позволяет маркетологам собирать информацию о действиях на веб-сайте с помощью операции, называемой сеансом. Google Analytics — пример популярного бесплатного инструмента вкб-аналитики[12][13] .

Методы анализа, часто используемые в маркетинге, включают моделирование маркетингового комплекса, анализ ценообразования и продвижения, оптимизацию торгового персонала и клиентскую аналитику, например: сегментацию. Веб-аналитика и оптимизация веб-сайтов и онлайн-кампаний дополняют традиционные методы маркетингового анализа.

Машинное обучение и нейронные сети

Стандартные компьютеры могут считать, однако не всегда способны решать задачи, с которыми легко справляется человеческий мозг. К примеру, машина не способна понять, что «Дрель Bosch 10 мАч», «Дрель Бош 10», «Дрель Бошь акк 10» ничем не отличаются друг от друга.

Как сделать так, чтобы машина думала, как мы с вами? Для этого необходимо создать в ней структуру, напоминающую мозг человека. Нейронные сети – именно такая структура. Они сделаны из огромного количества искусственный нейронов, при обучении которые создают связи, чтобы стало возможным анализировать данные.

Принцип работы нейронных сетей следующий: после получения информации они пропускают данные через сеть нейронов, чтобы выйти на результат. К примеру, отнести входные данные к какой-либо группе.

Для нормального функционирования нейросети необходимо обучить ее, данная процедура носит название «машинное обучение».

Для наглядности рассмотрим пример. Предположим, необходимо обучить нейросеть, чтобы она могла по изображению определять пол человека. Сделать это можно следующим образом:

• Строим нейросеть — программируем искусственные нейроны, чтобы они воспринимали входные данные, а затем создавали связи.
• Передаем нейросети очищенную выборку — базу лиц, которые отмечены как мужские или как женские. В результате нейросеть поймет, чем отличаются люди разного пола, и сможет самостоятельно определять по фотографии, кто на ней изображен: мужчина или женщина.
• Тестируем нейросеть — передаем ей новую очищенную выборку, однако не указываем, на каких изображения женские лица, а где мужские. После этого можно будет судить о том, насколько часто нейросеть допускает ошибки и приемлемо ли это для вас.

Как только нейросеть будет обучена и протестирована, ее можно использовать, чтобы обрабатывать большие данные.

Нейросети подходят для сортировки информации, классификации данных на основе входной информации, после чего принимается определенное решение.

Чаще всего нейросети применяются для той работы, с которой может справиться человек, к примеру распознание лиц, сортировка изображений, определение мошеннической банковской операции по некоторым признакам. В этих случаях нейросеть заменяет большое количество сотрудников, ускоряя процессы принятия решений.

Послесловие

Современная аналитика страдает популизмом, то есть поддерживает распространенные в обществе те или иные убеждения и мнения, спекулирует на них, никогда не рассматривая по существу. Что помогает получить расположение толпы и её внимание, но никаких решений и выхода из сложившейся ситуации не предлагает.

Количество различных мнений и публикаций с каждым днём растёт лавинообразно, но кризис продолжает углубляться. Много слов, много цифр, в результате — ничего. Если в интернет-песочнице и узких протоках Телеграм-каналов это не приводит к катастрофе, то отсутствие методологически подкованных кадров в специализированных институтах, науке, Администрации президента и спецслужбах (что в общем касается не только России) приводит к оторванной от жизни узкоспециализированной аналитике (если не заказной), на основе которой руководители учреждений, ведомств, государств принимают уже вполне реальные решения и проводят в жизнь действия, влияющие на жизнь миллионов людей.

При этом всё это выражается в жуткую какофонию, так как нет не только единой методологии, но и ориентиров: общепринятой идеи и ясных идеалов жизни общества. На государственном уровне должна вестись подготовка управленческих кадров широкого профиля на основе единой и адекватной жизни методологии с универсальным терминологическим аппаратом, который позволит специалистам быстро и эффективно входить в любую проблематику. Только тогда можно будет рассчитывать на эффективную аналитику и соответствующие решения на её основе.

Пока же все остальные, кто видит проблемы общества и способен самостоятельно освоить методологию на основе полной функции управления, могут внести свой вклад в его развитие через самостоятельный и честный анализ ситуации. Аналитическая деятельность в общем и целом должна служить благополучию общества, освоению его генетического и творческого потенциала, а главное — не только реагировать, а именно задавать направление развития и предопределять образ будущего во всех его гранях и оттенках.

Источник

Примечания

Проблемы

Особое внимание в задачах аналитики уделяется анализу большими данными[23]. В прошлом большие данные встречались только в науке. В настоящее время такие данные возникают и в промышленности и бизнесе[24][23].

Еще одна проблема, привлекающая внимание аналитиков это анализ неструктурированных типов данных. Неструктурированные данные отличаются от структурированных тем, что их формат широко варьируется и не может храниться в традиционных реляционных базах данных без значительного преобразования[25].

Источники неструктурированных данных, такие как электронная почта, документы текстовых процессоров, PDF-файлы, геопространственные данные и т.д., быстро становятся важным источником бизнес-аналитики для предприятий, правительств и университетов[26][27].

Вышеуказанные задачи привели к возникновению новых концепций машинного анализа, таких как обработка сложных событий[28], полнотекстовый поиск и др. Одним из таких нововведений является применение вычислительных сетей, позволяющих увеличить производительность за счет массивно-параллельной обработки данных[29].

Смешение и интеграция данных

Работая с большими данными, зачастую приходится собирать разнородную информацию из нескольких источников. Чтобы достичь поставленной цели, необходимо собрать BigData воедино. Не получится загрузить большие данные в одну базу, поскольку в зависимости от источника будут отличаться формат и параметры сведений.

Тогда придется использовать смешение и интеграцию данных, то есть приводить разнородную информацию к единому виду.

С помощью каких методов получится использовать данные из разных источников:

• Приведение данных к единому формату: распознавание текста с изображением, конвертация документов, перевод текста в цифры.
• Дополнение данных. Когда существует два источника данных об одном объекте, необходимо дополнить информацию из первого источника данными из второго, чтобы оценить полную картину.
• Отсеивание избыточных данных. Этот метод подойдет, когда один источник собирает лишнюю информацию, которая недоступна для анализа, поэтому ее нужно удалить.

Смешение и интеграция данных – оптимальный вариант, когда есть множество разных источников информации и требуется проанализировать сведения в комплексе.

К примеру, ваша компания реализует продукцию офлайн, через маркетплейсы, а также через сайт. Для получения полной информации о проданных товарах и спросе необходимо получить огромное количество данных, а именно кассовые чеки, остатки продукции на складе, онлайн-заказы, заказы через маркетплейсы.

Стандартные методы интеграции данных основываются на процессе ETL (извлечение, преобразование и загрузка). После того как сведения будут получены из источников, они проходят через очистку, затем загружаются в хранилище. У специальных инструментов экосистемы больших данных от Hadoop до баз данных NoSQL есть свой способ извлечения, преобразования, а также загрузки информации.

Как только BigData будут интегрированы, можно начинать работать с ними, анализировать.

Специфика

Аналитика — это междисциплинарная область [7]. Иногда используется термин расширенная аналитика, с использованием методов машинного обучения, нейронные сети и регрессионный анализ[8]<[9] . Включает также неконтролируемые методы машинного обучения, такие как кластерный анализ, анализ главных компонент профиля сегментации и анализ ассоциаций[10].

Управление персоналом

Этот раздел аналитики также известен как HR-аналитика, аналитика талантов, аналитика человеческого капитала HRIS (Human resource Information system). HR-аналитика — это приложение аналитики к управлению человеческими ресурсами[15]. HR-аналитика стала стратегическим инструментом анализа и прогнозирования тенденций, связанных с персоналом на меняющихся рынках труда.

Соответствующий класс инструментов известен как Career Analytics tools[16][17]. Широко применяются также автоматизированные системы управления персоналом[en].