Эти люди создают искусственный интеллект — 4 истории специалистов по ИИ и ML / Блог компании Нетология / Хабр

Эти люди создают искусственный интеллект — 4 истории специалистов по ИИ и ML / Блог компании Нетология / Хабр Аналитика

Введение

Искусственный интеллект (ИИ), машинное обучение и нейронные сети — термины, используемые для описания мощных технологий, базирующихся на машинном обучении, способных решить множество задач из реального мира.

В то время, как размышление, принятие решений и т.п. сравнительно со способностями человеческого мозга у машин далеки от идеала (не идеальны они, разумеется, и у людей), в недавнее время было сделано несколько важных открытий в области технологий ИИ и связанных с ними алгоритмов. Важную роль играет увеличивающееся количество доступных для обучения ИИ больших выборок разнообразных данных.

Область ИИ пересекается со многими другими областями, включая математику, статистику, теорию вероятностей, физику, обработку сигналов, машинное обучение, компьютерное зрение, психологию, лингвистику и науку о мозге. Вопросы, связанные с социальной ответственностью и этикой создания ИИ притягивают интересующихся людей, занимающихся философией.

Мотивация развития технологий ИИ состоит в том, что задачи, зависящие от множества переменных факторов, требуют очень сложных решений, которые трудны к пониманию и сложно алгоритмизируются вручную.

Растут надежды корпораций, исследователей и обычных людей на машинное обучение для получения решений задач, не требующих от человека описания конкретных алгоритмов. Много внимания уделяется подходу «чёрного ящика». Программирование алгоритмов, используемых для моделирования и решения задач, связанных с большими объёмами данных, занимает у разработчиков очень много времени.

Даже когда нам удаётся написать код, обрабатывающий большое количество разнообразных данных, он зачастую получается очень громоздким, трудноподдерживаемым и тяжело тестируемым (из-за необходимости даже для тестов использовать большое количество данных).

Современные технологии машинного обучения и ИИ вкупе с правильно подобранными и подготовленными «тренировочными» данными для систем могут позволить нам научить компьютеры «программировать» за нас.

Актуальность ИИ

Принципиальнейший вопрос ИИ в следующем. Существующий тренд исследований в ИИ направлен исключительно на решение технологических задач. Человеческий же интеллект занимается в основном решением личных, общественных и социальных проблем и его «успехи» оставляют желать лучшего.

Мы совершенствуемся технологически и прямо пропорционально множим социальные риски: кризисы, эпидемии, конфликты, войны, теракты и т. д. Логично предположить, что целью создания ИИ должен быть инструмент решающий исключительно социальные проблемы. Ведь, вопрос социального характера «Что будет,если…?» для человека гораздо важнее технологического вопроса «Сколько будет…?», но этого пока нет даже на стадии осознания.

Сейчас кибернетики успешно справляются с созданием любых приложений и траекторий математического порядка. Но описать на языке программирования различные социальные процессы и явления и тем самым предвосхитить в будущем частное или государственное потрясение и т.д. (его амплитуду, частоту, фазу), на любом временном этапенемыслимо в принципе.

То есть, то, что сейчас подразумевают под имеющимися «умными» изобретениями ( девайсы, дома, роботы и так далее), на самом деле таковыми не являются, так как они не обладают способностью анализировать опыт прошлого и данность настоящего для стратегического прогнозирования будущего.

Проблематика ИИ

Проблеме ИИ уже более 70 лет. Успешно решены задачи-погодки: термоядерный синтез, код ДНК, космические программы, коллайдер и т. д. Эти вопросы решались на уровне правительств. Сейчас ИИ занимаются не только страны, но и все уважающие себя компании. Инвестиции в эту проблемудостигают астрономических размеров и перекрывают сумму затрат всех предыдущих научных открытий.

И это не предел. Однако, далеко продвинуться не удалось, поскольку все доклады о достижениях в области ИИ — это блеф. По сути, речь в них идет о банальной комбинаторике, т.е. овсе более совершенных продуктах-калькуляторах, направленных на решение технологических задач сомнительной значимости.

Сомнительной, из-за отсутствия технологии «стендовых испытаний» на предмет их безопасности в будущем.Поскольку отсутствуют тестирующиеалгоритмы причинно-следственных связей.Наблюдается парадокс корпоративной этики. Соискатели осваивают инвестиции, рапортуют об очередном «прорыве», но при этом все, кроме инвестора, знают, что онИскусственным Интеллектом не является.

В чем причины пятого творческого тупика? Их много. Во-первых, нет конкретного определения ИИ. Во-вторых, нет однозначного понимания, что такое интеллект. В-третьих, нет главного — фундаментальной теории ИИ. В итоге, отсутствует чёткая архитектура цели.

Есть только версии, не работающая парадигма ИИ, шаблонность эволюции проблемы,т. е. только в технологической плоскости и удручающая цикличность тупиков. В результате, разработчики не имеют понятия о конечных характеристиках и функциях инструмента. Соискатели ИИ с готовностью обещают реализовать нечто, не имеющее научного описания.

И это нонсенс, но факт. Например.на одной из конференций доктор наук требовал уважения и утверждал, что его бульдозер на Чернобыльской АЭС обладал продвинутым ИИ. Как можно решитьзадачу создания ИИ, если цели, задачи и риски которой существуют в виде версий? Невольно напрашивается сравнение ИИ с «черной кошкой в тёмной комнате», которой, кстати, там нет.

Почему же сейчас понятие ИИ рассматривается только как «интеллектуальные» приложениядля техники? Всё началось с легендарного взломщика «Инигмы» А. Тьюринга. Он не только расколол код вермахта, заложил основы кибернетики, но что имеет более глубокие последствия, дал «ложный след»:

«тест Тьюринга» и понимание ИИ. Многие годы вводные параметры ИИ были не преодолимы для соискателей и тогда понятие ИИ просто расширили. Заманчивые перспективы ИИ решили проблему инвестиций, а сложность темы для обывателя сделала из кибернетиков не только «гуру», но и фактических монополистов, так называемого ИИ. И что? И ничего. На конвейер поставлены якобы интеллектуальные приложения, все довольны, но ИИ нет.

Подытожим. Кибернетики успешно работают в системе «да-нет». Осмыслить, понять, принять то, что заключено между этими символами (смыслы, сущности, аллегории, абстракции и т.д.),они не могут по определению. Не та специализация. Глубина темы ИИ позволяет маневрировать соискателям фигурами речи, но не смысловым содержанием.

Ведь речь идёт о создании инструмента эквивалентного и превышающего аналитические возможности человека. Другими словами, ИИ — это командная работа социологов, философов, психологов, историков и т. д. Только они могут наполнить ИИ смысловым содержанием, т. е. сделать из высокотехнологичного калькулятора искомый Искусственный Интеллект. Кибернетика — это лишь операционная база «одевающая» мысль в цифру.

Возникает вопрос порядочности в исследовательской среде. Да, достижения кибернетики высоки. Ими созданы боеголовки, компьютеры, приложения, умные дома, светофоры и т. д.. Но как будет описано ниже, к ИИ это не имеет никакого отношения. По сути, всё новое в разработках ИИ обречено функционировать по принципу калькулятора. Другими словами, справедливое название их темы: Искусственная Комбинаторика (ИК). Все остальное — от лукавого.

«Сбербанк»

Направление машинного обучения и искусственного интеллекта развивается в «Сбербанке» с 2021 года. Главная цель — создание новых интеллектуальных продуктов и сервисов как для внутреннего, так и для внешнего клиента, а также оптимизация банковских процессов с помощью технологий машинного обучения.

Так, в начале 2021 года банк запустил первую в России нейронную сеть для оценки коммерческой недвижимости. ИИ позволяет банку почти мгновенно проводить оценку залогов. Такой ИИ работает с регулярно актуализируемой базой данных по стрит-ритейлу. Эта база пополняется из нескольких типов источников и содержит основные характеристики объектов-аналогов, их фото и цены.

Нейросеть получает характеристики объекта, который надо сравнить с другими, и на основе собранных данных подбирает наиболее близкие аналоги, которые используются для расчета стоимости. Если экспертам для этого нужны часы и даже дни, то нейросети для анализа требуется несколько секунд.

Кого ищет «Сбербанк»: сейчас банку нужны сразу несколько дата-сайентистов для разных проектов. Так, в одной из вакансий в Москве от специалиста требуется опыт в решении задач data science для бизнеса, опыт работы с большими данными, хорошие навыки программирования (Python, Spark, SQL) и знание библиотек машинного обучения.

Кроме «Сбербанка», дата-сайентисты и специалисты по машинному обучению требуются многим другим банкам, в том числе ВТБ, «УралСибу» и БинБанку.

Концепция внедрения ИИ

«Невозможно решить проблему на том же уровне, на котором она возникла.
Нужно стать выше этой проблемы, поднявшись на следующий уровень».
А. Эйнштейн.

Для того, чтобы реализовать ИИ, необходимо переосмыслить существующие подходы к ИИ, осознать «ложный путь» и взглянуть на проблему по-новому.

Качество любых знаний определяется эффективностью аналитики собственного поля. Например, качество точных наук более 90% и на практике их возможности ограничены лишь бюджетом. Качество аналитики прогнозирования метеорологического поля — более 60%. Хромают системы счета и алгоритмическая база.

Качество экспертной аналитики прогнозирования социального поля составляет всего 6 — 8% ввиду отсутствия алгоритмической базы. Нет социологии, как точной науки, нет систем счета, стабильности системы. Это делает невозможным вести качественную социальную аналитику. Заявления Санта-Фе о 16% эффективности — это миф, справедливый лишь для устойчивого форсайта.

Все существующие открытия и технологии своим появлением обязаны точным наукам. Проблема ИИ останется проблемой, поскольку основным телом она находится в поле версионных социальных знаний, качество которых всего 6-8%. Именно поэтому ей более 70 лет.

Решить проблемы ИИ при такой эффективности социологии невозможно. Необходимо поднять качество социологии посредством её алгоритмизации. В итоге мы получим Высокотехнологичную Социологию (ВС). Именно она сделает возможным функционирование Искусственной Аналитики (ИА) балансного типа. Это базовая структура.

Социология не в состоянии сформулировать основные понятия темы ИИ, поскольку не имеет алгоритмического сопровождения. Например, существующее понятие интеллекта — это лишь “мыслительное начало«.Это что? Нет алгоритма для этого термина, как и алгоритмов для других понятий;смыслы, сущности, чувства, творчество, парадокс, интуиции, воображении и т.д.?

Как можно наполнить кибернетический инструментабстракцией? Ведь только алгоритм и формула определяет и подтверждает точность версии, конкретизирует её, как инструмент для ведения эффективной аналитики. Поэтому, естественно, что математическая архитектура конечной цели ИИ отсутствует.

Мозг — это аналитический инструмент, но чем он занимается? Существует масса промежуточных понятий, но нет основополагающего.Поясню. Мозг занимается АНАЛИТИКОЙ по оценке рисков будущего. Это его главное эволюционное предназначение, обеспечивающее выживание.

Только эта доминанта позволила человеку выжить и доминировать. Остальное вторично. Следовательно, работать надо не с аморфным, размытым понятием «интеллект», а с прозрачным и понятным — АНАЛИТИКА. То есть Искусственная АНАЛИТИКА (ИА) по оценке рисков перспективы.

Комбинаторика закончится и начнётся ИИ там, где будет получен ответ на вопрос: «Что случится, если…?». Пока системы отвечают на вопрос: «Сколько будет…?». Другими словами, пока эволюция ИИ выглядит так: машина Тьюринга — арифмометр Феликса — калькулятор — очень хороший калькулятор — еще лучше и т. д. Эта тупиковая парадигма исключает следующую ступень,то есть ИИ, тем более ИА. Всегда будет получаться калькулятор.

Дополнительный анализ:  Ликбез: аудиофильская терминология |

Следует правильно понимать суть «ложного следа» ИИ, проблема которого втехнологическом векторе. Мозг — это познавательный инструмент. Аналитика как процесс познания — его производное. Основной вектор познания — это оценка рисков. Для эффективной аналитики необходимы исходные данные.

По сути, Интеллект таковыми и является, и он имеет объем. Объём интеллекта (ума) достаточно конкретная субстанция по содержанию, но форма размыта и допускает произвольность. Именно поэтому «умный» дом или бульдозер не являются интеллектуальными, поскольку в этих системах отсутствует функция предвосхищения рисков, а есть только программа управления.

Чтобы правильно оценить угрозы будущего, необходимо знать это будущее во всех его проявлениях. Мы не знаем будущего. Это информация высшего порядка… Тем более его не знают системы называемые интеллектуальными. Утверждать обратное — это заниматься фигурами речи, что и происходит.

Чтобы было понятней, в порядке отвлечений, следует осмыслить неизвестный исторический прецедент. Всем известно, что главным богом на Олимпе был Зевс. Однако, нет! Зевс был исполнительным директором, и у него для этого было совершенное оружие. Главным на Олимпе был Рок.

Только он знал будущее и писал всем судьбы (и Зевсу тоже). И поэтому именно он был главным, поскольку обладал абсолютным оружием. И только этого «серого кардинала» боялись боги. Это также говорит и о том, что ИИ, это высшее достояние. Это не только абсолютные знания, но и другие позиции Абсолюта.

И всё очень, и очень не просто… Надо быть либо слишком заносчивыми, либо не понимать сути предмета поиска, чтобы решить возможным для себя быть богами с существующим уровнем понимания мира (3-5%). Это о кибернетиках — соискателях ИИ. ЗНАТЬ БУДУЩЕЕ — это архитектура цели.

Есть фундаментальная проблема: Кто будет обучать Искусственный Интеллект? Но нет, не математическим закономерностям, алгоритмам и траекториям, эти технологии уже отработаны. Ведь ИИ надо обучить, прежде всего, социальным знаниям.Справятся лиКибернетики?

А что они знают, например, о токсичностисоциальных знаний? А таких параметров тысячи.Так Кто? Повторю, качество социальных знаний, как и их носителей, а соответственно и эффективность существующей аналитики всего 3-5%. Заносчивая эйфория здесь не поможет.

NB. Можно бесконечно долго формировать ложные векторы цели, называя их ИИ, но в итоге, всё придётся делать по «образу и подобию» мозга человека. Необходимосформировать инструмент ИА на базе ВС, а именно:алгоритмизировать массу социальных понятий, понимать величину их токсичности и прочих коэффициентов загрязнения, компоновать социальную иммунную систему, как и её аудит, выводить алгоритмы социальной энтропии, пределов, причинно-следственных связей, баланса, критических масс и пр.

Решить проблему Общей Теории Поля и, соответственно, Общей теории Социального Поля. Все это даст возможность ИА открывать время, т. е. амплитуду, частоту, фазу будущих угроз (событий). То есть решить проблему стратегического прогнозирования и не только…

Бизнес ощущает нехватку специалистов


На фоне растущего интереса бизнеса к искусственному интеллекту весьма показательно, что многие компании отмечают дефицит квалифицированных кадров.

37% респондентов РАЭК назвали недостаточную компетенцию специалистов одним из главных индустриальных вызовов ИИ в стране. Это невысокий показатель в сравнении с данными других исследовательских компаний, но Мария Сайкина из РАЭК подтвердила ICT.Moscow, что нехватка квалифицированного персонала, безусловно, является одним из ключевых барьеров развития ИИ.

У ВЦИОМ этот показатель почти вдвое выше — 69% респондентов отметили нехватку кадров в области ИИ. Международные аналитические компании также отмечают, что бизнес видит проблему в дефиците специалистов. 49% респондентов IDC & ABBYY заявили о нехватке профессионалов в данной области, а 54% опрошенных KPMG сообщили, что их недостаточно по всем цифровым направлениям, включая ИИ.

Дмитрий Чувиков отмечает любопытный тренд: искусственный интеллект, который позволяет бизнесу перераспределить рутинные и сложные задачи с людей на машинные алгоритмы, в конечном счете не приводит к сокращению рабочих мест. Он стимулирует сотрудников совершенствовать навыки работы с ИИ и технологиями в целом, что, конечно, требует времени.

Даже усиленный интерес к обучению в данной сфере может не дать желаемого результата. Генеральный директор Smart Engines Владимир Арлазаров отмечает, что из-за популярности ИИ многие бросились учиться программировать или повышать навыки в области машинного обучения и нейросетей.

Из 26 опрошенных ICT.Moscow экспертов восемь особенно отметили, что они видят нехватку специалистов в области ИИ на рынке. Активно растущий спрос на технологию у многих вызывает обеспокоенность.

Глубокое обучение

Термин

глубокое обучение

используется для описания нейронных сетей и используемых в них алгоритмах, принимающих «сырые» данные (из которых требуется извлечь некоторую полезную информацию). Эти данные обрабатываются, проходя через слои нейросети, для получения нужных выходных данных.

Обучение без учителя (unsupervised learning) — область, в которой методики глубокого обучения отлично себя показывают. Правильно настроенная ИНС способна автоматически определить основные черты входных данных (будь то текст, изображения или другие данные) и получить полезный результат их обработки.

Без глубокого обучения поиск важной информации зачастую ложится на плечи программиста, разрабатывающего систему их обработки. Модель глубокого обучения же самостоятельно способна найти способ обработки данных, позволяющий извлекать из них полезную информацию.

Проще говоря, алгоритмы обучения позволяют с помощью специально подготовленных данных «натренировать» программу выполнять конкретную задачу.

Глубокое обучение применяется для решения широкого круга задач и считается одной из инновационных ИИ-технологий. Существуют также другие виды обучения, такие как обучение с учителем (supervised learning) и обучение с частичным привлечением учителя(semi-supervised learning), которые отличаются введением дополнительного контроля человека за промежуточными результатами обучения нейронной сети обработке данных (помогающего определить, в правильном ли направлении движется система).

Теневое обучение (shadow learning) — термин, используемый для описания упрощённой формы глубокого обучения, при которой поиск ключевых особенностей данных предваряется их обработкой человеком и внесением в систему специфических для сферы, к которой относятся эти данные, сведений.

Григорий сапунов, cto, intento

Сооснователь и технический директор в стартапе, отвечает за технологическое развитие, архитектуру решений и оценку их качества, применение AI и другие технические вопросы, занимается управлением, разработкой и наймом сотрудников.

Начало пути. Сложно сказать, что именно привело меня в профессию: еще с детства мне было интересно программирование. Параллельно я интересовался психологией, биологией, математикой, радиоэлектроникой, читал журналы «Юный техник» и «Юный натуралист».

Долгое время все, что связано с искусственным интеллектом, было для меня скорее хобби, чем профессией. В какой-то момент я понял, что эти темы составляют и заметную часть моих рабочих задач. Можно сопоставить это с моим приходом в Яндекс в 2007 году.

Первые трудности. В моем случае переход был постепенным: моя профессиональная деятельность началась с разного рода ИТ-проектов, а первым «коммерческим» проектом стала поисковая система для «Московской коллекции рефератов», написанная на Perl.

Я неоднократно ввязывался в совершенно новые проекты, где на старте у меня полностью отсутствовали нужные знания — приходилось осваивать по ходу дела. Поначалу всегда было страшно, но я ни разу не пожалел.

Чтобы разобраться, как все работает, практически всегда я начинал программировать с самого низкого уровня. Так было и с алгоритмом рисования линии Брезенхема, затенением по Фонгу или Гуро — когда изучал компьютерную графику, и с созданием простой нейросети, реализацией метода опорных векторов или генетического алгоритма— когда глубже погружался в ИИ. Потом я долго перебарывал себя: не хотел пользоваться готовыми библиотеками и старался написать все свое с нуля.Профессиональные задачи.

Искусственный интеллект стал довольно универсальной технологией. За последние несколько лет с помощью ML или Software Engineering я вместе с коллегами делал очень разные задачи:

  • распознавание изображений: дорожных знаков с видеокамеры смартфона или товаров на полке магазина;
  • структуризацию новостного потока: кластеризацию новостей по общим темам, аннотирование получившихся кластеров и выделение важных фактов, ранжирование потока по важности и т.п.;
  • прогнозирование в образовании: кто из студентов бросит онлайн-курс в ближайшее время;
  • realtime-аналитику по колл-центру: определение темы телефонного разговора и эмоций людей;
  • анализ геномных данных: для определения структуры хроматина;
  • работу с текстами: нахождение соответствующих друг другу предложений между параллельными текстами на двух разных языках;
  • и многое другое :–)

Сейчас я определяю слабые и сильные стороны моделей и сервисов на базе искусственного интеллекта. Это помогает выбрать, какие из них подходят под конкретную бизнес-задачу.

Планы на будущее. Что планирую делать дальше? Буду применять свои наработанные навыки в сферах медицины и биологии, изучать «психологию» естественных и искусственных сложных систем, пытаться создать ИИ-ученого или, как минимум, ассистента, чтобы повысить свою эффективность.

Дмитрий коробченко, deep learning r&d engineer and manager, nvidia

Руководитель R&D группы, занимается обработкой изображений: применением нейросетей для обработки изображений, компьютерной графики, анимации и физической симуляции.

Начало пути. Во время учебы в университете я увлекался компьютерным зрением и поэтому решил вступить в Лабораторию компьютерной графики и мультимедиа на факультете вычислительной математики и кибернетики МГУ.

Работая в Samsung после университета, я вернулся к компьютерному зрению: одним из первых моих проектов стал анализ медицинских изображений с применением сверточных нейронных сетей. А когда в 2021 году нейронные сети активно распространились и на другие области, спектр моих проектов значительно расширился.

Профессиональные задачи. Будучи Deep Learning R&D Engineer, я занимаюсь как исследованиями, так и разработкой: от создания новых алгоритмов и проведения различных экспериментов до реализации конечных продуктов с последующей оптимизацией.

Сейчас большинство моих задач связаны со сложными типами данных — изображениями, звуками, полигональными моделями, тензорные данными и т.д. В том числе я продолжаю заниматься компьютерным зрением: классификацией изображений, детектированием объектов, семантической сегментацией; создаю нейросетевые фреймворки.

Интерес к ии в бизнесе сегментирован

Из четырех крупных исследований 2021 года, посвященных уровню проникновения ИИ в российские бизнес-процессы, работа ВЦИОМ была опубликована последней, в декабре. Проведя опрос среди 800 компаний разного уровня, аналитики подсчитали, что только 23% респондентов планируют внедрять ИИ-решения в бизнесе (см. таблицу)

Дополнительный анализ:  Высший арбитражный суд вернет Дерипаску в Россию? – аналитический портал ПОЛИТ.РУ

, а 43% их не используют и не будут использовать в будущем. И это несмотря на то, что почти все опрошенные — 91% — осведомлены о наличии такой технологии. Основная причина тривиальна: по данным опроса, компании считают, что ИИ не нужен в принципе в бизнесе (37%) либо будет бесполезен конкретно в их отрасли (28%).

К сожалению, ВЦИОМ не привел подробностей о выборке и не ответил на запрос ICT.Moscow о том, к каким сферам принадлежат опрошенные компании. В описании методологии сказано лишь, что выборка формировалась случайным образом из базы данных юридических лиц и индивидуальных предпринимателей.

Спрос на решения с применением ИИ, безусловно, будет расти.

Использование ИИ становится более осознанным: компании начинают видеть реальные преимущества, приходит понимание того, где, как и какие решения можно применить, чтобы достигнуть максимального эффекта. Появление и обсуждение успешных российских кейсов способствует этому процессу. Кроме того, в прошлом году была принята Стратегия развития ИИ в России, что, безусловно, является важным стимулирующим фактором.

РАЭК при проведении опроса обратился к крупным компаниям, которые уже работают в области ИИ, а также к компаниям с высоким уровнем проникновения этой технологии. KPMG опрашивал предприятия с капитализацией более 40 млрд рублей, а IDC и ABBYY изучали сегмент предприятий со штатом более чем в 1000 сотрудников.

Вполне логично, что выбранные агентствами компании-респонденты продемонстрировали высокую заинтересованность в ИИ-решениях. В частности, они рассчитывают с помощью технологии развивать направление прогнозной аналитики (РАЭК, 39%), работу с клиентами (IDC & ABBYY, 60%).

Дмитрий Шушкин рассчитывает, что с помощью ИИ компании будут автоматизировать техподдержку, развивать сервисы персональных рекомендаций. Не последнюю роль тут играет аналитика больших данных. Шушкин поясняет, что банкам, страховым компаниям, телекому необходимо обрабатывать большой поток клиентских документов, определять их тип и проводить различные проверки. Поэтому, чтобы обеспечить себе конкурентное преимущество, компании будут переходить на интеллектуальные алгоритмы.

Искусственные нейронные сети (инс)

Искусственные Нейронные Сети — это математические модели, созданные по аналогии с биологическими нейронными сетями. ИНС способны моделировать и обрабатывать нелинейные отношения между входными и выходными сигналами. Адаптивное взвешивание сигналов между искусственными нейронами достигается благодаря обучающемуся алгоритму, считывающему наблюдаемые данные и пытающемуся улучшить результаты их обработки.

Для улучшения работы ИНС применяются различные техники оптимизации. Оптимизация считается успешной, если ИНС может решать поставленную задачу за время, не превышающее установленные рамки (временные рамки, разумеется, варьируются от задачи к задаче).

ИНС моделируется с использованием нескольких слоёв нейронов. Структура этих слоёв называется архитектурой модели. Нейроны представляют собой отдельные вычислительные единицы, способные получать входные данные и применять к ним некоторую математическую функцию для определения того, стоит ли передавать эти данные дальше.

В простой трёхслойной модели первый слой является слоем ввода, за ним следует скрытый слой, а за ним — слой вывода. Каждый слой содержит не менее одного нейрона.

С усложнением структуры модели посредством увеличения количества слоёв и нейронов возрастают потенциал решения задач ИНС. Однако, если модель оказывается слишком «большой» для заданной задачи, её бывает невозможно оптимизировать до нужного уровня. Это явление называется переобучением (overfitting).

Архитектура, настройка и выбор алгоритмов обработки данных являются основными составляющими построения ИНС. Все эти компоненты определяют производительность и эффективность работы модели.

Модели часто характеризуются так называемой функцией активации. Она используется для преобразования взвешенных входных данных нейрона в его выходные данные (если нейрон решает передавать данные дальше, это называется его активацией). Существует множество различных преобразований, которые могут быть использованы в качестве функций активации.

ИНС являются мощным средством решения задач. Однако, хотя математическая модель небольшого количества нейронов довольно проста, модель нейронной сети при увеличении количества составляющих её частей становится довольно запутанно. Из-за этого использование ИНС иногда называют подходом «чёрного ящика».

Как работает наш мозг

Человеческий мозг представляет собой сложный углеродный компьютер, выполняющий, по приблизительным оценкам, миллиард миллиардов операций в секунду (1000 петафлопс), потребляющий при этом 20 Ватт энергии. Китайский суперкомпьютер под названием «Tianhe-2» (самый быстрый в мире на момент написания статьи)

выполняет 33860 триллионов операций в секунду (33.86 петафлопс) и потребляющий при этом 17600000 Ватт (17.6 Мегаватт). Нам предстоит проделать определённое количество работы перед тем, как наши кремниевые компьютеры смогут сравниться со сформировавшимися в результате эволюции углеродными.

Точное описание механизма, применяемого нашим мозгом для того, чтобы «думать» является предметом дискуссий и дальнейших исследований (лично мне нравится теория о том, что работа мозга связана с квантовыми эффектами, но это — тема для отдельной статьи).

Нейроны взаимодействуют друг с другом с помощью специальных каналов, позволяющих им обмениваться информацией. Сигналы отдельных нейронов взвешиваются и комбинируются друг с другом перед тем, как активировать другие нейроны. Эта обработка передаваемых сообщений, комбинирование и активация других нейронов повторяется в различных слоях мозга.

Но на этом всё не заканчивается. Каждый нейрон применяет функцию, или преобразование, к взвешенным входным сигналам перед тем, как проверить, достигнут ли порог его активации. Преобразование входного сигнала может быть линейным или нелинейным.

Изначально входные сигналы приходят из разнообразных источников: наших органов чувств, средств внутреннего отслеживания функционирования организма (уровня кислорода в крови, содержимого желудка и т.д.) и других. Один нейрон может получать сотни тысяч входных сигналов перед принятием решения о том, как следует реагировать.

Мышление (или обработка информации) и полученные в результате его инструкции, передаваемые нашим мышцам и другим органам являются результатом преобразования и передачи входных сигналов между нейронами из различных слоёв нейронной сети. Но нейронные сети в мозгу могут меняться и обновляться, включая изменения алгоритма взвешивания сигналов, передаваемых между нейронами. Это связано с обучением и накоплением опыта.

Эта модель человеческого мозга использовалась в качестве шаблона для воспроизведения возможностей мозга в компьютерной симуляции — искуственной нейронной сети.

Мнения экспертов: исчезнут ли рабочие места из-за автоматизации

(источник)

Эйлин Хаггерти, старший директор по корпоративному бизнесу компании Netscout:

«Автоматизация в здравоохранении уже значительно влияет на качество медицинской помощи — дальнейшая цифровая трансформация неизбежна. 

Среди примеров:

  • умные кровати, которые отслеживают статистику состояния здоровья пациента и отправляют её медсестрам; 

  • робототехника, которая помогает хирургам в операционной; 

  • носимые устройства для людей с хроническими заболеваниями — такими, как диабет или гипертония, — которые напрямую связаны с медицинскими центрами для оказания своевременной помощи;

  • роботизированные тележки, которые доставляют еду, хирургическое оборудование и расходные материалы на нужные этажи больницы.

При этом автоматизация вовсе не означает, что медицинские работники станут лишним звеном. Врачи вместе с искусственным интеллектом работают для оптимального результата». 

Дилан Макс, руководитель отдела роста и развития компании Foglogic:

«Успешные организации прекрасно понимают, что за технологиями должны стоять реальные люди. Это особенно актуально в сфере здравоохранения, где человеческий контакт невозможно ничем заменить. При этом автоматизация позволяет медицинским работникам быть более эффективными и решать более сложные задачи».

Кейт Туленко, врач, эксперт по кадрам здравоохранения, генеральный директор Corvus Health:

«Технологии в основном заменят медицинских работников, которые не имеют прямого контакта с пациентами или выполняют только рутинную работу. К ним относятся, например, работники лабораторий, специалисты по выставлению счетов и кодированию.

Почти в каждой стране мира наблюдается нехватка медицинских работников, и глобальное старение населения усугубит эту проблему. В результате технологии не лишат многих людей работы — наоборот сделают их работу более приятной, качество обслуживания повысится.

Технологии позволят многим пациентам получать предварительный диагноз, а медицинский работник будет подтверждать этот диагноз. Высококвалифицированные медсёстры заменят многих врачей, а врачи смогут оказывать медицинскую помощь на более высоком уровне.

Сестринский уход будет очень трудно заменить, потому что часть обязанностей — техническая, а другая основана на сострадании, эмоциях. Ведь когда близкий человек умирает, мы хотим, чтобы рядом был человек, способный сострадать и помочь нам пройти через это.

Почти все медицинские профессии и рабочие места изменятся. Например, благодаря телерадиологии и ИИ, который считывает изображения, отпадёт необходимость в большом количестве радиологов, но ни один специалист не останется без работы, потому что они перейдут в интервенционную радиологию».

Никита семенов, nlp team lead, центр искусственного интеллекта мтс

Руководит командами NLP и занимается всем, что связано с обработкой и пониманием естественного языка.

Начало пути. Еще на первых курсах института я начал факультативно изучать машинное обучение: учился по специальности «Компьютерная безопасность», но постепенно понял, что не хотел бы связать с ней свою жизнь. Мой научный руководитель закончил Миланский политех по программе Computer Science, и с ним мы начали развивать факультативный курс по машинному обучению.

Найти работу после вуза именно по профилю машинного обучения было крайне сложно — сфера только зарождалась. Поэтому я вышел в небольшой стартап, который занимался автоматизацией ставок на сайтах контекстной рекламы по типу Google AdWords. Моей первой задачей было разработать механизм исходя из статистики и предиктивной способности цели таким образом, чтобы мы всегда занимали не первую ставку, а вторую или третью — эти строки тоже показывают в топе выдачи, но они значительно дешевле. Тогда я был уверен, что уже знаю все, хотя еще вообще ничего не знал.

Дополнительный анализ:  Вакансии компании Росаналитика - работа в Санкт-Петербурге

Первые трудности. Для меня большую трудность составляли soft-скиллы: нужно было объяснить, чем я занимаюсь, что это все значит, как и что интерпретировать, и какой будет эффект, людям, которые вообще ничего не понимали в моей сфере. Тогда процессы взаимного обучения еще не были мейнстримом, поэтому взаимодействовать с командой было очень сложно.

Я постоянно практиковался: пробовал доносить свои мысли и объяснять команде даже самые простые метрики. Думаю, если бы сейчас я только начинал свою карьеру, то не смог бы так сильно прокачаться в общении — подобные вопросы уже практически никто не задает.

С hard-скиллами проблем не было: тогда мои задачи опирались на статистическое обучение и математику, в которых я хорошо разбирался. Несмотря на это, я все равно читал книги: в Data Sience нужно постоянно развиваться, чтобы разбираться в инструментах и трендах.

После работы в стартапе была компания, где я стал первым Data Scientist и R&D: помогал настраивать первые инструменты аналитики, занимался компьютерным зрением и построением предиктивных моделей на основе данных с космических спутников.

Профессиональные задачи. В МТС я пришел на позицию Senior computer vision engineer, а потом дорос до тимлида двух команд. Мне особенно важно прокачивать soft-скиллы, ведь тимлид — это играющий тренер. Если говорить о задачах, то здесь я занимаюсь всем, что связано с обработкой и пониманием естественного языка. Сейчас это уже своеобразный тренд, который задает новые тренды, направленные на упрощение жизни человека в будущем.

Со временем я понял, что предметная область не так сильно влияет на область твоих знаний. В моем случае предметная область всегда затрагивает то, как обработать и применить данные к какому-либо решению. А подходы всегда остаются одинаковыми. И когда в предметной области специалисты придумывают инновационное решение, например, в компьютерном знании, со временем оно перетекает в другие области. В связи с этим грань между областями постепенно стирается, а подходы и базы становятся похожи.

Главная проблема нашей сферы заключается в том, что она развивается очень неравномерно. Приведу пример: в Data Science долгое время все может быть спокойно, а потом кто-то резко придумывает решение, и через короткое время эти прорывные вещи становятся стандартом для всех. В плане работы это и хорошо, и плохо одновременно: с одной стороны, ты постоянно прокачиваешь скиллы и «бежишь» в 10 раз быстрее, чем остальные, с другой стороны, твой профиль работы постоянно меняется.Планы на будущее.

Пока у меня нет понимания, в каких сферах я хочу развиваться дальше. Мне хочется еще больше погрузиться в то, чем я занимаюсь сейчас.

Обзор

Интеллект — способность воспринимать информацию и сохранять её в качестве знания для построения адаптивного поведения в среде или контексте

Это определение интеллекта из (англоязычной) Википедии может быть применено как к органическому мозгу, так и к машине. Наличие интеллекта не предполагает наличие сознания. Это — распространённое заблуждение, принесённое в мир писателями научной фантастики.

Попробуйте поискать в интернете примеры ИИ — и вы наверняка получите хотя бы одну ссылку на IBM Watson, использующий алгоритм машинного обучения, ставший знаменитым после победы на телевикторине под названием «Jeopardy» в 2021 г. С тех пор алгоритм претерпел некоторые изменения и был использован в качестве шаблона для множества различных коммерческих приложений. Apple, Amazon и Google активно работают над созданием аналогичных систем в наших домах и карманах.

Обработка естественного языка и распознавание речи стали первыми примерами коммерческого использования машинного обучения. Вслед за ними появились задачи другие задачи автоматизации распознавания (текст, аудио, изображения, видео, лица и т.д.). Круг приложений этих технологий постоянно растёт и включает в себя беспилотные средства передвижения, медицинскую диагностику, компьютерные игры, поисковые движки, спам-фильтры, борьбу с преступностью, маркетинг, управление роботами, компьютерное зрение, перевозки, распознавание музыки и многое другое.

ИИ настолько плотно вошёл в современные используемые нами технологии, что многие даже не думают о нём как об «ИИ», то есть, не отделяют его от обычных компьютерных технологий. Спросите любого прохожего, есть ли искусственный интеллект в его смартфоне, и он, вероятно, ответит: «Нет».

Термин «ИИ» является довольно обобщённым. В фокусе большинства исследований сейчас находится более узкое поле нейронных сетей и глубокого обучения.

Одним из способов продления человеческой жизни исследователи считают создание цифровой копии жизни

Так, Национальный научный фонд, независимое агентство при правительстве США, которое отвечает за развитие науки и технологий, выделил около полумиллиона долларов университетам Центрального Орландо и Иллинойса в Чикаго для поддержки исследователей, которые изучают, как искусственный интеллект, компьютерная визуализация и архивирование данных помогут создавать дубликаты реальных людей.

Над так называемой цифровой копией жизни работает и Гордон Белл, почётный научный сотрудник подразделения Microsoft Research, который занимается информационными технологиями в течение нескольких десятилетий. Белл хочет сохранить информацию о своей жизни в памяти компьютеров.

В январе 2021 года компания Microsoft запатентовала технологию, которая позволяет создавать чатботов людей на основе имеющихся о них цифровых данных. Изображения, сообщения в соцсетях и электронной почте, голосовые сообщения — эти и многие другие данные помогут искусственному интеллекту наиболее точно имитировать реального человека.

Определять низкую конверсию

Также важен отсев и низкоконверсионных товаров, препятствующих совершению покупок. Их объем в среднем составляет 5%, а иногда достигает 12%. Но в этом вопросе надо быть аккуратными, чтобы в число таких товаров не попали товары, которые действительно нужны покупателю.

Чтобы не потерять часть клиентов на этапе выбора, важно построить адекватную запросам и психотипу человека систему модерации сообщений. Такой проект должен иметь микросервисную архитектуру, где каждый сервис выполняет свою задачу. Например, работу со складками, логистикой, хранением файлов и т д.

Задача микросервиса отдавать запорашиваемую информацию или выполнять определенные, поступающие из других сервисов, запросы. Например, нужно вывести в админке список мерчантов и их документы. Система запрашивает в микросервисе ответственном за мерчантов их список, из сервиса хранения файлов берет сами документы. При этом микросервисы общаются между собой при помощи json.

Учитывая то, что количество запросов с каждым днем нарастает, задача искусственного интеллекта снизить время их обработки, затраты на «живое» общение и конструирование диалога в режиме реального времени. Нейросеть и есть машинное обучение.

В результате внедрения, система может в автоматическом режиме рекомендовать наиболее часто заказываемые конкретной категорией покупателей товары. Помимо налаживания «диалога» с пользователем, интернет-магазин решает вопрос холодного старта, поддерживая ожидания клиентов в том числе и за счет рекомендации линейки низкочастотных товаров.

Почти все игроки рынка электронной коммерции, нарастив обороты за прошедший год, сегодня, сталкиваются с серьезной пробуксовкой бизнеса из-за того, что система не так хорошо, как хотелось бы, понимает пользователей. Вопрос создания универсальной модели искусственного интеллекта, который бы заменил маркетплейсам и маленьким магазинам продавца, товароведа и тонкого психолога – это вопрос одного-двух лет. И первый, кто сумеет учесть все вышеперечисленные ожидания бизнеса, станет лидером на рынке рекомендательных систем.

Попадание в клиента

Часто системы генерируют либо ошибочные, либо не актуальные рекомендации причем в большом количестве, используя плохо сопротивляющийся накруткам и взломам алгоритм. Таким образом, интернет-магазины сталкиваются с проблемой слабой эффективности генерируемых рекомендаций.

Чтобы такого не происходило, создателям нейросетей необходимо решить проблему точного определения тенденций к изменениям и предпочтений у пользователей. То есть, рекомендательные движки должны учиться прогнозировать не только реакцию на предложение товара или услуги, но и предлагать похожие или альтернативные варианты (в зависимости от реакции пользователя).

В e-commerce, по-отдельности функционирующие коллаборативные, контентные и экспертные рекомендательные системы могут давать сбои, и надо создавать гибридную. Гибкий гибридный рекомендационный алгоритм будет комбинировать данные, полученные по нескольким каналам, протяженным по времени. В них можно одновременно применять взвешенные, дополненные, смешанные и рандомные приемы.

Алгоритм коллаборативной фильтрации выглядит таким образом. При наличии матрицы предпочтений и возможности определять похожесть при помощи косинусной меры, понадобится выбрать число пользователей со схожими вкусами. Вычислить косинусную меру для каждого пользователя, умножить его оценки на полученную величину меры и посчитать сумму калиброванных оценок для каждого товара. Формула алгоритма выглядит таким образом.

Функция sim – мера схожести двух пользователей.

U — множество пользователей.

r — выставленная оценка.

k — нормировочный коэффициент, который высчитывается по данной формуле:

После решения уравнения надо будет кодифицировать информацию и перепроверить при помощи команды rec = makeRecommendation (‘имя пользователя, название товара (), вес, вес).

Важно, чтобы учитывалась главная цель пользователя, посетившего сайт для покупок, укомплектовав всю информацию в матрицу товарных предложений так, чтобы системе были видны и промежуточные действия покупателя. Для этой категории действий потребуется определить систему измерения – начиная от наведения мышкой на товар и заканчивая оплатой товара.

Это важно, так как часть товаров «выпадает» из списка покупок, после вторичного прочитывания списка заказчиком. Еще одна категория товаров, которая нередко оказывается в категории промежуточных действий – самые дорогие или элитные товары. Многие пользователи их просто просматривают, что, в дальнейшем приводит к ошибкам в построении рекомендательных алгоритмов.

Оцените статью
Аналитик-эксперт
Добавить комментарий

Adblock
detector