Neurodata Lab — проектная компания и исследовательская лаборатория в области аффективных наук и когнитивных технологий . Neurodata Lab специализируется на разработке систем для распознавания и синтеза эмоций , детекции и анализа движений, неинвазивных методов измерения физиологических сигналов, сборе и анализе аффективных данных .

Описание и история

• Neurodata Lab была основана в апреле 2016 года. Компания является центром компетенций в области эмоционального искусственного интеллекта и аффективных наук и осуществляет деятельность на международных рынках, имеет представительства в России, Италии, Швейцарии и США .
• В июле 2017 года компания привлекла 1,3 млн долларов США .

• В марте 2018 года Neurodata Lab совместно с университетом ИТМО провела первую в России конференцию по эмоциональному искусственному интеллекту .
• 9 октября 2018 года Neurodata Lab объявила о партнерстве с робототехнической компанией Promobot . Нейросетевые технологии Neurodata Lab позволят роботам Promobot распознавать 20 эмоций и когнитивных состояний, адаптировать стратегию общения в зависимости от эмоционального состояния собеседника, а также отвечать в более живой манере благодаря технологии синтеза эмоционального ответа . 1 ноября робот определял 7 эмоций посетителей выставки TechDay Росбанка .
• 14 февраля 2019 года Росбанк начал тестирование нейросетевой технологии распознавания эмоций в голосе клиента, разработанной компанией Neurodata Lab, как часть пилотного проекта по анализу удовлетворенности клиентским сервисом в режиме реального времени .
• 26 сентября 2019 года опубликована препринт-версия совместного исследования ирландских (Dublin City University, Queen’s University Belfast), британских (University College London) и немецких (University of Bremen) ученых под общим руководством Дамьена Дюпре (Damien Dupré), посвященного анализу и сравнению существующих решений в области детекции и распознавания эмоций по лицу (при этом учитывались как сыгранные, так и спонтанные экспрессии), разрабатываемых компаниями — лидерами на рынке Emotion AI. Алгоритмы от Neurodata Lab по результатам исследования вошли в глобальный топ-3 по полноте, точности и корректности распознавания.

Технологии

Программное обеспечение Neurodata Lab для распознавания эмоций не требует носимых датчиков или специального оборудования, кроме веб-камеры и микрофона. Технология обнаруживает, распознает и анализирует эмоциональное и социальное поведение, используя нейронные сети , компьютерное зрение и методы глубокого обучения .

Эмоциональные вычисления

Эмоции могут проявляться по нескольких каналам (модальностям): мимике и микроэкспрессиям лица, глазодвигательной активности, голосовым характеристикам, движениям и позиции тела, а также выражаться через физиологию вроде учащенного сердцебиения . Точность распознавания эмоций по каждой модальности в отдельности в среднем на 9,8 % ниже точности в системах для совокупного анализа данных, поступающих по всем каналам одновременно (в 85 % случаев) . Такой мультимодальный подход положен в основу технологий Neurodata Lab.

Индустрия технологий для детекции эмоций и сформировавшийся под нее рынок получили название эмоциональных, или аффективных, вычислений . В более широком понимании обучение машин распознаванию и синтезу эмоций является частью большого проекта по созданию эмоционального искусственного интеллекта .

Бизнес-применение

Технологии распознавания эмоций применяются в различных сферах: банковской и страховой отраслях, ритейле, автомобильной отрасли, игровой индустрии, коммуникациях, робототехнике , нейромаркетинге , безопасности, цифровой медицине .

Проекты и продукты

Распознавание эмоций

Ключевая технология Neurodata Lab позволяет распознавать 20 аффективных и когнитивных состояний.

Трекинг

Несколько трекеров составляют основу технологии Neurodata Lab для распознавания эмоций:

• Face Tracker: распознавание лица в кадре, а также его отдельных элементов (положения глаз, рта, носа, и других нейросетевых признаков, не поддающихся общепринятой трактовке).
• Диаризация для определения наличия человеческой речи в аудиопотоке, а также вычленения голоса говорящего, если в момент речи присутствует несколько голосов.
• Body Tracker: отслеживание движений тела и рук в видеопотоке.
• Eye Tracker: Извлечение данных о движении глаз.
• Heart Rate Tracker: Определение пульса с помощью видеокамеры.
• Respiration Rate Tracker: Определение частоты дыхания с помощью видеокамеры.

Онлайн платформы

Emotion Miner — глобальная платформа по онлайн-аннотированию видеофайлов — сбора, разметки, анализа и процессинга эмоциональных данных на основе англоязычных видеофрагментов, извлеченных из существующего публичного контента (интервью, дебаты, ток-шоу и др.) .

Аффективные датасеты

RAMAS — первый в мире русскоязычный мультимодальный аффективный набор данных . Доступен для бесплатного использования для академических учреждений, университетов, лабораторий и некоммерческих организаций в исследовательских целях.

Emotion Miner Data Corpus — датасет, собранный по итогам работы платформы Emotion Miner. На сегодняшний день Emotion Miner Data Corpus — один из крупнейших размеченных мультимодальных эмоциональных видеодатасетов.

Научная деятельность

С момента создания Neurodata Lab выстраивает коллаборации с академическими институтами, университетами, лабораториями и профильными центрами компетенций в США, Европе и России, и активно участвуют в крупных зарубежных конференциях, публикуют академические статьи. По состоянию на 2018 год компания развивала несколько коллабораций с рядом университетов и научных лабораторий, как в России, так и за рубежом, в том числе вела совместные проекты с ВШЭ , МГУ , ИТМО , СколТехом и университетами Ульма, Глазго, Женевы, Генуи.

Публикации и конференции

Примечания