На турнире по «Героям» игроку надели обруч, который читает эмоции. Будущее наступило?

Разработчик обещает вырастить сверхспортсменов.

На канале MSStudio прямо на турнире Trinity Cup мы увидели вот такую картину:

На голове одного из лучших игроков СНГ в «Героев», Стингера, красовалось некое устройство. Над головой Стингера периодически возникали разные эмодзи: улыбка, задумчивость и тому подобные, и даже шел пар из ушей. 

Оказалось, что устройство – нейроинтерфейс, считывающий эмоции игрока. А эмодзи – способ показать, какую эмоцию в данный момент испытывает игрок. Но как работает нейроинтерфейс? Кто разработал его и зачем? Насколько можно ему доверять (мы что, уже живем в будущем, где машины читают мысли?) Почему – «Герои»? 
 
Вопросов было больше чем ответов, поэтому мы взяли интервью у Антона Еликова и Марии Игнатовой из компании «Лаборатория знаний», которая занимается разработкой прикладных решений на базе нейротехнологий.
 
Кратко о том, что вы узнаете из интервью:
  • Нейроинтерфейс – средство, чтобы найти уникальный для игрока режим победителя. Enter God Mode, как говорится. 
  • Чтобы воспроизвести режим победителя, игроки двигают курсой силой мысли.
  • Устройство можно применять на студентах: преподаватель видит, когда ученик перегружается.
  • И даже в секс-образовании.
 
* * *

Sports.ru: Большая часть разработок в области считывания эмоций базируется на технологиях близких к полиграфу: работают с пульсом и сердцебиением. Вы выбрали именно мозговые импульсы. Они точнее передают информацию?

Загружаю...

Антон Еликов: Ну да. Технически состояние стресса можно отслеживать по сердцебиению человека. Но, к сожалению, – это история про наблюдение во времени. Например, у меня есть часы, которые измеряют пульс, и я могу потом узнать, что в какое-то время я был в большем или меньшем стрессе. Когда же мы решаем задачи связанные с определением уровня стресса здесь и сейчас, то нам нужен источник, где рождаются эмоции. Самая большая нейронная сеть в голове. Она проявляет определенную активность, и мы с помощью интерфейса электрическую активность учитываем. Это, по сути, обычная электроэнцефалограмма.

Sports.ru: ЭЭГ как в поликлинике?

Антон Еликов: Но с более узким диапазоном. Классическая ЭЭГ – это  шапочка с большим количеством отводов, с помощью которых собирается намного больше данных. Мы работаем с нейроинтерфейсами, у которых отводы расположены либо на лбу, на висках и в районе ушей, либо на затылочной части и также на висках и ушах. Наши нейросети мы тренируем на достаточно большой выборке, и это позволяет получать достаточное количество данных для того, чтобы интерпретировать психоэмоциональное состояние.

Стресс, когнитивная нагрузка – это загрузка оперативной памяти, которую никак иначе, кроме как через мозг нельзя померить. Увлеченность – тоже такой показатель, который пульсом, давлением, температурой трудно измерить. Для кейса со стримингом это еще не доступная история, но, возможно, скоро сможем измерять состояние креативности.

Sports.ru: А какое эмодзи будет для креативности?

Антон Еликов: Не знаю! Надо придумать! Это вообще самое сложное, что для нас есть. 

Мария Игнатова: Все равно приходят стримеры и говорят, что не очень-то отображает эмоции, которые испытывают ребята. При этом с точки зрения эмоций, та, которая с огнем и дымом из ушей, она самая эмоциональная, поэтому она всем зашла. А норму показывать видимо, не надо.

Загружаю...

Антон Еликов: Мы еще будем точно работать над дизайном. Вообще, если эта история будет находить повторение в индустрии, одна из задумок продуктовых – это дать возможность участникам самим создавать анимацию. Как, собственно говоря, стикерпаки в телеграмме можно создать самому себе. В разных играх, например, разные герои. Сложно учесть все возможные вероятности того, какой дизайн нужен. Сейчас пока мы делаем своими руками.

Sports.ru: То есть рано или поздно эмодзи можно будет выбирать в зависимости от игры и настраивать самому?

Антон Еликов: Безусловно. Но игра это только одно из применений. А у нас большинство кейсов связаны с образованием. Например, замечать состояние, когда человек находится в стрессе, когда теряет внимание, вовлеченность из-за когнитивной перегрузки. Если у меня ученики на каком-то образовательном продукте перегружены, мне бессмысленно в них засовывать еще информацию, потому что у них коробочка уже все – полная. А это достаточно крутой инструмент для адаптации образовательных продуктов.

Основное, что мы делаем – это буст интеллекта людей внутри команд. Это основа, с которой мы работаем. И вообще, индустрия гейминга появилась из решения задачи, связанной с тренировкой состояния, оптимального для киберспортсменов во время их выступления. Целевое психоэмоциональное состояние  можно тренировать в любой деятельности, будь то переговоры, продажи, выступления на любом соревновании. И мы начали работать именно с созданием тренажера, который позволил бы киберспортсмену войти в состояние, в котором он. вероятнее всего, победит. А история с эмоциями появилась как вишенка на торте. Но, судя по всему, эта вишенка на торте пока что в лидерах по сравнению с тренажером состояний.

С нейроинтерфейсами киберспортсмены смогут контролировать стресс и выходить на максимум своих возможностей

Sports.ru: Как именно работает тренажер для тренировки эмоций и как он может помочь именно в киберспорта?

Загружаю...

Антон Еликов: Мы снимаем электроэнцефалограмму с киберспортсменов во время их игры на протяжении продолжительного времени: в разные дни, в разное время суток, чтобы получился массив данных. После этого собираем с них обратную связь о том, какие игры были успешны, а какие нет. И то время, которое помечено как успешное, мы скармливаем нейросети, а она нам отдает назад выявленные паттерны состояния. Дальше под этот паттерн создается тренажер. Например, нужно переместить курсор мышки вверх или переместить машинку, которая едет по экрану, силой мысли. Спортсмен должен сесть перед монитором, надеть интерфейс и попробовать это сделать. Обычно в течение 10-15-20 минут человек через несколько попыток находит способ, как начать сдвигать объект в нужную сторону. После нескольких повторений это состояние становится, что называется, родным и человек в него может входить без интерфейса. То есть он уже знает путь как туда попасть, какие струны у себя внутри шевелить, чтобы попасть в нужное состояние. И в этом состоянии он уже может выступать.

Sports.ru: То есть без правильной эмоции человек машинку сдвинуть не сможет?

Антон Еликов: Ну да, если он не входит в нужное состояние, снятое эталоном, то машинка стоит на месте.

Sports.ru: Получается, это не совсем эмоция, а скорее концентрация воли?

Антон Еликов: Нет, это определенное состояние. Вот есть, например, состояние потока. В нем увлеченность достаточно высокая, а концентрация необязательна. Это состояние максимально расфокусированное. Например, когда вы занимаетесь каким-нибудь видом спорта, катаетесь на лыжах или на сноуборде. Когда летите с горы на большой скорости, проходите маневры – вот это – состояние потока. Именно состояние психоэмоциональное можно тренировать. И если состояние потока как таковое не связано с результатом, то у киберспортсмена есть какое-то определенное состояние, которое связано с результатом. И наша задача тренировать именно то, что приводит к результату. По сути это такой тренинг, который позволяет человеку изучить состояние, в котором он более эффективен. И по своей воле, осознанно, входить в это состояние.

Загружаю...

Sports.ru: Вы упомянули, что вам необходим некий пласт данных, чтобы проанализировать правильное состояние киберспортсмена. Оцените, пожалуйста, какой у вас объем данных сейчас есть от необходимого.

Антон Еликов: Я бы сказал, что несколько процентов. То есть нам еще прилично надо записать данных, взять от 40 до 120 людей. Чтобы найти такое состояние, нужен большой датасет. Чтобы каждый из них поиграл несколько игр, хотя бы по 5. И из них соответственно выбрать оптимальное состояние. Это очень объемное исследование: сложное и дорогое. И после этого мы получаем то состояние, которое можно тренировать. Мы надеемся, что у нас в этом году получится такое состояние создать и реализовать для киберспорта.

Sports.ru:  Можно ли использовать устройство для тренеров киберспортсменов и просто спортсменов, чтобы они могли определять состояние своих подопечных? Выстраивать по ним оптимальную систему тренировок и так далее?

Антон Еликов: У нас есть отдельный продукт для футбола. Он измеряет готовность к матчу, когда спортсменов перед выпуском на поле проверяют, насколько они психоэмоционально готовы выйти на поле. То есть если человек нестабилен психоэмоционально, если у него какой-то стресс, то как бы он физически не был готов – он не справится – его прорвет, он будет что-то делать не так. Поэтому это важная история. Она может применяться. Это на самом деле прямо работающий сценарий. Это и в бизнесе применяется часто, на ответственных должностях, где деятельность человека связана с жизнью здоровьем или какой-то существенной материальной ответственностью. Так и в спорте, где нужно контролировать определенный уровень показателей внутренних, которые влияют на конечный результат игры.

Загружаю...

Sports.ru: Вы рассматривали психологов как промежуточный элемент, который поможет игрокам лучше интерпретировать их эмоции, лучше входить в это состояние?

Антон Еликов: У нас отдельный продуктовый пласт, с которым мы сейчас работаем – это продукт для психологов в широком смысле, в том числе психологов для спорта и киберспорта. Если мы говорим про широкий пласт людей, то там зачастую нет потребности входить в какое-то целевое состояние для осуществления своей деятельности. Но для психологов в спорте и в киберспорте важно обучать своих подопечных более эффективной подготовке к соревнованиям. Это однозначно. 

В России по какой-то причине заказчики иногда медленнее, чем за рубежом.

Sports.ru: У нас даже к тренерам в киберспорте относились до недавнего времени с большим пренебрежением. Не говоря уже о психологах и каких-то других методах подготовки.

Антон Еликов: Это очень странно. Я как человек, который учился кататься на сноуборде без тренера, а сейчас учусь кататься на доске с тренером, понимаю колоссальную разницу. И это касается любой деятельности, где есть и телесные и мозговые активности. Тренер важен хороший, который тебя правильно направит. И психолог. Даже с точки зрения подготовки по состоянию.

Загружаю...

Sports.ru: У вас уже были успешные случаи применения такого интерфейса?

Антон Еликов: Мы работаем с такими компаниями, как Skyeng, Нетология, Сбербанк, ВТБ, Росатом… с таким порядком компаний. Это вполне успешные проекты, где мы занимаемся усилением человека, помогаем с более эффективным развитием менеджмента в решении каких-то операционных задач. Мы готовим выпуск некоторых кейсов в открытый мир. Пока что они еще находятся в процессе подготовки, думаем, что в ближайшее время их опубликуем.

MSStudio первые откликнулись и помогли протестировать сервис на стриме Стингера

Sports.ru: Получается, для применения устройства в первую очередь рассматриваются командные виды спорта и тренинги, которые задействуют несколько людей. Но для первой интеграции в мир видеоигр вы выбрали «Героев меча и магии». Расскажете, почему именно «Герои»?

Антон Еликов: На самом деле, они просто были самыми быстрыми. У нас было в воронке несколько различных киберспортивных проектов. И коллеги из MS Studio оказались очень быстрыми и сказали «погнали делать».

Загружаю...

Sports.ru: То есть без всякого скепсиса: «Шашки наголо, давайте пробовать».

Антон Еликов: Да, примерно так. Мы встретились, показали, как работает технология, сказали, что можем превратить графики состояний в конкретные эмоции. Они говорят: «Ну, давайте попробуем». И мы начали пробовать. Ради чего, собственно говоря, создаются эмодзи на экране? Это то, что привлечет больше внимания аудитории. Спорт – это достаточно коммерческая история и в конечном итоге, чем больше людей посмотрят, тем больше ты заработаешь.

Sports.ru: Когда вы получите информацию от необходимого количества людей в «Героях», будут ли эти данные применимы для других дисциплин, а не только «Героев»?

Антон Еликов: Для того чтобы решить эту задачу, нам нужны разные игры. То есть фокусироваться не только на «Героях», потому что есть в принципе оптимальное состояние для соревнований для разных игр. А есть еще специфические состояния для какой-то конкретной игры. Если мы говорим, например, об общем состоянии готовности к той или иной игре, то состояние будет в целом достаточно общее, то есть определенный уровень тонуса. И, соответственно, это первый этап – общее состояние. Второй этап – это уже состояния, заточенные под каждую конкретную игру.

Разработчики присматриваются к секс-индустрии: но не к в вебкаму, а к секс-образованию

Антон Еликов: Когда мы рассуждали про стримы и другой контент, где люди делятся какой-то информацией, мы начали чуть шире смотреть, чем только трансляция киберспортивных мероприятий. Мы посмотрели, что есть куча блогеров, которые делятся своей жизнью. Возможно, им интересен еще и контент со своим эмоциональным состоянием. В процессе этой деятельности мы шагнули чуть дальше и прикоснулись к миру секс-индустрии, где есть огромный пласт трансляции…

Мария Игнатова: Состояний [смеется].

Антон Еликов: И состояний, да. Мы начали поход в эту сторону с изучением, что же там происходит. И выяснили, что очень много в секс-индустрии, связанного с секс-технологиями и секс-образованием, пересекается с тем, что мы делаем в образовательных проектах. Но только с фокусом на определенные нюансы, связанные именно с развитием сексуальности. С тем, как люди узнают свое тело и эмоции, взаимодействием в парах. Это очень сложный рынок, потому что никто не хочет про это говорить.

Загружаю...

Вебкам – это история больше про энтертейнмент. Для вебкама не интересно транслировать эмоции как для стримеров, потому что там больше постановочной игры. Мы рассматриваем уже не эмоции, как таковые, а более детальные данные относительно психоэмоционального состояния, которые нужны не для трансляции куда-то наружу, а для взаимодействия в паре. Это могут быть муж и жена или просто мужчина и женщина, которые пытаются каким-то образом лучше понять, как они переживают какие-то эмоции. Словесно иногда это сложно обсуждать на уровне инструмента, который дает объективную обратную связь. Ну и также для решения задач в режиме консультации с психологом. Это, по сути, инструмент, который позволяет лучше узнать себя и возможно партнера.

А вот в истории с секс-образованием очень много различных психотерапевтических практик, связанных с устранением каких-то зажимов. Люди зачастую не очень хорошо понимают, что они чувствуют. Им нужен инструмент, который им подскажет, что «сейчас я на самом деле нахожусь в состоянии стресса» или вот «эта ситуация меня увлекает, мне она нравится». Если речь идет про работу с наставником, который проводит обучение, то он может акцентировать внимание клиента на том, что с ним сейчас происходит. Особенно это касается онлайн-консультирования. Потому что если в офлайн-режиме консультант-психолог зачастую имеет какую-то психологическую базу, может видеть информацию со всего тела клиента, то в онлайн консультации что происходит с телом можно только догадываться. А нейроинтерфейс может давать больше контекста относительно каких-то переживаний – и, соответственно, помогает в терапии.

Загружаю...

Sports.ru: На какой ценовой сегмент вы ориентируетесь с вашим устройством? Будет ли оно доступным для пар, стримеров и прогеймеров?

Антон Еликов: Смотрите, устройство само по себе – это интерфейс, коих масса на рынке российского и западного производства. Мы работаем практически с любыми интерфейсами, которые умеют собирать ЭЭГ проводным или беспроводной способом. Наша основная составляющая – это искусственный интеллект, который обрабатывает данные в состояния и дальше интерпретирует их.

С точки зрения цены, в среднем нейроинтерфейс стоит где-то в районе 30-40 тысяч рублей. Условно говоря, для стримера, который постоянно играет, это вполне подъемные деньги. Если редко, возможна модель аренды. А дальше история про модель монетизации работы с платформой. Она зависит от количества голов и количества часов. У нас стоимость в среднем, если очень грубо говорить – 100 долларов в час за голову. Это очень средняя цена, есть куча нюансов, которые влияют на ценообразование. Есть примеры [других платформ], где в разы дороже, потому что сложнее. Но, наверное, нет примеров, где сильно дешевле.

Важно понимать: интерфейс – это не основной наш продукт. Это лишь способ сбора информации.

Наш основной продукт – это запатентованные алгоритмы преобразования сырых данных ЭЭГ в психоэмоциональные состояния. Если завтра коллеги, которые занимаются разработкой интерфейсов, предложат какой-нибудь бесконтактный нейроинтерфейс или способ получения активности головного мозга, например, с вебкамеры компьютера, мы будем использовать эти данные без интерфейса. Нам не принципиально, откуда мы получим сырые данные. И мы видим на рынке появление, в том числе интерфейса в виде пластыря, который просто клеится на лоб и все. Это сильно удобнее, чем ободок, который есть сейчас, или повязка.

Загружаю...

Лучшие нейтральные существа в «Героях 3». Собрали наш топ

Как секс в «Ведьмаке» раскрывает сюжет? Путь Геральта от бабника к примерному семьянину

Узнали все про шаблон Папича в «Героях 3» перед матчем с Вудушем