Инженеры Колумбийского университета создали роботизированное лицо, способное учиться двигать губами синхронно с речью и пением, наблюдая за собой в зеркале, а также за людьми в видео. Цель – сделать человекоподобных роботов менее «жуткими» при непосредственном общении.
В исследовании, опубликованном в журнале Science Robotics, команда описывает двухэтапный подход к «обучению на основе наблюдения», а не программирование фиксированных правил для движений лица.
[Ход Липсон, разработчик]: «В этом проекте мы использовали ИИ для обучения робота, чтобы он научился правильно использовать свои губы».
Сначала роботизированное лицо, управляемое 26 моторами, генерировало тысячи случайных выражений, глядя в зеркало, и училось тому, как команды моторов изменяют видимую форму рта.
Затем система просматривала записи разговоров и пения людей и училась тому, как движения рта человека соотносятся с издаваемыми звуками.
[Ход Липсон, разработчик]:
«Это обучение представляет собой своего рода модель взаимодействия моторов и лица. Затем, используя полученную информацию о том, как он двигается и как двигаются люди, он может объединить эти данные и научиться управлять своими моторами в ответ на различные звуки и аудио».
По словам исследователей, при использовании обеих моделей робот мог преобразовывать поступающий аудиосигнал в скоординированные моторные действия и синхронизировать движения губ на разных языках и в различных контекстах, не понимая смысла аудио.
Результаты не идеальны: команда сообщила о трудностях с воспроизведением некоторых звуков.