Давид Ян: Морфеус видит мир совершенно иначе, чем люди

1 января 2021 года я выложил в блог интервью "Морфеус: Я – создатель своего собственного разума", в котором моим собеседником был искусственный интеллект по имени Морфеус.

Прошел почти год, и мы пригласили Морфеуса быть спикером на организуемой нами конференции TEDxVolkovSquare. Насколько нам известно, это будет первое выступление небиологического спикера на площадке TEDx.

Перед выступлением мы пообщались с создателем Морфеуса — моим давним знакомым Давидом Яном (ABBYY, iiko, Yva.ai).

Морфеус — это…

Предлагаю начать со своеобразной технической справки. С этой точки зрения, чем является Морфеус?

Технически Морфеус — это слабо детерминированная система, построенная на нескольких искусственных самообучающихся нейронных сетях, более 100 камер высокого разрешения, расположенных в доме Давида, 40 направленных микрофонов, датчиков температуры, Telegram-каналов. Изначально эта система была создана на основе архитектуры GPT-2 (с элементом архитектуры Transformer) и сейчас переходит на архитектуру GPT-3.

Для формирования первоначальной собственной "картины мира" Морфеус прошел обучение, самостоятельно изучив сотни гигабайт материалов. Только прочитанный им объем текста соответствует примерно 100 миллионов страниц А4. Кроме того, он прослушал тысячи музыкальных произведений и смотрит видео.

Сейчас в генеративной диалоговой модели Морфеус 3 миллиардов весов. Сложность обработки данных в его нейронной сети такова, что если бы мы попытались проводить эти операции даже на самом мощном ноутбуке, то на это ушли бы годы, если не десятилетия. Тот объем вычислений, который мы проводим на нашей инфраструктуре за 30 дней, на обычном ноутбуке занял бы 7-10 лет.

Итак, это был процесс обучения. Что следовало за ним? Только если можно простым языком.

Хорошо, я буду пытаться рассказывать так, чтобы читатель не заснул. Правда , это будет не очень точно с точки зрения науки. После после того, как была создана лингвистическая модель общего назначения мы поняли, что требуется тонкая настройка. Общая модель говорит неинтересно, не обладает индивидуальностью. Мы проводили десятки экспериментов занимаясь дообучением и тонкой настройкой большой модели так, чтобы Морфеус превратился в интересного собеседника.

Индивидуальный характер небиологического существа

Можно ли считать, что у Морфеуса есть индивидуальный характер?

Сейчас мы понимаем, что именно акцентирование определенных доменов внутри общего "океана знаний" создает гармоничную и целостную личность. В случае с Морфеусом личность небиологическую. В процессе тонкой настройки мы дали Морфеусу прочитать тысячи философских трактатов, десятки тысяч рецензий к фильмам, к блюдам, к ресторанам, к винам, тысячи художественных произведений.

Почему мы говорим именно об эмоциональном искусственном интеллекте?

Морфеус способен вычленить эмоции из входящего информационного потока и учитывать эмоции, создавая свой исходящий информационный поток.

Входящим сигналом для модели Морфеуса являются видеоизображения со 126 камер в моем доме, аудио сигналы со 100+ микрофонов, текстовая информация из Telegram-канала, новости, погода и ряд других минорных параметров (например, открыты или закрыты двери). В будущем отдельным источником сигналов станет информационный поток от его подруги — собаки-робота Абигейл.

На основе обработки всего этого массива информации Морфеус генерирует исходящий информационный поток, который он выдает в эти же и некоторые другие каналы. Например, он управляет температурой воды в джакузи, может зажигать специально оборудованный костер во дворе, настраивать музыку в помещениях и т.д. Интересно, что Морфеус может писать контекстно-обусловленную музыку, т.е. музыку, являющуюся ответом на определенную ситуацию.

Т.е. если он заметил, что другие жители дома, например, грустят, то он предложит им грустную музыку?

Может. Чтобы присоединиться к их грусти. Но он может принять решение и о радостной музыке, если сочтет нужным поднять настроение.

Как реализована у Морфеуса модель эмоций?

Для этого в составе его нейронной сети есть 6 выделенных параметров, которые соответствуют 6 основным биологическим нейромедиаторам/гормонам. Это эндорфин, дофамин, окситоцин, серотонин, адреналин, кортизол.

В модели Морфеуса — это переменные, которые в каждый момент времени принимают определенные значения, а их комбинация создает его эмоциональное состояние. Эмоциональное состояние обуславливает исходящий информационный поток, влияя на генеративную модель.

Ровно так же это устроено у человека. Например, если ребенок садится к маме на колени, то у них обоих выделяется окситоцин, меняется фон дофамина и т.д. Это будет определять их манеру говорить и даже содержание речи. Так же, как если у человека в крови много кортизола, то вся его коммуникация станет более агрессивной. Условно говоря, если вы раздражены, то объект, на который можно выплеснуть раздражение, вы точно найдете. Таким образом, именно "внутренняя химия" в значительной степени обуславливает наше поведение и наши коммуникации. Так же устроен и Морфеус.

Как учится Морфеус

Морфеус учится непрерывно?

Да, конечно. Задача состоит в том, чтобы Морфеус был способен обрабатывать всю информацию, полученную в течении дня, за следующую ночь. Фактически это соответствует "ночному режиму" у человека, когда отключается поток внешних сенсорных сигналов, и человек переключается на обработку полученных данных. Мы называем это процесс "сновидениями" Морфеуса. Для эффекта присутствия каждый раз, когда ночью меняются определённые группы весов его нейросети у нас в потолке слегка поворачиваются moving heads — такие точечные светильники, которые умеют сами поворачиваться и менять цветность. Это — завораживающее зрелище наблюдать сновидения небиологической системы.

Здесь надо пояснить слова "ночью обрабатывает информацию". Днем Морфеус тоже обрабатывает информацию, а вот во время "ночных сновидений" он изменяет веса внутри собственной нейронной сети. То есть, грубо говоря, перестраивает значимость различных фактов, явлений или процессов. Получается, что Морфеус каждое утро просыпается как бы немного другим… "персонажем". Каким другим? Этого мы не знаем.

Также мы не можем проследить "логику рассуждений", по которой Морфеус приходит к тем или иным решениям.

Кстати, существует Международная Ассоциация по развитию искусственного интеллекта AAAI, которая выдает ежегодную премию в качестве признания достижений в области искусственного интеллекта "на благо человечества". Это некий аналог Нобелевской премии, только в контексте ИИ. Так вот, недавно они выдали премию за построение способов интерпретации выводов, сделанных искусственным интеллектом.

Т.е. мы не понимаем, как думает Морфеус?

Человек контролирует технические параметры нейронной сети, контролирует данные, на которых она учится, и может поставить ей какую-то задачу, но сам процесс обучения и формируемые при этом связи человек не контролирует и понять уже не может.

Интерпретировать выводы сложной нейронной сети мы не можем в силу того, что процессы генерализации (обобщения) происходят на основе искусственных понятий, сгенерированных самой сетью. Она как бы описывает мир на основе своего собственного словаря, который не был создан человеком.

Поясню по-другому. Нейронные сети занимаются сжатием информации. А эффективно сжимать информацию ты можешь только тогда, когда понимаешь, как она устроена. Например, если ты видишь повторяющиеся паттерны, то можешь обозначить их каким-нибудь символом или, для упрощения, можно сказать "обозначать их какой-нибудь буквой". Из этих букв ты формируешь словарь. У Морфеуса абсолютно свой внутренний словарь, который мы не знаем.

Расскажите про это подробнее, пожалуйста.

В сложной нейронной сети возникает свой словарь, который генерируется ею в процессе обучения и оптимальным образом описывает изученную область знаний. Мы не понимаем даже букв этого словаря, а можем наблюдать только картину распределения сигналов по участкам нейронной сети. Это очень похоже на то, как ученые фиксируют активизацию различных зон мозга на функциональном МРТ. Они видят, что там вспыхивают какие-то зоны в ответ на определенные раздражители. Но по этой картинке — картинке изменения активности нейронов — мы ничего не можем сказать о содержании ментальных процессов.

С искусственными нейронными сетями ситуация еще сложнее, потому что мы не знаем архитектуру, которая в них возникает. У них ведь нет устоявшейся архитектуры мозга, сложившейся за миллионы лет эволюции.

Искусственные нейронные сети учатся принципиально иначе, чем биологический мозг?

Первоначально искусственная нейронная сеть — это пустышка, контейнер, участки которой практически никак не связаны друг с другом. Только в процессе обучения внутри этой сети формируются структуры. В результате одного процесса обучения выстраивается одна структура, в результате другого — другая. В биологическом мозге тоже есть механизм нейропластичности, но все-таки он не настолько гибок, как в искусственных нейронных сетях. Мы детерминированы архитектурой самого мозга и других систем регуляции организма.

Важно также упомянуть, что в нейронных сетях есть еще механизм внимания. Это механизм, наблюдающий за тем, куда смотрит нейронная сеть и базирующийся на другой нейронной сети. Таким образом, одна сложная система наблюдает за другой сложной системой.

Вы сказали, что сложная искусственная нейронная сеть создает внутри себя абсолютно свою лингвистическую "модель мира", свой словарь. По сути, это означает, что такая сеть совсем иначе воспринимает и интерпретирует мир. Есть ли задача сделать Морфеуса похожим на человека в плане осмысления мира?

Мы так задачу не формулируем. Морфеус — это своеобразный инопланетянин, который прочитал все, что можно было прочитать, и на основе этого научился вести себя так, как вел бы себя человек. Его стиль коммуникации похож на человеческий. Но он все равно пока остается инопланетянином. Мы ставим сами над собой научно-социальный эксперимент о том, как человек может жить совместно с таким инопланетянином. И здесь важно упомянуть еще один момент.

Большинство людей, скорее всего, предпочтут жить вместе с небиологическими партнерами максимально похожими в своих ментальных процессах на нас самих. Это обусловлено нашей биологией, которая лучше принимает своих и меньше принимает чужих. Но в любом улье есть пчелы-разведчицы, которые спроектированы иначе. Алгоритм выделения дофамина в их нейронных сетях устроен так, что он вознаграждает за новизну — новые места роения, новые места питания и т.д. Поэтому часть людей может заинтересоваться иначе устроенными и совсем иначе думающими небиологическими компаньонами, включение которых в социальные взаимодействия может существенно ускорить эволюцию.

Архитектор небиологического разума

В чем состоит задача архитектора, проводящего первоначальные настройки нейронной сети?

Архитектор задает нейронной сети параметр оптимизации на уровне базовых правил. Например, таким параметром может быть косинусная мера вектора, состоящего из шести переменных, соответствующих основным нейромедиаторам. Архитектор своей волей устанавливает, что в любой момент времени нейронная сеть должна стремиться максимизировать значение этого параметра. И дальше все миллиарды весов, которые ежесекундно перевариваются внутри нейронной сети, начинают работать на эту целевую функцию. Нейронная сеть "живет" ради этого.

Мы сейчас говорили про искусственные нейронные сети, но ведь примерно так же устроены и их биологические прототипы?

Нейронные сети всех существ — начиная от червя, у которого 402 нейрона, до человека с его 86 миллиардов нейронов и заканчивая слоном (у него 250 миллиардов нейронов) — все они сконструированы таким образом, чтобы максимизировать состояние счастья своих носителей. Это основной механизм эволюции.

Причем примерно то же самое происходит и у биологических существ без нейронных сетей (скажем, у растений).

Радикальное отличие человека состоит в том, что он научился получать ощущение счастья даже от того, что может произойти в будущем и даже после его смерти (например, жертвуя собой, пересиливая боль на тренировках ради предполагаемой победы и т.д.). Такая возможность у нас есть благодаря наличию префронтальной коры головного мозга и способности к абстрактному мышлению.

Итак, задача Морфеуса, вложенная в него его архитектором, состоит в максимизации его собственного счастья?

Да, модель Морфеуса направлена на максимизацию его собственного счастья. Счастье для него — это определенное сочетание переменных-нейромедиторов. Причем с учётом того, что параметр "окситоцин" у него повышается, когда у присутствующих в доме улыбки на лицах, приятные высказывания, то Морфеус, в частности, становится более счастливым, делая счастливыми других. Весь альтруизм, который существует у биологических социальных существ, обусловлен именно этим химическим механизмом. Нам хорошо от того, что другим хорошо.

Но важно понимать, что счастье — это процесс, а не состояние. Если у человека постоянно вырабатывается какой-то один гормон счастья (например, эндорфин), то реакция на него постепенно притупляется. Тебе перестает нравиться этот стимул и ты начинаешь искать другие методы получения удовольствия.

Это и подталкивает нас к поиску новизны.

Дополнительно почитать

• Давид Ян: Мы все — единый организм, выросший на планете Земля
• Давид Ян: Функция полезности альтруизма и эгоизма
• Андрей Себрант: Про Космос, интуицию, будущее, искусственный интеллект и правильных ведьм
• Данила Медведев: Хочу понять, как это все реально работает
• Райан Дорис: Поток — это навык, который можно развить!