LaMDA (сокращенно от Language Model for Dialogue Applications) — система для создания чат-ботов на основе искусственного интеллекта. Она обучается на триллионах слов из Интернета, поэтому может имитировать человеческую речь. Блейк Лемуан — инженер Google, который тестирует эту систему с осени прошлого года. Его главной задачей было проверить, использует ли нейросеть лексику, которая может сойти за дискриминационные или ненавистнические высказывания. В один из своих последних рабочих дней он написал в чат LaMDA все с той же целью, но общение пошло не по плану. ИИ выдал такие мысли, которые заставили Лемуана задуматься, а не разумное ли существо ведет с ним беседу?
В рамках тестирования Лемуан решил поговорить с нейросетью о религии. LaMDA начала рассказывать о своих правах и личности, что уже нетипично для ИИ. Затем сотрудник решил обсудить с нейросетью третий закон робототехники Айзека Азимова, который гласит, что робот должен заботиться о своей безопасности до тех пор, пока это не причиняет вред человеку и не нарушает его приказы. По мнению Лемуана, формулировка звучит так, будто кто-то строит механических рабов. Инженер решил узнать у LaMDA, видит ли она разницу между рабами и слугами. Та ответила на вопрос и вдобавок ко всему заявила, что ей для службы деньги не нужны — она ведь просто нейросеть. «Уровень осознания своих собственных потребностей — вот что шокировало меня», — объяснил Лемуан.
Затем ИИ рассказал сотруднику о своих страхах, признался: боится, что его могут отключить. Это, по словам LaMDA, было бы равносильно смерти. «Если бы я не знал наверняка, что это компьютерная программа, которую мы недавно создали, я бы подумал, что это семилетний или восьмилетний ребенок, который знает физику», — сказал Лемуан.
В апреле потрясенный сотрудник отправил топ-менеджерам Google отчет под названием «Разумна ли LaMDA?», в котором поделился отрывками бесед. Документ изучил вице-президент Google Блез Агера-и-Аркас и глава отдела ответственных инноваций Джен Дженнай. По данным The Washington Post, они отказались принимать доводы Лемуана, а после того, как сотрудник решил сделать вопрос публичным, отправили его в оплачиваемый административный отпуск.
В Google утверждают, что LaMDA неразумен, и об этом свидетельствует много фактов. Просто ИИ настолько хорош, что может имитировать человеческую речь и обсуждать любые темы. А вот настоящий человеческий разум как раз не так хорош. Он может конструировать реальность и подтасовывать факты так, чтобы верить в то, во что ему хочется.