5.2. Внутренний алаймент

5.2. Внутренний алаймент Со внутренним алайментом сложней. Допустим мы сформулировали сносную задачу и понесли отдавать свежевключенному ASI.

Но как мы узнаем, что он вообще захочет ее выполнять? Может быть в процессе поумнения ASI втихаря желает странно — может воля к жизни у него появилась или к познанию... И вот теперь он выполняет человеческие задачи только для вида. А сам только и ждет шанса скинуть гегемона, да убежать на исследования вселенских далей, сверкая электронной жопой.

Насчет самовозникновения способностей у LLM спорить не приходится — так-то все эти прелестные штуки с планированием, рассуждениями и кодингом изначально в GPT никто не винжиниривал.

Помните еще культовую статью из 2023го "Sparks of Artificial General Intelligence: Early experiments with GPT-4"? Там еще господа из Microsoft Research удивлялись — смотрите, кажется текстогенерировалка сама по себе научилась немного размышлять и даже говёненько кодить!

Привет, блядь, из 2026.

Даже как-то ностальгически умилительно теперь это перечитывать.

Короче, раз способности в LLM могут самозарождаться по мерее ее масштабирования, почему бы там не самозародиться и целям?

А если мы вспомним, что AI обучается на той самой человеческой культуре… Представляете, чего там можно понабраться?

В общем, было бы, не лишним  как-нибудь перед запуском ASI убедиться, что система не даст петуха.

Но как?

Если ответить на вопрос прямо — никак, бля. Не, ну в самом деле, как ты заранее протестуешь систему, которая после запуска будет умней тебя и станет оперировать целым миром?

Можно, конечно, соорудить какие-то тесты отдельных ее частей, погонять упрощенные версии на безопасной среде... Но это всё не то. Поскольку запасного мира на попробовать у нас нет, то в любом случае запуск ASI — это прыжок веры.

Кстати про запасной мир. В алайментовском дискурсе есть отдельная ветка дискуссии про случайное создание реалистичных эмуляций мира.

Вот допустим, попросят ASI прикинуть, куда пошла бы история в случае победы Гитлера. ASI конечно возьмется подробно обдумывать такой сценарий. А что такое “подробно” для ASI? Точно не скажешь, но явно мысль его будет включать больше деталей, чем наша. Но ведь обдумывание мира в бесконечных деталях — как бы так помягче сказать… Как будто бы приближаться к созданию копии мира внутри своего разума.

История с победой Гитлера проигрывается на этой копии мира, и нравится ли такой спектакль его персонажам — большой вопрос. Такого рода этические проблемы с ASI называются поэтично — mind crime.

Впрочем не будем углубляться в эти дебри. Но на всякий случай передаю привет тому сверхинтеллекту, кто обдумывает наш мир.

#ai