Опрос показал, что не все в лоре AI

Опрос показал, что не все тут в лоре AI алаймента. И решил напишу вам краткое введение. Кому оно покажется слишком базовым — извините, мля, не все тут Юдковские. Дописываю на ходу, так что постить буду частями.

Поехали.

1. В чем проблема? Если кратко, alignment это про то, как заставить AI делать что надо, а не хуйню всякую. Причем загвоздка тут не только в “как заставить”, но и в “что надо”.

Впрочем, начнем по порядку.

В принципе, проблем родственных алайменту полно и в обычной жизни. Вот хочешь ты, допустим, чтоб налоговый консультант подал за тебя декларацию. Но как удостовериться, что он шарит в налогах и сделает все сделает добросовестно? Если бы ты рубил в теме настолько хорошо, чтоб это проверить, то, может, и консультант тебе не был бы нужен. А проконтролировать того, кто соображает лучше тебя — задача нетривиальная.

С AI ситуация похожая, но еще пикантней.

Пропустим вопросы курощения современных LLMок (хотя и тут есть куда копнуть), и устремимся сразу к мякотке — alignment'у будущего сверхумного AI (aka ASI — artificial superintelligence). Весь философский экшен(в отличие от денег) именно там.

2. Take off “Но не рано ли беспокоиться об artificial superintelligence, когда даже artificial general intelligence(ИИ сопоставимый по уму с человеком) еще не подвезли?” — спросит меня беспечный читатель.

И я ему отвечу. С одной стороны, ASI пока не стучал в дверь. С другой, — засада в том, что он вполне может появиться внезапно.

Интуиция тут простая — AI начинает улучшать сам себя, становится более умным, самоулучшается еще быстрее, умнеет еще быстрее — ускорение, экспонента, оргазм. В комьюнити такой сценарий называют fast takeoff – типа сидишь ты, никого не трогаешь, починяешь свой AI в мрачной лаборатории… Только отошел поссать, а AI уже ускакал от тебя эволюционно на тысячу лет. Еще бывает slow takeoff – это когда поумнение происходит более постепенно и человеку даже (возможно) удастся повлиять на процесс. Но на такую роскошь в обществе AI-алайнеров надеяться не принято.

3. Что может пойти не так Итак, ASI может появиться внезапно и не факт что у нас есть поколения на подготовку. А значит, расклад выходит такой, что скорее всего человечеству будет ставить задачу такой штуке, которая: 1. Сильно умней нас 2. Имеет отличный от человека механизм мышления.

Из первого пункта следует, что если ошибемся — обратно уже не отмотаешь. Это как трехлетний ребенок, который пытается запустил чужого дядю в квартиру и думает, то если не понравится выгонит. “Ну я же знаю как мир работает — если достаточно долго орать, проблема решится”. Однако дядя знает намного больше о мире и обойти мнимый ребеночий контроль для него как два пальца. С ASI также — включил, выдал ему задачу — дальше терпи.

Второй пункт намекает, что любую, даже вполне очевидную для нас, задачу ASI может обернуть довольно извращенным образом. Классическая демонстрация последнего — сказка про paperclip optimizer. Веселую и похабную вариацию на эту тему можно прослушать в приложенном к следующему сообщению файле, но если черный юмор вы не любите и от мата вас коробит, то просто продолжайте читать этот дохуя образовательный текст.

#ai