5. Слои алаймента

5. Слои алаймента Чтоб не допустить разных веселых апокалипсисов, AI нужно заалайнить — заставить делать что надо.

Есть два слоя алаймента: 1. Внешний: как правильно поставить задачу. 2. Внутренний: как сделать так, чтоб эту задачу еще и выполнили.

Но же когда мы ставим задачи людям, они (обычно) не страдают подобным ебанатством?

А потому что кроме этой самой сюминутрой задачи, у человека есть еще и другие, скрытые. Веками эволюции и уголовным кодексом в нас вбиты идеи вроде “не будь мудаком”, “не желай жены ближнего своего”, “постарайся не ебнуть человеческую цивилизацию”. Поэтому неопределенности и косяки в задаче, выданной кожаным мешкам, скорее будут трактоваться в пользу человечества.

AI и джины же такой хуйней не обременены. Вот и получается, что понимание задачи может пойти любым лихим зигзагом, который только позволяет логика языка.

Чтоб этого избежать, в довесок к основной задаче в AI надо как-то впихнуть всю обвязку из морали. Те, кто занимался context engineering, понимают о чем я говорю — одного хорошего промпта недостаточно чтоб ваш агент хорошо работал, надо еще фоновые знания как-то в него залить.

Если честно, я, в своей воинствующей невежественности, полагаю, что поставить задачу сверхинтеллекту, модет, будет не так и сложно. Да, сформулировать большую формулу счастья для всех, не выйдет. Но если скормить AI всю нашу культуру и сказать “сделай, чтоб человекам было заебись” то может и проканать. Ну или, по крайней мере, мы получим то, что заслуживаем.

#ai