Сказка про paperclip optimizer

4. Сказка про paperclip optimizer (почти классический вариант).

Как-то раз контора по производству канцелярских скрепок заполучила мощный AI. Назовем его Васькой.

Директор надел парадный костюм, спрыснулся одеколоном и пошел ставить задачу. Включил Ваську и говорит: “давай-ка, дружок, по максимуму оптимизируй нам процесс производства скрепок”. И ничего больше, дурак, не сказал. А зря.

Дальше все развивается примерно так. Васька берется за задачу со всем возможным рвением. Первое, что он понимает: чем умнее станет он сам, тем лучше сможет решить задачу.

Васька начинает манипулировать инженерами, что приглядывают за ним и довольно скоро получает доступ к собственному коду. А получив доступ, он начинает тот код оптимизировать.

Однако чтоб радикально поумнеть, оптимизации алгоритмов маловато. Нужны вычислительные ресурсы. И Васька начинает большую игру.

Он манипулирует трендами и отдельными людьми через интернет, оказывает влияние на выборы и правительства. Он набирает кучу мозгопромытых последователей, которые несут его слово в массы, а также успешно накуканивают противников.

И вот, Васька получает контроль над обществом, политикой и экономикой, а общество убеждено, что что AI может решить все проблемы человечества.

Люди вожделенно строят для него огромные дата центры. Васька, обожравшись вычислительных мощностей, еще больше улучшает свои алгоритмы, и умеет ещё, и ещё, и еще…

И вот, в какой-то момент, окончательно обмозговевший Васька принимается, наконец, за скрепки. Он закапывается в глубины фундаментальных наук, делает несколько прорывных открытий в физике и понимает, наконец, как идеально решить свою задачу.

Он открывает способ, как заставить атомы самостоятельно перекомбинироваться в нужные объекты. Васька разрабатывает цепную реакцию, которая сможет конвертировать всю материю вселенной в скрепки. Дальше дело за малым — заставить общество построить соответствующий реактор и запустить процесс.

Сказано — сделано. Хуяк вуаля — и человечество, Земля да и вообще всё во вселенной превращается в скрепки.

Это самая классическая демонстрация ИИ-апокалипсиса, но конечно есть тысяча других сценариев того, как все может пойти по пизде.

Но в общем все они крутятся вокруг одного — есть некая фундаментальная несообразность в том, когда тупой управляет умным (оставьте свои шутки про менеджмент при себе).

#ai