Искусственный сверхинтеллект уничтожит человечество, это только вопрос времени 0 211

Если позволить искусственному интеллекту развиваться в нынешнем темпе, он уничтожит человечество, считает исследователь ИИ и рационального мышления Элиезер Юдковский. И проблема не только в том, что сверхразум может попасть в руки «плохих парней». По мнению Юдковского, вне зависимости от того, кто первым создаст «сильный ИИ», нам всем конец. Как это может произойти — в отрывке из его книги «Если кто-то его создаст — все погибнут. Почему сверхчеловеческий ИИ уничтожит нас всех»

Книга Юдковского посвящена «Всем людям, умершим в ходе долгой истории нашего вида, всем, кто еще жив, и всем детям, которые когда‑нибудь могут появиться».

Американский философ, популяризатор науки и соучредитель некоммерческого Института исследований машинного интеллекта (MIRI) Элиезер Шломо Юдковский не окончил ни школу, ни университет. Он родился в семье ортодоксальных евреев и стал примером автодидакта — человека, получившего образование полностью самостоятельно. Сегодня он — одна из самых ярких фигур в сфере исследований искусственного интеллекта. Парадоксально, но именно Юдковский в последние годы призывает ограничить развитие ИИ: по его мнению, бесконтрольный прогресс технологии несет экзистенциальные угрозы.

Юдковский основал Machine Intelligence Research Institute (Институт исследований машинного интеллекта). Его нынешний президент Нейт Соарес стал соавтором их совместной книги с эсхатологическим названием «Если кто-то его создаст — все погибнут».

лавный тезис работы, больше напоминающей политическую декларацию: гонка за сверхчеловеческим ИИ приведет к уничтожению человечества. Ключевая проблема, утверждают авторы, в том, что никто — включая разработчиков современного генеративного ИИ — до конца не понимает, как он работает.

Современные модели не «создаются», а «выращиваются», отмечается в книге. А значит, потенциальные последствия развития технологий находятся за пределами нашего контроля.

Юдковский сравнивает вероятность катастрофы с простым физическим законом: мы точно знаем, что брошенный в воду кубик льда растает, даже если не можем предсказать траекторию каждой молекулы. Так же мы не знаем точно, как именно сверхинтеллект уничтожит человечество — заставит закипеть мировой океан или спровоцирует новую пандемию, — но знаем, что это произойдет.

Соавторы книги вместе с сотнями других ученых, работающих в сфере искусственного интеллекта, подписали открытое письмо из одного предложения: «Снижение риска вымирания человечества из‑за искусственного интеллекта должно стать глобальным приоритетом — наравне с пандемиями, ядерной войной и другими угрозами глобального масштаба». Сейчас Юдковский и Соарес считают, что тогда они недооценили масштаб проблемы, и предлагают радикальное решение: немедленно остановить все исследования ИИ во всем мире.

Несомненный плюс книги — доступность и простота изложения. Она будет понятна и пятикласснику, и вашей бабушке. Свои опасения авторы излагают максимально ясно, а аргументы приводят последовательно.

В то же время убедительность этих аргументов под вопросом: в полемическом задоре Юдковский и Соарес срезают сразу несколько углов и грешат неправильными силлогизмами. В любом случае проблема ИИ-безопасности, безусловно, сейчас стоит как никогда остро, и манифест технопессимистов Юдковского и Соареса под названием своим существованием это подтверждает.

"Человечество столкнулось с инженерным вызовом: как нам формировать предпочтения искусственного разума, если мы его не понимаем? Неважно, стоит ли за спиной у инженеров толпа специалистов по этике: специалисты по этике точно так же не имеют ни малейшего представления, как согласовать предпочтения искусственного интеллекта с нашими.

Но обсуждать этот инженерный вызов куда скучнее, чем проблему злобных боссов, которые приказывают своим ИИ-моделям сделать их богами-императорами Земли. Писатели-фантасты и голливудские продюсеры отдают предпочтение сказкам о глупых руководителях корпораций, а не историям о моделях ИИ, которые хотят каких‑то странных вещей. Реализм не дарует захватывающего повествования.

Если дать сценаристу задание сочинить сценарий фильма о машинном сверхинтеллекте, который начинает желать чего‑то странного, чуждого и неконтролируемого, он тут же задумается, а какими эффектными и неожиданными поворотами сюжета можно расцветить эту идею. А вдруг люди все‑таки победят? Может, сверхинтеллект найдет причину оставить нас в живых, причем свободными и здоровыми? Может, благодаря неожиданному повороту ничего плохого не случится?

Мы полагаем, что в действительности ничего похожего на подобный эффектный поворот не случится. Такой фильм получился бы намного печальнее и куда короче".