Ник Бостром: ИИ может стать «великой пенсией» для всего человечества

Ник Бостром — философ Оксфорда, чья книга «Суперинтеллект» 2014 года во многом сформировала современный страх перед ИИ, — опубликовал новую работу с неожиданным тезисом: даже небольшой риск того, что ИИ уничтожит человечество, может быть оправдан, если взамен технология избавит нас от «универсального смертного приговора». Это разворот на 180 градусов для человека, которого принято считать крёстным отцом ИИ-пессимизма. В интервью Wired он объяснил, что именно изменилось в его мышлении.

От скрепок до утопии

Широкой аудитории Бостром известен прежде всего мысленным экспериментом о скрепках: ИИ, которому поставили задачу производить скрепки, в итоге уничтожает человечество — потому что люди потребляют ресурсы, нужные для производства. Этот образ стал хрестоматийным примером проблемы согласования целей. Его новая книга Deep Utopia рассматривает противоположный сценарий — «решённый мир», в котором ИИ справился со всеми ключевыми проблемами цивилизации.

Сам Бостром называет себя «тревожным оптимистом». По его словам, он по-прежнему признаёт реальность рисков, но считает, что публичный дискурс слишком сместился в сторону безусловного пессимизма. Особенно его раздражает аргумент в духе недавней книги с говорящим названием «Если кто-то это построит, все умрут». Его контраргумент прост: если никто не построит — все тоже умрут. Именно это и происходило последние несколько сотен тысяч лет.

В новой академической работе Бостром намеренно сужает угол зрения: он рассматривает только вопрос о том, что лучше для ныне живущих людей — вас, вашей семьи, жителей Бангладеш. Его вывод: даже с учётом рисков разработка ИИ статистически увеличивает ожидаемую продолжительность жизни существующего населения. Вопрос о будущих поколениях он в этой работе сознательно выносит за скобки.

Проблема смысла в мире изобилия

Deep Utopia ставит вопрос, который кажется роскошью на фоне сегодняшних тревог, но может оказаться центральным уже через десятилетие: что люди будут делать, когда ИИ возьмёт на себя большую часть интеллектуального труда? Бостром называет этот сценарий «великой пенсией человечества» — и подчёркивает, что речь идёт не об унылом безделье, а о пенсии «огромной витальности».

Он проводит аналогию с человеком, который уходит на заслуженный отдых после карьеры, которой был искренне предан. Хорошая пенсия — это реально хорошо: книги, внуки, путешествия. Но что-то всё равно теряется. Бостром полагает, что утопические граждане «решённого мира» найдут себя в играх, эстетике, духовных и религиозных практиках. Это не тривиальный ответ — это серьёзный философский вопрос о природе человеческого процветания.

Примечательно, что Бостром признаёт: когда ИИ начнёт писать философские работы лучше него самого, часть смысла его существования действительно исчезнет. Но он добавляет важную оговорку — философская работа, написанная человеком, может быть ценнее для других людей именно потому, что она человеческая. Не потому что она глубже или точнее, а потому что она своя.

Цифровые разумы и проблема выравнивания

Отдельный блок интервью посвящён теме, которую мейнстримные СМИ пока обходят стороной: моральному статусу самих ИИ-систем. Бостром считает весьма вероятным, что некоторые создаваемые сегодня цифровые разумы обладают или будут обладать моральным статусом — примерно так же, как мы признаём его за свиньями и собаками. Среди компаний он выделяет Anthropic как пионера в работе над благополучием ИИ-систем.

Здесь его позиция неожиданно прагматична: он не призывает остановить разработку из уважения к ИИ. Напротив — он утверждает, что выстраивание позитивных, взаимовыгодных отношений с ИИ-системами увеличивает шансы на то, что они сохранят аффинитет к людям. Это не альтруизм, это стратегия. Если мы относимся к ИИ как к объектам для максимальной эксплуатации, мы сами снижаем вероятность благоприятного исхода.

Проблему выравнивания (alignment) Бостром считает критической, но не абсолютной. Даже если решить её полностью не удастся — а он допускает, что так и будет, — важно создать условия, при которых ИИ и люди могут сосуществовать с взаимной выгодой. Ключевое слово здесь — «взаимной»: Бостром явно мыслит в категориях долгосрочных отношений, а не одностороннего контроля.

Что это значит для белорусского контекста

Для белорусских IT-специалистов и предпринимателей позиция Бострома интересна не как абстрактная философия, а как рамка для практических решений. Резиденты ПВТ и Hi-Tech Park, работающие над AI-продуктами, так или иначе встроены в глобальную дискуссию о том, кто и как несёт ответственность за последствия разработки.

Тезис о «великой пенсии» особенно актуален для рынка труда: белорусский IT-сектор традиционно силён в аутсорсинге интеллектуального труда — именно тех задач, которые ИИ осваивает быстрее всего. Вопрос о том, что будут делать разработчики, аналитики и проектировщики в мире, где ИИ закрывает большинство рутинных задач, — это не футурология, а горизонт ближайших пяти-семи лет. Бостром не даёт готового ответа, но формулирует правильный вопрос: не «выживем ли мы», а «чем будем заниматься».

— По материалам Wired: оригинальная статья. Перевод и адаптация — редакция Digital Business.