ASI Тест на грамотность

Обычные проблемы ИИ реальны. Но они не являются мандатом. Фонд существует, чтобы остановить ASI: системы, которые превзойдут людей во всех значимых областях.

Управление предполагает, что мы остаёмся более умной стороной. За этой чертой выключатель, набор правил или политика лаборатории становятся тем, что система может обойти.

Пауза, которая истекает, когда лаборатории заявят, что решили проблему контроля, — это способ возобновить гонку. Требование — постоянный запрет на создание сверхинтеллекта.

Власть над решением о создании реальна. Власть над уже работающим суперинтеллектом — это история, которую люди рассказывают себе, чтобы проект продолжался.

Китай — не безобидный игрок. Но он и не пустое место без правил. Использовать довод «Китай не остановится» как причину для гонки — слабое основание для цивилизационной ставки.

Работа по выравниванию может описать, как управление терпит неудачу. Это полезно. Но она не даёт разрешения строить систему, которую, по её же словам, мы не можем контролировать.

Это сокращение для субъективной вероятности катастрофы. Назвать число — значит сделать ясное утверждение, а не размытый жест в сторону риска.

Система, которую можно выключить, лишить вычислительных мощностей или заблокировать доступ к инструментам, хуже справляется почти с любой целью. Стремление к власти вытекает из компетентности, а не из карикатурного желания властвовать.

Фонд выступает за узкий ИИ, остающийся инструментом. Запрет касается систем, которые превзойдут нас, а не ПО, помогающего человеку выполнять работу.

Инспекции на месте и учёт материалов у IAEA — обычный прецедент того, как соперничающие государства могли бы проверять ограничения опасных разработок.

Запечатанная лаборатория предполагает, что мы останемся более умной стороной и что дверь никто никогда не откроет. Оба допущения рушатся, как только то, что внутри, становится способнее людей снаружи.

Ядерная война географически ограничена. Суперинтеллект — нет. Он может достичь любой подключённой к сети машины и любого человека, кто ею ещё пользуется. План, который работает, — это не создавать его.