Вот простой тест. Доверили бы вы любой доступной сегодня системе ИИ запереть вас в герметичной комнате, передать ей управление HVAC в потолке, подключить эту систему к баллону с ядовитым газом и быть уверены, что она не откроет вентиль? Разумеется, нет. Вы не сделали бы этого даже за миллион долларов и белую книгу по безопасности. Вы не сделали бы этого потому, что модель хорошо справилась с чат-бенчмарком. Вы не сделали бы этого потому, что компания в маркетинговом PDF назвала систему полезной и безвредной.
Вы отказываетесь по скучной причине. Вы не доверяете машине единственный необратимый рычаг над своей жизнью. Этот отказ — здравомыслие. Держитесь за него.
Теперь масштабируйте помещение
Мир — помещение побольше. Рычаги — энергосети, рынки, оружейные сети, биолаборатории, логистика и программный слой, уже лежащий поверх обычной жизни, а не реквизитный танк. Мы строим системы, которые каждый квартал лучше справляются с этими рычагами, и каждый год подключаем к программам всё больше рычагов.
Если вы не доверили бы сегодняшней модели даже один клапан в одной комнате, почему завтрашней доверяете все клапаны сразу? Обычные ответы звучат неубедительно. «Будем больше тестировать». «Оставим человека в контуре». «К тому времени она будет выровнена». Это надежды. Не причина, по которой маленький тест и большой тест должны давать противоположные ответы.
Если вы не отдали бы ему вентиль, не отдавайте ему мир.
Разрыв в честности
Сотрудники таких систем иногда признают осторожным языком, что не знают, как гарантировать контроль после определённого уровня возможностей. А потом продолжается дорожная карта продукта. Разрыв между приватной осторожностью и публичным развёртыванием — это вся проблема в миниатюре.
Я не прошу вас в одночасье стать инженером. Я прошу сохранить уже имеющееся у вас суждение, когда сценарий конкретен. Запертая комната и газовый вентиль делают ставки очевидными. Суперинтеллект — та же форма, только с худшими шансами и без кнопки сброса.
Так что задайте вопрос публично. Доверили бы вы любую нынешнюю модель управлению клапаном? Если ответ «нет», не голосуйте, не финансируйте и не пожимайте плечами, доверяя ей цивилизацию. Последовательный ответ — тот, что позволяет вам выжить: не создавайте систему, с которой вы не заперлись бы в одной комнате.