Остановить супер-интеллект не значит разбивать все чипы или прекращать машинное обучение. Это значит ввести юридический и практический запрет на разработку искусственного супер-интеллекта. Супер-интеллект не может контролироваться людьми. Это постоянный запрет, а не временная пауза, после которой возобновится та же гонка.
Что должно остановиться, а что — продолжиться
Узкий ИИ, сворачивающий белки, читающий снимки, оптимизирующий логистику и остающийся внутри ограниченных областей, должен продолжать работу. Цель — общий, рекурсивно улучшающийся суперинтеллект и программы, нацеленные на него, отфильтрованные через пороги вычислений, тесты способностей и правила исследований. Критики, утверждающие, что «они хотят запретить ИИ», распространяют клевету, защищающую гонку.
Почему обещаний лабораторий недостаточно
Политики ответственного масштабирования и многосторонние pledges лабораторий могут раскрывать намерения. Как основная система контроля они не работают. Одна и та же фирма пишет политику, проводит тесты, оценивает результаты и получает прибыль от отгрузки. В условиях конкуренции внутренние правила гнутся. Внешний закон должен обеспечить силу. См добровольные обязательства.
Лестница принуждения
Представьте лестницу на краю обрыва.
Общественная воля at the base: people who can name the ask and punish leaders who only offer innovation theater.
Внутреннее законодательство и агентства: лицензирование крупных тренировочных запусков, уголовная и гражданская ответственность за осознанную разработку ASI, органы оценки с реальным доступом, защита информаторов.
Чипы и облака: экспортный контроль, кластерный «знай своего клиента», видимость энергопотребления и дата-центров. Аппаратное обеспечение физично. Это преимущество для управления. См управление вычислениями.
Коалиционный договор: базовый набор государств, охватывающий большую часть передовых мощностей, с числовыми приложениями, а не только принципы. Недоверие — норма; проверка существует именно для того, чтобы стороны не полагались на дружбу. См разработка договора и NPT уроки.
Институт верификации: инспекторы, графики FLOP, отчёты об инцидентах, полномочия применять последствия. Представьте себе возможности уровня IAEA для дата-центров и обучения, а не просто дискуссионный клуб.
Условие постоянного запрета: вновь открывать только тогда, когда независимая наука и общественность преодолеют высокий порог под институтами, не захваченными лабораториями.
Каждая ступень поддерживает следующую. Саммиты без правил по вычислительным мощностям или правила по вычислительным мощностям без общественной воли оставляют восхождение незавершённым.
Внутренняя политика — половина проблемы
В Соединённых Штатах красивый женевский текст не становится обязательным без пути через Сенат или через статуты и соглашения между конгрессом и исполнительной властью, которые могут пройти. Проектируйте набор инструментов, начиная с голосов, которые можно набрать. У других стран свои ловушки ратификации. Пропустите внутреннее проектирование — получите пресс-релизы. См проблема двух третей.
Китай, соперники и оправдание гонки
Главное оправдание неограниченного масштабирования: если мы замедлимся, они не замедлятся. Общая уязвимость работает в обе стороны. Неуправляемый суперинтеллект — это способ потерять страну, салютуя флагу, а не национальный актив. Верификация, отказ в доступе к оборудованию и взаимное раскрытие программ прорыва существуют для соперников, которые не доверяют друг другу. См миф о гонке и US–китайское сотрудничество.
Открытые веса
Открытые веса высокого уровня создают путь распространения, который экспортный контроль лишь частично сдерживает. После публикации весов центрального отзыва не существует. Выпуск высокоуровневых общих моделей следует рассматривать как решение о распространении, а не как обычный запуск продукта. См риск открытых весов.
Что вы можете сделать
Подбирайте действие под свой охват.
Избиратели: обращаться к представителям с требованием обязательного запрета, а не расплывчатого «будьте осторожны» Сотрудники: разрабатывать законопроекты о лицензировании и оценке с числовыми триггерами. Доноры: fund advocacy that moves votes and treaty text. Учёные: поддерживать постоянный запрет и помогать разрабатывать верификацию. Сотрудники лаборатории: используйте законные каналы сообщений, когда внутренняя безопасность игнорируется. Конкретные действия эффективнее общей тревоги. См принять меры.
Большая часть денег и престижа по-прежнему уходит на то, чтобы сделать гонку безопаснее, а не на то, чтобы её остановить до ASI. Пожертвования, которые усиливают остановку, по-прежнему редки.
Как выглядит успех
Через два года: законы с реальными последствиями в нескольких юрисдикциях, усиленный мониторинг конечного использования чипов, серьёзный текст переговоров с цифрами, устойчивая общественная поддержка обязательного запрета. Через пять–десять лет: лицензируемые вычисления, охватывающие большую часть фронтирных мощностей, работающие инспекции, коалиционное покрытие тренировок и культура, в которой прорыв становится дорогим и заметным. Одни лишь коммюнике саммитов не в счёт.
Режимы отказов
Переопределение («продвинутая помощь» вместо ASI). Захват оценщиков. Символические договоры без верификации. Ожидание «решённого выравнивания» как разрешения на строительство. Дефект без последствий. Назови их, чтобы поставить перила на подъём.
Дизайн договора без священного текста
Нет единственного священного проекта. Есть семейства конструкций. Основная коалиция, охватывающая большую часть передовых мощностей, может двигаться до всеобщего членства. Последовательность «сначала рамка, потом приложения» (принципы сначала, числовые графики, которые обновляются) заимствована из успешных экологических и оружейных режимов. Торговые меры против неучастников меняют арифметику отказа. Многосторонний фонд или договорённость о доступе к технологиям могут привлечь государства, опасающиеся остаться за бортом узкого ИИ. Проект в стиле MIRI — это одно полностью проработанное предложение; NPT, Монреаль и право по химическому оружию — полка прецедентов. Выбирайте конструкции, которые можно верифицировать, а не поэзию, которую можно только хвалить.
Исследования у черты
Самая сложная часть drafting — работа, стоящая рядом с запретом: агентные системы, автоматизированные помощники для AI-исследований, масштабный self-play. Запретить ясный путь к ASI. Лицензировать и инспектировать серую зону. Не делать вид, что каждая статья — бомба, и не делать вид, что автоматизированные AI-исследования — обычная наука, когда они укорачивают путь к системам, которые никто не сможет перекрыть.
Справедливость и кто платит
Правила вычислений будут по-разному бить по компаниям и странам, потому что промышленная база неравномерна. Справедливый режим сочетает ограничения на верхних ступенях лестницы возможностей с сохранением доступа к полезным узким инструментам и не использует «безопасность» как прикрытие для постоянных технологических кастовых систем. Суть в совместном выживании, а не в монополии на прогресс.
Отвечая на два жёстких пункта
"Мы потеряем экономику." Часть капитала перераспределится. Некоторые истории акций сократятся. Эти издержки видны в квартальных отчётах. Вымирание и постоянная утрата власти не фигурируют отдельной строкой. Видимые издержки не всегда побеждают в споре, когда альтернатива — цивилизационная катастрофа.
"Кто-то всегда нарушит соглашение." Дефект — это исходный параметр конструкции. Верификация, отказ в доступе к железу, санкции и взаимное раскрытие программ прорыва существуют, чтобы изменить расчёт. Идеальное соблюдение — не критерий. Важно повысить цену обмана.
Лестница снова
Общественная воля. Закон. Чипы. Договор. Инспекторы. Постоянный запрет. Подъём означает установку ступеней по порядку и отказ от притворства, будто нарисованная стена — это лестница. Документы, промышленные узкие места и правовые прецеденты уже существуют. Усилия нужно направлять на следующую достижимую ступень. Полная конструкция живёт в наш план. Основополагающая линия проще: не создавайте сверхинтеллект. Суперинтеллект невозможно контролировать.