После серьёзного инцидента, едва не закончившегося катастрофой, следователь Национального совета по безопасности на транспорте не просит авиакомпанию подать закрытую записку и двигаться дальше. Событие попадает в систему. Выводы формулируются так, чтобы конструкторы, инструкторы и регуляторы могли изменить своё поведение. Пассажир, который никогда не услышит эту историю, всё равно летит внутри обновления. Эта общая память — большая часть того, почему коммерческие полёты стали такими безопасными.
Отчётность об инцидентах с ИИ — попытка привить этой области ту же привычку: систематическую регистрацию, обмен и расследование случаев, когда системы причинили вред или едва его не причинили. Когда модель даёт сбой при развёртывании, срывает защитные механизмы при злоупотреблении или демонстрирует опасное поведение при тестировании, до сих пор нет устойчивой обязанности фиксировать это, нет общего места, куда это обязательно должно поступать, и нет стандартного пути расследования. Уроки, способные защитить всех, остаются внутри одной компании или исчезают.
Предложение на бумаге простое: определить категории вреда и инцидентов, обязать передавать данные в общую систему и позволить отрасли учиться коллективно и один раз.
Что захватывала бы хорошая система
Полезная версия шире, чем громкие катастрофы.
- Развёрнутые вреды, когда система в реальном мире причинила ущерб или серьёзный сбой.
- Почти происшествия, когда что-то пошло не так и вред был едва избежан. В авиации к ним относятся как к информативным, как к катастрофам.
- Опасное поведение, обнаруженное при тестировании, включая сбои, выявленные тестирование красной командой и оценки, поэтому предупреждение об опасности одной лаборатории доходит до остальных.
- События безопасности, такие как попытки украсть веса модели или обойти защитные меры.
Сообщения должны быть структурированными и, где уместно, защищёнными. Организации раскрывают информацию честнее, когда расследование безопасности отделено от театра обвинений. Авиация не зря усвоила это разделение. Без него рациональный выбор — молчание.
Почему это стоит делать
Обмен данными об инцидентах позволяет отрасли замечать закономерности, которые не видит ни одна организация в отдельности. Регуляторы получают доказательную базу, опирающуюся на реальные сбои, а не на домыслы. Режим отказа, обнаруженный в одной лаборатории, на той же неделе становится предупреждением для всех. Со временем отрасль приобретает институциональную память, которой ей до сих пор не хватает. Среди мер ASI это одна из самых дешёвых, широко одобряемых и давно назревших. Фонд считает её обязательной.
Народное возражение, названное
Оптимистичная версия гласит, что авиация доказала метод: вести отчёты, проводить расследования — и катастрофический риск снизится так же, как снижались потери корпусов. С этой точки зрения системы инцидентов — главный двигатель безопасности, а упреждающие ограничения — отвлечение, пока нет большего количества данных о крушениях.
Обратите внимание на время, в котором работает этот механизм. Сообщение об инцидентах — ретроспективно. Оно учится на уже произошедшем вреде. Это работает, когда сбои, сколь бы трагичными они ни были, остаются переживaемыми на уровне отрасли, так что каждый из них может чему-то научить весь парк. Система улучшается событие за событием.
Эта логика не работает для рисков, которыми больше всего обеспокоен Фонд. A катастрофический сбой сверхинтеллектуальной системы не та комиссия, которую собирают после. Главный тезис экзистенциального риска в том, что самый серьёзный сбой может оказаться тем, после которого нет восстановления и потому нет урока. Сообщение об инцидентах хорошо справляется с накапливающимися, переживaемыми вредами. По своей конструкции оно не может справиться с невосстановимым.
Учиться на ошибках можно, только если их пережить. Для самых опасных ошибок это предположение и есть проблема.
Где оно находится
Создать систему. Сделать её обязательной. Защитить честное информирование. Затем не ставить её на первое место среди инструментов. Она должна стоять рядом с упреждающими ограничениями и проверками, изложенными в наш план, которые существуют именно потому, что некоторые сбои нельзя исправить постфактум.