«Мы строим самолёт в полёте». Эта фраза десятилетиями была любимой в технологической среде и уверенно перешла в ИИ. Она произносится с полуулыбкой, как инженер признаётся в удавшемся хаке, и подаётся как похвала собственной смелости. Услышанная буквально, это признание.

Метафора заимствует реальный престиж. Коммерческая авиация — лучшая история безопасности нашего вида: деятельность, которая столетие назад регулярно убивала пилотов, теперь имеет уровень фатальных происшествий, измеряемый на миллион вылетов, а не на тысячу. Этот рекорд подлинный. Метод, который его создал, — вот что стоит рассмотреть, потому что ни одна его половина не выдержит столкновения с тем, что мы строим сейчас.

За каждым правилом стоит орган

Авиация стала безопасной благодаря катастрофам.

На затянутом туманом ВПП в Тенерифе в марте 1977 года столкнулись два Boeing 747, погибли 583 человека — до сих пор худшая катастрофа в истории отрасли. Из неё возникла стандартизированная радиофразеология и курс на управление ресурсами экипажа — дисциплину, позволяющую второму пилоту возразить командиру. Пожар в туалете на Air Canada 797 в 1983 году унёс 23 жизни из 46 находившихся на борту и привёл к появлению датчиков дыма в туалетах, автоматических огнетушителей в мусорных баках, аварийного освещения на уровне пола и огнестойких материалов сидений. ValuJet 592 упал в Эверглейдс в 1996 году со 110 пассажирами на борту, и правила перевозки химических кислородных генераторов как груза были переписаны.

У индустрии есть название для такого паттерна, и оно не комплимент: «менталитет надгробия». Регулятор действует, когда гробы уже посчитаны. Авиация десятилетиями успешно борется с этим через конфиденциальные сообщения экипажей о почти инцидентах и комиссию по расследованию аварий, публикующую выводы для конкурентов. Эти реформы — модель, к которой люди обращаются когда утверждают, что ИИ можно сделать безопасным тем же путём. Но обратите внимание, что требует даже исправленная версия. Что-то должно пойти не так, причём в масштабе, который отрасль переживёт, и достаточно часто, чтобы проявилась закономерность. Цикл обучения работает на сбоях, которые можно себе позволить.

Чего отказывается авиация

Вторая половина метода полностью выпадает из метафоры. Авиация не поднимает новый самолёт в воздух и не ждёт, что будет. Новый тип не может перевозить платных пассажиров, пока производитель не докажет его лётную годность регулятору, имеющему право отказать: годы анализа и лётных испытаний, бремя доказательства лежит на изготовителе. Аргумент нужно приводить заранее, в письменной форме, тому, кто уполномочен сказать нет.

В авиации никто не строит самолёт в полёте. Отрасль это запретила. Воздушное судно, сертифицированное так же, как выпускают передовые модели, летало бы только на основании меморандума производителя о том, что «вроде нормально».

The 737 MAX

Авиация уже провела нечто близкое к нашему эксперименту, и результат заслуживает долгого рассмотрения.

В Boeing 737 MAX стояла система MCAS, имевшая полномочия опускать нос самолёта. Большинство экипажей, летавших на этом типе, даже не знали о её существовании. Система получала данные с одного датчика, и когда датчик ошибался, MCAS делала ровно то, для чего была создана, и дважды вела самолёт в землю вопреки действиям пилотов. Lion Air 610, октябрь 2018: 189 погибших. Ethiopian 302, четыре месяца спустя: 157 погибших. После второго случая весь мировой флот был grounded.

Сравните условия той аварии с нашими. Зрелая культура безопасности, обязательный режим сертификации, самописцы в хвосте, тысячи подготовленных специалистов. И даже тогда потребовалось 346 погибших, чтобы установить: программное обеспечение, обладающее полномочиями управления и ошибочным представлением о мире, не отступит только потому, что люди в кабине с ним не согласны. Часть работ по сертификации MAX была передана регулятором самим сотрудникам Boeing — об этом стоит помнить, когда в следующий раз лаборатория сама оценивает свою разработку.

А MCAS ничего не хотел. У него не было модели пилотов и никакого представления о том, что его могут выключить. Это был скромный кусок кода с одним грубым рефлексом, и он победил всех.

Теперь воспринимайте фразу буквально

Самолёт в метафоре везёт всех. Не 583, не 346. Всех живущих и всех, кто ещё может родиться. Нет запасного аэродрома и второго борта, который можно доработать, если первый войдёт в пике. Цикл «авария — расследование — исправление», сделавший полёты безопасными, доступен, потому что аварии ограничены и всегда есть следующий рейс, на котором можно применить урок. Запустить этот цикл на искусственном сверхинтеллекте — значит, что первая же точка данных унесёт и пассажиров, и следователей. Метод проб и ошибок требует выживших.

Такая система сама полетит, сама выберет пункт назначения и разберётся в механике лучше, чем сам механик. Все авиационные меры безопасности исходят из того, что у машины нет своего мнения о ремонте. Это предположение и есть проблема контроля.

Авиация заработала свою репутацию безопасности, разбиваясь в масштабах, которые мир мог выдержать. Весь этот метод опирается на наличие следующего рейса.

Основа — это выбор

Люди хватаются за эту фразу, описывая безвыходное положение: самолёт уже в воздухе, так что давайте учиться строить его на лету. Реальный урок авиации звучит иначе. Власть регулятора никогда не сводилась главным образом к расследованиям. Она заключалась в праве держать самолёт на земле. Сертификат лётной годности — это разрешение на взлёт, которое не выдадут, пока не будет доказана безопасность.

Нам говорят, что единственный вариант — взлететь и разбираться по ходу. Есть и другой. Обязательный, поддающийся проверке запрет на создание искусственного сверхинтеллекта — это авиационный стандарт, применённый честно: не строить разум умнее своих создателей. Сверхинтеллект невозможно контролировать, поэтому он не взлетает. Таков наш план, и он ничего не требует от мира, чего мир уже не требует от регионального реактивного самолёта.