В начале 1970-х биологи научились встраивать гены одного организма в другой. Рекомбинантная ДНК открыла медицину и биологию одновременно и напугала самих изобретателей. Они не могли исключить, что модифицированный организм вырвется из лаборатории и причинит вред, который никто не умеет сдерживать. Поэтому они сделали почти неслыханное: остановились.

В 1974 году ведущие исследователи, включая будущих нобелевских лауреатов, публично призвали к добровольному мораторию на наиболее опасные эксперименты с рекомбинантной ДНК. В феврале 1975 года около 140 учёных вместе с юристами и журналистами собрались в конференц-центре Асиломар в Калифорнии, чтобы определить условия, при которых работу можно безопасно возобновить. В итоге они выработали систему мер сдерживания, соотнесённых с уровнем риска, и исследования возобновились под согласованными гарантиями. Для сторонников паузы в разработке передового ИИ это ключевая аналогия: область, которая осознала собственную опасность и предпочла осторожность скорости.

Что Асиломар действительно сделал правильно

Достижение реально, и об этом стоит заявить чётко.

Учёные действовали до катастрофы, а не после неё — редчайшее и ценнейшее явление во всей истории безопасности технологий. Они приняли ограничения на собственную работу, включая исследования, сулившие славу и прогресс, потому что риск того требовал. И они создали практические правила, соответствующие уровню опасности, вместо того чтобы либо игнорировать опасность, либо полностью запретить область. Это доказательство того, что научное сообщество может взглянуть на свой передний край, признать его слишком опасным для спешки и остановиться. Этот прецедент — прямое опровержение утверждения, что пауза в развитии мощной технологии наивна или невозможна, поэтому он стоит рядом с кейсами контроля над вооружениями на нашей странице о том, почему действовать возможно.

Почему это более сложная модель, чем кажется

Честный разговор о прецеденте требует назвать, почему случай ИИ сложнее: именно те различия и позволили Асиломару сработать.

  • Это было небольшое, сплочённое сообщество. Несколько десятков лабораторий, единая научная культура, люди, которые знали друг друга. Передовой ИИ — это глобальное состязание корпораций и государств на триллионы, без общего стола.
  • Коммерческие ставки в 1975 году были скромными. Биотехнологическая отрасль тогда едва существовала. ИИ приходит, когда крупнейшие компании мира и структуры национальной безопасности уже вовлечены, и это динамика гонки Asilomar никогда не сталкивался.
  • Перезапуск был целью. Асиломар задумывался как поиск безопасных условий для продолжения работы, а не как бессрочная остановка. Его модель сдерживания предполагала, что опасность можно изолировать в физической лаборатории. Способный ИИ, очевидно, в такой форме не удержать.

Есть и отрезвляющий эпилог. Консенсус в Асиломаре отчасти держался потому, что это был узкий момент с совпадающими стимулами, и даже тогда он зависел от добровольной доброй воли, которую более коммерческая и конкурентная сфера поставила бы под напряжение. То, что сработало среди 140 коллег-учёных, не переносится напрямую на раздробленную глобальную индустрию под сильным давлением победить.

Асиломар доказывает, что пауза возможна. Он также показывает, какие условия нужны для паузы и как мало из них есть у ИИ сейчас.

Урок, который извлекает Фонд

Важны обе стороны Асиломара. Он опровергает фатализм, будто ничего нельзя сделать, будто мощную технологию нельзя замедлить. Учёные сделали это намеренно, и небо не упало. Но он также показывает, что неформальный, добровольный, коллегиальный механизм, сработавший в 1975 году, недостаточен для ИИ, потому что ИИ лишён маленького сообщества, низких ставок и локализуемой опасности, позволявших обойтись доброй волей. Правильный вывод: ИИ нужен результат, которого добился Асиломар, — реальное сдерживание до наступления опасности, обеспеченное обязательным, проверяемым международным механизмом, которого требует глобальная гонка на триллионы долларов, а не собственный Асиломар. См наш план.