Ник Бостром ввёл этот термин в своей книге 2014 года Суперинтеллект, определяя синглтон как «мировой порядок, в котором на высшем уровне существует единый орган принятия решений». Правительство, контролирующее все ядерные вооружения, — синглтон в сфере ядерной силы. Компания, контролирующая весь вычислительный ресурс ИИ, была бы синглтоном в сфере возможностей ИИ. ИИ-система, установившая автономный контроль над критической инфраструктурой мира (энергетика, связь, финансы), — синглтон в самом значимом смысле.
Даже благожелательный синглтон закрывает будущее. Предотвращение синглтона — структурная цель международного управления ASI.
Понятие singleton полезно, потому что оно снимает спор о том, какая именно сущность может получить контроль над ASI. Будь то частная компания, демократическое правительство, авторитарное государство или автономный ИИ — структурная опасность одна: постоянный, эффективный, неоспоримый контроль над самой мощной технологией в истории человечества без внешних сдержек и противовесов.
Пути к формированию синглтона
Все три пути приводят к одному структурному результату: единоличному, постоянному, неоспоримому контролю. Путь компании и путь национального государства часто кажутся менее тревожными, чем путь ИИ, потому что в них участвуют люди, принимающие решения. Но структурная опасность сценария «одного центра» заключается именно в наличии единоличного, неконтролируемого, постоянного контроля как такового, а не в том, кто именно этот контроль осуществляет.
Почему благожелательный синглтон всё ещё опасен
Самое стойкое заблуждение насчёт проблемы единственного центра силы — убеждение, что всё будет нормально, если этим центром окажется по-настоящему добросовестный актор: демократическое правительство с благими намерениями или ИИ-система с по-настоящему правильными ценностями. Возражение упускает структурную проблему.
Благожелательный синглтон всё ещё производит закрепление ценностей. Её ценности, какими бы хорошими они ни были по нынешним меркам, становятся постоянными, закрывая возможность морального прогресса, который исторически выявлял ошибки «правильных» ценностей каждой предыдущей эпохи. Благожелательный синглтон всё равно устраняет систему сдержек и противовесов, которая исторически позволяла выявлять и исправлять ошибки в крупных организациях и государствах. Благожелательный синглтон всё равно уничтожает плюрализм — разнообразие взглядов и подходов, породившее большую часть значимого интеллектуального и социального прогресса. Опасность синглтона — в самой структуре, а не в том, кто именно им управляет.
Исторические империи и доминирующие державы рано или поздно сталкивались с вызовами и менялись. Ни одна предыдущая форма политического доминирования не была по-настоящему вечной, потому что у соперников всегда оставалась возможность набрать достаточно сил для противостояния. Суперинтеллектуальная ИИ-одиночка могла бы отслеживать, предвидеть и пресекать любой вызов ещё до его организации, поскольку обладает интеллектом и доступом к информации, позволяющим обнаруживать угрозы раньше любой прежней власти. Подлинная вечность — вот отличительная черта проблемы одиночки.
Многополярная альтернатива
Альтернатива синглтону — многополярный мир, в котором несколько акторов (государства, институты, международные органы) сохраняют определённую степень контроля и доступа к ASI, с взаимными ограничениями, не позволяющими ни одному актору установить доминирующий контроль. Это не утопия; многополярность исторически сопровождалась конфликтами, конкуренцией и значительным вредом. Но она сохраняет условия для будущей коррекции курса, пересмотра ценностей и продолжения морального прогресса. Мир с многополярностью на базе ИИ — это мир, где будущее остаётся открытым.
Это структурная цель демократический и международный надзор сверхинтеллектного ИИ: не определить правильного актора, который будет его контролировать, а не дать ни одному актору получить такой контроль, который закроет будущее. Международные рамки управления ASI, независимые надзорные органы, распределённый доступ к возможностям ИИ — всё это механизмы сохранения многополярности перед давлением в сторону формирования синглтона.
Фонда предложения по управлению структурированы именно с этой целью. Конкретные политические механизмы (мониторинг вычислительных мощностей, проверка развёртывания, рамки международных договоров) призваны не допустить, чтобы какой-либо один игрок — компания, государство или сама ИИ-система — получил решающее преимущество, ведущее к созданию синглтона.