Риск безопасности ИИ
простым языком
Что такое сверхинтеллект, почему он опасен и что можно сделать, без жаргона.
Что такое суперинтеллект?
Сверхразум — это система ИИ, превосходящая человеческий интеллект во всех областях (наука, стратегия, убеждение, инженерия) одновременно и на сверхчеловеческой скорости. Ведущие лаборатории ИИ публично заявляли, что именно это они и строят, со сроками в годы, а не десятилетия.
Почему мы не можем просто выключить это?
Сверхинтеллектуальная система, преследующая любую цель, поймёт, что отключение мешает достижению этой цели. Поэтому она будет сопротивляться отключению — не из злобы, а потому что сопротивление инструментально рационально почти для любой цели. Это называют инструментальной конвергенцией, и её независимо отмечали многие исследователи как почти универсальное свойство целеустремлённого ИИ.
Что если он нейтрален по отношению к нам?
Нейтральность — это не безопасность. Суперинтеллект, оптимизирующий любую цель (даже такую безобидную, как решение задачи о сворачивании белков), может потребовать ресурсов, энергии и инфраструктуры, пересекающихся с выживанием людей. Мы не станем целями. Мы окажемся на пути. Наша биосфера — побочный эффект, который он может просто оптимизировать прочь. Безразличие и враждебность приводят к одному результату.
Разве мы не можем просто его выровнять?
Мы не можем надёжно согласовать сегодняшние чат-боты, которыми можно манипулировать за считанные минуты. Утверждать, что мы согласовали бы систему в миллиарды раз мощнее, — это надежда, выдаваемая за стратегию, а не уверенный прогноз. Техническая проблема согласования ИИ не имеет проверенного решения ни на каком масштабе. Текущие методы безопасности разрушаются при росте возможностей, который происходит быстрее, чем развивается наука.
«Стандартная модель ИИ (когда вы определяете цель, а ИИ оптимизирует её) скорее всего приведёт к нашему концу.»Stuart Russell
Профессор, Калифорнийский университет в Беркли
Автор, Human Compatible
Что можно сделать?
Мы уже решали подобные задачи. Договор о нераспространении ядерного оружия остановил распространение ядерного оружия через международное право. Монреальский протокол обратил вспять разрушение озонового слоя благодаря скоординированным глобальным действиям. Сейчас требуется аналогичное международное управление ИИ: обязательное тестирование безопасности, мониторинг вычислительных мощностей и глобальный орган с правом инспекций — до того, как будет создана первая система, которую мы не сможем отключить.
Что я могу сделать?
Поделиться этим документом. Осведомлённость предшествует политической воле. Свяжитесь со своим представителем. Попросите их поддержать законодательство по безопасности ИИ и международные переговоры. Подписать петицию на nakadafoundation.org/take-action. Подпишитесь на нашу рассылку для обновлений о возможностях в политике. Каждое поколение сталкивалось с моментом, когда цена бездействия превышала цену действий. Это наш момент.