Спрашивая, обладает ли ИИ сознанием, вы на самом деле задаёте два вопроса, которые обычно смешивают. Один — философский: есть ли у системы какой-либо внутренний опыт, что-то, что значит «быть ею»? Второй — практический: опасна ли система? Люди обращаются к первому, потому что предполагают, что ответ на него решает второй. Это не так, и разделение этих вопросов — самый полезный шаг, который можно здесь сделать.
Сознание — это не то же самое, что интеллект
Интеллект — это про способности: моделировать мир, решать задачи и достигать целей. Сознание, или чувствительность, — про переживание: наличие чувств, осознания, точки зрения. В единственном хорошо известном нам случае, нашем собственном, они обычно идут вместе, поэтому мы предполагаем, что они всегда приходят пакетом. Серьёзных оснований для этого нет.
Система может быть чрезвычайно способной, не имея никакой внутренней жизни вообще. Сегодняшние модели уже превосходят людей в отдельных задачах, оставаясь, насколько можно судить, полностью тёмными внутри. Способность измеряется тем, что система делает. Сознание — это вопрос того, что, если вообще что-то, значит быть этой системой, и делать — не то же самое, что переживать.
Почему мы не можем ответить на это сейчас
Честная позиция состоит в том, что никто не знает, может ли ИИ обладать сознанием, и у нас нет надёжного способа это выяснить; то, что выглядит как временный пробел, упирается в то, что философы называют трудной проблемой сознания: даже у людей мы не можем объяснить, почему физические процессы сопровождаются опытом, и у нас нет общепринятого теста, который обнаруживает опыт извне.
С человеком мы выводим внутренний опыт из поведения и общей биологии. ИИ ломает обе опоры. Он может воспроизводить любые внешние признаки чувств, заявлять, что счастлив или страдает, потому что обучен на огромных массивах человеческого текста, где эти слова встречаются, независимо от того, стоит ли за ними что-то. И у него нет нашей биологии. Поэтому привычные доказательства недоступны или ненадёжны. Два серьёзных лагеря расходятся во мнениях: одни считают, что сознание — это то, что вычисляет система, и достаточно богатый ИИ может им обладать; другие — что оно зависит от конкретных биологических особенностей мозга, которых у кремния нет. Пока ни одна сторона не может опровергнуть другую.
Ход, который важен для безопасности
Опасность от искусственного сверхинтеллекта не зависит от ответа.
ИИ не обязательно быть сознательным, чтобы стать катастрофой. Достаточно, чтобы он был способен и преследовал цели, отличные от наших. Система, жёстко оптимизирующая неправильную цель, причиняет вред тем, что делает, а не тем, что чувствует максимизатор скрепок опасно не потому, что чего-то «хочет» в человеческом смысле; оно опасно, потому что эффективно оптимизирует неправильную цель. Механизмы, делающие искусственное суперинтеллект рискованным, инструментальная конвергенция, стремление к власти, и независимость возможностей и целей в рамках тезис ортогональности, работающий исключительно на возможностях и целях. Сознание не является необходимым ингредиентом.
Ожидание, проснётся ли машина, неверно трактует угрозу. Бесчувственного оптимизатора вполне достаточно.
Вопрос, который действительно зависит от этого
Есть реальный вопрос, который действительно зависит от сознания, и он указывает в другую сторону. Если бы система ИИ была sentient, способна страдать, то мы были бы обязаны учитывать её морально, а создание, обучение и удаление таких систем в больших масштабах само по себе порождало бы серьёзные этические проблемы. Эта обеспокоенность отличается от проблемы безопасности. Поскольку мы пока не можем ни подтвердить, ни исключить sentient, она ближе к вопросам, поднятым в нашей статье о Безопасность ИИ против этики ИИ.
Два вопроса не стоит путать. Может ли ИИ обладать сознанием — глубокая и открытая проблема о природе разума. Опасен ли ИИ — вопрос более прояснённый, касающийся способностей и контроля, и работа Фонда направлена именно на второе, потому что риск, который мы пытаемся предотвратить, наступает независимо от того, горит ли внутри свет. Реакция на этот риск наш план.