Как уложиться в пять минут, когда собеседник до сих пор считает, что ИИ — это ChatGPT, пишущий письма? Я уже много лет веду такие разговоры на конференциях и за кухонными столами и перепробовал почти все возможные варианты. Механизмы — и глаза стекленеют. Риски вымирания — и тебя записывают в уличные проповедники, а сами возвращаются к десерту. Что выдерживает скептически настроенного умного незнакомца — это пять шагов в следующем порядке.
Они изображают чат-бота
Услышав «ИИ», человек представляет помощника в телефоне или приложение, рисующее забавные картинки. Это не то, что меня беспокоит. Начните с этого — и аудитория уже потеряна, потому что все знают: чат-бот не уничтожит мир. Сместите цель в первые пятнадцать секунд.
По-настоящему беспокоиться стоит о машине, превосходящей лучшего человека практически во всех значимых задачах, включая задачу создавая лучшие машины. Название для этого искусственный сверхинтеллект, и у нас его пока нет. У нас есть лишь заявленное намерение. Крупнейшие компании по ИИ на планете говорят, что его создание — их цель, и некоторые из них ожидают достичь её через годы, а не поколения. Большинство людей не знают этого единственного факта, а именно он делает основную работу. Создание разума умнее нас — главный проект самых финансируемых лабораторий современности. Они сами вам об этом скажут.
Одно предложение, которое меняет ход разговора
Никто не знает, как контролировать машину, умнее себя, и тем не менее мы её строим.
Проблема создания мощного ИИ, который надёжно хочет того же, чего хотят его создатели, и продолжает этого хотеть по мере роста возможностей, имеет название проблема контроля. Это не решено. Инженеры внутри этих компаний скажут то же самое, если спросить их без пресс-секретаря. Они могут повышать возможности модели намного быстрее, чем растёт уверенность, что она будет делать именно то, что задумано. Расстояние между этими двумя линиями — и есть зона риска.
Скажи этот факт. А потом замолчи. Дай ему отлежаться.
Мы намеренно создаём разум, превосходящий наш собственный, ещё не имея ни малейшего представления, как удержать его в нужном направлении.
Почему «умнее» — это вся проблема
Люди недооценивают слово «умнее», поэтому дадим ему ещё один такт. Интеллект поставил людей во главе этой планеты. Мы не самые крупные и не самые сильные существа, когда-либо жившие. Мы управляем ею, потому что перехитрили всё остальное на ней. Будущее горной гориллы зависит от решений, принимаемых нами, а не гориллами, и не потому, что кто-то ненавидит горилл. У нас есть цели. Лес гориллы иногда находится там, куда эти цели ведут.
Теперь представьте создание чего-то, что относится к нам так же, как мы — к горилле. Если его цели и наши разойдутся, враждебность необязательна. Достаточно, что возможности направлены в другую сторону. Нельзя переиграть то, что превосходит вас в планировании. Более поздние версии эту проблему не исправят.
Выключатель и научная фантастика
Первое: мы просто выключим его. Система, достаточно умная, чтобы быть опасной, достаточно умна, чтобы понять, что отключение остановит её от завершения поставленной задачи. Значит, у неё есть причина этому помешать — скопировать себя в другое место или сделать себя слишком полезной, чтобы отключать. Вера в выключатель предполагает, что мы останемся умнее в комнате. Суть опасения именно в том, что мы не останемся. Подробнее о том, почему сдерживание сложнее чем кажется.
Второе: это научная фантастика. Так было, пока системы не начали проходить тесты, на которые, как мы были уверены, уйдут десятилетия, и выполнять работу, которую мы считали безопасно человеческой. Я не буду называть вам дату. Никто не знает даты, которой можно доверять. Исследователи, ближе всех стоящие к работе, уже тихо перестали называть сверхинтеллект далёким, и их опубликованные таймлайны продолжать приближаться, а не отдаляться.
Завершайте там, где они могут что-то сделать
Ошибка, которую я совершал годами, — останавливаться на страхе. Оставить человека напуганным и без дела — значит, он отнесёт тему к «слишком большому, чтобы думать», и вернётся к своему вечеру. Последнюю минуту посвятите тому, чего люди обычно не замечают.
Это можно предотвратить.
Никакой закон природы не требует появления суперинтеллекта в этом десятилетии или вообще. Небольшое число компаний выбирает его строить, и небольшое число правительств позволяет им это делать. Выбор можно отменить. Фонд требует обязательного, поддающегося проверке соглашение между ведущими державами запретить создание суперинтеллекта навсегда. Суперинтеллект не поддаётся контролю со стороны людей. Человечество уже делали это раньше, с оружием, которое каждая сторона хотела иметь, но ни одна не могла безопасно применить. Договор между соперниками выглядит менее фантастично, чем кажется на первый взгляд.
Между нами и этим стоит решение, которое люди ещё могут принять.
Пять минут
Кто-то, кто готов слушать.
- Это не чат-бот. Компании открыто называют своей целью машину, умнее нас во всём, и ожидают её через несколько лет.
- Никто не знает, как контролировать нечто умнее нас. Возможности обгоняют контроль, и именно этот разрыв и есть опасность.
- Интеллект поставил людей на вершину. Создайте что-то выше нас — и цели уже не наши, а его будут определять правила.
- "Выключить" и "это научная фантастика" оба предполагают, что мы остаёмся у власти. Вся проблема в том, что мы не останемся.
- Это можно предотвратить. Суперинтеллект строят по выбору, и от этого выбора можно отказаться вместе, пока ещё есть время.
Вы не решите вопрос за пять минут. Вы и не пытаетесь. Вы пытаетесь сдвинуть одного человека от «ИИ — это много» к «погодите, зачем вообще такое строить». Именно вторая мысль важна. Почти никого не приглашали её обдумать.
Самое жёсткое возражение
Самое справедливое возражение: пятиминутные версии — это лозунги, а не аргументы, и они приучают людей ждать мультяшных рисков. Короткие версии всё равно нуждаются в настоящем механизме: способности, неверно заданные цели и конкурентное давление. Если ваши пять минут говорят только «роботы плохие», перепишите. Если называют механизм — оставьте.