Двести миллионов позиций в секунду. Именно с такой скоростью IBM Deep Blue перебирал ходы в шахматах, когда в мае 1997 года победил Гарри Каспарова. Я постоянно возвращаюсь к этому матчу: он наглядно показывает, как мы неверно истолковываем машины — тогда и сейчас, — хотя на кону стоит гораздо больше. Каспаров проиграл машине, которая не смогла бы сказать, что играет в шахматы. Понять, почему это так и почему это не сделало машину опасной, важнее большинства текстов о модели, выпущенной на прошлой неделе.
Гарри Каспаров, сильнейший игрок своего поколения, а по некоторым оценкам — любого поколения, проиграл программе Deep Blue со счётом три с половиной к двум с половиной. Заголовки следующего утра говорили о конце: превосходство человека завершилось. Почти тридцать лет спустя матч всё ещё может кое-чему научить, и урок почти противоположен тому, о чём писали газеты.
Машина, сверхчеловеческая ровно в одной вещи
Deep Blue не думал о шахматах так, как Каспаров. Он искал. Созданный IBM, он просматривал порядка 200 миллионов позиций в секунду и пропускал каждую через оценочную функцию, которую инженеры настроили с помощью гроссмейстеров. Он заглядывал дальше любого человека и выбирал линию с лучшей оценкой. Вот и всё.
Чего она не могла — так это почти всего остального. Она не могла сыграть в мягкую игру, чтобы научить ребёнка. Не могла играть в шашки, читать часы или найти шахматную доску на фотографии. Она не знала, что выиграла. Когда матч закончился, IBM её выключила, а позже разобрала, и она не оказала сопротивления, потому что внутри никого не было, кто мог бы сопротивляться. Deep Blue был великолепным инструментом, нацеленным на одну ограниченную задачу. За пределами этой задачи на дюйм она была инертна.
Запомните это. Машина перешла в сверхчеловеческую область в 1997 году, и небо не упало. Шахматы не умерли. Сегодня они популярнее, чем когда-либо в своей истории. Победа была безопасной, потому что Deep Blue был подавляюще силён, а его сила не выходила за края доски и не имела за собой воли. По той же причине узкие инструменты, которые сейчас преобразуют медицину и науку, являются даром, а не угрозой, — это аргумент, который я подробно изложил в отдельная статья о будущем, которое мы можем иметь без сверхинтеллекта.
Мы спутали расчёты с намерениями
Один момент из первой игры всегда оставался со мной. Каспаров выиграл ту партию, но где-то внутри Deep Blue сделал ход (сорок четвёртый), который не имел очевидного смысла. Каспаров изучал его и решил, что видит нечто тонкое — план, уходящий дальше, чем он мог проследить. Это его встревожило. Он начал подозревать, что никакая программа не может играть так, что за занавесом человеку-гроссмейстеру подаёт машине ходы.
По словам тех, кто его создал, ход был ошибкой. Не сумев выбрать ход, который ему нравился, Deep Blue вернулся к умолчанию и сыграл нечто близкое к случайному. Лучший шахматист современности заглянул в сбой и увидел там гения. Он так и не восстановил полностью равновесие, и подозрение преследовало его до конца матча.
Мы устроены так, что видим разум в любом поведении, которое не можем объяснить. Машина не обязана быть разумной — достаточно, чтобы мы в это поверили.
Look at how directly that maps onto now. Today's systems produce fluent, confident, human-sounding language, and we read comprehension into the fluency the same way Kasparov read strategy into the fault. The sense that someone is home is powerful. It is mostly a projection. It is the exact mechanism by which we hand over trust we never actually checked. Whether these systems understand anything, we behave as though machines do. The reflex is no new one. It sat across the board from Deep Blue in 1997, and you can разделить два вопроса тем же способом.
Чемпион сломался. Машина ничего не почувствовала.
Каспаров проиграл Deep Blue не только из-за расчётов. Отчасти он проиграл собственной нервной системе. Во второй партии он сдался в позиции, которую позднейший анализ показал как ничью. Он был настолько уверен, что машина видит дальше, чем видела на самом деле, что отдал партию, которую мог удержать. К последней партии он был настолько выбит из колеи, что прямо в дебюте угодил в известную ловушку — жертву фигуры, которую в спокойном состоянии увидел бы заранее, — и партия завершилась за девятнадцать ходов.
Машина ничего этого не чувствовала. У неё не было эго, которое можно было бы уязвить, не было пресс-конференции, которой стоило бы опасаться, не было воспоминаний о неудачной игре, которые пришлось бы нести в следующую. Эта асимметрия постоянна, и дело не только в шахматах. Когда человек соревнуется с неутомимой системой, которая никогда не сомневается в себе, или начинает на неё опираться, первым делом сдаёт человек: наше самообладание, наше суждение, наши нервы. Любой честный рассказ о жизни рядом с такими инструментами должен учитывать нашу слабость по эту сторону стола, а не только мощность по ту.
Все предсказывали это неправильно, в обоих направлениях
Десятилетиями серьёзные люди утверждали, что компьютер ещё долго не обыграет чемпиона мира, а когда это случится, потребуется нечто вроде подлинного понимания. Обе части прогноза оказались неверны. Событие произошло раньше, чем позволяли уверенные оценки. И произошло без всякого понимания. Первым добрался грубый перебор.
Из этого следуют два вывода, и они указывают в противоположные стороны — поэтому люди обычно удерживают один и тихо отбрасывают второй. Первый: вехи возможностей обычно достигаются раньше, чем ожидают эксперты, поэтому ставить на комфортные сроки — ошибка, которую мы уже совершили однажды публично. Второй: достижение вехи говорит о появлении разума гораздо меньше, чем кажется. Победа Deep Blue была фактом о поиске и кремнии, а не рассветом машинного мышления. Оба утверждения верны одновременно. Прогресс может быть быстрее, чем вы думаете, и поверхностнее, чем выглядит, в один и тот же год — стоит помнить, когда читаешь следующий раунд прогнозы о том, куда всё это ведёт.
Единственное различие, которое меняет всё
Здесь 1997 год перестаёт быть успокаивающей историей и превращается в предупреждение. Почти всё, что делало Deep Blue безопасным, мы сейчас намеренно убираем из наших машин.
Узкий ИИ. Делал одно дело и ничего больше.
Не имела собственных целей. Ждала, пока ей дадут позицию, и делала только то, что от неё требовали.
Выключенный и демонтированный в конце без протеста, потому что в нём не было ничего, что предпочитало бы продолжать работу.
Его сила не выходила за пределы доски.
Общий. Предназначен действовать сразу во всех областях.
Получив открытые цели и постепенно всё больше автономии для их достижения.
Ожидается, что будет планировать и действовать в мире с всё меньшим человеческим надзором и, по логике инструментальной конвергенции, иметь причины сопротивляться отключению.
Deep Blue ничего не хотел, поэтому его можно было отключить. Система, у которой есть собственная цель, имеет причину оставаться включённой, потому что она не сможет завершить задачу, если кто-то дотянется до выключателя. Это прямое следствие создания вещи, преследующей цель, и у него есть название, инструментальная конвергенция. В тот момент, когда мы переходим от инструментов, которые отвечают, к агентам, которые хотят, удобный урок 1997 года перестаёт работать.
Что сделал Каспаров дальше
Кода — самая обнадеживающая часть, и её обычно опускают. Каспаров не провёл следующие годы в унынии из-за машины. Уже через год он продвигал новый формат, иногда называемый продвинутыми шахматами, в котором человек в паре с компьютером играет против другой такой пары. Результат оказался поразительным: сильнейшим участником на доске был не лучший гроссмейстер и не лучший движок, а способный человек, умело использующий машину. Инструмент не заменил игрока. Он сделал его больше.
Будущее, которого стоит желать, уже доступно прямо сейчас: в медицине, в лаборатории, в обычной работе — человеческое суждение, усиленное узкими, управляемыми инструментами, у которых нет собственной повестки. Это иной проект, чем тот, который ведут передовые лаборатории: они стремятся создать автономный общий разум, которому вообще не нужен человек в управлении. Первый проект нас расширяет. Второй задуман так, чтобы сделать нас ненужными, а система, которая больше в нас не нуждается, — это та, в которой мы должны быть абсолютно уверены, что всё ещё сможем её выключить. Именно такой уверенности пока нет, и именно поэтому угроза и причина план, который мы продвигаем.
В 1997 году мы провели публичную репетицию вопроса, который теперь стоит в центре всего: что делать, когда мы создаём машину, превосходящую нас? Deep Blue дал мягкий ответ, потому что оставался лишь инструментом. Инструмент без воли мог победить чемпиона мира и не затронуть остальной мир. Следующий ответ по умолчанию не будет мягким. Он целиком зависит от того, станет ли созданное нами более совершенным инструментом или преемником с собственными целями. Мы должны сделать это осознанно, пока создание ещё находится в наших руках.
Самое жёсткое возражение
Самое справедливое возражение: Deep Blue доказывает, что сверхчеловеческая производительность может быть безопасной и узкой, значит, страх перед ИИ — ностальгия. Deep Blue ничего не хотел. Сегодняшний путь — это общность плюс агентность плюс давление на самоулучшение. Победа над чемпионом в шахматы — не тот же вид риска, что система, способная переиграть институты.