Человечество зашло слишком далеко, чтобы погибнуть

Около 36 тысяч лет назад в пещере над речным каньоном на месте нынешней южной Франции человек прижал ладонь к холодному известняку и сдул на неё цветной порошок. Скала сохранила отпечаток. Он до сих пор там, в темноте Шове.

Я хочу посчитать, на что они ставят.

Мы ничего не знаем об этом человеке. Ни имени, ни того, любил ли его кто-нибудь. Мы знаем, что ему было холодно и что часть короткой жизни он потратил на создание вещи, которая не могла его накормить, в темноте, чтобы она осталась, когда придут другие. Он хотел, чтобы его увидели. Нам понадобилось тридцать шесть тысяч лет, чтобы прийти.

Их вид не был надёжной ставкой. У каждого живущего человека генетическое разнообразие меньше, чем у шимпанзе из нескольких соседних лесов, — след предков, которых когда-то было так мало, что они поместились бы в небольшом городке. Мы были редкой обезьяной с хорошими руками.

Первые десять тысяч поколений

Огонь, затем язык. Потом открытие, что семя, посаженное намеренно, даёт урожай. Около двенадцати тысяч лет назад люди перестали следовать за стадами и начали ждать урожая, а значит — оседать, а значит — строить города.

В Уруке около 3200 года до н. э. кто-то вдавил срезанный тростник во влажную глину, чтобы записать количество ячменя. Именно для этого и появилось письмо: храму нужно было считать зерно. Примерно через тысячу лет люди использовали те же знаки, чтобы записать поэму о царе, который не мог смириться со смертью друга. Город пал. Язык умер. Поэма до сих пор читается.

Около 300 года до нашей эры в Александрии Евклид доказал, что не существует наибольшего простого числа. Доказательство остаётся верным. Оно будет верным всегда, на любой планете, в любом веке. Ничто другое, созданное этим городом, не сохранилось в целости: библиотека исчезла, гавань занесло илом, язык, на котором спорили, остался лишь у специалистов. Доказательство прошло сквозь время нетронутым, потому что оно было построено на рассуждении, а рассуждение не подвержено гниению.

Работа переместилась. В девятом веке в Багдаде аль-Хорезми написал книгу, давшую нам слово «алгебра», а около 1020 года Ибн аль-Хайсам завершил исследование оптики, опиравшееся на принцип, за который пришлось бороться: если хочешь понять, истинно ли утверждение о мире, — проверь его.

Ренессанс и дыра в крыше

С 1347 по 1351 год чума уничтожила примерно треть населения Европы. Не треть армии. Треть всех людей. Деревни затихли и так и остались пустыми, а выжившие хоронили родных собственными руками.

А потом выжившие принялись искать прошлое. В 1417 году папский секретарь Поджо Браччолини, оставшийся без работы во время схизмы, отправился в немецкий монастырь и нашёл последнюю копию римской поэмы, пролежавшей в темноте тысячу лет. Именно в этом и заключался Ренессанс под всеми его картинами: люди, только что пережившие гибель половины мира, решили спасти то, что едва не было утрачено, а потом приумножить это.

Флоренция пошла дальше. Собор начали строить в 1296 году по плану, где купол должен был быть шире всего, что возводили со времён Рима, а как его сделать, никто тогда не знал. Поэтому церковь построили, а отверстие оставили. Десятилетиями в крыше зияла дыра размером с квартал, открытая непогоде, потому что город поставил на то, что человек, ещё не родившийся, придумает, как её закрыть.

Филиппо Брунеллески получил заказ в 1418 году. Он изобрёл подъёмники раньше, чем начал поднимать камень. Он уложил более четырёх миллионов кирпичей по ёлочной спирали, которая держала себя сама по мере роста, без деревянных лесов, а в 1436 году закрыл отверстие. Сегодня туда можно подняться.

Флоренция оставила дыру в крыше и доверила будущее её закрыть. Церковь пустовала. Если бы Брунеллески не справился, Флоренция потеряла бы здание. Под ним никто не стоял.

Мне нравится эта история, и я хочу обращаться с ней осторожно, потому что она слишком близка к той, которую ИИ-индустрия рассказывает о себе. Оставить сложную часть открытой и надеяться, что вовремя появится кто-то гениальный. Разница — в том, что находится под отверстием. Неудачный купол лишает город собора. Мы же предлагаем оставить отверстие над всеми.

Остальное пришло быстро. Печатный станок Гутенберга в 1450-х позволил мысли обогнать её носителя. В одном 1543 году Коперник сдвинул Землю из центра мироздания, а Везалий вскрыл человеческое тело и нарисовал то, что там действительно было, — оба противоречили авторитетам, не подвергавшимся сомнению четырнадцать веков.

Век, когда мы перестали хоронить своих детей

В 1800 году почти четверо из каждых десяти детей умирали до своего пятого дня рождения. Не только в бедных странах. Повсюду. Именно это значило иметь детей в любом обществе на протяжении всей истории нашего вида до примерно шести поколений назад. Сегодня — меньше одного из двадцати пяти.

На это ушло время от вакцины Дженнера в 1796 году. Утро 16 октября 1846-го, когда бостонский стоматолог усыпил пациента и хирургия перестала быть пыткой на живом человеке, которого держат сильные мужчины. Семмельвейс, который в 1847-м понял, что врачи переносят смерть из прозекторской в родильное отделение на немытых руках, и умер в лечебнице, пока профессия всё ещё отказывалась его слушать.

И для этого потребовалось уничтожение оспы — болезни, оставившей следы на лице фараона и унёсшей, возможно, триста миллионов жизней только в XX веке. Последним человеком, заразившимся ею естественным путём, стал больничный повар из Сомали по имени Али Маов Маалин в октябре 1977 года. Он выжил. Остаток жизни он посвятил вакцинации сомалийских детей от полиомиелита и умер от малярии в 2013 году, продолжая эту работу.

Те времена, когда мы едва не закончили всё

В 1945 году мы стали достаточно умными, чтобы уничтожить себя, и с тех пор живём с этим.

27 октября 1962 года советская подводная лодка у берегов Кубы потеряла радиосвязь, подверглась американским глубинным бомбам, и её капитан решил, что война началась. Торпеда на борту несла ядерную боеголовку, и для её пуска требовалось согласие трёх офицеров. Василий Архипов сказал «нет», пока корпус сотрясался вокруг него. Двадцать один год спустя Станислав Петров увидел на советском экране сообщение о пяти американских ракетах, летящих в сторону СССР, и доложил начальству, что это сбой. Это было отражение солнца от высоких облаков.

Как минимум дважды вся человеческая история зависела от одного уставшего человека в кресле, который решил не передавать сообщение дальше. Их имена мы узнали десятилетия спустя.

Мы тоже сделали выбор. В 1972 году мир запретил биологическое оружие. В 1987 году все страны Земли подписали Монреальский протокол, первый договор в истории ООН, достигший всеобщей ратификации, и озоновый слой восстанавливается по графику. Человечество прямо посмотрело на способность, которую было полностью способно создать, и вместе сказало «нет» — письменно, с инспекторами. Эти прецеденты живут на нашей страница прецедента.

Сто семнадцать миллиардов

Бюро по проблемам народонаселения оценивает число людей, когда-либо родившихся, примерно в 117 миллиардов. Каждый из них стоит выше вас по течению.

Женщина, похоронившая четверых детей и поднявшаяся на следующее утро. Монах, переписывающий язык, который понимал лишь наполовину, потому что иначе он бы исчез. Каменщики Брунеллески в сотне футов над землёй, без опоры под ногами. Повариха в Сомали с иглой и холодильником, идущая в следующую деревню. Они передавали это дальше, в большинстве случаев не зная, куда именно. Это дошло до нас. Это сейчас в наших руках.

А несколько компаний решили, что правильный способ распорядиться этим — устроить гонку друг с другом к разуму, который превосходит любого человека во всём, по расписанию, заданному раундами финансирования. В мае 2023 года их руководители поставили подписи под единственным предложением, поставив extinction от ИИ в один ряд с пандемиями и ядерной войной как глобальный приоритет. Они написали это о собственном продукте, опубликовали и не замедлились.

Ничего из этого от нас не требуется. Читайте угроза и вы не найдёте астероид на фиксированной траектории. Искусственный суперинтеллект — это то, что небольшая группа хорошо финансируемых людей решает построить, в гонке, финиш которой никто из них не может описать. Его можно запретить так же, как мы запретили другие вещи, которые могли построить, но не построили. Нашиплан требует: обязательного, проверяемого международного запрета, действующего до тех пор, пока кто-то не докажет, что систему можно контролировать. Не шестимесячную паузу с датой окончания. Чёткую границу.

Я хочу будущее, и как можно скорее. Узкий ИИ уже обеспечивая положительные стороны, лекарства и чистую энергию, без передачи ключей кому-либо.

Мы не имеем права на остаток истории. Никто не обещал его, и 117 миллиардов живших до нас тоже его не получили. Они получили свою часть и передали дальше — это всё, что доступно каждому из нас. Единственное непростительное — стать поколением, которое удержало всё наследство, увидело, что именно грядёт, записало это, подписало своим именем и всё равно поступило так.

Мы прошли через бутылочное горлышко. Мы пережили чуму, а потом заново отстроили библиотеку. Мы положили руку на стену в темноте, чтобы кто-то её нашёл, — и кто-то нашёл. Мы зашли слишком далеко, чтобы погибнуть из-за запуска продукта.

Скажите нет этому. Затем идите и создайте остальное, которое ждёт и которому никогда не нужен был бог.