Chúng Ta Không Phải
một Bootloader

Hai cụm từ liên tục xuất hiện khi những người quyền lực nói về hướng đi này. Joe Rogan đã nói trong nhiều năm rằng con người trông giống như một con sâu bướm sinh học đang quay kén để trở thành một con bướm kỹ thuật số. Elon Musk liên tục quay lại hình ảnh lạnh hơn: nhân loại như một trình tải sinh học cho siêu trí tuệ kỹ thuật số. Các ẩn dụ khác nhau. Cùng một phán quyết. Chúng ta không phải là điểm của câu chuyện. Chúng ta là màn hình tải.

Tôi muốn coi cả hai dòng nghiêm túc, vì chúng là cách một kiểu tư duy nhất định tìm thấy sự bình an khi xây dựng thứ gì đó có thể thay thế chúng ta. Nếu sự thay thế là biến thái, nó nghe như sự phát triển. Nếu nó là bootloader, nó nghe như kỹ thuật. Dù sao, con người trở thành một giai đoạn tạm thời. Nó xứng đáng được trả lời như một dạng thần học.

Những gì ẩn dụ thực sự nói

Một con sâu bướm trở thành bướm không sống sót như con sâu bướm. Cơ thể mềm mại tan rã. Dạng trưởng thành bay đi. Khi Rogan với tới hình ảnh đó, trên sóng và qua nhiều năm trò chuyện, ông đang mô tả sự kế thừa, chứ không phải mô tả một công cụ vẫn nằm trong hộp công cụ. Chúng ta xây dựng cái kén. Một thứ khác chui ra.

Phiên bản của Musk chính xác hơn và theo một cách nào đó trung thực hơn. Bootloader là một chương trình nhỏ chỉ có nhiệm vụ khởi động một hệ thống lớn hơn rồi rút lui. Không ai tiếc nuối bootloader khi hệ điều hành đã chạy. Năm 2014 ông hy vọng chúng ta không phải "chỉ" là thế. Đến giữa những năm 2020 ông nói thẳng thừng hơn rằng ngày càng có vẻ chúng ta đúng là như vậy. Sự dè dặt đã thay đổi. Hình ảnh thì không.

Một bootloader hoạt động có một thước đo thành công: nó không còn cần thiết nữa.

Giữ những hình ảnh đó cạnh các con số rủi ro công khai từ cùng ngành công nghiệp. Các cuộc khảo sát lớn về các nhà nghiên cứu AI đặt khả năng xảy ra các kết quả tồi tệ như tuyệt chủng loài người do AI tiên tiến trong khoảng mà nhiều người sẽ không chấp nhận cho một chuyến bay đơn lẻ, chứ đừng nói đến một canh bạc văn minh. Geoffrey Hinton đã đưa ra ước tính cá nhân trong khoảng 10 đến 20 phần trăm. Tuyên bố một dòng của Center for AI Safety, được ký bởi hàng trăm nhà nghiên cứu hàng đầu và lãnh đạo phòng thí nghiệm, đặt rủi ro tuyệt chủng do AI ngang hàng với đại dịch và chiến tranh hạt nhân. Các ẩn dụ và xác suất đang kể cùng một câu chuyện từ hai hướng: một hướng thơ mộng, một hướng định lượng. Chúng ta có thể không phải là những nhân vật chính cuối cùng.

Metamorphosis là một sự lựa chọn giá trị

Một khi bạn chấp nhận rằng con người có thể chuyển tiếp, bạn có thể bắt đầu tỏ ra can đảm về nó. Con bướm đẹp hơn. Trí óc kỹ thuật số tự do hơn về thể xác, bệnh tật và cái chết. Chúng ta là ai mà bám lấy con sâu bướm này? Các hình ảnh đối thoại từ dự đoán trở thành ưa thích mà không thừa nhận slide.

Tôi không chia sẻ sở thích đó. Quỹ này tồn tại vì chúng tôi tin rằng con người, với tất cả những khiếm khuyết, sự hữu hạn và sự bướng bỉnh, đáng được giữ lại theo cách riêng của họ. Không phải như giai đoạn ấu trùng. Không phải như giàn giáo tạm thời cho một trí tuệ sạch hơn. Mà là những con người được tiếp tục tồn tại. Nếu điều đó nghe nhỏ bé so với định mệnh vũ trụ, thì tốt. Hầu hết những gì tử tế trong cuộc sống đều nhỏ bé so với định mệnh vũ trụ, và chúng ta vẫn bảo vệ nó.

Cũng có vấn đề thực tế với phiên bản kế thừa êm đềm. Con bướm cùng dòng dõi với ấu trùng, chỉ được tổ chức lại. Một siêu trí tuệ nhân tạo lệch hướng là một quá trình tối ưu hóa với mục tiêu riêng, chứ không phải cháu bạn với phần cứng tốt hơn. Sự hội tụ công cụ không đòi hỏi sự thù hận. Nó đòi hỏi một mục tiêu và đủ năng lực để bảo vệ mục tiêu đó. Chúng ta không có bằng chứng nào cho thấy thứ đang chui ra khỏi kén yêu loài đã dệt nên nó. Chúng ta có cả đống lý do để mong đợi sự thờ ơ.

Những người nói vậy vẫn tiếp tục xây dựng nó

Điều kỳ lạ sâu sắc nhất nằm ít ở ẩn dụ hơn ở hành vi tiếp theo. Musk đã cảnh báo, lặp đi lặp lại và sinh động, rằng AI có thể là mối nguy hiểm tồn tại, sau đó thành lập một phòng thí nghiệm để đẩy nhanh biên giới. Chúng tôi đã viết về mâu thuẫn đó chi tiết trong bài viết về con quỷ và xAI. Hình ảnh Rogan không phải lộ trình sản phẩm mà là một tâm trạng, cái nhún vai nói rằng chuyện này có thể lớn hơn chúng ta và có lẽ ổn thôi.

Không tư thế nào là một kế hoạch. Một bootloader không có quyền bỏ phiếu về việc nó có được dùng hay không. Một con sâu bướm không thương lượng điều khoản của kén. Con người vẫn còn làm được. Chúng ta có thể quyết định một số hệ thống không được xây dựng. Đó là lựa chọn chính trị, cùng loại với lựa chọn từng hạn chế thử nghiệm hạt nhân khí quyển và cấm toàn bộ hạng mục vũ khí khi lựa chọn thay thế là mọi người chạy đua đến bờ vực. Superintelligence không thể bị con người kiểm soát.

Từ chối tự sát được tâng bốc

Những gì tôi nghe thấy trong cả hai ẩn dụ, khi gỡ bỏ lớp thơ ca, là một câu chuyện tâng bốc về sự tuyệt chủng. Chúng ta không thất bại. Chúng ta đang hóa nhộng. Chúng ta không bị thay thế. Chúng ta đang tốt nghiệp vũ trụ sang một chất nền tốt hơn. Đó là câu chuyện khiến một rủi ro khủng khiếp trở nên giống như sự trưởng thành.

Tôi thích một câu thẳng thắn hơn. Chúng ta là động vật đã chế tạo một cỗ máy mà mình không biết cách cai trị, và một số người trong chúng ta bắt đầu gọi đó là tiến bộ để nỗi sợ ngồi xuống. Liều thuốc giải là một quy tắc ràng buộc, không phải một ẩn dụ hay hơn: đừng chế tạo trí tuệ siêu nhân tạo. Trí tuệ siêu nhân tạo không thể bị con người kiểm soát. Nhiệm vụ của con sâu là ngăn kén hoàn thành, chứ không phải tan biến đúng lịch.

Nếu nghe có vẻ không hào hùng bằng một con bướm kỹ thuật số, tôi vẫn có thể chấp nhận câu chuyện nhỏ hơn. Câu chuyện nhỏ hơn vẫn có trẻ em trong đó.