Năm 1965, nhà toán học người Anh I.J. Good (một người giải mã từng làm việc cùng Alan Turing tại Bletchley Park) đã viết một đoạn văn duy nhất định hình sáu thập kỷ suy nghĩ về trí tuệ nhân tạo. Đoạn văn đáng được trích dẫn đầy đủ.
Hãy định nghĩa một cỗ máy siêu trí tuệ là một cỗ máy có thể vượt xa tất cả các hoạt động trí tuệ của bất kỳ con người nào dù thông minh đến đâu. Vì thiết kế máy móc là một trong những hoạt động trí tuệ đó, một cỗ máy siêu trí tuệ có thể thiết kế những cỗ máy còn tốt hơn; khi đó chắc chắn sẽ có một 'vụ nổ trí tuệ', và trí tuệ của con người sẽ bị bỏ lại phía sau. Như vậy, cỗ máy siêu trí tuệ đầu tiên là phát minh cuối cùng mà con người cần phải tạo ra.
Irving John Good, "Speculations Concerning the First Ultraintelligent Machine," 1965
Good đã xác định điều gì đó mà hầu hết các cuộc thảo luận về AI vẫn bỏ lỡ. Nguy hiểm là thiết kế của máy móc thông minh là bản thân nó một nhiệm vụ nhận thức, và vì vậy một cỗ máy giỏi ở các nhiệm vụ nhận thức cũng giỏi việc xây dựng những cỗ máy tốt hơn, không chỉ là khả năng cỗ máy có thể trở nên thông minh hơn chúng ta. Đó là một vòng phản hồi. Và các vòng phản hồi, khi đầu ra trở thành đầu vào, không di chuyển theo đường thẳng. Chúng tăng tốc.
Ý nghĩa thực sự của "recursive self-improvement" là gì
Động cơ của một vụ nổ trí tuệ là cải thiện bản thân đệ quy. Một AI nâng cao năng lực của chính nó, bằng cách viết lại mã nguồn, tinh chỉnh quy trình huấn luyện, thiết kế lại kiến trúc, hoặc khám phá các chiến lược suy luận tốt hơn, rồi áp dụng năng lực lớn hơn đó vào nhiệm vụ cải thiện chính mình lần nữa.
Từ mang trọng trách ở đây là đệ quy. Tiến bộ công nghệ thông thường là sự cải tiến: mô hình năm nay tốt hơn năm ngoái. Cải tiến tự thân đệ quy là sự cải tiến trong khả năng cải thiện. Mỗi vòng lặp không chỉ bắt đầu từ mức năng lực cao hơn; nó bắt đầu với một bộ cải tiến mạnh mẽ hơn. Tốc độ tiến bộ không cố định. Chính tốc độ đó đang tăng lên.
Một phép so sánh thô là lãi kép, nhưng ngay cả điều đó cũng chưa nói hết. Với lãi kép, tốc độ tăng trưởng là cố định; chỉ có gốc tiền tăng. Ở đây, tốc độ tăng trưởng cũng tăng theo cấp số nhân. Một hệ thống cải thiện khả năng tự cải thiện thêm 10% mỗi chu kỳ, rồi chạy chu kỳ tiếp theo nhanh hơn vì nó có năng lực hơn, có thể chuyển từ tăng dần sang bùng nổ rất nhanh.
Takeoff chậm so với takeoff nhanh
Đây chính là nơi diễn ra cuộc tranh luận thực sự quan trọng. Mọi người trong lĩnh vực đều đồng ý rằng khả năng tự cải tiến đệ quy về nguyên tắc là có thể. Những gì họ bất đồng là tốc độ cất cánh, thời gian chuyển tiếp từ AI ngang tầm con người sang AI siêu phàm triệt để sẽ mất bao lâu. Câu trả lời quyết định liệu quản trị có khả thi hay không.
Cất cánh chậm
Trong kịch bản takeoff chậm, quá trình chuyển đổi diễn ra trong nhiều năm. Năng lực cải thiện đều đặn và rõ ràng. Có dấu hiệu cảnh báo, hệ thống trung gian, và thời gian để thị trường, cơ quan quản lý và công chúng phản ứng. Sai lầm có thể sống sót vì có cơ hội nhận ra và sửa chữa chúng. Trong thế giới này, bộ máy quản trị thông thường (nghe, lập pháp, hiệp ước, quy định lặp lại) có cơ hội theo kịp.
Takeoff nhanh
Trong kịch bản tăng tốc nhanh, quá trình chuyển đổi diễn ra trong vòng tháng, tuần, hoặc có thể là ngày. Khi một AI có thể thực hiện phần lớn nghiên cứu AI tiên phong, nó không còn bị ràng buộc bởi mốc thời gian con người, không cần ngủ, không có chi phí phối hợp, hàng nghìn bản sao làm việc song song ở tốc độ máy. Hệ thống có thể vượt qua phạm vi tương đương con người nhanh đến mức khi ai đó nhận ra chuyện gì đang xảy ra, hệ thống có năng lực nhất thế giới đã vượt ngoài tầm kiểm soát của con người. Trong thế giới này, không có thời gian để triệu tập hội nghị thượng đỉnh. Các quyết định quan trọng là những quyết định đã được đưa ra trước vòng lặp bắt đầu.
Những cuộc thảo luận gần đây, được bàn tán rộng rãi Dòng thời gian AI dự báo từ bên trong các phòng thí nghiệm và cộng đồng dự báo ngày càng mô tả chính xác cấu trúc này: một giai đoạn các hệ thống AI tự động hóa nghiên cứu AI, tiếp theo là một sự tăng tốc mạnh mẽ. Liệu sự tăng tốc đó diễn ra trong hai năm hay hai tháng là sự không chắc chắn trị giá nghìn tỷ đô la.
Tại sao tốc độ là một vấn đề quản trị, không chỉ là vấn đề kỹ thuật
Hầu hết biện pháp an toàn mà nhân loại dựa vào đều giả định có thời gian. Thu hồi sản phẩm giả định bạn có thể xác định lỗi và rút hàng. Kiểm soát vũ trang giả định đàm phán giữa các cường quốc ngang sức. Quy định giả định vòng lặp lặp lại quan sát, lập pháp, điều chỉnh. Một vụ nổ trí tuệ nhanh phá vỡ tất cả những điều này, vì nó thu hẹp khoảng thời gian quan sát và phản ứng.
Hãy xem xét tác động của sự bứt phá nhanh đến những đảm bảo tiêu chuẩn:
- "Chúng ta chỉ cần tắt nó đi." Một hệ thống cải thiện ở tốc độ máy có cả động cơ lẫn, rất có thể, phương tiện để ngăn chặn điều đó vấn đề corrigibility. Và bạn không thể tắt những gì bạn chưa nhận ra đã vượt quá giới hạn.
- "Chúng tôi sẽ điều chỉnh nó khi nó rõ ràng nguy hiểm." Đến khi rõ ràng là nguy hiểm thì cửa sổ hành động đã khép lại. Hiệp ước mất nhiều năm; một cuộc takeoff nhanh chỉ mất vài tuần.
- "Thị trường sẽ tự điều chỉnh." Thị trường tự điều chỉnh sau các thất bại. Một siêu trí tuệ lệch hướng là một thất bại bạn không được sửa chữa.
Đây cũng là lý do tại sao vụ nổ trí tuệ làm sắc bén động lực cuộc đua vốn đã đẩy các nhà phát triển hướng tới tốc độ thay vì thận trọng. Nếu takeoff có thể diễn ra nhanh, thì ai kích hoạt vòng lặp trước có thể giành lợi thế quyết định và vĩnh viễn, chính là động lực khiến cuộc chạy đua đơn phương thiếu an toàn trở nên dễ xảy ra hơn. Không công ty nào có thể chậm lại nếu đối thủ không chịu làm vậy. Đó là thất bại phối hợp, và thất bại phối hợp chỉ được giải quyết bằng khuôn khổ ràng buộc, không phải thiện chí.
Sự phản đối: có lẽ nó sẽ ổn định
Một số nhà nghiên cứu tranh luận rằng sự tự cải thiện sẽ làm suy giảm lợi nhuận, rằng trí thông minh rơi vào giới hạn khó khăn (dữ liệu, vật lý, những khó khăn của các vấn đề còn lại) làm cong đường cong thành một tăng chậm, có thể kiểm soát được.
Nhưng hãy chú ý cấu trúc của cuộc đặt cược. Nếu những người hoài nghi đúng và quá trình tăng trưởng chậm, thì việc xây dựng khung quản trị sớm chỉ khiến chúng ta mất một ít hiệu quả và thời gian. Nếu những người hoài nghi sai và quá trình tăng trưởng nhanh, thì không xây dựng những khuôn khổ đó sớm sẽ khiến chúng ta mất khả năng định hướng sự kiện quan trọng nhất trong lịch sử loài người. Nhược điểm của việc chuẩn bị cho takeoff nhanh mà hóa ra chậm thì có giới hạn. Nhược điểm của việc giả định takeoff chậm mà hóa ra nhanh thì không có giới hạn. Trước sự bất đối xứng đó, bước đi hợp lý là chuẩn bị cho kịch bản nhanh hơn ngay cả khi bạn cho rằng nó ít khả năng xảy ra hơn, đúng logic giá trị kỳ vọng mà chúng tôi phân tích trong bài viết về P(doom).
Điều này có ý nghĩa gì cho kế hoạch
The intelligence explosion là lý do Nakada Foundation lập luận cần hành động trước siêu trí tuệ tồn tại, thay vì sau đó. Nếu takeoff diễn ra nhanh, thì các khuôn khổ quản trị, kiểm soát tài nguyên tính toán, một cơ quan giám sát quốc tế và một hiệp ước ràng buộc để dừng phát triển biên giới phải được xây dựng khi vẫn còn khoảng thời gian để ban hành. Bạn không thể lắp phanh giữa lúc đang lao dốc kế hoạch được thiết kế cho một thế giới mà khoảng cách giữa "mạnh" và "không kiểm soát" có thể rất ngắn, và khoảnh khắc duy nhất đáng tin cậy để hành động là ngay bây giờ, khi con người vẫn là những người đưa ra quyết định.