Tôi đã bị gọi là kẻ hủy diệt quá nhiều lần rồi. Gần như tất cả mọi người làm việc trên hệ thống an toàn AI ở nơi công cộng. Cái nhãn đến trước cuộc tranh luận. Trước khi tôi nói một từ về xác suất hay dòng thời gian hoặc "điều khiển" thậm chí có nghĩa là gì, tôi đã được sắp xếp vào một thùng rác, những người sợ hãi, những người muốn làm chậm lại bởi vì họ không thể xử lý tương lai. Phân loại, và vì vậy bác bỏ.

Điều thú vị ở từ "doomer" là nó đang làm một công việc; sự thô lỗ chỉ là lớp ngụy trang, không phải nguyên nhân.

Nước đi hiệu quả nhất của phe tăng tốc hầu như không liên quan gì đến việc họ có đúng hay không.

Nguồn gốc của từ này

Khoảng năm 2022 và 2023, cuộc tranh luận an toàn AI ngừng là cuộc trò chuyện nội bộ giữa các nhà nghiên cứu và lan sang mạng xã hội, nơi các lập luận tạo thành phe phái và phe phái có tên. Phe tăng tốc (những người tin AI nên được xây dựng nhanh nhất có thể) lấy hậu tố "e/acc" làm biểu tượng và đeo nó trong tên người dùng. Họ cũng cần tên cho phe kia. "Doomer" là cái tên đó, thường đi kèm "decel," viết tắt của deceleration, tội lỗi muốn đi chậm hơn.

Không khí trở nên cứng rắn vào tháng Mười đó, khi Marc Andreessen công bố "Bản tuyên ngôn Kỹ thuật-lạc quan." Nó đọc ít như một lập luận hơn là một tín điều, và nó bao gồm danh sách những gì nó gọi là kẻ thù, trong đó có "rủi ro tồn vong" và "nguyên tắc phòng ngừa," ý tưởng đơn giản rằng bạn có thể muốn hiểu một công nghệ mạnh mẽ trước khi triển khai nó ở quy mô lớn. Một khi mối quan tâm bị xếp vào "kẻ thù," những người nắm giữ nó chỉ cần một nhãn ngắn hơn để dùng hàng ngày. Doomer lo liệu phần còn lại.

Tôi muốn công bằng với phong trào mà nó xuất phát, vì có một lập luận thực sự nằm bên dưới, và chúng tôi có đã xem xét nghiêm túc về nó ở nơi khác. Một số người ủng hộ tăng tốc đưa ra các lập luận thực chất: rằng tiến bộ là lực lượng nhân đạo vĩ đại, rằng quy định nặng nề mang rủi ro riêng, rằng bạn học một công nghệ bằng cách xây dựng nó. Những điều đó đáng để tranh luận. "Doomer" là từ được dùng thay vì chúng, không phải một trong số đó.

Nhãn mác thực sự làm gì

Doomer là một nhân vật, không phải một lập luận. Nó biến tranh luận thành kiểu tính cách, và kiểu tính cách thì không cần trả lời, chỉ cần chẩn đoán.

Hãy xem xét những gì phe an toàn thực sự đang nói. Đại khái là: xác suất thảm họa từ một hệ thống siêu trí tuệ đủ cao (không phải chắc chắn, mà đủ cao) để chúng ta nên xây dựng khả năng kiểm soát các hệ thống này trước khi xây dựng chúng. Bạn có thể phản biện từng phần của lập luận này. Bạn có thể cho rằng xác suất thấp hơn chúng ta nghĩ, lộ trình dài hơn, "kiểm soát" là khung sai, hoặc quản trị sẽ gây hại nhiều hơn rủi ro mà nó giải quyết. Tất cả những điều đó đều là cuộc trò chuyện thực sự, và một số ý kiến đáng để thua cuộc.

"Doomer" bỏ qua điều đó. Từ này nói rằng: bạn là kiểu người sợ ngày mai. Lập trường của bạn là một tâm trạng, không phải luận điểm, và tâm trạng không cần bác bỏ: chiêu trò tu từ cũ nhất, lập luận chống lại con người thay vì chống lại luận điểm, khoác áo mới. Sự tinh tế của nó là nó không bao giờ phải chạm vào bất đồng thực sự. Nó chuyển toàn bộ cuộc tranh luận từ "điều này có đúng không" sang "kiểu người nào tin điều này", nơi người theo chủ nghĩa tăng tốc đã tự trả lời.

Từ này biến một lập luận thành kiểu tính cách, và kiểu tính cách không cần được trả lời, chỉ cần chẩn đoán.

Tại sao nó thuyết phục

Nhãn hiệu này hiệu quả vì nó được xây dựng từ những điều mọi người đã muốn tin về chính mình.

Bắt đầu với điều hiển nhiên: không ai muốn là người bi quan. Lạc quan được đọc là tự tin và động lực; thận trọng được đọc là nhút nhát và sợ hãi. Khung chọn lựa là người xây dựng so với người bi quan và hầu hết mọi người đã biết ghế nào họ muốn ngồi. Khung đã hoàn thành công việc trước khi một sự kiện đơn lẻ chạm đến bàn.

Nó cũng dựa vào điều gì đó sâu sắc hơn, một câu chuyện thực sự và phần lớn đáng trân trọng mà nước Mỹ kể về chính mình. Tiến bộ là tốt. Những người sợ đường sắt, máy in, đèn điện đã sai, và lịch sử nhớ họ như những kẻ ngốc. Những người theo chủ nghĩa tăng tốc lấy câu chuyện đó ra nguyên vẹn và gán người ủng hộ an toàn là cái tên mới nhất trong danh sách những người sợ hãi sẽ bị tương lai làm bẽ mặt. Đó là một câu chuyện mạnh mẽ chính vì nó thường đúng. Động thái là giả định, không có tranh luận, rằng nó lại đúng lần này, rằng siêu trí tuệ là máy in chứ không phải điều gì đó mới. Liệu nó có phải là cùng một câu chuyện hay không là toàn bộ câu hỏi, và nhãn tồn tại để câu hỏi không bao giờ được đặt ra.

Từ này nhắm đến ai

Xếp hàng những người bị ném vào và hình ảnh biếm họa sẽ tan vỡ trong tay bạn.

Geoffrey Hinton rời Google năm 2023 để có thể nói về rủi ro mà không cần người giám sát từ công ty; ông gần như là một người cha sáng lập của lĩnh vực này. Yoshua Bengio, một trong những nhà nghiên cứu được trích dẫn nhiều nhất còn sống, cũng đi đến mối lo ngại tương tự từ chính công việc của mình. Tháng 5 năm 2023, hàng trăm nhà khoa học và lãnh đạo doanh nghiệp (bao gồm cả lãnh đạo các phòng thí nghiệm đang chạy đua xây dựng công nghệ) đã ký tên vào một câu duy nhất đặt rủi ro tuyệt chủng do AI vào cùng nhóm với đại dịch và chiến tranh hạt nhân. Họ không sợ công nghệ. Họ chính là những người xây dựng nó. Dù bạn gọi lập trường của họ là gì, "sợ tương lai" không phải là cách mô tả nó, mà là cách không lắng nghe nó.

Từ này cũng làm phẳng một phổ rộng xuống còn một chấm. Có khoảng cách khổng lồ giữa người nghĩ thảm họa gần như chắc chắn xảy ra và người đặt nó ở mức vài phần trăm nhưng vẫn muốn bảo hiểm, khoảng cách giữa một nhà tiên tri và một người tính toán rủi ro. Cả hai đều bị xếp vào loại doomer. Nhãn này không thấy được sự khác biệt vì nó chưa bao giờ được xây dựng để làm điều đó; công việc của nó là khiến một tập hợp quan điểm kỹ thuật, đa dạng và thường khá ôn hòa trông giống như một giáo phái cuồng tín. Chúng tôi đã viết cả một bài về phạm vi ước tính của chuyên gia chính vì lý do này. Phạm vi là thứ mà nhãn được thiết kế để xóa bỏ.

Dấu hiệu

Đây là điều tôi vẫn luôn quay lại. Một phong trào tự tin vào câu trả lời của mình cho câu hỏi an toàn sẽ không cần biệt danh cho những người đang đặt câu hỏi đó.

Nếu rủi ro thảm khốc thực sự gần như không, đó là tuyên bố bạn có thể bảo vệ công khai. Trình bày lập luận. Giải thích tại sao các nhà nghiên cứu xây dựng hệ thống lại sai về chính hệ thống họ xây dựng. Lập luận rằng việc căn chỉnh hóa ra dễ dàng, hoặc trí tuệ cao hơn luôn mang lại sự cẩn trọng cao hơn, hoặc cuộc đua giữa các phòng thí nghiệm tự sửa chữa trước khi ai đó cắt một góc chết người. Đó là những lập luận khó, nhưng chúng tồn tại, và khi những người thúc đẩy tăng tốc thực sự đưa ra chúng thì chúng ta có thể có cuộc tranh luận, cuộc tranh luận mà chúng ta đã cố gắng có đầy đủ.

Từ “doomer” là thứ lấp đầy khoảng trống nơi lẽ ra phải có lập luận. Người ta dùng nhãn khi không muốn đối mặt với nội dung. Gọi tên đối thủ rẻ hơn là bác bỏ họ, và từ xa nhìn có vẻ như một chiến thắng đến mức đám đông thường không phân biệt được họ vừa chứng kiến điều gì.

Cách trả lời nó

Từ chối khung. Ngay khoảnh khắc cuộc trò chuyện trở thành builder-versus-doomer, nội dung thực chất đã rời khỏi phòng. Kéo nó trở lại cấp độ đối tượng bằng một câu hỏi: bạn đang đặt xác suất bao nhiêu cho rủi ro thảm khốc, và tại sao là con số đó? Hầu như không ai vung từ này như vũ khí có thể trả lời, vì từ ấy ở đó để họ không bao giờ phải làm vậy. Nếu bạn muốn xem cách một con số như vậy thực sự được xây dựng thay vì chỉ khẳng định, chúng tôi đã làm một máy tính P(doom) đi qua từng phần một.

Then pull the label off the claim. "Doomer" gán lên một tuyên bố một bức biếm họa (một người bi quan nghiện u ám, ghét bỏ tiến bộ) trong khi tuyên bố ấy thường hẹp và nhạt nhẽo hơn nhiều: rằng công nghệ cụ thể này mang một rủi ro cụ thể đòi hỏi sự cẩn trọng cụ thể. Tách chúng ra. Bạn có thể yêu công nghệ, mong muốn sự dồi dào mà phe tăng tốc mô tả, tin rằng tương lai có thể phi thường, và vẫn nghĩ rằng chúng ta nên có khả năng kiểm soát một siêu trí tuệ nhân tạo trước khi bật nó lên. Đó không phải là các lập trường đối lập. The lập luận cho tương lai tốt đẹp chạy thẳng qua việc làm đúng phần này, không đi vòng qua nó.

Tôi không nghĩ hầu hết những người dùng từ này đang tranh luận thiếu thiện chí. Cách khung này thực sự rất hấp dẫn, và sự tự tin dễ bị nhầm lẫn với sự đúng đắn, đặc biệt khi đi kèm một câu chuyện hay. Nhưng khi nước đi mạnh nhất mà một phong trào có thể thực hiện chống lại các nhà phê phán là đặt cho họ một cái tên không hay, điều đó cho bạn biết điều gì đó về nền tảng nó đang đứng trường hợp không vận hành bằng nỗi sợ và cũng không vận hành bằng sự thù ghét tiến bộ. Nó vận hành bằng một mảnh thận trọng vững chắc, không hào nhoáng: với sai lầm không thể khắc phục, bạn chế tạo phanh trước.