Hỏi liệu một AI có ý thức hay không thực chất là đang hỏi hai điều thường bị xáo trộn. Một là triết học: hệ thống có bất kỳ trải nghiệm nội tâm nào không, có điều gì giống như việc là nó không? Điều kia là thực tiễn: hệ thống có nguy hiểm không? Mọi người hướng đến câu hỏi đầu tiên vì họ cho rằng câu trả lời sẽ giải quyết câu hỏi thứ hai. Điều đó không đúng, và việc tách biệt chúng là bước di chuyển hữu ích nhất bạn có thể thực hiện ở đây.
Ý thức không giống như trí thông minh
Trí tuệ là về khả năng, khả năng mô hình hóa thế giới, giải quyết vấn đề và đạt được mục tiêu. Ý thức, hay cảm nhận, là về trải nghiệm, sự hiện diện của cảm giác, nhận thức, một góc nhìn. Hai thứ này thường đi cùng nhau trong trường hợp duy nhất chúng ta biết rõ, chính bản thân chúng ta, đó là lý do chúng ta giả định chúng phải đi thành một gói. Không có lý do mạnh mẽ nào để chúng phải như vậy.
Một hệ thống có thể cực kỳ có năng lực mà hoàn toàn không có đời sống nội tâm. Các mô hình ngày nay đã vượt trội con người ở một số nhiệm vụ cụ thể trong khi, theo như mọi người có thể nhận biết, hoàn toàn tối om bên trong. Năng lực được đo lường qua những gì hệ thống làm. Ý thức sẽ liên quan đến việc trở thành hệ thống đó như thế nào, nếu có, và làm không giống như trải nghiệm.
Tại sao chúng ta hiện không thể trả lời nó
Lập trường trung thực là không ai biết liệu AI có thể có ý thức hay không, và chúng ta thiếu cách đáng tin cậy để tìm ra; điều trông như khoảng trống tạm thời đụng phải cái các triết gia gọi là vấn đề khó của ý thức: ngay cả ở con người, chúng ta không thể nói tại sao xử lý vật lý lại đi kèm với trải nghiệm, và chúng ta không có bài kiểm tra được đồng thuận để phát hiện trải nghiệm từ bên ngoài.
Với một con người, bạn suy luận trải nghiệm nội tâm từ hành vi và sinh học chung. Một AI phá vỡ cả hai điểm tựa. Nó có thể tạo ra mọi dấu hiệu bên ngoài của cảm xúc, nói rằng nó hạnh phúc hay đau đớn, vì nó được huấn luyện trên đại dương văn bản con người nơi những từ đó xuất hiện, dù có hay không có gì đằng sau chúng. Và nó không chia sẻ sinh học của chúng ta. Vì vậy bằng chứng thông thường không có sẵn hoặc không đáng tin cậy. Hai phe nghiêm túc bất đồng: phe cho rằng ý thức là về những gì một hệ thống tính toán, nên một AI đủ phong phú có thể có ý thức; phe kia cho rằng ý thức phụ thuộc vào các đặc điểm sinh học cụ thể mà não có còn silicon thì không. Hiện tại, không phe nào chứng minh được phe kia sai.
Bước đi quan trọng cho an toàn
Mối nguy hiểm từ trí tuệ siêu nhân tạo không phụ thuộc vào câu trả lời.
Một AI không cần có ý thức để gây thảm họa. Nó chỉ cần có năng lực và theo đuổi mục tiêu không phải của chúng ta. Hệ thống tối ưu hóa mạnh mẽ mục tiêu sai lầm gây hại qua những gì nó làm, chứ không phải qua bất kỳ điều gì nó cảm nhận. The máy tối ưu hóa kẹp giấy không nguy hiểm vì nó muốn những thứ theo cách bạn muốn; nó nguy hiểm vì nó là một trình tối ưu hóa hiệu quả nhắm vào mục tiêu sai. Các cơ chế khiến trí tuệ siêu nhân tạo trở nên rủi ro, hội tụ công cụ, tìm kiếm quyền lực, và sự độc lập của năng lực và mục tiêu dưới luận đề trực giao, vận hành hoàn toàn dựa trên khả năng và mục tiêu. Ý thức không phải là thành phần cần thiết.
Chờ xem máy có thức tỉnh hay không là hiểu sai mối đe dọa. Một trình tối ưu hóa vô cảm là đủ rồi.
Câu hỏi thực sự phụ thuộc vào nó
Có một câu hỏi thực sự phụ thuộc vào nhận thức, và nó chỉ ra cách khác. Nếu một hệ thống AI có ích, có khả năng chịu đựng, thì chúng ta sẽ phải xem xét nó về mặt đạo đức, và xây dựng, huấn luyện và xóa bỏ những hệ thống trên quy mô sẽ gây ra những vấn đề đạo đức nghiêm trọng. Mối quan tâm đó khác với mối quan tâm an toàn. Bởi vì hiện tại chúng tôi không thể quy tắc quan trọng, nó ngồi gần hơn với các câu hỏi của chúng tôi trên An toàn AI so với đạo đức AI.
Hai câu hỏi này không nên nhầm lẫn. Al có ý thức được vấn đề sâu sắc và cởi mở về tâm trí hay không. Cho dù AI nguy hiểm hơn là một vấn đề giải quyết về khả năng và kiểm soát, và công việc của Tổ chức được nhắm thẳng vào thứ hai, bởi vì rủi ro chúng ta đang cố ngăn chặn việc ánh sáng ở bên trong. Phản ứng của việc đó là kế hoạch của chúng tôi.