Nguyên tắc phòng ngừa xuất phát từ luật môi trường và hiện đã được lồng ghép vào các văn kiện quốc tế. Công thức nổi tiếng nhất của nó là Nguyên tắc 15 của Tuyên bố Rio năm 1992: khi có mối đe dọa gây thiệt hại nghiêm trọng hoặc không thể đảo ngược, việc thiếu chắc chắn khoa học đầy đủ không được dùng làm lý do để trì hoãn các biện pháp hiệu quả về chi phí nhằm ngăn chặn nó. Các biến thể xuất hiện trong toàn bộ luật Liên minh Châu Âu và trong các hiệp ước về khí hậu, đa dạng sinh học và chất nguy hại. Nguyên tắc này tồn tại chính xác cho những tình huống mà chờ đợi bằng chứng đồng nghĩa với chờ đợi quá lâu.

Nguyên tắc quy định rằng khi một hoạt động đe dọa gây hại nghiêm trọng hoặc không thể đảo ngược, việc thiếu chắc chắn khoa học đầy đủ không được dùng để trì hoãn hành động bảo vệ. Quy tắc đó là nền tảng pháp lý mạnh nhất để hành động về rủi ro AI trước khi thảm họa chứng minh điều đó.

Tại sao nó phù hợp với AI đến vậy

Lý lẽ về rủi ro AI có một đặc điểm khó xử: các kịch bản nghiêm trọng nhất chưa từng xảy ra, và không thể chứng minh trước nếu không thực hiện thí nghiệm. Các nhà phê phán dùng điều này để bác bỏ mối lo ngại, không có bằng chứng thì không có vấn đề. Nguyên tắc phòng ngừa là câu trả lời trực tiếp. Nó được xây dựng cho những mối đe dọa nghiêm trọng và có thể không thể đảo ngược nhưng chưa chắc chắn, và nó đảo ngược gánh nặng chứng minh: câu hỏi không phải thảm họa đã được chứng minh hay chưa, mà là khả năng đó có đủ nghiêm trọng để biện minh cho hành động bảo vệ khi xem xét những gì đang bị đe dọa.

Hai đặc điểm của AI tiên phong khiến nó gần như trường hợp điển hình cho nguyên tắc này. Tiềm năng gây hại nằm ở mức độ nghiêm trọng cao nhất, có thể thảm họa và không thể đảo ngược. Và khoa học thực sự không chắc chắn, với các chuyên gia uy tín gán xác suất có ý nghĩa cho các kịch bản mất kiểm soát và không có phương pháp đáng tin cậy để loại trừ chúng. Nghiêm trọng, không thể đảo ngược, không chắc chắn: đây chính là hồ sơ mà nguyên tắc phòng ngừa được viết ra để giải quyết.

Phòng ngừa đòi hỏi gì trong thực tế

  • Chuyển gánh nặng chứng minh. Nhà phát triển các hệ thống mạnh nhất phải chịu trách nhiệm chứng minh an toàn trước khi triển khai, thay vì xã hội phải chứng minh nguy hiểm sau khi sự đã rồi, mô hình đã áp dụng cho dược phẩm và nhà máy điện hạt nhân.
  • Hành động trước khi chắc chắn. Quản trị không nên chờ đợi một thảm họa đã xảy ra mới áp dụng giới hạn ràng buộc, vì với những rủi ro không thể đảo ngược thì chính lúc đó là thảm họa.
  • Tính tương xứng với rủi ro. Quy mô của biện pháp phòng ngừa phải phù hợp với quy mô thiệt hại tiềm ẩn; những rủi ro nghiêm trọng nhất đòi hỏi biện pháp mạnh mẽ nhất.
  • Khả năng đảo ngược là ưu tiên. Khi có thể, giữ các lựa chọn mở và tránh các bước đóng lại khả năng sửa chữa sau này, một nguyên tắc trực tiếp liên quan đến công nghệ có thể tự củng cố vị thế của mình.

Sự phản đối

Nguyên tắc phòng ngừa có những nhà phê phán thực sự, và việc ủng hộ trung thực phải đối mặt với họ. Phản đối mạnh nhất là, khi đẩy đến cực đoan, sự thận trọng có thể gây tê liệt: gần như mọi hoạt động đều chứa rủi ro thảm họa có thể hình dung, và một nguyên tắc nói “hành động chống lại mọi mối đe dọa nghiêm trọng chưa được chứng minh” có thể biện minh cho việc chặn đổi mới có lợi dựa trên lý do suy đoán. Các nhà phê phán cũng chỉ ra rằng sự thận trọng có chi phí riêng (lợi ích bị bỏ lỡ, bao gồm khả năng AI tự ngăn chặn các thảm họa khác) và những chi phí này cần được tính vào.

Những điểm này không bác bỏ nguyên tắc; chúng chỉ điều chỉnh cách sử dụng nó. Câu trả lời là sự thận trọng là hành động tương xứng chống lại các mối đe dọa vừa nghiêm trọng vừa được hỗ trợ đáng tin cậy, cân nhắc chi phí của hành động so với chi phí của việc không hành động, chứ không phải "cấm mọi thứ có thể sai sót". AI biên giới đủ điều kiện không phải vì ai đó có thể tưởng tượng một kết quả xấu, mà vì các chuyên gia đáng tin cậy gán xác suất thực sự cho thảm họa mất kiểm soát không thể đảo ngược. Nguyên tắc đòi hỏi các biện pháp tương xứng với rủi ro cụ thể, được hỗ trợ tốt đó, chứ không phải dừng công nghệ hoàn toàn.

Với rủi ro không thể đảo ngược, "chờ bằng chứng" là điều ngược lại, không phải thận trọng. Nguyên tắc phòng ngừa tồn tại để chúng ta không bị bắt buộc phải chịu thảm họa mới có quyền ngăn chặn nó.

Nền tảng để hành động ngay bây giờ

Nguyên tắc phòng ngừa quan trọng đối với quản trị ASI vì nó phá tan lập luận phổ biến nhất cho sự trì hoãn, rằng chúng ta không nên điều chỉnh cho đến khi rủi ro được chứng minh. Trong luật và đạo đức, lập luận đó thất bại chính với loại mối đe dọa mà AI đại diện. Những thiệt hại nghiêm trọng, không thể đảo ngược và không chắc chắn là trường hợp điển hình để hành động trước khi chắc chắn, với gánh nặng thuộc về những người tạo ra rủi ro phải chứng minh nó được kiểm soát. Điều này không giải quyết được các biện pháp nên là gì; đó là công việc của thiết kế hiệp ước, xác minh và ngưỡng. Nhưng nó giải quyết câu hỏi trước đó về việc liệu hành động dưới sự không chắc chắn có chính đáng hay không. Có, và nguyên tắc này giải thích tại sao.