"Chúng ta đang chế tạo máy bay trong khi đang bay." Câu nói này đã là câu cửa miệng trong công nghệ suốt nhiều thập kỷ và đã chuyển sang AI một cách tự nhiên. Nó thường đi kèm nụ cười nửa miệng, như cách một kỹ sư thừa nhận một mẹo đã hiệu quả, và được dùng như lời tự hào về sự dũng cảm. Đọc theo nghĩa đen, đó là một lời thú nhận.

Ẩn dụ này mượn uy tín thực sự. Bay thương mại là câu chuyện an toàn tốt nhất loài người có: một hoạt động từng giết chết phi công như chuyện thường ngày cách đây một thế kỷ nay có tỷ lệ tai nạn chết người đủ thấp để tính theo triệu chuyến thay vì theo nghìn chuyến. Kỷ lục đó là thật. Phương pháp tạo ra nó mới là phần đáng xem xét, vì không nửa nào trong số đó sống sót khi chạm vào thứ chúng ta đang xây dựng.

Mọi quy tắc đều có một cơ quan đứng sau

Hàng không trở nên an toàn nhờ những vụ tai nạn.

Trên đường băng sương mù tại Tenerife tháng 3 năm 1977, hai chiếc 747 va chạm và 583 người thiệt mạng, vẫn là tai nạn tồi tệ nhất trong lịch sử ngành. Từ đó ra đời thuật ngữ radio tiêu chuẩn và thúc đẩy quản lý nguồn lực tổ bay, kỷ luật cho phép sĩ quan trẻ mâu thuẫn với cơ trưởng. Một vụ cháy nhà vệ sinh trên chuyến bay Air Canada 797 năm 1983 giết chết 23 trong số 46 người trên máy bay và dẫn đến máy dò khói nhà vệ sinh, bình chữa cháy tự động trong thùng rác, đèn thoát hiểm ở mức sàn và vật liệu ghế chặn lửa. ValuJet 592 rơi xuống Everglades năm 1996 với 110 người trên máy bay, và các quy tắc vận chuyển máy phát oxy hóa học dưới dạng hàng hóa được viết lại.

Ngành công nghiệp có tên cho mô hình này và đó không phải lời khen: tư duy bia mộ. Cơ quan quản lý chỉ hành động sau khi đã đếm được quan tài. Hàng không đã dành hàng thập kỷ để thoát khỏi tư duy đó với thành công thực sự, thông qua báo cáo suýt va chạm bí mật của phi hành đoàn và ban điều tra tai nạn công bố kết quả để các đối thủ cùng đọc. Những cải cách đó là mô hình mà mọi người hướng tới khi họ lập luận AI có thể được làm an toàn theo cách tương tự. Nhưng hãy chú ý ngay cả phiên bản đã được cải tiến cũng đòi hỏi điều gì. Phải có điều gì đó sai lệch, ở quy mô mà ngành công nghiệp sống sót, đủ thường xuyên để mô hình lộ rõ. Vòng lặp học hỏi dựa trên những thất bại nó có thể chịu đựng.

Những gì ngành hàng không từ chối làm

Nửa còn lại của phương pháp bị bỏ qua hoàn toàn trong phép ẩn dụ. Hàng không không đưa một chiếc máy bay mới lên không trung rồi xem chuyện gì xảy ra. Một mẫu máy bay mới không thể chở hành khách trả tiền cho đến khi nhà sản xuất chứng minh được khả năng bay an toàn cho cơ quan quản lý có thẩm quyền từ chối: hàng năm trời phân tích và thử nghiệm bay, với gánh nặng chứng minh đặt lên vai nhà chế tạo. Lý lẽ phải được đưa ra trước, bằng văn bản, cho người có quyền nói không.

Không ai trong ngành hàng không chế tạo máy bay trong khi đang bay. Ngành này đã cấm điều đó. Một khung máy bay được chứng nhận theo cách một mô hình tiên phong được phát hành sẽ bay dựa trên bản ghi nhớ của chính nhà sản xuất nói rằng nó có vẻ ổn.

The 737 MAX

Hàng không đã thực hiện thứ gì đó gần với thí nghiệm của chúng ta, và kết quả đáng được xem xét kỹ lưỡng.

Máy bay Boeing 737 MAX mang theo một phần mềm gọi là MCAS có thẩm quyền đẩy mũi máy bay xuống. Hầu hết phi hành đoàn bay trên máy bay không biết nó tồn tại. Nó lấy hình ảnh thế giới từ một cảm biến duy nhất, và khi cảm biến đó nói dối, MCAS làm đúng những gì nó được xây dựng để làm và lao hai máy bay xuống đất chống lại tay lái của phi công. Lion Air 610, tháng Mười 2018: 189 người chết. Ethiopian 302, bốn tháng sau: 157 người chết. Toàn bộ đội bay toàn cầu bị đình chỉ sau vụ thứ hai.

Đặt điều kiện thất bại đó bên cạnh điều kiện của chúng ta. Một văn hóa an toàn trưởng thành, chế độ chứng nhận bắt buộc, hộp đen ở đuôi máy bay, hàng nghìn chuyên gia được đào tạo. Dù vậy vẫn mất 346 sinh mạng để xác lập rằng phần mềm nắm quyền kiểm soát và có niềm tin sai về thế giới sẽ không lùi bước chỉ vì con người trong buồng lái không đồng ý với nó. Một phần công việc chứng nhận trên MAX đã được ủy quyền bởi cơ quan quản lý cho chính nhân viên của Boeing, điều đáng nhớ vào lần tới khi một phòng thí nghiệm tự chấm điểm bản phát hành của mình.

Và MCAS không muốn gì cả. Nó chẳng có mô hình nào về phi công, cũng chẳng có quan điểm gì về việc bị tắt. Đó chỉ là một đoạn mã khiêm tốn với một phản xạ thô sơ, vậy mà nó đã đánh bại tất cả mọi người.

Bây giờ hãy hiểu cụm từ theo nghĩa đen

Máy bay trong ẩn dụ đang chở mọi người. Không phải 583, không phải 346. Mọi người đang sống, và mọi người có thể chưa được sinh ra. Không có sân bay chuyển hướng và không có khung máy bay thứ hai để sửa đổi sau khi khung đầu tiên đã đi vào. Vòng lặp va chạm, điều tra, sửa chữa đã khiến việc bay an toàn là điều có thể chấp nhận được vì các vụ va chạm có giới hạn và luôn có chuyến bay tiếp theo để áp dụng bài học. Chạy vòng lặp đó trên siêu trí tuệ nhân tạo và điểm dữ liệu đầu tiên sẽ mang theo cả hành khách lẫn người điều tra. Thử và sai cần những người sống sót.

Cái này sẽ tự bay, tự chọn điểm đến, và hiểu thợ máy rõ hơn cả thợ máy hiểu nó. Mọi biện pháp an toàn trong hàng không đều giả định máy không có ý kiến về việc được sửa chữa. Giả định đó là vấn đề kiểm soát.

Hàng không đạt được thành tích an toàn nhờ những vụ rơi ở quy mô mà thế giới có thể hấp thụ. Toàn bộ phương pháp dựa trên việc vẫn còn chuyến bay tiếp theo.

Mặt đất là một lựa chọn

Mọi người dùng cụm từ này để mô tả tình huống không có lối thoát: máy bay đã cất cánh, vậy chúng ta cũng nên giỏi việc xây dựng nó trên không. Bài học thực tế từ hàng không lại ngược lại. Quyền lực của cơ quan quản lý chưa bao giờ chủ yếu nằm ở điều tra. Nó nằm ở quyền giữ máy bay trên mặt đất. Chứng nhận đủ điều kiện bay là giấy phép cất cánh, bị giữ lại cho đến khi lập luận được chứng minh.

Người ta bảo lựa chọn duy nhất là bay lên và giải quyết vấn đề trên đường đi. Còn một lựa chọn khác. Lệnh cấm xây dựng siêu trí tuệ nhân tạo mang tính ràng buộc và có thể kiểm chứng chính là tiêu chuẩn hàng không được áp dụng nghiêm túc: không chế tạo một trí óc thông minh hơn người tạo ra nó. Siêu trí tuệ không thể kiểm soát được, nên nó không cất cánh. Đó là kế hoạch của chúng tôi, và nó không đòi hỏi gì từ thế giới mà thế giới chưa từng đòi hỏi từ một chiếc máy bay phản lực khu vực.