비행기 만들기
그것을 날리면서

"우리는 비행하면서 비행기를 만들고 있다." 이 말은 수십 년 동안 기술 분야에서 애용되었고, 이제 인공지능으로 자연스럽게 옮겨왔다. 그것은 반쯤 미소 지으며 엔지니어가 통한 해킹을 인정하는 방식으로 도착하며, 용기를 자랑하는 말로 의도되었다. 글자 그대로 들으면 이는 자백이다.

이 비유는 실제 명성을 빌려옵니다. 상업 비행은 인류가 가진 최고의 안전 사례입니다. 100년 전에는 조종사가 일상적으로 목숨을 잃던 활동이 이제는 치명적 사고율이 수백만 회 이륙당 한 번 수준으로 낮아졌습니다. 그 기록은 진짜입니다. 그 기록을 만든 방법이 주목할 부분인데, 지금 우리가 만들고 있는 것과는 전혀 맞지 않습니다.

모든 규칙 뒤에는 집행 기관이 있습니다

항공은 추락을 통해 안전해졌습니다.

1977년 3월 테네리페의 안개 낀 활주로에서 두 대의 747기가 충돌해 583명이 사망했으며, 이는 항공 산업 역사상 최악의 사고로 남아 있다. 그 결과 표준화된 무선 통신 용어가 도입되었고, 하급 조종사가 기장에게 이의를 제기할 수 있게 하는 승무원 자원 관리 제도가 추진되었다. 1983년 에어캐나다 797편 기내 화장실 화재로 탑승자 46명 중 23명이 사망하면서 화장실 연기 감지기, 쓰레기통 자동 소화 장치, 바닥 수준 탈출 조명, 난연 좌석 소재가 도입되었다. 1996년 밸류젯 592편이 110명을 태운 채 에버글레이즈에 추락한 후 화학 산소 발생기의 화물 운송 규정이 개정되었다.

업계는 이 패턴을 묘비석 사고방식이라고 부르며 칭찬하지 않는다. 규제당국은 관이 세어진 뒤에야 움직인다. 항공업계는 수십 년 동안 기밀 근접 사고 보고와 사고 조사 위원회의 공개 결과물을 통해 이를 극복하기 위해 노력해 왔다. 그 개혁들은 사람들이 찾는 모델입니다 그들이 인공지능을 같은 방식으로 안전하게 만들 수 있다고 주장할 때 그렇습니다. 그러나 개혁된 버전조차 무엇을 요구하는지 주목하십시오. 무언가 잘못되어야 하고, 산업이 살아남을 규모여야 하며, 패턴이 드러날 만큼 자주 발생해야 합니다. 학습 루프는 감당할 수 있는 실패 위에서 돌아갑니다.

항공이 거부하는 것

비유에서 빠진 방법의 나머지 절반이 있다. 항공 분야는 새 항공기를 그냥 띄워 보고 끝내지 않는다. 신형 기종은 승객을 유상으로 태우기 전에 제작사가 규제 당국에 감항성을 입증해야 한다. 당국은 승인을 거부할 권한을 가지며, 제작사에 입증 책임이 있다. 수년간의 분석과 비행 시험이 필요하다. 주장은 미리 이루어져야 합니다, 서면으로 거절할 권한이 있는 사람에게.

항공 분야에서는 누구도 비행하면서 비행기를 만들지 않습니다. 업계가 금지했습니다. 최전선 모델이 출시되는 방식으로 인증된 기체는 제조사 자체 메모 한 장에 의존해 날아야 할 것입니다.

737 MAX

항공 분야는 이미 우리의 실험과 매우 비슷한 일을 겪었고, 그 결과는 오랫동안 살펴볼 만하다.

보잉 737 MAX에는 항공기 기수를 내리도록 설계된 MCAS라는 소프트웨어가 탑재되어 있었다. 대부분의 조종사는 그 존재를 몰랐다. 이 소프트웨어는 단일 센서에서 세계를 인식했으며, 그 센서가 거짓 정보를 주면 MCAS는 설계된 대로 정확히 작동해 조종사의 조작을 거스르고 두 대의 항공기를 땅에 처박았다. 2018년 10월 라이온 에어 610편: 189명 사망. 4개월 후 에티오피아 302편: 157명 사망. 두 번째 사고 후 전 세계 기종이 운항 정지되었다.

그 실패 상황을 우리의 상황과 비교해 보라. 성숙한 안전 문화, 의무적 인증 제도, 꼬리 부분의 기록 장치, 수천 명의 훈련된 전문가. 그럼에도 346명의 사망자가 있어야 소프트웨어가 조종 권한을 쥐고 세상에 대한 잘못된 믿음을 가질 때 조종석의 인간이 동의하지 않는다고 물러서지 않는다는 사실이 확립됐다. MAX에 대한 일부 인증 작업은 규제 당국이 보잉 자체 직원에게 위임한 것이었으며, 다음에 연구소가 스스로 출시를 채점할 때 떠올려 볼 만하다.

그리고 MCAS는 아무것도 원하지 않았습니다. 조종사에 대한 모델도 없었고 꺼지는 것에 대한 견해도 없었습니다. 그것은 하나의 조잡한 반사 작용을 가진 소박한 코드 조각이었지만 모두를 이겼습니다.

이제 그 문구를 문자 그대로 받아들여 보자

은유 속 비행기는 모두를 태우고 있습니다. 583명도, 346명도 아닙니다. 살아 있는 모든 사람과 아직 태어날 수 있는 모든 사람을 태우고 있습니다. 우회 공항도 없고, 첫 번째 비행기가 추락한 뒤 수정할 두 번째 기체도 없습니다. 비행을 안전하게 만든 추락·조사·수정 순환은 추락이 한정적이고 교훈을 적용할 다음 비행이 항상 있기 때문에 감당할 수 있습니다. 그 순환을 인공 초지능에 적용하면 첫 번째 데이터 포인트가 승객과 조사관을 함께 데려갑니다. 시행착오는 생존자를 필요로 한다.

이 기체는 스스로 날아가 목적지를 정하고, 정비사보다 정비를 더 잘 이해할 것이다. 항공 분야의 모든 안전장치는 기계가 수리에 대해 아무런 의견도 갖지 않는다는 전제 위에 세워져 있다. 그 가정이 바로 통제 문제입니다.

항공은 세계가 감당할 수 있는 규모로 추락하며 안전 기록을 쌓았습니다. 이 모든 방법은 다음 비행이 있다는 전제에 달려 있습니다.

기반은 선택이다

사람들은 빠져나갈 길이 없는 곤경을 설명하기 위해 그 표현을 사용한다. 비행기는 이미 공중에 떠 있으므로, 우리는 공중에서 만드는 데 능숙해지는 것이 낫다. 항공의 실제 교훈은 반대 방향으로 간다. 규제 당국의 권한은 주로 조사에 있지 않았다. 항공기를 지상에 유지할 권한이었다. 감항 증명서는 사례가 입증될 때까지 보류되는 이륙 허가이다.

우리는 날아오르면서 해결책을 찾는 것밖에 없다고 들었습니다. 다른 길이 있습니다. 인공 초지능 개발에 대한 구속력 있고 검증 가능한 금지는 항공 기준을 정직하게 적용한 것입니다. 즉 제작자보다 똑똑한 마음을 만들지 말라는 뜻입니다. 초지능은 통제할 수 없으므로 이륙하지 않습니다. 그것이 우리의 계획입니다, 그리고 그것은 세계가 지역 제트기에 이미 요구하는 것 이상을 요구하지 않습니다.