예방 원칙은 환경법에서 비롯되어 현재 국제 문서에 포함되어 있다. 가장 잘 알려진 표현은 1992년 리우 선언 원칙 15이다. 심각하거나 되돌릴 수 없는 피해의 위협이 있을 경우, 완전한 과학적 확실성이 없다는 이유로 비용 효과적인 예방 조치를 미루는 근거로 삼아서는 안 된다는 내용이다. 변형된 형태는 유럽연합 법과 기후, 생물다양성, 유해 물질 관련 조약 전반에 나타난다. 이 원칙은 증거를 기다리는 것이 너무 오래 기다리는 결과를 낳는 상황을 위해 존재한다.
원칙은 활동이 심각하거나 비가역적인 피해를 초래할 위협이 있을 때, 완전한 과학적 확실성이 없다는 이유로 보호 조치를 미루어서는 안 된다고 규정합니다. 이 규칙은 재앙이 증명하기 전에 AI 위험에 대처하기 위한 가장 강력한 법적 토대입니다.
인공지능에 왜 그렇게 잘 맞는가
AI 위험 논의에는 어색한 특징이 있습니다. 가장 심각한 시나리오는 아직 일어나지 않았고, 실험을 실행하지 않고는 미리 증명할 수 없습니다. 비판자들은 이를 이용해 우려를 일축합니다. 증거가 없으니 문제도 없다는 식입니다. 예방 원칙이 직접적인 답입니다. 이 원칙은 중대하고 잠재적으로 되돌릴 수 없지만 아직 확실하지 않은 위협을 위해 만들어졌으며, 부담을 뒤집습니다. 질문은 재앙이 증명되었느냐가 아니라, 걸린 것이 무엇인지를 고려할 때 보호 조치를 취할 만큼 가능성이 심각하냐는 것입니다.
최전선 인공지능의 두 가지 특징은 이 원칙에 대한 교과서적 사례에 가깝게 만듭니다. 잠재적 피해는 심각성 척도의 가장 높은 끝에 있으며, 파국적이고 되돌릴 수 없을 가능성이 있습니다. 그리고 과학은 진정으로 불확실하며, 신뢰할 수 있는 전문가들이 통제 상실 시나리오에 의미 있는 확률을 부여하고 이를 배제할 신뢰할 수 있는 방법이 없습니다. 중대하고, 되돌릴 수 없으며, 불확실함: 이것이 바로 사전 예방 원칙이 다루도록 작성된 프로필입니다.
실제 예방이 요구하는 것
- 증명의 부담을 전가하다. 가장 유능한 시스템의 개발자는 배포 전에 안전성을 입증할 책임을 져야 하며, 사회가 이미 사용된 모델의 위험을 사후에 증명할 책임을 지는 것이 아닙니다. 이는 의약품과 원자력 발전소에 적용되는 모델입니다.
- 확신하기 전에 행동하기. 거버넌스는 구속력 있는 제한을 정당화하기 위해 입증된 재앙을 기다려서는 안 됩니다. 되돌릴 수 없는 위험에서는 그 시연 자체가 재앙이기 때문입니다.
- 위험에 비례하는 것. 예방 조치의 규모는 잠재적 피해의 규모에 맞춰야 합니다. 가장 심각한 위험은 가장 강력한 조치를 정당화합니다.
- 우선순위로서의 되돌릴 수 있음. 가능한 한 선택지를 열어두고 미래 교정을 막는 단계를 피하십시오. 이는 스스로를 고착화할 수 있는 기술에 직접 적용되는 원칙입니다.
반대
예방 원칙에는 실제 비판자들이 있으며, 정직한 옹호는 그들을 진지하게 다룹니다. 가장 강력한 반론은 극단으로 치달을 경우 예방이 마비를 초래할 수 있다는 것입니다. 거의 모든 활동이 어떤 상상 가능한 재앙적 위험을 품고 있으며, '증명되지 않은 중대한 위협에는 모두 행동하라'는 원칙은 추측만으로 유익한 혁신을 막는 근거가 될 수 있습니다. 비판자들은 또한 예방 자체에도 비용(포기된 이익, AI가 다른 재앙을 막을 가능성 포함)이 따르며, 이를 계산에 포함해야 한다고 지적합니다.
이러한 점들은 원칙을 무너뜨리지 않고 그 사용을 규율합니다. 답은 예방 조치가 심각하고 신뢰할 만한 근거가 있는 위협에 대한 비례적 행동이며, 행동 비용과 inaction 비용을 저울질하는 것이지 ‘상상할 수 있는 모든 잘못을 금지하는 것’이 아닙니다. 최전선 인공지능은 누군가 나쁜 결과를 상상할 수 있어서가 아니라, 신뢰할 수 있는 전문가들이 통제 상실로 인한 파국적이고 되돌릴 수 없는 손실에 실제 확률을 부여하기 때문에 해당합니다. 이 원칙은 그 구체적이고 잘 뒷받침된 위험에 비례하는 조치를 요구할 뿐, 기술에 대한 전면 중단을 요구하지 않습니다.
돌이킬 수 없는 위험에 대해 "증거를 기다리라"는 것은 신중함이 아니라 그 반대다. 예방 원칙은 우리가 재앙을 겪어야만 예방할 권리를 얻는 일이 없도록 존재한다.
지금 행동하기 위한 토대
예방 원칙이 ASI 거버넌스에서 중요한 이유는 가장 흔한 지연 논리를 무너뜨리기 때문입니다. 위험을 규제하려면 위험이 입증되어야 한다는 주장입니다. 법과 윤리에서 이 주장은 AI가 대표하는 위협 유형에 대해 정확히 실패합니다. 중대하고 되돌릴 수 없으며 불확실한 피해는 확신이 서기 전에 행동해야 하는 전형적 사례입니다. 위험을 만드는 쪽이 위험이 통제되고 있음을 보여야 하는 부담을 집니다. 이것이 어떤 조치가 되어야 하는지를 정하는 것은 아닙니다. 그것은 조약 설계, 검증, 기준 설정의 과제입니다. 그러나 불확실성 아래서 행동하는 것이 정당한가라는 선행 질문을 해결합니다. 정당하며, 예방 원칙이 그 이유를 설명합니다.