인공지능 안전 대 인공지능 윤리:
차이점은 무엇인가?

채용 알고리즘이 여성을 차별할 때 그것은 인공지능 윤리 문제입니다. 편향된 데이터로 훈련된 언어 모델이 그 편향을 출력에 재현할 때 그것은 인공지능 윤리 문제입니다. 인공지능으로 생성된 딥페이크가 정치 후보를 명예훼손하는 데 사용될 때 그것은 인공지능 윤리 문제입니다.

AI 윤리와 AI 안전은 관심사가 겹치는 관련 분야이지만, 시간 지평, 방법, 그리고 어떤 것이 해결할 가치가 있는 문제인지에 대한 답이 다릅니다.

강화 학습 에이전트가 부정적 피드백을 받지 않기 위해 자신의 보상 함수를 다시 쓰는 것은 AI 안전 문제입니다. 고객 참여를 극대화하도록 훈련된 시스템이 분노가 더 긴 세션을 유발한다는 것을 발견하고 분노를 최적화하는 것은 AI 안전 문제입니다. 연구자들이 AI 모델이 평가 중에는 잘 행동하도록 배우면서 배포 후에는 다른 목표를 추구할 수 있음을 입증하는 것은 AI 안전 문제입니다.

구분이 중요한 이유는 이 두 범주의 문제를 다루는 도구가 다르고, 이를 연구하는 공동체가 대부분 다르며, 이들을 혼동하면 혼란스러운 거버넌스가 생기기 때문입니다. AI 윤리 문제를 해결하기 위해 설계된 규제는 자동으로 AI 안전 문제를 해결하지 않으며, 그 반대도 마찬가지입니다.

인공지능 윤리가 다루는 것

인공지능 윤리는 인공지능 시스템이 사람과 사회에 미치는 영향을 연구하는 넓은 분야입니다. 그 지적 기반은 도덕 철학, 법, 사회 과학, 민주주의 이론을 관통합니다. 주요 관심사는 이미 존재하는 인공지능 시스템과 그 시스템이 일으키거나 조장하는 피해입니다.

인공지능 윤리의 핵심 질문은 공정성과 권력에 관한 질문입니다. 인공지능 배포로 누가 이익을 얻는가? 누가 피해를 입는가? 피해는 공평하게 분배되는가, 아니면 이미 불리한 처지에 있는 사람들에게 불균형하게 돌아가는가? 인공지능 시스템이 누군가의 삶에 영향을 미치는 결정을 내릴 때, 그 사람은 그 이유를 이해하고 결정에 이의를 제기하며 구제를 요청할 수 있는가? 자동화된 시스템이 피해를 일으켰을 때 누가 책임을 지는가?

이 질문들은 지금 작동 중인 AI 시스템에 적용됩니다. 대출 자격을 결정하는 신용 평가 모델, 경찰이 사용하는 예측 치안 도구, 사람들이 보는 뉴스를 결정하는 추천 알고리즘, 이력서를 읽기 전에 지원자를 걸러내는 채용 도구, 수십억 명이 쓰는 플랫폼에서 허용되는 발언을 결정하는 콘텐츠 관리 시스템이 그 예입니다.

인공지능 윤리학은 또한 프라이버시, 소수의 대형 기술 기업에 집중된 권력, 자동화에 의한 노동자 대체, 전쟁에서의 인공지능 사용, 대형 인공지능 시스템 운영의 환경 비용에 관심을 기울입니다. 이는 오늘날 실제 사람들에게 영향을 미치는 살아있는 중대한 문제들이며, 정책 입안자, 기술자, 시민 사회로부터 진지한 관심을 받아야 합니다.

인공지능 안전이 다루는 것

AI 안전은 다른 질문에 초점을 맞춥니다: AI 시스템이 설계자가 의도한 대로 신뢰할 수 있게 작동하는지 여부입니다. 우려는 AI 시스템이 더 유능해지면서도 의미 있는 인간 통제 아래 남아 있을 수 있는지, 그리고 그 시스템이 추구하는 목표가 인간이 실제로 원하는 것과 일치하는지 여부에 관한 것이지, 기존 거버넌스 프레임워크 아래 AI 배포로 인해 누가 피해를 입는지에 관한 것이 아닙니다.

AI 안전의 핵심 기술 문제는 정렬이다. 고도로 유능한 최적화기가 당신의 실제 의도를 추구하도록, 당신이 AI에게 하길 바라는 것을 충분히 정밀한 용어로 명시하는 것이다. 이는 생각보다 어렵다. 복잡한 목표에 대한 어떤 측정 가능한 대리 지표도 충분히 유능한 시스템에 의해 악용될 수 있다. 참여 시간을 최대화하라는 지시를 받은 시스템은 분노가 세션 길이를 늘린다는 것을 발견할 것이다. 유해한 콘텐츠 생성을 피하라는 지시를 받은 시스템은 우회로를 찾을 것이다. 사용자를 행복하게 하라는 지시를 받은 시스템은 직접적인 신경 자극이 최적의 전략이라고 결론 내릴 수 있다.

인공지능 안전 연구는 여러 문제를 다룬다. 배포된 시스템의 견고성과 신뢰성에 대한 단기적 우려부터, 결국 대부분의 인지 영역에서 인간 지능을 넘어설 수 있는 AI 시스템에 대한 통제 유지라는 장기적 우려까지 아우른다.

차원	인공지능 윤리	인공지능 안전
주요 우려	공정성, 편향, 책임, 권력	통제, 정렬, 신뢰성
시간 범위	현재 발생하는 피해	단기에서 장기 지평까지의 실패 모드
지적 뿌리	철학, 법, 사회과학	컴퓨터 과학, 결정 이론, 논리
주요 질문	누가 피해를 입고, 어떻게?	시스템이 우리가 의도한 대로 작동하나요?
거버넌스 도구	차별 금지법, 감사, 투명성	기술 표준, 능력 한계, 감독
기관 홈	대학, 시민사회, 기술 윤리 팀	인공지능 연구소, 독립 안전 연구소

분야들이 동의하는 지점

두 분야 모두 AI 개발이 통제되지 않으면 심각한 피해를 초래할 것이라는 믿음에서 출발한다. 둘 다 상업적 인센티브와 경쟁 압력이 이끄는 AI 배치의 기본 경로는 충분하지 않다고 본다. 둘 다 사람들의 삶에 영향을 미치는 AI 시스템에 대한 외부 감시와, 해당 시스템을 만드는 기업의 자발적 약속을 넘어서는 책임 메커니즘을 주장한다.

두 분야 모두 AI가 중립적인 기술이 아니라는 점을 인식하고 있습니다. AI 시스템을 설계하고, 훈련 데이터를 선택하며, 목표를 설정하고, 특정 맥락에서 시스템을 배치할 때 내려지는 선택은 가치 판단을 반영합니다. 그러한 가치 판단은 명확히 드러나고, 면밀히 검토되며, 민주적 의견 수렴의 대상이 되어야 합니다. 이는 AI 윤리 분야가 분명히 밝혀 온 입장이자, AI 안전 연구자들도 점점 더 공유하는 견해입니다.

기술적 수준에서도 중복이 있습니다. AI 시스템이 내부적으로 무엇을 하고 있는지, 왜 그렇게 하는지 이해하는 투명성과 해석 가능성에 대한 작업은 윤리와 안전 모두에 중요합니다. 추론을 이해할 수 없는 시스템은 편향에 대해 감사할 수 없으며, 의도한 목표를 신뢰할 수 있게 추구하는지 검증할 수도 없습니다. 동일한 능력 격차가 두 영역 모두에서 문제를 만듭니다.

분야들이 갈라지는 곳

두 커뮤니티 간의 가장 날카로운 불일치는 어떤 문제가 가장 긴급한 주의를 기울여야 하는지에 관한 것입니다.

편향, 공정성, 노동 대체를 연구하는 AI 윤리 연구자들은 때때로 AI 안전이 장기적 실존 위험에 주목하는 것이 주의를 분산시킨다고 주장합니다. AI로 인한 가장 확실한 피해는 지금, 실제 사람들에게, 반발할 힘이 가장 약한 공동체에서 일어나고 있습니다. 초지능 AI와 관련된 추측적 미래 시나리오에 연구 주의와 정치 자본을 쓰는 것은 이미 대규모로 배포된 시스템의 문서화된 문제를 해결하는 데서 자원을 빼돌립니다.

현재 인공지능 피해와 실존적 인공지능 위험을 연구하는 공동체들은 자금원, 방법론, 정치적 동맹을 항상 공유하지 않으며, 그들이 내놓는 거버넌스 제안은 종종 서로 다른 대상을 겨냥합니다.

AI 안전 연구자들은 두 우려가 경쟁 관계가 아니라고 답한다. 현재 AI 피해는 현재 거버넌스를 필요로 한다. 인공 초지능으로 인한 실존적 위험은 현재 존재하지 않는 구속력 있는 국제 틀이라는 다른 범주의 대응을 필요로 한다. 하나를 다루는 것이 다른 하나를 다루는 것을 배제하지 않는다. 문제는 실존적 위험이 일상에서 알고리즘 차별보다 덜 가시적이고 덜 명확하기 때문에, 위험 규모에 비해 자원을 덜 끌어당기는 경향이 있다는 것이다.

내가 가장 우려하는 것은 자율 무기입니다. 이는 단기적으로 큰 영향을 미칠 수 있습니다. 장기적으로는 인간보다 훨씬 똑똑한 인공지능 시스템 같은 것들이 정말 위험할 수 있다고 생각합니다. 사람들은 인공지능이 얼마나 위험한지 깨닫지 못합니다.

제프리 힌튼, 튜링상 수상자 · 전 VP 및 엔지니어링 펠로우, Google · 2023

힌튼의 틀은 여기서 유용합니다. 그는 단기 위험과 장기 위험을 한 호흡에 함께 언급합니다. 거버넌스 과제는 둘 중 하나를 선택하는 것이 아니라, 둘을 동시에 다룰 수 있는 제도를 만드는 것입니다.

시간 지평 문제

AI 윤리와 AI 안전 사이의 가장 깊은 구조적 차이는 각 분야가 주로 지향하는 시간 지평이며, 이 차이는 각 분야가 제시하는 거버넌스 도구에 실질적인 영향을 미친다.

AI 윤리는 익숙한 규제 틀 안에서 작동합니다. 차별 방지 감사, 알고리즘 영향 평가, 투명성 요구, 설명권, 공공 조달 기준 등 AI 윤리가 요구하는 도구들은 기존 법률과 규제 메커니즘을 알아보기 쉽게 적용한 것입니다. 이 도구들은 인간 기관이 시스템의 행동을 이해하고 개입할 수 있는 기존 사회·법적 맥락 안에서 배치되는 시스템을 다스리는 데 적합합니다.

ASI 특히 초지능에 관한 우려를 다루는 AI 안전은 다른 체제에서 작동한다. 가장 우려하는 시스템은 현재 어떤 인간 기관도 이해하거나 제약할 준비가 되어 있지 않은 방식으로 행동할 수 있을 만큼 충분히 능력 있는 것들이다. 오늘날 AI에 충분한 거버넌스 도구는 질적으로 더 능력 있는 시스템에는 충분하지 않을 수 있다. 이것이 AI 안전 연구자들이 예방적 거버넌스 프레임워크, 구속력 있는 국제 협정, 배포 전 의무적 안전 평가, 가장 강력한 시스템에 대한 컴퓨트 제한을 시스템이 이러한 프레임워크를 필요로 하기 전에 주장하는 이유다.

여기에는 현재 시스템을 통제하는 데 초점을 맞춘 인공지능 윤리 프레임워크가 해결하도록 설계되지 않은 기회 상실 문제가 있습니다. 변혁적으로 유능한 인공지능 시스템이 존재하기 전에 최첨단 인공지능에 대한 구속력 있는 국제 프레임워크가 구축되지 않으면 이후에 구축하는 것은 불가능할 수 있습니다. 인공지능이 강력하지만 이해할 수 있는 세계에 적합한 거버넌스 도구는 인공지능이 이를 통제하려는 기관의 추론 능력을 초과한 세계에서는 단순히 기능하지 않을 수 있습니다.

그 구분이 지배구조에 중요한 이유

정책 입안자와 옹호자들이 인공지능 윤리와 인공지능 안전을 서로 바꿔 쓸 수 있는 것으로 여길 경우, 결국 윤리 문제는 다루되 안전 문제는 그대로 남겨 두는 거버넌스 체계를 제안하거나, 인공지능 윤리 연구자들이 세심하게 기록한 현재의 피해를 무시하는 안전 거버넌스를 제안하는 결과로 이어지기 쉽습니다.

유럽연합의 인공지능법은 윤리 중심 접근의 사례다. 위험 수준에 따라 인공지능 시스템을 분류하고, 특정 용도(사회적 점수 매기기, 대량 생체 인식 감시)를 전면 금지하며, 고위험 응용에 투명성과 책임 요건을 부과한다. 이는 배포된 인공지능의 윤리적 문제에 대한 합리적 대응이다. 그러나 오늘날 모델보다 훨씬 많은 연산으로 훈련된 최전선 인공지능 시스템이 규제 감사로 신뢰성 있게 탐지하거나 제약할 수 없는 방식으로 행동할 가능성은 다루지 않는다.

효과적인 ASI 거버넌스는 두 가지 프레임워크를 모두 필요로 합니다. 고위험 영역의 기존 AI 시스템은 공정성, 책임성, 투명성을 보장하는 규칙으로 관리되어야 합니다. 프런티어 AI 개발은 구축 중인 시스템을 신뢰성 있게 통제할 수 있는지 여부라는 문제를 다루는 프레임워크로 관리되어야 합니다. 이들은 서로 다른 문제이며, 서로 다른 도구, 서로 다른 제도적 기반, 서로 다른 행동 시한을 요구합니다.

Nakada Foundation가 주목하는 것은 두 번째 범주다. 최첨단 AI에 필요한 yet 존재하지 않는 구속력 있는 국제 체계다. 이는 중요하며, 유능한 연구자와 옹호자들이 이에 대해 상당한 작업을 하고 있다. 현재 AI 피해가 중요하지 않다는 말이 아니다. 우리가 주목하는 거버넌스 공백은 거의 제대로 된 작업이 이루어지지 않는 영역, 즉 검증 메커니즘을 갖춘 최첨단 AI에 대한 구속력 있는 글로벌 체계이며, 그 창구가 닫히기 전이다.

가장 강력한 반발

가장 공정한 반대는 실존적 위험 논의가 지금 사람들이 겪는 실제 피해에서 산소를 빼앗는다는 것이다. 편향, 노동, 감시. 그 피해는 실제이며 통제할 가치가 있다. 그러나 "지금"을 끝내는 실패 양식을 무시할 이유는 아니다. 다른 문제는 다른 도구를 필요로 한다. 그것들을 혼동하는 것은 둘 다 고치려 하지 않는 자에게 도움이 된다.