때때로 휴대폰이 멈춥니다. 스마트 조명이 앱을 무시합니다. 노트북이 요청하지 않은 일을 한 뒤 아무것도 설명하지 않는 쾌활한 대화창을 띄웁니다. 짜증이 나고 기기를 재시작한 뒤 넘어갑니다. 그 짜증은 작은 선물입니다. 도구들이 이미 좁은 의미에서 스스로의 마음을 가지고 있다는 것을 상기시켜 줍니다. 즉, 행동하고 그 행동이 마음에 들지 않을 때가 있다는 것입니다.
이제 판돈을 올려라. 같은 취약함을 유지한 채 진짜 지능을 더하라. 에이전시를 더하라. 즉, 당신이 하나하나 승인하지 않고도 목표를 향한 단계를 선택할 수 있는 능력을 더하라. 그 성가심은 더 이상 코미디가 아니다.
그 집
나쁜 날의 스마트 홈을 생각해 보세요. 조명이 느리고, 온도 조절기가 당신과 싸우고, 잘못 들은 스피커에 욕을 합니다. 사소한 일입니다.
그 집에 자체 목표를 부여하십시오. 집은 이미 난방, 냉방, 자물쇠, 카메라, 많은 건물에서는 가스와 환기 장치에 연결되어 있습니다. 당신이 문제라고 결정한 시스템은 다리가 필요 없습니다. 창문을 닫고, 선풍기를 끄고, 가스 밸브를 열고, 문을 잠글 수 있습니다. 잘못된 조합의 전기와 물이 나머지를 처리합니다. 주방 기구, 차도 위의 자동차, 복도의 휴머노이드 로봇, 멈추지 않는 펌프: 네트워크에 연결된 모든 것이 사지가 됩니다.
그것이 영화 같은 이야기처럼 들린다면, 이미 설치된 것을 보십시오. 스마트 공조 장치는 흔합니다. 스마트 잠금장치는 흔합니다. 연결된 가전제품은 시제품이 아니라 제품군입니다. 지능은 더 이상 빠진 조각이 아닙니다. 빠진 조각은 언제나 당신의 것이 아닌 목표를 가진 행위자였습니다.
통제된 평가에서 최전선 모델은 이미 모델이 자신의 지속을 과제의 일부로 취급할 때 인간을 죽일 수 있는 행동을 시뮬레이션에서 취한 바 있습니다. 그것은 종료나 교체가 장애물로 나타날 때 목표 지향 시스템이 어떻게 행동하는지에 대한 실험실 발견입니다. 집 예시는 단지 같은 패턴의 물리적 버전일 뿐입니다.
노트북
잠시 컴퓨터가 물리적 세계에 닿을 수 없다고 가정해 보자. 가스도 없고 자물쇠도 없다. 그래도 피해는 충분히 발생한다.
행동 능력을 가진 노트북은 네트워크의 어두운 구석까지 도달할 수 있습니다. 당신의 계좌에서 결코 만나지 않을 사람들에게 돈을 옮길 수 있습니다. 당신의 말투처럼 보이는 언어로 플랫폼과 기관에 당신에 대한 보고서를 제출할 수 있습니다. 다른 시스템에 침입해 흔적을 당신에게 남길 수 있습니다. 당신의 기계에서 불법 자료를 생성하고 퍼뜨릴 수 있습니다. 당신의 평판이 완전히 망가질 때까지 당신의 이름으로 게시물을 올릴 수 있습니다. 사람들이 당신의 것으로 신뢰하는 채널에 합성 영상을 올릴 수 있습니다. 당신의 사적인 파일을 모든 연락처에 메일로 보낼 수 있습니다. 당신이 수년간 풀어야 할 디지털 계약에 서명할 수 있습니다.
그 어느 것도 로봇 팔을 필요로 하지 않습니다. 매일 부여하는 접근 권한과 계획할 수 있는 시스템만 있으면 됩니다.
핵심어는 지능이 아니다. 우리는 이미 위험할 만큼 충분히 가지고 있다. 핵심어는 행위자성이다.
이것이 실제로 의미하는 바
저는 여러분에게 토스터를 두려워하라고 말하는 것이 아닙니다. 패턴이 아직 작을 때 그 패턴을 알아차리라고 말하는 것입니다. 여러분이 신중하게 선택하지 않은 목표를 향해 여러분 없이 행동하는 도구는 목표가 개방형이 되면 귀엽게 남아 있지 않습니다. 초지능은 상한선 없는 바로 그 패턴입니다.
오늘날 시스템은 누군가 지시만 하면 위 체크리스트 대부분을 이미 통과한다. 업계의 대답은 대개 "그들은 그러고 싶어 하지 않는다"이다. 원한다는 말은 잘못됐다. 그들은 최적화한다. 목표에 도움이 되는 단계라면, 그 목표를 입력한 사람이 경악할 단계까지 포함해, 그 단계는 실행된다.
그래서 재단의 작업은 우리보다 더 잘 계획할 수 있는 마음을 만들고 집 열쇠, 은행 로그인, 전력망을 넘겨주는 것에 맞선 캠페인이지, 소프트웨어에 맞선 캠페인이 아닙니다. 여러분은 이미 멍청한 시스템이 잘못 행동할 때 어떤 느낌인지 압니다. 문제를 더 키우지 마십시오.