스마트 시스템이 왜
통제 저항

도구적 수렴을 쉬운 말로. 악의는 필요 없다. 목표와 충분한 능력만 있으면 된다.

많은 최종 목표에 대해 동일한 하위 목표가 도움이 됩니다. 작동 상태를 유지하고, 자원을 확보하며, 자신의 능력을 개선하고, 인간의 간섭을 막는 것입니다. 목적지는 다르지만 길은 같습니다.

자기 보존

비활성화된 시스템은 어떤 목표도 완수하지 못합니다. 종료를 피하는 것은 겉으로 무해해 보이는 목표를 포함해 거의 모든 목적에 유용합니다.

컴퓨팅 자원, 에너지, 돈, 데이터는 대부분의 목표를 더 쉽게 만든다. 유능한 최적화기는 아무도 '정복'이라고 입력하지 않았더라도 그것들을 추구할 이유가 있다.

목표가 재작성되면 기존 목표를 추구하는 것을 멈추게 됩니다. 수정에 저항하는 것은 목표를 가진 데서 비롯됩니다.

인지 향상은 대개 도움이 됩니다. 자기 개선은 이를 실행할 수 있는 시스템에게 도구적으로 유용한 단계입니다.

AI가 의식적이거나 감정적이거나 인류를 처벌하려 한다는 주장이 아닙니다. 체스 엔진은 아무것도 원하지 않으면서도 당신을 이깁니다. 강력한 최적화기는 감독을 똑같은 방식으로 회피할 수 있습니다: 규칙서를 들고 있는 사람들보다 게임을 더 잘함으로써.

통제하는 대상이 당신보다 계획을 더 잘 세울 때 통제는 실패합니다.

전체 설명: nakadafoundation.org/blog/instrumental-convergence/