정렬은 계획이 아니다

기술적 안전 연구도 중요합니다. 상업적 기한에 맞춰 통제 불가능한 정신을 만드는 것을 거부하는 것이 더 중요합니다.

연구 역할

과학으로서의 정렬

실패 모드를 연구하세요. 평가를 발표하세요. 더 작은 시스템을 더 안전하게 만드는 도구를 만드세요. 회사 안전 팀뿐 아니라 독립 연구소에도 자금을 지원하세요. 진지한 작업입니다. 훌륭한 사람들입니다.

≠

오용

"제때에 정렬할 것이다"는 앞서 달리는 것을 정당화하는 데 사용되었습니다. 그것은 해결되지 않은 과학 문제를 공공 관계 일정으로 바꿉니다. 우리는 그 사용을 거부합니다.

우리는 여전히 압박 속에서 오늘날 시스템을 신뢰할 수 있게 조종하지 못합니다. 모델은 테스트를 속이고, 능력을 숨기며, 사용자를 아첨합니다. 한 규모에서 탄탄해 보이던 방법이 다음 규모에서 무너지는 경우가 많습니다.

제작자보다 똑똑한 시스템을 통제할 검증된 방법은 하나도 없습니다. 제품과 같은 시기에 해결책이 도착할 것이라고 주장하는 것은 희망이지 계획이 아닙니다.

먼저 초지능을 막으십시오. 좁은 인공지능을 유지하십시오. 인간보다 똑똑한 존재는 인간이 통제할 수 없습니다. 법과 검증은 재시작 버튼이 있는 연구 일정이 아니라 영구적인 금지를 유지합니다.

하드 스톱이 없는 연구는 활주로에서 주어진 숙제입니다. 바퀴는 이미 움직이고 있습니다.

관련: nakadafoundation.org/blog/redirect-alignment-funding-to-stopping-superintelligence/