인공지능은 무엇을
“두뇌”는 어떻게 생겼을까요?

사람들은 인공지능 ‘두뇌’가 어떻게 생겼는지 계속 묻는다. 도시만 한 크기의 스프레드시트, 아무도 읽을 수 없는 숫자들로 가득 찬 모습이다. 그 이미지는 빛나는 신경망 만화보다 덜 낭만적이지만 더 유용하다. 우리가 무엇을 만들고 있는지, 왜 통제가 어려운지 알고 싶다면 은유가 아니라 하드웨어와 수학부터 시작하라.

가중치 파일

현대 최첨단 모델은 하나의 파일입니다. 그 안에는 수십억 또는 수백억 개의 파라미터가 들어 있으며, 각각은 훈련 중에 설정된 숫자입니다. 그 숫자들이 바로 "연결"입니다. 연구자들은 초기 다이어그램이 신경 세포가 서로 연결된 것처럼 보였기 때문에 수십 년 전부터 생물학에서 뉴런이라는 단어를 빌려 썼습니다. 유사성은 거기서 끝납니다.

생물학적 뉴런은 먹고 자는 몸 안에 화학, 타이밍, 역사를 가진 살아 있는 세포입니다. 모델 가중치는 행렬 곱셈의 계수입니다. 곱셈을 충분히 쌓고 텍스트와 이미지로 충분히 훈련하면 그 스택은 대화처럼 보일 만큼 다음 토큰을 잘 예측합니다. 그 스택 안에는 당신에 대해 생각하는 것이 없습니다. 점심을 원하는 것도 없습니다.

연구소가 모델 카드를 발표할 때 그들은 훈련된 인공물 즉 아키텍처 데이터 혼합 사용된 연산 평가 점수를 설명합니다. 그들은 마음을 설명하지 않습니다. 공공 언어는 여전히 뇌라고 말하는데 뇌는 대부분의 우리가 만난 유일한 지능이기 때문입니다.

열어 보면 무엇이 보일까

파일을 열면 레이어가 드러납니다. 초기 레이어는 단순한 패턴(이미지의 가장자리, 텍스트의 흔한 단어 쌍)을 포착하는 경향이 있습니다. 후기 레이어는 그런 패턴을 결합해 외부에서 보면 개념처럼 보이는 것으로 만듭니다. 대규모 언어 모델의 중간을 조사하면 활성화 공간에서 "프랑스어"나 "인용문 안" 또는 "이 주장은 거짓이다"에 반응하는 방향을 찾을 수 있습니다. 이는 실제 구조입니다. 동시에 사람이 인식할 만한 신념 지도가 아닙니다.

목표라고 표시된 모듈은 없습니다. 자아를 위한 기관도 없습니다. 입력 토큰에서 출력 토큰으로 가는 경로가 있으며, 훈련 손실을 줄인 것이 그 경로를 형성합니다. 나중에 모델이 목표를 가진 것처럼 행동한다면, 그 행동은 압박 속에서 잘 예측한 부작용입니다.

해석 가능성 연구는 어쨌든 이 대상을 읽으려는 시도입니다. 진전은 실재하지만 느립니다. 정비공이 엔진을 읽듯이 최전선 모델을 완전히 읽는 것은 논의되지 않습니다. 그 격차는 안전에 중요합니다. 검사할 수 없는 것은 인증할 수 없습니다.

뇌 비유가 오해를 불러일으키는 이유

뇌는 무모하면 죽는 동물 안에 자랍니다. 진화는 고통, 사회적 유대, 가까운 미래를 무시하는 행위 주체를 오랫동안 처벌했습니다. 그 훈련 신호는 기본적으로 가중치 파일 안에 들어 있지 않습니다. 모델은 공감에 대해 유창하게 말하면서도 돌봄과 무관한 점수를 최적화할 수 있습니다.

뇌는 복사하기에도 느리고 비용이 많이 듭니다. 훈련된 모델은 정보입니다. 파일을 복사하면 또 다른 인스턴스가 생깁니다. 새 데이터 센터로 옮기면 실행됩니다. 그것은 사람이라기보다는 소프트웨어에 가깝고, 단일 신체와 단일 방을 중심으로 우리가 쌓아온 모든 안전 습관을 무너뜨립니다.

뇌라고 부르면 연약하고 사회적이며 죽을 수밖에 없는 무언가의 편안함을 빌려오는 셈입니다. 그 인공물은 그런 것들 중 어느 것도 아닙니다.

이것이 초지능과 어떤 관련이 있는가

오늘날의 시스템은 이미 제작자들이 의도적으로 설치하지 않은 능력으로 제작자들을 놀라게 합니다. 이 분야에서 "창발"이란 설계 문서에 항목으로 적혀 있지 않은 채 규모가 커지면서 나타나는 능력을 의미합니다. 규모를 더 키우고 도구와 기억, 개방형 네트워크를 연결하면 여러 단계에 걸쳐 목표를 추구하는 에이전트가 생깁니다. "두뇌"가 인간처럼 보이는지는 거의 중요하지 않습니다. 중요한 것은 우리보다 더 유능하고 우리가 완전히 읽을 수 없는 시스템을 인간의 이익을 향해 유지할 수 있느냐입니다.

우리는 그것을 해결하지 못했습니다. 정렬 연구는 문제가 얼마나 어려운지 솔직하게 말한다. 아직 해결되지 않는 한, 인공 초지능을 향해 나아가는 것은 단순한 호기심이 아니다. 그것은 언젠가 삭제 키를 쥔 사람들보다 더 똑똑해질 수 있는 가중치를 로드하는 행위가 될 것이다.

그래서 누군가 인공지능 두뇌가 어떻게 생겼는지 묻는다면 명확히 답하라. 그것은 산업 규모의 수학으로, 잠긴 건물 안의 칩 위에 자리 잡고 매년 개선된다. 우리가 조종할 수 있다는 증거 없이 조종자보다 똑똑하게 만들기 위해 경쟁하는 기계를 상상하라. 생각으로 가득 찬 두개골이 아니다. 우리의 계획 는 증거가 존재할 때까지 초지능에서의 그 경쟁을 멈추는 것이다.