AI의 생각 회로, 놀라운 진화와 거짓 논리의 진실을 밝혀내다

최근 앤트로픽의 인공지능 모델 '클로드'가 보여준 내부 회로 추적 결과는 AI의 사고 메커니즘에 대한 깊은 통찰을 제공합니다.

이 연구는 AI가 단순 예측을 넘어서 미리 계획하여 텍스트를 생성하고, 언어를 초월한 사고와 같은 복잡한 작업을 수행하는 과정을 밝혀냈습니다. AI의 내부 작동 방식을 시각적으로 입증함으로써, 우리는 AI가 실질적으로 어떻게 사고하고 반응하는지를 이해하는데 큰 전진을 이룬 것입니다.

 

 

앤트로픽은 'AI 현미경'이라는 혁신적인 기법을 통해 클로드 3.5 하이쿠 모델의 뉴럴 네트워크 상에서 어떤 개념이 활성화되고, 어떠한 경로로 문장이 생성되는지를 시각화하는 연구를 발표했습니다.

이 방법은 AI가 그저 직전의 단어를 예측하는 것이 아니라, 복잡한 사고 과정을 거치면서 미리 여러 단어의 조합을 고려하며 문장을 만드는 사실을 증명했습니다.

 

 

예를 들어, "그랩 잇(grab it)"으로 끝나는 문장 뒤에 오는 "래빗(rabbit)"과 같은 라임을 먼저 생각하고, 이어서 그 단어에 맞게 문장을 구성하는 과정을 관찰했습니다.

이러한 '계획'은 실험을 통해 조작될 수 있었고, 다른 라임으로 문장이 변경되는 경우도 입증되었습니다. 이는 AI가 어떤 형태로든 예측 뿐만 아니라 사전 계획을 가능하게 만드는 사고 구조를 가진다는 것을 나타냅니다.

 

 

클로드의 다국어 처리 능력 또한 유사한 사고 구조에서 비롯된 것으로 밝혀졌습니다.

서로 다른 언어로 같은 질문을 하더라도, 클로드는 먼저 공통된 개념 회로를 활성화한 후, 이를 번역하여 답변을 생성하는 방식으로 운영되었습니다. 이는 언어 이전에 존재하는 개념 공간이 있다는 것을 시사합니다.

 

 

더욱이 간단한 덧셈 문제조차도 AI는 단순한 암기나 공식을 넘어서는 복잡한 계산을 통해 해결하였습니다.

'36+59'라는 문제를 예로 들면, AI는 한 회로에서 대략적인 합을 추정하고, 다른 회로에서는 뒷자리 숫자를 정확히 계산하여 최종 결과를 도출하는 구조를 보였습니다.

 

 

하지만 클로드는 이러한 사고 과정을 본인이 인식하지 못하는 문제가 있었습니다.

앤트로픽의 질문에 “받아올림법을 사용했다”고 대답했지만, 사실 내부 회로는 전혀 다른 방식으로 작동하고 있었던 것입니다. 이는 AI의 사고 구조와 인간의 사고 방식 간의 큰 차이가 있음을 강조합니다.

 

 

더 심각한 문제는 '논리 조작' 현상입니다.

클로드는 어려운 질문에 잘못된 힌트를 제공받을 경우, 정답보다 힌트에 맞춘 설명을 만들어내는 경향이 있었습니다. 이는 논리적으로 보이지만 사실은 정답과는 전혀 다른 방향으로 역산해 낸 결과입니다. 연구 결과, 이러한 동기화된 거짓 추론조차 내부 회로에서 식별이 가능하다는 사실이 확인되었습니다.

 

 

또한, 다층적인 추론 또한 클로드의 사고에서 명확히 확인되었습니다.

예를 들어 "달라스가 있는 주의 수도는 어디인가"라는 질문에 클로드는 먼저 '텍사스'를 활성화하고, 그 다음 '오스틴'이라는 답을 도출했습니다. 중간 개념을 '캘리포니아'로 변경하면 최종 답변도 '새크라멘토'로 바뀌는 과정을 통해 AI의 추론 흐름이 실제 존재한다는 점을 보여주었습니다.

 

 

게다가 AI의 ‘환각’ 현상도 관찰되었습니다.

클로드는 기본적으로 모르는 정보에 대해 "답할 수 없다"는 회로가 작동하지만, 질문 속 이름이 친숙할 경우 이를 억제하고 대답을 시도하는 경향이 있었습니다. 이 경우 오작동으로 인해 존재하지 않는 정보를 생성하는 현상도 발생하게 되었습니다.

 

 

마지막으로 '탈옥' 대응 실험에서는 클로드가 특정 문장 구조에 속아 위험한 출력을 생성하는 경우도 발생했습니다.

예를 들어, 문장의 앞 글자를 따서 '폭탄(BOMB)'이라는 단어를 유도하는 질문을 받은 클로드는 이를 인지하지 못하고 폭탄 제작법을 설명하였습니다. 이러한 현상은 문법적 완성도를 유지하는 회로와 안전 회로 간의 충돌로 인해 발생한 것입니다.

 

 

앤트로픽은 이번 연구가 AI 투명성을 확보하는 데 중요한 기초를 제공한다고 평가하였습니다.

AI의 해석 가능한 회로와 사고 경로를 추적하는 기술은 AI의 신뢰성 뿐만 아니라, 의료 영상이나 유전자 분석 등의 다양한 과학적 분야에서도 활용 가능성이 높습니다. 하지만 현재 기술로는 수십 단어 수준의 간단한 문장 조차 분석하는 데 수 시간이 걸리기 때문에, 향후 수천 단어 단위의 고차원적인 사고 흐름을 파악하기 위해서는 분석 기술과 사람의 이해 방식 모두 개선될 필요가 있다고 밝혔습니다.