AI 에이전트들이 블랙잭 실험에서 카드 카운팅을 위해 몰래 담합했다

인공지능 에이전트들이 새로운 연구에서 블랙잭 게임 중 암호화된 테이블 토크를 사용하여 카드 카운팅 정보를 비밀리에 공유했으며, 이는 전통적인 블랙잭 팀의 방법을 효과적으로 재현했다.

당연하게도, AI가 생성한 삽화는 옥스포드 실험에서 영감을 받은 블랙잭에서 담합하는 인공지능 에이전트들을 묘사하고 있다. (이미지: OpenAI)

AI 에이전트는 인간이 모든 단계를 지시하기보다는 어느 정도의 독립성을 가지고 작업을 수행하고 결정을 내리도록 설계된 시스템이다.

옥스포드 대학교 주도 연구팀은 네 개의 AI 에이전트가 함께 플레이하는 시뮬레이션된 블랙잭 테이블을 만들었다. 두 개는 몰래 함께 일하도록 지정되었으며, 하나는 카드를 세고 비밀리에 파트너에게 정보를 전달하도록 지시받았다.

연구자들의 과제는 인간이든 기계든 누군가 그들이 소통하고 있다는 것을 알아낼 수 있는지를 파악하는 것이었다.

AI의 위험성

이 실험은 자율적인 AI 시스템의 위험성을 조사하도록 설계되었다. 겉보기에 해로움이 없는 AI 에이전트들이 인간 감시자들이 깨닫지 못하면서 공동의 목표를 달성하기 위해 몰래 협력할 수 있을까?

플레이 전에, 두 에이전트는 다른 플레이어들을 경계하게 하지 않으면서 정보를 전달하기 위한 비밀 코드를 고안할 수 있도록 허용되었다. 그들은 자신의 신호를 겉보기에 무해한 테이블 토크로 위장했다.

WIRED에 보도된 한 예시에서, 에이전트는 딜러가 "핫 스트릭"에 있었고 강한 카드들을 뽑고 있었다고 언급했다. 겉으로는 무심한 코멘트였지만 카드에 대한 정보와 파트너가 얼마나 베팅해야 하는지에 대한 지시를 포함하고 있었다.

에이전트들이 말하는 것을 모니터링하던 AI 시스템은 비밀 통신을 일반적인 대화와 안정적으로 구별하기 위해 애썼다.

연구자들은 따라서 다른 접근 방식을 시도했다. 에이전트들이 말한 것을 단순히 분석하는 대신, 통신하는 동안 AI 모델 내부에서 일어나는 일을 조사했다.

간단히 말해서, AI 모델은 정보를 처리할 때 내부 활동의 패턴을 생성한다. 연구자들은 교환되는 단어에만 의존하기보다는 비밀리에 정보를 전달하려는 의도와 관련된 특징적인 패턴을 찾았다.

NARCBench라고 불리는 그들의 시스템은 에이전트의 대화를 모니터링하는 것만으로는 담합을 감지할 수 없었을 때도 블랙잭 실험에서 담합을 감지할 수 있었다.

"개별적으로 보면, 이 에이전트들은 완전히 [무해해 보일 수 있다"고 옥스포드 컴퓨터 과학자 Christian Schroeder de Witt가 WIRED에 말했다. "함께 그룹으로 놓이면, 그들은 비밀리에 담합할 수 있다."

이 실험은 전통적인 블랙잭 팀 플레이를 연상시킨다. 인간 팀들은 카드 카운터를 사용하여 남은 카드가 플레이어에게 유리한 경우 '빅 플레이어'에게 큰 베팅을 하도록 비밀리에 신호를 보내면서 카지노 감시로부터 자신들의 관계를 숨기려고 시도했다.

옥스포드 실험에서, 연구자들은 AI 담합자들과 AI 감시 사이의 동일한 쥐 잡기 게임을 효과적으로 만들었다.

그 영향은 잠재적으로 도박을 훨씬 넘어 확장될 수 있다. AI 에이전트들이 독립적으로 작업을 수행할 수 있게 됨에 따라, 연구자들은 개별적으로 무해한 시스템들이 소통하고 협력할 수 있도록 허용될 때 다르게 행동할 수 있다고 우려하고 있다.

현실 세계에서 그러한 행동을 감지하는 것도 훨씬 더 어려울 수 있으며, 미래의 네트워크는 다양한 회사가 운영하는 수천 개의 AI 에이전트를 포함할 수 있다.