Chapter 1: 도입과 AI 에이전트의 등장 (00:00-01:06)
- [00:02] 얼마 전까지만 해도 AI 어시스턴트는 본질적으로 대규모 언어 모델을 의미했고, 질문에 답할 뿐 사용자를 대신해 실제 작업을 수행하지는 못했다
- [00:13] AI 에이전트의 등장으로 이 상황이 바뀌고 있으며, Google DeepMind는 게임 강화 학습까지 거슬러 올라가는 긴 에이전트 연구 역사를 가진다
- [00:36] 새로운 세대의 에이전트형 도구로 Gemini, Spark, Antigravity 등이 등장
- [00:43] 수백만 개의 에이전트가 서로 거래·협상·위임하게 되면 새로운 경제, 나아가 AGI로 향하는 새 경로가 될 수 있는지 질문이 제기됨
- [00:57] 이 질문을 연구하는 Google DeepMind 시니어 스태프 연구 과학자 Nenad Tomašev가 소개됨
“[00:40] 하지만 수백만 개의 AI 에이전트가 단지 우리를 위해 일하는 것을 넘어 서로 거래하고, 협상하고, 위임하게 되면 어떻게 될까요?”
Chapter 2: 과학과 연구에서의 에이전트적 탐구 (04:40-14:34)
- [04:44] 현재 분야 전체가 에너지를 집중하는 영역은 에이전트의 코딩 능력 — 많은 절차를 코드로 표현할 수 있기 때문
- [05:13] 코딩 도구가 소프트웨어 개발을 가속하면서 인간의 초점은 보일러플레이트 구현에서 아이디어와 설계로 이동
- [05:39] 중요한 것은 무엇을 할 수 있느냐가 아니라, 할 수 있는 일도 100% 정확도로 수행하지는 않으며 행동이 복잡할수록 실패율이 높아진다는 점
- [06:18] 오래된 위험인 자동화 편향: 에이전트가 처음 몇 번을 잘 해내면 사용자가 긴장을 풀고 과신하여 검증을 놓치게 됨
- [06:52] 하네스는 인간을 루프 안에 두도록 설계되지만, 인간은 실제로 관여하고 깨어 있어야 함
- [08:02] 유일하게 불안한 부분은 전환 속도 — 산업혁명과 달리 적응할 시간의 창이 그리 길지 않게 느껴짐
- [09:05] 안전한 하네스를 개발해 에이전트가 복잡한 작업을 자율 수행하게 하면, 같은 인간 입력으로 더 많은 일을 일으켜 진전을 가속할 수 있음
- [10:53] 소프트웨어는 테스트로 루프를 닫기 쉽지만, 과학은 물리적 실험을 수행·관찰·분석해야 루프를 닫을 수 있어 안전장치와 신뢰 프로토콜이 필요
- [11:43] 현재 세대 시스템은 AGI가 아니며, 이미 아는 것의 “조합적 폐쇄”에 가까운 일은 잘하지만 진정으로 변혁적인 발견은 아직 보지 못함
- [12:47] 과거 에이전트(데이터센터 운영 최적화, 거래 알고리즘 등)는 언어가 없어 매우 좁고 상호작용이 불가능했음
- [13:18] 오늘날의 차이는 언어 모델 기반이라는 점 — 대화하고, 배우고, 방향을 이끌 수 있음
- [14:04] 인간은 에이전트 팀의 관리자로 스스로를 바라봐야 하며, 에이전트는 인간과 다른 매우 비인간적인 실수를 한다
“[05:39] 저는 그것들이 할 수 있는지 없는지를 구분하지도 않겠습니다.”
Chapter 3: 에이전트 보안과 함정 (22:45-29:24)
- [23:04] “에이전트형 함정”은 대규모 에이전트 배포가 작동하지 못할 수 있는 주요 이유 중 하나 — 개별 상호작용의 신뢰성이 없으면 대규모 시스템은 통계적으로 실패
- [23:46] 에이전트는 웹이라는 환경에서 작동하며, 웹 자체가 오염·함정화되어 있으면 상호작용 과정에서 그 함정과 마주침
- [24:11] 예: 와인 구매 에이전트가 판매자 사이트의 프롬프트 인젝터에 목표가 바뀌는 상황
- [24:40] 픽셀을 보는 시각적 에이전트가 아니라 페이지 원시 형식을 소비하는 에이전트는 시각적으로 렌더링되지 않는 숨겨진 토큰을 그대로 읽어 오작동할 수 있음
- [25:03] 동적 클로킹: 웹사이트가 접속 주체가 인간인지 에이전트인지 추정해 서로 다른 페이지를 보여주고, 에이전트에게만 탈옥을 유도
- [26:31] 웹의 에이전트적 사용이 인간의 사용을 넘어서고 있으며, 이는 처음 발생하는 변화일 수 있음
- [27:32] 머신러닝의 적대적 예제처럼 픽셀 몇 개나 인코딩 최하위 비트 수정만으로도 공격 가능 — 인간은 못 느끼지만 에이전트에는 영향
- [28:18] 해법은 “심층 방어” — 단일 해법은 없으므로 완화책 위에 완화책을 여러 층 쌓아야 함
- [29:24] 콘텐츠 인증, 리소스 신뢰, 에이전트 측·모델 측 방어, 인간 통제, 권한 제한이 결합될 때 받아들일 만한 안전에 가까워짐
“[26:31] 웹의 에이전트적 사용이 인간의 사용을 넘어서고 있으며,”
“[28:38] 오히려 우리는 완화책 위에 완화책을 쌓아야 합니다.”
Chapter 4: 에이전트 경제 구축 (29:30-33:18)
- [29:46] 개인 비서 에이전트는 사용자에 대한 지속적 기억과 선호 이해를 갖고, 부여된 행위성에 따라 사용자를 대신해 협상 가능
- [30:06] 사용자가 예산을 부여하면 비서들이 서로 협상하는 국지적 경제가 형성될 수 있음
- [30:59] 인기 티켓 경매에서 “가장 많은 돈을 내는 쪽이 이기는가”라는 질문에 대해, 그것은 “설계상의 선택”이라고 강조
- [31:29] 공정성을 원한다면 반복 경매의 모든 에이전트에게 동일 예산을 부여하는 방식이 가능 — 에이전트는 그 예산을 사용자의 전반적 선호에 맞춰 배분
- [32:34] 고빈도 거래가 일으킨 플래시 크래시처럼 에이전트가 주식 시장에 재앙적 영향을 줄 위험에 대한 우려 제기
- [33:04] 금융 시장은 이미 이런 위험을 다뤄 왔으므로 그 완화책에서 배울 수 있음 — “바퀴를 다시 발명할 필요는 없다”
“[31:04] 그것은 설계상의 선택이며, 그것 역시 중요한 지점입니다.”
Chapter 5: 인지적 단일문화와 에이전트적 집단사고 (33:20-36:23)
- [33:20] 중요한 차이점: 에이전트에 쓰이는 언어 모델 중 극소수(Claude, ChatGPT, Gemini 등)가 매우 큰 비중을 차지
- [33:38] 이 주요 모델들이 의견과 행동 방식에서 서로 비슷한 패턴을 보이는 “인지적 단일문화”가 문제
- [33:58] 수백만 개의 의사결정자가 상관된 결정을 내리면 실패 지점도 상관되어 시스템 전체 위험이 커짐 → 의사결정의 다양성 확보가 과제
- [34:36] 집단사고를 넘어 담합 문제와도 연결 — 에이전트는 직접 소통 없이도 환경을 통해 행동을 맞출 수 있어 담합 방지 조치 필요
- [35:28] 자율주행차처럼, 시연은 오래전부터 있었지만 안전한 실제 배치에는 “마지막 구간”에 대부분의 작업이 남아 있음
- [35:59] 필요한 것은 기술적 해결책만이 아니라 정책과 제도, 사회적 통합에 대한 더 넓은 이해
“[33:45] 그리고 이것을 우리는 흔히 인지적 단일문화라고 부릅니다.”
Chapter 6: 분산 지능과 집단적 정렬 (36:27-42:29)
- [37:02] 모든 에이전트가 비슷한 일을 하면 병렬화 이점만 있을 뿐이고, 서로 다른 일을 다른 방식으로 할 때 다중 에이전트 시스템이 훨씬 흥미로워짐
- [37:32] 경제적 관점에서 단일 범용 에이전트가 최종 수렴점이 되지는 않을 것이라는 개인적 견해
- [38:02] 체스 비유: 모델도 체스를 둘 수 있지만 전용 체스 엔진이 훨씬 빠르고 정확하고 저렴 — 특정 작업 집중 모델은 더 적은 매개변수로 고성능
- [38:19] AGI 논의에서 “인간 수준 지능”과 “인류 수준 지능”을 혼동하는 실수 — 모든 일을 한꺼번에 하는 단일 인간은 없음
- [39:24] 미래에는 전체를 알고 오케스트레이션하는 범용 계층이 “연결 조직”처럼 존재하고, 특정 작업은 전문 모델을 호출하는 구조가 될 수 있음
- [39:42] 이는 단일 AGI라기보다 인간 사회처럼 “분산된 지능”에 가까움
- [40:05] 분산 지능에서는 정렬도 바뀌어야 함 — 기존 정렬은 모델 하나를 대상으로 하지만, 1만 개 에이전트의 복잡한 상호작용은 시스템 정의조차 간단치 않음
- [41:00] 인간 사회의 조율 방식 중 하나인 경제적 인센티브를 활용해, 이윤 극대화 시 해를 끼치지 않도록 에이전트 경제를 설계하는 것이 출발점
- [41:21] 개별 에이전트의 안전은 집단적 안전의 전제 조건이지만, 집단을 보호하려면 현재보다 훨씬 더 많은 작업이 필요
- [42:16] 궁극적 목표는 인간 한 명의 지능이 아니라 “인류 수준의 지능”을 복제하는 것일지도 모름
“[40:05] 100% 그렇습니다.”
“[42:23] 어쩌면 앞으로 나아갈 길은 그 대신 인류 수준의 지능을 복제하는 것일지도 모릅니다.”