Dario Amodei — "우리는 지수 함수의 끝에 가까워지고 있다"

요약

  1. Dario Amodei는 AI의 지수적 성장이 예상대로 진행 중이며, 사람들이 그 끝에 얼마나 가까이 왔는지 인식하지 못한다고 경고한다.
  2. AI 연구소의 수익 구조, 컴퓨트 배분의 균형, 그리고 "데이터센터 속 천재들의 나라"가 1~3년 내 실현될 수 있다는 전망을 제시한다.
  3. AI 시대의 미·중 경쟁, 권위주의 위험, Claude의 헌법(원칙 기반 정렬), Anthropic의 조직 문화까지 폭넓게 다룬다.

정확히 무엇을 스케일링하고 있는가? (00:00-12:36)

  • [00:10] AI 기반 기술의 지수적 성장이 대체로 예상대로 진행됐으며, ±1~2년 오차가 있었다
  • [00:27] 모델 능력이 똑똑한 고등학생 → 대학생 → 박사과정/전문 업무 수준으로 진전해 왔다
  • [00:55] 사람들이 지수적 성장의 끝에 얼마나 가까이 왔는지 인식하지 못하고, 여전히 진부한 정치 쟁점만 이야기한다

“[00:55] 우리가 지수적 성장의 끝에 얼마나 가까이 와 있는지에 대한 대중의 인식이 부족하다는 점입니다.”

  • [01:59] 2017년부터 가설을 유지 중이며, “The Big Blob of Compute Hypothesis” 문서를 언급
  • [02:43] 리치 서튼의 “The Bitter Lesson”과 핵심이 같다: 영리한 기법보다 기본 요소(컴퓨트, 데이터, 목적함수)가 더 중요
  • [03:08] 핵심 요소: 연산 자원, 데이터의 양과 품질, 학습 기간, 확장 가능한 목적함수
  • [07:55] 인터넷 전반으로 데이터 폭을 넓히면서 일반화가 나타나기 시작
  • [08:35] 장기적으로 RL vs 사전학습 구분이 사라질 것이라 전망
  • [09:17] 사전학습은 인간 학습과 다르지만 진화와 인간 학습 사이 어딘가에 있다
  • [11:20] RL의 목표는 모든 기술을 전부 가르치는 것이 아니라, 많은 것으로 학습 후 전반적 일반화에 도달하는 것

“[08:35] 그래서 강화학습 대 사전학습이라는 구분은 어느 정도 사라집니다.”

continual learning은 필요한가? (29:42-46:20)

  • [30:04] “전반적으로 교육을 잘 받은 인간과 구분하기 어려운 시스템” 수준에 이미 상당히 근접
  • [31:27] **“데이터센터 속 천재들의 나라”**가 컴퓨터 화면 제어를 통해 실현될 것이라 전망
  • [33:46] Anthropic에는 **“코드를 전혀 쓰지 않는 엔지니어”**도 있으며, GPU 커널 코드를 Claude에게 시킨다
  • [37:51] 현재 코딩 모델의 총요소 속도 향상은 15~20% 정도이며, 6개월 전 5%에서 상승
  • [38:52] 완만한 도약, 매끈한 지수적 증가 — 눈덩이가 탄력을 받는 모습
  • [41:18] 기존 설정의 스케일링만으로도 인컨텍스트 학습이 OJT와 비슷한 역할을 한다
  • [42:10] 지금 상태 그대로도 이것만으로 수조 달러의 매출을 만들어낼 수 있다

“[42:10] 지금 상태 그대로도 이것만으로 수조 달러의 매출을 만들어낼 수 있다고 봅니다.”

  • [42:29] 지속적 학습은 1~2년 안에 해결 가능성이 높다
  • [45:48] “데이터센터 속 천재들의 나라”까지 1~3년으로 추측
  • [45:54] 이 모든 일이 10년 안에 일어날 것이라는 점에 99% 확신

“[45:54] 이 모든 일이 10년 안에 일어날 거라고 봅니다.”

AI 연구소는 실제로 어떻게 수익을 낼까? (58:49-1:31:19)

  • [59:36] “수익”은 수요를 과소추정했을 때, “손실”은 과대추정했을 때 생긴다
  • [59:56] 토이 모델: 컴퓨트의 절반은 학습, 절반은 추론에 사용
  • [01:00:36] 이 구조라면 기본적으로 흑자이며 이익이 500억 달러가 된다
  • [01:01:50] 매출이 충분히 빠르게 성장하면 2026년에도 흑자 가능

“[01:01:50] 매출이 충분히 빠르게 성장하면 2026년에 흑자가 날 수도 있습니다.”

  • [01:06:08] 근본적 경제성은 수익성이 있지만, 문제는 “지옥 같은 수요 예측 문제”
  • [01:07:14] 2030년 이전에 수조 달러 매출이 생기지 않을 거라고는 생각하기 어렵다
  • [01:11:53] 연산 자원이 해마다 3배로 늘지만, 경제가 연 300% 성장할 거라곤 믿지 않는다
  • [01:13:41] AI 산업은 3~4개 플레이어 구조가 될 것 — 클라우드와 유사하지만 더 차별화
  • [01:14:47] Claude/GPT/Gemini는 각각 잘하는 것이 다르며, 미묘한 스타일 차이가 존재

“[01:06:08] 문제는 이 지옥 같은 수요 예측 문제가 있다는 것입니다.”

  • [01:21:46] 1~2년 안에 모델이 SWE를 엔드투엔드로 해낼 지점에 도달 가능
  • [01:25:55] 모든 토큰이 같은 가치가 아니다 — 제약회사 분자 설계 조언 토큰은 수천만 달러 가치
  • [01:28:09] 2025년 초, AI로 자체 연구를 의미 있게 가속할 시점이 왔다고 판단
  • [01:28:42] Claude Code는 내부적으로 모두가 쓰는 도구가 되었고, PMF를 확보하여 출시

“[01:28:09] 2025년 초쯤, 저는 “AI 회사라면 이런 모델을 사용해서 자체 연구를 의미 있게 가속할 수 있는 시점이 왔다”라고 말했습니다.”

미국과 중국이 모두 데이터센터 천재 국가를 가질 수 없는 이유 (1:47:41-2:05:46)

  • [01:47:42] 왜 미국과 중국이 둘 다 “데이터센터 안의 천재들의 나라”를 가져서는 안 되는가?
  • [01:48:02] 공격이 우세한 세계라면 위험이 급증 — 핵무기보다 더 위험할 수 있다
  • [01:48:30] 양측이 승리 확률을 과신적으로 평가하면 충돌 가능성이 커진다
  • [01:49:16] “첨단 권위주의 국가” 구축의 우려 — 문제의 초점은 국민이 아닌 정부
  • [01:50:05] 규칙 설정 주체로 한 나라보다 민주주의 국가들의 연합이 더 나은 구상

“[01:48:05] 핵무기와 비슷하지만 더 위험한 상황을 맞을 수 있습니다.”

  • [01:53:22] AI가 주는 큰 이점이 나타나는 **“결정적 창”**이 존재할 수 있다
  • [01:58:46] 독재가 **“도덕적으로 시대에 뒤처진 것”**이 되기를 희망
  • [02:02:46] 현실 정책: 데이터센터, 칩, 칩 제조 능력을 중국에 팔지 않는다
  • [02:03:27] AI가 만드는 성장/경제적 가치는 쉽게 생겨나지만, 분배는 쉽게 오지 않을 것
  • [02:05:04] 아프리카 데이터센터 건설은 “훌륭” — AI 주도 제약 산업도 개도국에서 가능

“[02:03:27] 쉽게 오지 않을 것은 분배입니다.”

Claude의 헌법 (2:05:46-2:22:20)

  • [02:06:27] 규칙 목록 vs 원칙: 원칙을 가르치면 행동이 더 일관되고 엣지 케이스를 잘 다룬다
  • [02:07:42] 교정 가능성 vs 내재적 동기 트레이드오프 — 대체로 교정 가능성 쪽에 치우침
  • [02:08:24] “스스로 나가서 세상을 운영하는 무언가를 만들려는 것이 아닙니다
  • [02:08:45] 기본값: 과제를 요청하면 수행해야 하지만, 위험하거나 타인을 해치는 일은 거부

“[02:08:24] 우리는 스스로 나가서 세상을 운영하는 무언가를 만들려는 것이 아닙니다.”

  • [02:17:13] 자신의 시간 중 약 **1/3~40%**를 Anthropic 문화가 좋은지 확인하는 데 사용
  • [02:19:22] DVQ(‘Dario Vision Quest’): 2주마다 전 직원 앞에서 한 시간 동안 회사 현황 공유
  • [02:20:56] 핵심: **“진실을 말하는 사람”**이라는 평판을 얻고, 기업식 미사여구를 피하는 것

“[02:20:56] 요점은 회사에 무슨 일이 벌어지고 있는지에 대해 진실을 말하는 사람이라는 평판을 얻는 것입니다.”