정확히 무엇을 스케일링하고 있는가? (00:00-12:36)
- [00:10] AI 기반 기술의 지수적 성장이 대체로 예상대로 진행됐으며, ±1~2년 오차가 있었다
- [00:27] 모델 능력이 똑똑한 고등학생 → 대학생 → 박사과정/전문 업무 수준으로 진전해 왔다
- [00:55] 사람들이 지수적 성장의 끝에 얼마나 가까이 왔는지 인식하지 못하고, 여전히 진부한 정치 쟁점만 이야기한다
“[00:55] 우리가 지수적 성장의 끝에 얼마나 가까이 와 있는지에 대한 대중의 인식이 부족하다는 점입니다.”
- [01:59] 2017년부터 가설을 유지 중이며, “The Big Blob of Compute Hypothesis” 문서를 언급
- [02:43] 리치 서튼의 “The Bitter Lesson”과 핵심이 같다: 영리한 기법보다 기본 요소(컴퓨트, 데이터, 목적함수)가 더 중요
- [03:08] 핵심 요소: 연산 자원, 데이터의 양과 품질, 학습 기간, 확장 가능한 목적함수
- [07:55] 인터넷 전반으로 데이터 폭을 넓히면서 일반화가 나타나기 시작
- [08:35] 장기적으로 RL vs 사전학습 구분이 사라질 것이라 전망
- [09:17] 사전학습은 인간 학습과 다르지만 진화와 인간 학습 사이 어딘가에 있다
- [11:20] RL의 목표는 모든 기술을 전부 가르치는 것이 아니라, 많은 것으로 학습 후 전반적 일반화에 도달하는 것
“[08:35] 그래서 강화학습 대 사전학습이라는 구분은 어느 정도 사라집니다.”
continual learning은 필요한가? (29:42-46:20)
- [30:04] “전반적으로 교육을 잘 받은 인간과 구분하기 어려운 시스템” 수준에 이미 상당히 근접
- [31:27] **“데이터센터 속 천재들의 나라”**가 컴퓨터 화면 제어를 통해 실현될 것이라 전망
- [33:46] Anthropic에는 **“코드를 전혀 쓰지 않는 엔지니어”**도 있으며, GPU 커널 코드를 Claude에게 시킨다
- [37:51] 현재 코딩 모델의 총요소 속도 향상은 15~20% 정도이며, 6개월 전 5%에서 상승
- [38:52] 완만한 도약, 매끈한 지수적 증가 — 눈덩이가 탄력을 받는 모습
- [41:18] 기존 설정의 스케일링만으로도 인컨텍스트 학습이 OJT와 비슷한 역할을 한다
- [42:10] 지금 상태 그대로도 이것만으로 수조 달러의 매출을 만들어낼 수 있다
“[42:10] 지금 상태 그대로도 이것만으로 수조 달러의 매출을 만들어낼 수 있다고 봅니다.”
- [42:29] 지속적 학습은 1~2년 안에 해결 가능성이 높다
- [45:48] “데이터센터 속 천재들의 나라”까지 1~3년으로 추측
- [45:54] 이 모든 일이 10년 안에 일어날 것이라는 점에 99% 확신
“[45:54] 이 모든 일이 10년 안에 일어날 거라고 봅니다.”
AI 연구소는 실제로 어떻게 수익을 낼까? (58:49-1:31:19)
- [59:36] “수익”은 수요를 과소추정했을 때, “손실”은 과대추정했을 때 생긴다
- [59:56] 토이 모델: 컴퓨트의 절반은 학습, 절반은 추론에 사용
- [01:00:36] 이 구조라면 기본적으로 흑자이며 이익이 500억 달러가 된다
- [01:01:50] 매출이 충분히 빠르게 성장하면 2026년에도 흑자 가능
“[01:01:50] 매출이 충분히 빠르게 성장하면 2026년에 흑자가 날 수도 있습니다.”
- [01:06:08] 근본적 경제성은 수익성이 있지만, 문제는 “지옥 같은 수요 예측 문제”
- [01:07:14] 2030년 이전에 수조 달러 매출이 생기지 않을 거라고는 생각하기 어렵다
- [01:11:53] 연산 자원이 해마다 3배로 늘지만, 경제가 연 300% 성장할 거라곤 믿지 않는다
- [01:13:41] AI 산업은 3~4개 플레이어 구조가 될 것 — 클라우드와 유사하지만 더 차별화
- [01:14:47] Claude/GPT/Gemini는 각각 잘하는 것이 다르며, 미묘한 스타일 차이가 존재
“[01:06:08] 문제는 이 지옥 같은 수요 예측 문제가 있다는 것입니다.”
- [01:21:46] 1~2년 안에 모델이 SWE를 엔드투엔드로 해낼 지점에 도달 가능
- [01:25:55] 모든 토큰이 같은 가치가 아니다 — 제약회사 분자 설계 조언 토큰은 수천만 달러 가치
- [01:28:09] 2025년 초, AI로 자체 연구를 의미 있게 가속할 시점이 왔다고 판단
- [01:28:42] Claude Code는 내부적으로 모두가 쓰는 도구가 되었고, PMF를 확보하여 출시
“[01:28:09] 2025년 초쯤, 저는 “AI 회사라면 이런 모델을 사용해서 자체 연구를 의미 있게 가속할 수 있는 시점이 왔다”라고 말했습니다.”
미국과 중국이 모두 데이터센터 천재 국가를 가질 수 없는 이유 (1:47:41-2:05:46)
- [01:47:42] 왜 미국과 중국이 둘 다 “데이터센터 안의 천재들의 나라”를 가져서는 안 되는가?
- [01:48:02] 공격이 우세한 세계라면 위험이 급증 — 핵무기보다 더 위험할 수 있다
- [01:48:30] 양측이 승리 확률을 과신적으로 평가하면 충돌 가능성이 커진다
- [01:49:16] “첨단 권위주의 국가” 구축의 우려 — 문제의 초점은 국민이 아닌 정부
- [01:50:05] 규칙 설정 주체로 한 나라보다 민주주의 국가들의 연합이 더 나은 구상
“[01:48:05] 핵무기와 비슷하지만 더 위험한 상황을 맞을 수 있습니다.”
- [01:53:22] AI가 주는 큰 이점이 나타나는 **“결정적 창”**이 존재할 수 있다
- [01:58:46] 독재가 **“도덕적으로 시대에 뒤처진 것”**이 되기를 희망
- [02:02:46] 현실 정책: 데이터센터, 칩, 칩 제조 능력을 중국에 팔지 않는다
- [02:03:27] AI가 만드는 성장/경제적 가치는 쉽게 생겨나지만, 분배는 쉽게 오지 않을 것
- [02:05:04] 아프리카 데이터센터 건설은 “훌륭” — AI 주도 제약 산업도 개도국에서 가능
“[02:03:27] 쉽게 오지 않을 것은 분배입니다.”
Claude의 헌법 (2:05:46-2:22:20)
- [02:06:27] 규칙 목록 vs 원칙: 원칙을 가르치면 행동이 더 일관되고 엣지 케이스를 잘 다룬다
- [02:07:42] 교정 가능성 vs 내재적 동기 트레이드오프 — 대체로 교정 가능성 쪽에 치우침
- [02:08:24] “스스로 나가서 세상을 운영하는 무언가를 만들려는 것이 아닙니다”
- [02:08:45] 기본값: 과제를 요청하면 수행해야 하지만, 위험하거나 타인을 해치는 일은 거부
“[02:08:24] 우리는 스스로 나가서 세상을 운영하는 무언가를 만들려는 것이 아닙니다.”
- [02:17:13] 자신의 시간 중 약 **1/3~40%**를 Anthropic 문화가 좋은지 확인하는 데 사용
- [02:19:22] DVQ(‘Dario Vision Quest’): 2주마다 전 직원 앞에서 한 시간 동안 회사 현황 공유
- [02:20:56] 핵심: **“진실을 말하는 사람”**이라는 평판을 얻고, 기업식 미사여구를 피하는 것
“[02:20:56] 요점은 회사에 무슨 일이 벌어지고 있는지에 대해 진실을 말하는 사람이라는 평판을 얻는 것입니다.”