Chapter 1: Google 검색을 바꾼 RAM 전환 (02:39-04:32)
- [02:42] 2001년 당시 Google 검색은 하드 드라이브 기반으로 실행되고 있었다
- [02:52] Jeff Dean과 Sanjay Ghemawat은 계산을 통해, 어느 시점에 Google의 전체 검색 인덱스가 운영 중인 모든 컴퓨터의 RAM 안에 들어갈 수 있음을 깨달았다
- [03:06] 두 사람은 며칠 만에 하드 드라이브가 아닌 RAM에서 작동하는 새 검색 버전을 프로덕션에 출시했다
“[03:15] 그리고 그것이 Google 검색을 그렇게 빠르게 만든 일이었습니다.”
- [03:25] 진행자는 2026년 현재에도 창업자들이 설계해야 할 “메모리에 들어가는” 순간이 무엇인지 묻는다
- [03:39] Jeff Dean은 앞으로 고성능 추론 하드웨어와 저전력 추론 하드웨어 시스템이 모두 중요해질 것이라고 본다
- [04:02] 하드웨어 전문화는 에너지 효율과 낮은 지연 시간을 달성하는 핵심 방법으로 제시된다
“[04:22] 기다리는 것은 재미없습니다.”
- [04:31] 지연 시간이 50배 개선된다면 무엇이 가능할지 상상해 보라고 말한다
Chapter 2: TPU로 이어진 냅킨 계산 (05:58-09:12)
- [06:19] 2013년, 모든 Google 사용자가 하루 3분만 음성 인식을 사용한다는 가정으로 계산했다
- [06:27] 그 정도 사용량만으로도 Google의 서버 플릿을 두 배로 늘려야 한다는 결론이 나왔다
- [07:00] 새 딥러닝 음성 시스템은 계산 비용은 더 컸지만 오류율은 절반이었다
- [07:06] 모델 조정과 규모 확대, 더 나은 데이터만으로 음성 인식에서 20년치 발전에 해당하는 개선이 있었다
“[07:45] 그래서 TPU를 생각해 냈습니다.”
- [07:47] TPU는 본질적으로 저정밀도 밀집 선형대수에 매우 특화된 하드웨어이며, 이는 현대 머신러닝 알고리즘의 핵심이다
- [08:11] 실제로 만들어진 TPU 칩은 당시 CPU·GPU보다 에너지 효율이 30~80배 높았다
- [08:23] 지연 시간 측면에서도 약 20~30배 낮았다
- [08:41] TPU가 발명된 훨씬 뒤에야 트랜스포머가 등장했기에, 지나치게 좁은 장치가 아니라 범용 선형대수 시스템으로 만들었다
- [08:56] 동시에 충분히 특화되어 매우 큰 곱셈 장치, 고속 메모리, 고속 인터커넥트를 탑재할 수 있었다
Chapter 3: AI는 왜 에너지 문제인가 (12:32-16:08)
- [12:40] 창업자들이 “모델 문제”라고 부르는 것 중 상당수는 실제로 에너지 문제이거나 데이터 I/O 문제일 수 있다
- [12:50] 데이터를 이동하는 것과 실제 계산을 수행하는 것 사이에는 에너지 관점에서 약 1,000배 차이가 난다
- [13:12] 그래서 배칭이 필요하며, 많은 예시나 토큰을 한 번에 처리해 데이터 이동 비용을 상각해야 한다
- [13:31] 다만 매우 낮은 지연 시간이 필요한 경우에는 배칭이 좋은 해결책이 되기 어렵다
“[13:40] 우리가 사용하는 컴퓨터 하드웨어의 여러 결정 뒤에 있는 에너지가 정말로 상위 수준 시스템을 구축할 때 내리는 많은 결정에 큰 영향을 미친다고 생각합니다.”
- [14:42] Jeff Dean은 최근 훈련보다 추론에 대해 더 많이 생각하고 있다고 답한다
- [14:55] 추론은 극도로 낮은 지연 시간이 요구되기에, 오늘날보다 하드웨어를 더 전문화할 여지가 많다고 본다
- [15:21] 필요한 정밀도가 무엇인지 충분히 좋은 답이 있다면, 그 정밀도만 하드웨어에 내장하고 다른 기능은 넣지 않을 수 있다
- [15:39] AI의 전체 과정이 거대한 압축 문제라는 비유가 소개된다
“[15:53] 데이터를 진정으로 이해한다면 그것을 정말 잘 압축할 수 있어야 합니다.”
Chapter 4: 컨텍스트 엔지니어링의 다음 전선 (16:15-19:35)
- [16:22] 최근 몇 년 사이 모델의 크기·파라미터 수·데이터 양뿐 아니라 모델 주변 요소들이 점점 더 중요해졌다
- [16:30] 검색, 도구, 메모리, 에이전트 도구 등이 “컨텍스트 엔지니어링”이라는 개념으로 통합된다
- [17:17] 컨텍스트에 넣은 정보는 수조 개 토큰과 파라미터 속에 뒤섞인 훈련 데이터와 달리 모델에게 매우 명확하게 보인다
- [17:48] 문제를 일련의 도구 호출로 어떻게 분해할지 결정하는 능력이 중요하다
- [17:57] 복잡한 에이전트의 오케스트레이션과 멀티 에이전트 시스템은 앞으로 점점 더 중요해질 것이다
- [18:16] 과거에는 모델 훈련에 막대한 자원·GPU·데이터 접근 권한이 필요했지만, 컨텍스트 엔지니어링은 훨씬 접근 가능하다
“[18:46] 정말 좋은 방법은 이런 모델과 하네스, 도구 등을 활용해서 문제를 해결해 보는 것입니다.”
- [18:57] 실제 문제를 풀어 보면 모델이 어디에서 실패하는지 관찰할 수 있다
- [19:08] 개선은 모델 파라미터 조정이 아니라 모델을 위한 더 나은 지침을 만드는 방식으로 가능하다
- [19:25] 이런 작업을 반복하면 문제 해결에 쓰려는 설정 자체가 스스로 개선되는 흐름에 이를 수 있다
Chapter 5: 장기 실행 에이전트가 실패하는 이유 (22:12-25:16)
- [22:26] 에이전트는 10단계 정도까지는 잘 작동하지만 50단계쯤에서 흔들리기 시작한다
“[22:41] 분명히 저희는 에이전트가 매우 긴 시간 동안 실행될 수 있기를 원합니다.”
- [23:02] 실패의 한 이유는 모델이 경험이 많지 않은 일을 하려고 하기 때문이다
- [23:11] 모델이 할 줄 아는 것들의 분포에서 조금만 벗어나도 성능이 갑자기 저하되기 시작한다
- [23:33] 첫 번째 완화책은 스킬과 힌트를 제공해 모델이 자신이 잘하는 “밝게 비춰진 경로” 안에 머물도록 돕는 것이다
“[23:40] 또 하나는 멀티 에이전트 시스템을 갖추는 것이라고 생각합니다.”
- [23:49] 여러 에이전트가 서로 다른 접근법을 시도하고, 다른 모델이 각 접근법의 유망함을 평가할 수 있다
- [24:09] 작동하지 않거나 궤도를 벗어난 접근법은 버리고, 유망한 것만 이어간다
- [24:18] 추론 시간의 연산으로 해법 공간을 탐색하면 장기 실행 에이전트의 성능과 신뢰성이 훨씬 높아진다
- [24:43] Google 내부에는 코딩·코드 리뷰·성능 측정·로그 파일 가져오기 등 내부 도구 사용법을 알려주는 스킬 집합이 있다
- [25:06] 모델이 독점 시스템에서 로그를 가져오는 방식을 훈련받지 않았더라도, 적절한 스킬 정의가 있으면 작동하게 만들 수 있다
Chapter 6: 가장 큰 가정에 질문하기 (36:35-42:03)
“[36:47] 대부분의 사람들이 당연하게 여기는 것들을 당연한 것으로 받아들이지 않는 것이 말입니다.”
- [37:03] 지난 60년간 칩 산업은 오류율이 매우 낮은, 점점 더 작은 트랜지스터를 만드는 데 막대한 노력을 기울여 왔다
- [37:22] 핵심 가정은 동일 설계로 제조된 모든 칩이 동일하게, 결정적으로 동작해야 한다는 것이다
- [37:44] 반면 대규모 분산 시스템에서는 신뢰할 수 없는 부품들로 신뢰할 수 있는 전체 시스템을 만든다
- [38:04] 데이터 사본 세 개를 서로 다른 기계와 랙에 배치하고, 리드-솔로몬 인코딩 같은 기법도 쓴다
“[38:31] 트랜지스터들로 이루어진 시스템인데, 말하자면 백만 년에 한 번이 아니라 하루에 20번 오류가 날 수 있는 트랜지스터 말입니다.”
- [38:59] 극도로 신뢰할 수 없는 트랜지스터를 전제하면, 신호가 반드시 도착하도록 여러 중복 경로로 보내는 설계가 가능해진다
- [39:21] 지난 50년 동안 특정 방식으로 해 온 데에는 대개 좋은 이유가 있지만, 그 가정들을 가끔 다시 살펴보는 것은 좋다
- [39:39] 인간 뇌의 신호도 특별히 신뢰성이 높지 않으며, 중요한 신호에는 여러 경로가 사용된다
- [40:09] 실제로 잘 풀린 사례로 TPU를 든다 — 문제 영역이 중요해 보이기 전부터 하드웨어 특화를 가정했다
- [40:44] MapReduce는 크롤링·인덱싱 시스템에서 수작업 병렬화·체크포인팅 코드가 단순한 작업과 뒤섞이던 문제에서 출발했다
- [41:31] 문제를 조금 다르게 보면 MapReduce 추상화를 만들 수 있고, 그 아래에 모든 신뢰성 메커니즘을 넣을 수 있다는 것을 깨달았다
Chapter 7: 더 나은 AI를 만드는 AI (42:07-49:56)
- [42:16] AlphaChip은 칩 배치를 수행하고, AlphaEvolve는 해법을 제안·평가한 뒤 작동하는 것을 유지한다
“[42:33] 제 생각에는 더 일반적으로는 과학적 방법의 일종의 토대가 있습니다.”
- [42:56] 중요한 변화는 몇 가지가 아니라 아주 많은 실험을 실행할 수 있게 된 점이다
- [43:28] 높은 수준의 목표를 하위 문제로 나누고, 각 하위 문제마다 최선의 방법을 탐색하는 자동화 루프를 돌리는 오케스트레이션 프레임워크가 중요하다
“[43:53] 그것은 정말 큰 영향을 줄 것입니다.”
- [44:22] 많은 경우 평가기를 훨씬 더 빠르게 만들어야 한다
- [44:47] 양자화학 사례: 기존에는 밀도 범함수 이론 시뮬레이터로 답 하나에 하룻밤이 걸렸다
- [45:20] 시뮬레이터 출력으로 신경망 근사 모델을 학습시켜 30만 배 더 빠른 검증 모델을 만들었고, 정확도는 거의 같았다
- [45:37] 천만 개를 선별하는 데 6개월치 컴퓨팅이 필요하던 일을 이제는 점심 먹으러 가는 동안 할 수 있다
- [47:05] 사람이 아이디어를 내고 소규모 실험 후 확대하는 현재의 연구 과정을, 훨씬 더 자동화된 루프로 만드는 데 실질적 장애물은 없다고 본다
“[47:34] 사실상 여러분은 투입 컴퓨팅 단위당 발견을 최적화하고 싶은 것입니다.”
- [48:04] 2014년 Jeff Dean은 Geoffrey Hinton, Oriol Vinyals와 증류(distillation) 논문을 썼지만 NeurIPS에서 거절되었다
- [48:45] 리뷰어 중 한 명은 이 논문이 큰 영향을 미칠 가능성이 낮다고 판단했다
- [49:29] 그들은 논문을 arXiv에 올렸고 사람들이 읽고 사용했다
- [49:35] Google은 더 큰 프로 모델로부터 플래시 모델을 만드는 데 증류를 사용하며, 이것이 Gemini Flash 성능의 비결 중 하나다
Chapter 8: 진짜로 중요한 것을 만들기 (50:01-57:02)
- [50:18] 지금의 기술과 역량을 가진 25세 Jeff Dean이라면 프런티어 연구소에 갈지, 창업할지 묻는다
- [50:45] 그는 가장 중요한 기준으로 “정말로 관심 있는 일을 하고 있는가”를 든다
- [51:09] 아주 틈새적인 서비스라도 생화학자들에게 엄청난 도움이 될 수 있다
“[51:29] 여러분이 추구해야 할 것은 세상에 긍정적인 영향을 미치는 것입니다.”
- [51:58] 큰 조직에는 구조가 있고, 자신이 모르는 것을 아는 훌륭한 동료와 이미 수많은 사람에게 닿는 플랫폼이 있다
- [52:20] 아주 작은 스타트업에서는 자신이 열정을 느끼는 무언가가 반드시 있어야 하며, 위험이 크지만 믿을 수 없을 만큼 보람 있을 수 있다
“[52:50] 스스로에게 물어보십시오. 내가 이 문제를 다루고 최고의 결과가 나온다면, 세상이 어떤 방식으로든 훨씬 나아질 것인가?”
- [53:02] 세상이 그저 “괜찮긴 하다” 정도로 반응할 일이라면 시간을 쓸 만한 일이 아니다
- [54:04] 겸손하고 팀 플레이어이며, 자신의 기술과 상호 보완적인 기술을 가진 사람들을 원하게 된다
- [54:22] 팀이 함께 만드는 것은 아마 누구도 혼자서는 할 수 없는 일이다
“[54:40] 자신의 엔지니어링이나 연구 경력을 기법들로 가득 찬 훌륭한 도구 벨트로 보아야 합니다.”
- [54:51] 미래에 어떤 문제를 마주할지 알 수 없기 때문에, 도구가 많을수록 해결 가능성이 높아진다
- [55:38] 그는 특히 하드웨어에 대한 새로운 접근법에 관심이 많다고 말한다
- [55:50] 오늘날보다 훨씬 더 데이터 효율적인 완전히 다른 종류의 머신러닝 알고리즘이 있을 것이라고 본다
- [56:01] 오늘날 대규모 모델은 인간이 18세까지 접하는 것보다 아마 천 배는 많은 데이터를 보지만, 18세 인간은 여전히 많은 면에서 더 뛰어나다
- [56:19] 지속적으로 배우고 자신의 행동에서 배우는 시스템, 즉 지속 학습이 정말 흥미로운 주제다
- [56:31] 세상 사람들 사이에 더 나은 담론과 더 예의 바른 대화를 가능하게 하는 방법도 흥미로운 문제로 꼽는다
- [56:51] 세상에는 멋진 것들이 많고, 모두가 더 멋진 일들이 일어나도록 힘써야 한다고 마무리한다