Jeff Dean: AI 구축을 위한 1% 규칙

요약

  1. Jeff Dean은 AI 시대의 핵심 병목이 모델 자체만이 아니라 지연 시간, 에너지, 데이터 이동, 추론 하드웨어 같은 시스템 문제에 있다고 설명한다.
  2. TPU, MapReduce, 증류, 컨텍스트 엔지니어링, 장기 실행 에이전트 사례를 통해 큰 돌파구는 대담한 가정 검토와 빠른 실험 루프에서 나온다고 말한다.
  3. 창업자와 엔지니어에게는 중요한 문제를 고르고, 좋은 사람들과 일하며, 도구와 스킬을 계속 늘려 세상에 긍정적 영향을 만드는 것이 중요하다고 조언한다.

Chapter 1: Google 검색을 바꾼 RAM 전환 (02:39-04:32)

  • [02:42] 2001년 당시 Google 검색은 하드 드라이브 기반으로 실행되고 있었다
  • [02:52] Jeff Dean과 Sanjay Ghemawat은 계산을 통해, 어느 시점에 Google의 전체 검색 인덱스가 운영 중인 모든 컴퓨터의 RAM 안에 들어갈 수 있음을 깨달았다
  • [03:06] 두 사람은 며칠 만에 하드 드라이브가 아닌 RAM에서 작동하는 새 검색 버전을 프로덕션에 출시했다

“[03:15] 그리고 그것이 Google 검색을 그렇게 빠르게 만든 일이었습니다.”

  • [03:25] 진행자는 2026년 현재에도 창업자들이 설계해야 할 “메모리에 들어가는” 순간이 무엇인지 묻는다
  • [03:39] Jeff Dean은 앞으로 고성능 추론 하드웨어와 저전력 추론 하드웨어 시스템이 모두 중요해질 것이라고 본다
  • [04:02] 하드웨어 전문화는 에너지 효율과 낮은 지연 시간을 달성하는 핵심 방법으로 제시된다

“[04:22] 기다리는 것은 재미없습니다.”

  • [04:31] 지연 시간이 50배 개선된다면 무엇이 가능할지 상상해 보라고 말한다

Chapter 2: TPU로 이어진 냅킨 계산 (05:58-09:12)

  • [06:19] 2013년, 모든 Google 사용자가 하루 3분만 음성 인식을 사용한다는 가정으로 계산했다
  • [06:27] 그 정도 사용량만으로도 Google의 서버 플릿을 두 배로 늘려야 한다는 결론이 나왔다
  • [07:00] 새 딥러닝 음성 시스템은 계산 비용은 더 컸지만 오류율은 절반이었다
  • [07:06] 모델 조정과 규모 확대, 더 나은 데이터만으로 음성 인식에서 20년치 발전에 해당하는 개선이 있었다

“[07:45] 그래서 TPU를 생각해 냈습니다.”

  • [07:47] TPU는 본질적으로 저정밀도 밀집 선형대수에 매우 특화된 하드웨어이며, 이는 현대 머신러닝 알고리즘의 핵심이다
  • [08:11] 실제로 만들어진 TPU 칩은 당시 CPU·GPU보다 에너지 효율이 30~80배 높았다
  • [08:23] 지연 시간 측면에서도 약 20~30배 낮았다
  • [08:41] TPU가 발명된 훨씬 뒤에야 트랜스포머가 등장했기에, 지나치게 좁은 장치가 아니라 범용 선형대수 시스템으로 만들었다
  • [08:56] 동시에 충분히 특화되어 매우 큰 곱셈 장치, 고속 메모리, 고속 인터커넥트를 탑재할 수 있었다

Chapter 3: AI는 왜 에너지 문제인가 (12:32-16:08)

  • [12:40] 창업자들이 “모델 문제”라고 부르는 것 중 상당수는 실제로 에너지 문제이거나 데이터 I/O 문제일 수 있다
  • [12:50] 데이터를 이동하는 것과 실제 계산을 수행하는 것 사이에는 에너지 관점에서 약 1,000배 차이가 난다
  • [13:12] 그래서 배칭이 필요하며, 많은 예시나 토큰을 한 번에 처리해 데이터 이동 비용을 상각해야 한다
  • [13:31] 다만 매우 낮은 지연 시간이 필요한 경우에는 배칭이 좋은 해결책이 되기 어렵다

“[13:40] 우리가 사용하는 컴퓨터 하드웨어의 여러 결정 뒤에 있는 에너지가 정말로 상위 수준 시스템을 구축할 때 내리는 많은 결정에 큰 영향을 미친다고 생각합니다.”

  • [14:42] Jeff Dean은 최근 훈련보다 추론에 대해 더 많이 생각하고 있다고 답한다
  • [14:55] 추론은 극도로 낮은 지연 시간이 요구되기에, 오늘날보다 하드웨어를 더 전문화할 여지가 많다고 본다
  • [15:21] 필요한 정밀도가 무엇인지 충분히 좋은 답이 있다면, 그 정밀도만 하드웨어에 내장하고 다른 기능은 넣지 않을 수 있다
  • [15:39] AI의 전체 과정이 거대한 압축 문제라는 비유가 소개된다

“[15:53] 데이터를 진정으로 이해한다면 그것을 정말 잘 압축할 수 있어야 합니다.”

Chapter 4: 컨텍스트 엔지니어링의 다음 전선 (16:15-19:35)

  • [16:22] 최근 몇 년 사이 모델의 크기·파라미터 수·데이터 양뿐 아니라 모델 주변 요소들이 점점 더 중요해졌다
  • [16:30] 검색, 도구, 메모리, 에이전트 도구 등이 “컨텍스트 엔지니어링”이라는 개념으로 통합된다
  • [17:17] 컨텍스트에 넣은 정보는 수조 개 토큰과 파라미터 속에 뒤섞인 훈련 데이터와 달리 모델에게 매우 명확하게 보인다
  • [17:48] 문제를 일련의 도구 호출로 어떻게 분해할지 결정하는 능력이 중요하다
  • [17:57] 복잡한 에이전트의 오케스트레이션과 멀티 에이전트 시스템은 앞으로 점점 더 중요해질 것이다
  • [18:16] 과거에는 모델 훈련에 막대한 자원·GPU·데이터 접근 권한이 필요했지만, 컨텍스트 엔지니어링은 훨씬 접근 가능하다

“[18:46] 정말 좋은 방법은 이런 모델과 하네스, 도구 등을 활용해서 문제를 해결해 보는 것입니다.”

  • [18:57] 실제 문제를 풀어 보면 모델이 어디에서 실패하는지 관찰할 수 있다
  • [19:08] 개선은 모델 파라미터 조정이 아니라 모델을 위한 더 나은 지침을 만드는 방식으로 가능하다
  • [19:25] 이런 작업을 반복하면 문제 해결에 쓰려는 설정 자체가 스스로 개선되는 흐름에 이를 수 있다

Chapter 5: 장기 실행 에이전트가 실패하는 이유 (22:12-25:16)

  • [22:26] 에이전트는 10단계 정도까지는 잘 작동하지만 50단계쯤에서 흔들리기 시작한다

“[22:41] 분명히 저희는 에이전트가 매우 긴 시간 동안 실행될 수 있기를 원합니다.”

  • [23:02] 실패의 한 이유는 모델이 경험이 많지 않은 일을 하려고 하기 때문이다
  • [23:11] 모델이 할 줄 아는 것들의 분포에서 조금만 벗어나도 성능이 갑자기 저하되기 시작한다
  • [23:33] 첫 번째 완화책은 스킬과 힌트를 제공해 모델이 자신이 잘하는 “밝게 비춰진 경로” 안에 머물도록 돕는 것이다

“[23:40] 또 하나는 멀티 에이전트 시스템을 갖추는 것이라고 생각합니다.”

  • [23:49] 여러 에이전트가 서로 다른 접근법을 시도하고, 다른 모델이 각 접근법의 유망함을 평가할 수 있다
  • [24:09] 작동하지 않거나 궤도를 벗어난 접근법은 버리고, 유망한 것만 이어간다
  • [24:18] 추론 시간의 연산으로 해법 공간을 탐색하면 장기 실행 에이전트의 성능과 신뢰성이 훨씬 높아진다
  • [24:43] Google 내부에는 코딩·코드 리뷰·성능 측정·로그 파일 가져오기 등 내부 도구 사용법을 알려주는 스킬 집합이 있다
  • [25:06] 모델이 독점 시스템에서 로그를 가져오는 방식을 훈련받지 않았더라도, 적절한 스킬 정의가 있으면 작동하게 만들 수 있다

Chapter 6: 가장 큰 가정에 질문하기 (36:35-42:03)

“[36:47] 대부분의 사람들이 당연하게 여기는 것들을 당연한 것으로 받아들이지 않는 것이 말입니다.”

  • [37:03] 지난 60년간 칩 산업은 오류율이 매우 낮은, 점점 더 작은 트랜지스터를 만드는 데 막대한 노력을 기울여 왔다
  • [37:22] 핵심 가정은 동일 설계로 제조된 모든 칩이 동일하게, 결정적으로 동작해야 한다는 것이다
  • [37:44] 반면 대규모 분산 시스템에서는 신뢰할 수 없는 부품들로 신뢰할 수 있는 전체 시스템을 만든다
  • [38:04] 데이터 사본 세 개를 서로 다른 기계와 랙에 배치하고, 리드-솔로몬 인코딩 같은 기법도 쓴다

“[38:31] 트랜지스터들로 이루어진 시스템인데, 말하자면 백만 년에 한 번이 아니라 하루에 20번 오류가 날 수 있는 트랜지스터 말입니다.”

  • [38:59] 극도로 신뢰할 수 없는 트랜지스터를 전제하면, 신호가 반드시 도착하도록 여러 중복 경로로 보내는 설계가 가능해진다
  • [39:21] 지난 50년 동안 특정 방식으로 해 온 데에는 대개 좋은 이유가 있지만, 그 가정들을 가끔 다시 살펴보는 것은 좋다
  • [39:39] 인간 뇌의 신호도 특별히 신뢰성이 높지 않으며, 중요한 신호에는 여러 경로가 사용된다
  • [40:09] 실제로 잘 풀린 사례로 TPU를 든다 — 문제 영역이 중요해 보이기 전부터 하드웨어 특화를 가정했다
  • [40:44] MapReduce는 크롤링·인덱싱 시스템에서 수작업 병렬화·체크포인팅 코드가 단순한 작업과 뒤섞이던 문제에서 출발했다
  • [41:31] 문제를 조금 다르게 보면 MapReduce 추상화를 만들 수 있고, 그 아래에 모든 신뢰성 메커니즘을 넣을 수 있다는 것을 깨달았다

Chapter 7: 더 나은 AI를 만드는 AI (42:07-49:56)

  • [42:16] AlphaChip은 칩 배치를 수행하고, AlphaEvolve는 해법을 제안·평가한 뒤 작동하는 것을 유지한다

“[42:33] 제 생각에는 더 일반적으로는 과학적 방법의 일종의 토대가 있습니다.”

  • [42:56] 중요한 변화는 몇 가지가 아니라 아주 많은 실험을 실행할 수 있게 된 점이다
  • [43:28] 높은 수준의 목표를 하위 문제로 나누고, 각 하위 문제마다 최선의 방법을 탐색하는 자동화 루프를 돌리는 오케스트레이션 프레임워크가 중요하다

“[43:53] 그것은 정말 큰 영향을 줄 것입니다.”

  • [44:22] 많은 경우 평가기를 훨씬 더 빠르게 만들어야 한다
  • [44:47] 양자화학 사례: 기존에는 밀도 범함수 이론 시뮬레이터로 답 하나에 하룻밤이 걸렸다
  • [45:20] 시뮬레이터 출력으로 신경망 근사 모델을 학습시켜 30만 배 더 빠른 검증 모델을 만들었고, 정확도는 거의 같았다
  • [45:37] 천만 개를 선별하는 데 6개월치 컴퓨팅이 필요하던 일을 이제는 점심 먹으러 가는 동안 할 수 있다
  • [47:05] 사람이 아이디어를 내고 소규모 실험 후 확대하는 현재의 연구 과정을, 훨씬 더 자동화된 루프로 만드는 데 실질적 장애물은 없다고 본다

“[47:34] 사실상 여러분은 투입 컴퓨팅 단위당 발견을 최적화하고 싶은 것입니다.”

  • [48:04] 2014년 Jeff Dean은 Geoffrey Hinton, Oriol Vinyals와 증류(distillation) 논문을 썼지만 NeurIPS에서 거절되었다
  • [48:45] 리뷰어 중 한 명은 이 논문이 큰 영향을 미칠 가능성이 낮다고 판단했다
  • [49:29] 그들은 논문을 arXiv에 올렸고 사람들이 읽고 사용했다
  • [49:35] Google은 더 큰 프로 모델로부터 플래시 모델을 만드는 데 증류를 사용하며, 이것이 Gemini Flash 성능의 비결 중 하나다

Chapter 8: 진짜로 중요한 것을 만들기 (50:01-57:02)

  • [50:18] 지금의 기술과 역량을 가진 25세 Jeff Dean이라면 프런티어 연구소에 갈지, 창업할지 묻는다
  • [50:45] 그는 가장 중요한 기준으로 “정말로 관심 있는 일을 하고 있는가”를 든다
  • [51:09] 아주 틈새적인 서비스라도 생화학자들에게 엄청난 도움이 될 수 있다

“[51:29] 여러분이 추구해야 할 것은 세상에 긍정적인 영향을 미치는 것입니다.”

  • [51:58] 큰 조직에는 구조가 있고, 자신이 모르는 것을 아는 훌륭한 동료와 이미 수많은 사람에게 닿는 플랫폼이 있다
  • [52:20] 아주 작은 스타트업에서는 자신이 열정을 느끼는 무언가가 반드시 있어야 하며, 위험이 크지만 믿을 수 없을 만큼 보람 있을 수 있다

“[52:50] 스스로에게 물어보십시오. 내가 이 문제를 다루고 최고의 결과가 나온다면, 세상이 어떤 방식으로든 훨씬 나아질 것인가?”

  • [53:02] 세상이 그저 “괜찮긴 하다” 정도로 반응할 일이라면 시간을 쓸 만한 일이 아니다
  • [54:04] 겸손하고 팀 플레이어이며, 자신의 기술과 상호 보완적인 기술을 가진 사람들을 원하게 된다
  • [54:22] 팀이 함께 만드는 것은 아마 누구도 혼자서는 할 수 없는 일이다

“[54:40] 자신의 엔지니어링이나 연구 경력을 기법들로 가득 찬 훌륭한 도구 벨트로 보아야 합니다.”

  • [54:51] 미래에 어떤 문제를 마주할지 알 수 없기 때문에, 도구가 많을수록 해결 가능성이 높아진다
  • [55:38] 그는 특히 하드웨어에 대한 새로운 접근법에 관심이 많다고 말한다
  • [55:50] 오늘날보다 훨씬 더 데이터 효율적인 완전히 다른 종류의 머신러닝 알고리즘이 있을 것이라고 본다
  • [56:01] 오늘날 대규모 모델은 인간이 18세까지 접하는 것보다 아마 천 배는 많은 데이터를 보지만, 18세 인간은 여전히 많은 면에서 더 뛰어나다
  • [56:19] 지속적으로 배우고 자신의 행동에서 배우는 시스템, 즉 지속 학습이 정말 흥미로운 주제다
  • [56:31] 세상 사람들 사이에 더 나은 담론과 더 예의 바른 대화를 가능하게 하는 방법도 흥미로운 문제로 꼽는다
  • [56:51] 세상에는 멋진 것들이 많고, 모두가 더 멋진 일들이 일어나도록 힘써야 한다고 마무리한다