엔비디아의 공급망 해자 (00:00-16:23)
- [00:32] “무언가가 전자를 토큰으로 변환해야 한다” — 엔비디아의 본질적 역할 정의
- [00:46] 전자→토큰 변환과 토큰 가치를 높이는 과정은 “완전히 상품화하기 어렵다”
- [01:50] 입력(전자)과 출력(토큰) 사이에 엔비디아가 위치하며, 핵심은 변환을 가능하게 하는 것
“[01:50] 입력은 전자이고 출력은 토큰입니다.”
- [02:16] 엔비디아는 상·하류 전반에 걸친 “가장 큰 파트너 생태계” 보유
- [02:26] AI를 “5층짜리 케이크”에 비유, 5개 층 전체에 걸친 생태계
- [04:32] 파운드리/메모리/패키징 구매 약정이 약 1,000억~2,500억 달러 규모
- [05:01] 희소 부품 선점은 “다른 사람이 하기 어려운 일”
“[05:01] 그것은 우리가 할 수 있지만 다른 사람들이 하기는 어려운 일들 중 하나입니다.”
- [07:27] GTC 키노트가 교육적인 이유: 상·하류 생태계가 체계적으로 추론하도록 만들기 위함
- [10:25] CoWoS 용량을 “두 배, 두 배, 또 두 배”로 여러 차례 확장
- [10:54] CoWoS와 HBM이 이제 “주류 컴퓨팅 기술”로 인식 전환
- [12:06] Lumentum, Coherent, 실리콘 포토닉스 생태계와의 투자로 공급망 재편
- [14:10] 병목 해소는 2~3년이면 가능, 핵심은 “수요 신호”
“[15:04] 어떤 병목도 2~3년 이상 지속되지는 않습니다.”
- [15:36] 진짜 걱정은 하류의 에너지 정책 — 에너지 없이는 재산업화도 AI 공장도 불가
TPU/ASIC 경쟁과 가속 컴퓨팅 (16:23-33:18)
- [16:47] 엔비디아가 만든 것은 TPU가 아니라 “가속 컴퓨팅” — 경쟁축을 패러다임으로 전환
“[16:47] Nvidia가 만든 것은 텐서 처리 장치가 아니라 가속 컴퓨팅입니다.”
- [17:38] 시장 도달 범위가 TPU/ASIC보다 훨씬 크고, 모든 클라우드에 존재
- [18:02] 엔비디아 시스템은 “다른 사람들이 운영하도록” 설계 — 전용 시스템과의 차별점
- [19:21] TPU로는 불가능하지만 엔비디아가 다룰 수 있는 응용이 다수 존재
- [21:13] 새 어텐션 메커니즘, 하이브리드 SSM 등 새 아키텍처에는 “프로그래밍 가능한 아키텍처” 필수
- [22:15] 10배~100배 도약의 유일한 방법은 매년 알고리즘을 “근본적으로” 바꾸는 것
“[22:15] 진정으로 10배나 100배의 도약을 이루는 유일한 방법은 매년 알고리즘과 그 계산 방식을 근본적으로 바꾸는 것입니다.”
- [22:33] Blackwell의 Hopper 대비 에너지 효율 35~50배 향상 — 무어의 법칙만으로는 불가
- [23:15] 강점은 “프로그래머블 아키텍처 + 극단적 공동 설계(co-design)“의 결합
- [28:02] 수억 개의 GPU가 전 세계 모든 클라우드에 배치 — 설치 기반의 힘
- [31:10] GPU를 “F1 레이서”에 비유: 한계 성능을 끌어내려면 전문성이 필수
- [32:16] TCO 대비 성능 세계 최고, “단 한 회사도” 더 나은 비율을 입증하지 못함
“[32:16] 엔비디아의 컴퓨팅 스택은 전 세계에서 TCO 대비 성능이 최고이며, 예외가 없습니다.”
- [32:42] TPU도 Trainium도 InferenceMAX/MLPerf 벤치마크에 등장하지 않는다
CUDA 생태계와 Anthropic 이야기 (30:21-40:20)
- [37:01] Anthropic은 “추세가 아니라 특이한 사례” — TPU 성장의 100%가 Anthropic
- [37:55] 현재의 위치는 계속 “벌어야” 한다
“[37:55] 우리는 지금의 위치를 계속해서 벌어야 합니다.”
- [38:02] “취소된 ASIC”이 얼마나 많은지 보라 — ASIC이 엔비디아보다 나으려면 엔비디아가 무언가를 놓쳐야 함
- [38:44] 엔비디아 마진 70% vs ASIC 마진 65%라면 “대체 무엇을 절약하느냐”
- [39:12] Anthropic 초기에 투자하지 못한 것이 “실수” — 당시엔 그 규모의 외부 투자를 해본 적이 없었음
- [40:27] “같은 실수를 다시는 반복하지 않겠다”
“[40:27] 같은 실수를 다시는 반복하지 않겠습니다.”
왜 엔비디아는 하이퍼스케일러가 되지 않나 (41:02-56:08)
- [41:15] OpenAI에 최대 300억, Anthropic에 최대 100억 달러 투자 보도
- [42:42] 파운데이션 연구소가 하려던 일은 VC 자금만으로는 불가능했음
“[42:42] 하지만 그들이 하려던 일은 VC 자금만으로는 할 수 없는 일이었습니다.”
- [51:49] GPU 배분은 “시장을 쪼개는” 것이 아님 — “전제가 틀렸다”
- [52:49] 기본 원칙은 “선입선출”이며, PO를 넣어야 함
- [54:17] 최고가 입찰은 “나쁜 사업 관행” — 가격의 예측 가능성이 핵심
“[54:17] 그건 나쁜 사업 관행이기 때문입니다.”
- [55:14] TSMC와 약 30년 거래하면서 법적 계약 없이 “거친 공정함”으로 유지
- [55:37] 로드맵: Vera Rubin → Vera Rubin Ultra → Feynman — 매년 빠짐없이 출시
- [56:08] 토큰 비용은 “매년 10배씩” 줄어들 것
중국 AI 칩 수출 논쟁 (57:35-01:35:02)
- [58:44] Mythos급 모델은 “비교적 평범한 연산 자원”으로 학습 가능 — 중국에서도 충분히 가능
- [59:14] 중국이 전 세계 주류 칩의 60% 이상 생산, 세계 2위 컴퓨팅 시장
- [59:39] 전 세계 AI 연구자의 50%가 중국인
- [01:00:08] 중국은 “적”이 아니라 “경쟁 상대” — 연구 대화가 필수적
- [01:03:14] “두 개의 생태계를 만드는 것은 극도로 어리석다”
“[01:03:14] 두 개의 생태계를 만드는 것은 극도로 어리석은 일입니다.”
- [01:04:07] 핵심은 미국이 더 많은 FLOPS로 “먼저 도달”해 사회를 준비시키는 것
- [01:05:58] AI는 병렬 컴퓨팅 문제 — 에너지가 충분하면 칩을 4배, 10배 더 붙여 보완 가능
- [01:06:37] “중국이 AI 칩을 가질 수 없다는 생각은 완전히 말이 안 된다”
“[01:06:37] 중국이 AI 칩을 가질 수 없다는 생각은 완전히 말이 안 됩니다.”
- [01:07:10] AI를 “5겹 케이크”로 비유 — 최하단은 에너지, 에너지 풍부 시 칩 부족 보완 가능
- [01:12:52] Huawei 910C는 H200 대비 “절반~3분의 1” 성능이지만 “두 배 더 써서” 보완
- [01:18:45] AI는 모델이 아니라 “5단 케이크” — 모든 층에서 미국이 승리해야 함
“[01:18:45] AI는 단지 모델이 아닙니다. AI는 5단 케이크입니다.”
- [01:19:44] AI 개발자의 50%가 중국 — 이를 “포기해서는 안 된다”
- [01:20:26] 시장을 잃는다는 전제는 “패배자 전제” — 컴퓨팅은 자동차처럼 쉽게 갈아타는 시장이 아님
“[01:20:42] 우리는 자동차가 아닙니다.”
- [01:23:20] “우리는 농축 우라늄이 아니다” — 칩은 무기가 아니며 중국도 자체 생산 가능
- [01:30:38] 수출 통제 정책이 “세계 2위 시장을 아무 이유 없이 포기”하게 만들었다고 비판
- [01:31:29] 절대론 대신 “뉘앙스와 성숙함”이 필요
- [01:32:32] “무어의 법칙은 죽었다” — 호퍼→블랙웰은 트랜지스터 75% 개선이지만 성능은 50배, 핵심은 아키텍처
- [01:34:06] 중국 떠나기를 강제하는 정책은 “정책적 실수” — 중국 칩 산업을 오히려 가속
“[01:34:06] 그것은 정책적 실수입니다.”
칩 아키텍처 전략과 마무리 (01:35:02-01:43:06)
- [01:36:16] 구형 노드로 돌아가는 것은 감당 불가 수준의 R&D — “앞으로 나아갈 여유는 있지만 뒤로 갈 여유는 없다”
- [01:37:04] 다른 아키텍처를 동시 추진하지 않는 이유: 시뮬레이션하면 “증명 가능하게 더 나쁘다”
“[01:37:14] 시뮬레이터에서 전부 시뮬레이션하면 증명 가능하게 더 나쁩니다.”
- [01:37:49] Groq를 추가하고 CUDA 생태계에 통합 예정 — 토큰 가치가 높아지며 저지연 추론 세그먼트 등장
- [01:38:07] “프리미엄 토큰” 개념: 같은 모델이라도 응답 시간에 따라 다른 세그먼트·가격 가능
- [01:39:39] AI가 없었어도 가속 컴퓨팅으로 “매우 큰 회사”가 됐을 것
- [01:42:21] 범용 컴퓨팅 한계 속에서 어디서든 PC·GeForce로 놀라운 과학을 할 수 있게 하겠다는 “근본적인 약속”은 변하지 않음