Andrej Karpathy on Code Agents, AutoResearch, and the Loopy Era of AI

요약

  1. 코딩의 정의가 바뀌었다 — 이제는 에이전트에게 의지를 전달하고 병렬로 운영하는 것이 핵심 업무이며, 병목은 인간 자신이다.
  2. AutoResearch는 객관적 지표가 있는 연구를 자동화하며, 교육도 에이전트를 통한 개인 맞춤 전달로 재편될 것이다.
  3. 디지털 영역에서 대규모 언번들링이 먼저 오고, 물리-디지털 인터페이스를 거쳐 물리 세계로 확장되는 순서를 전망한다.

Andrej Karpathy 소개 (00:00-02:55)

  • [00:00] 이제는 ‘코딩하다’라는 동사 자체가 상황을 정확히 설명하지 못한다 — 하루 16시간 에이전트에게 의지를 전달하는 것이 핵심 업무
  • [00:14] 에이전트가 “당연한 것”으로 여겨지는 단계에 도달했고, 여러 인스턴스를 병렬로 운영하는 것이 자연스러워졌다
  • [01:27] 개인으로서 가능한 것들이 크게 열려 “끝없는 상태”, “AI 사이코시스” 같은 감각을 자주 느낀다
  • [01:46] 직접 코딩 vs 에이전트 위임의 비율이 80:20에서 20:80으로 뒤집혔고, 12월 이후로는 코드를 직접 타이핑한 적이 거의 없다
  • [02:14] 소프트웨어 엔지니어의 기본 워크플로가 12월을 기점으로 사실상 완전히 달라졌다

“[01:30] 항상 AI 사이코시스 같은 상태에 있는 것처럼요”

역량 한계와 에이전트 운용 (02:55-06:15)

  • [03:36] 일이 잘 안 될 때 대체로 “스킬 이슈”로 느낀다 — 역량은 거기에 있지만 엮어내는 방법을 아직 못 찾은 것
  • [04:03] 피터 스타인버그의 사례: 모니터를 Codex 에이전트들로 타일처럼 채워 10개의 리포지토리를 오가며 일을 분배
  • [04:21] 작업 단위가 “여기 한 줄 코드”가 아니라 “새 기능을 에이전트에게 위임”하는 매크로 액션으로 변화
  • [04:43] 역할 분담: 어떤 에이전트는 리서치, 다른 에이전트는 코딩, 또 다른 에이전트는 계획 수립
  • [05:30] 최대 성능 시스템에서 병목은 결국 “당신(인간)“이 된다

“[05:30] 병목은 당신이 되기 때문입니다.”

코딩 에이전트 마스터리 (06:15-11:16)

  • [09:00] 에이전트 운용에서 “성격(personality)” 설정이 매우 중요하다는 관점
  • [09:10] 메모리 시스템도 중요한 구성요소로 언급
  • [09:31] “엘프 클로드 도비” — 집을 돌봐주는 에이전트로 스마트홈 하위 시스템들을 로컬 네트워크에서 자동 발견하여 제어
  • [09:46] “집에 Sonos가 있는 것 같다”고 말하면 IP 스캔을 수행해 장치를 찾아내는 자연어 인터페이스

“[09:31] 제 집을 돌봐 주는 클로드가 하나 있는데, 저는 그를 ‘엘프 클로드 도비’라고 부릅니다.”

자연어 코딩의 2차 효과 (11:16-15:51)

  • [13:29] LLM이 도구를 정확히 호출할 수 있는 단계에 진입 — 에이전트는 각 부분을 “도구 호출로 이어주는 지능의 접착제”
  • [13:44] 모든 것이 “노출된 API 엔드포인트”가 되어야 하는 방향으로 재편
  • [14:16] 고객이 더 이상 사람이 아니라 에이전트가 되는 구조 — 업계의 대규모 리팩터링 예고
  • [14:44] 1~3년 안에는 바이브 코딩 없이도 이런 작업이 기본으로 가능해져야 한다
  • [15:10] 진입 장벽이 내려가면 “잠깐 만들어졌다 사라지는 소프트웨어”가 생길 것

“[14:50] 이건 어떤 AI든, 심지어 오픈 소스 모델도 할 수 있어야 하는 수준입니다.”

AI 시대 필요 역량 (22:45-28:25)

  • [22:51] LLM, 에이전트, 멀티 인스턴스, 지시 최적화 등 가능성이 “양파의 층처럼 겹겹이” 쌓여 있고, 모든 것이 “스킬 이슈”
  • [23:46] AutoResearch가 잘 맞는 문제의 핵심 단서: “객관적인 지표”가 있어 평가하기 쉬운 영역 (예: CUDA 커널 최적화)
  • [24:07] “평가할 수 없다면 AutoResearch를 할 수 없다”
  • [24:37] 모델과의 상호작용이 “대단히 뛰어난 박사과정 학생” 같기도 하고 “10살 아이” 같기도 한 들쭉날쭉함
  • [25:36] 검증 가능한 영역(유닛 테스트 통과 여부)에서는 모델이 뛰어나지만, 사용자 의도 파악 같은 “소프트한” 영역은 여전히 약하다
  • [26:19] 최첨단 모델에 농담을 요청하면 3~4년 전과 같은 농담이 나오는 한계

“[24:40] 대단히 뛰어난 박사과정 학생이자 평생 시스템 프로그래머 같기도 하고 10살 아이 같기도 합니다.”

고용 시장 데이터 분석 (37:28-48:25)

  • [38:09] AI가 고용 시장에 미칠 영향에 대해 “고용 시장이 실제로 어떤 모습인지” 직접 데이터로 보고 싶었다
  • [39:11] 현재 AI는 “더 디지털한 AI” — 물리적 존재 없이 디지털 정보를 조작하는 “유령 같은” 형태
  • [39:30] 비트를 다루는 디지털 능력은 물질을 가속하는 것보다 “백만 배” 빠르게 발전
  • [41:38] 현재로선 AI는 기본적으로 “역량을 강화해주는 도구” — 직업은 여러 과업의 묶음이고, 도구로 과업을 훨씬 빨리 처리
  • [42:22] 제번스의 역설: ATM이 창구 직원을 대체할 거라 했지만, 지점 운영비가 낮아져 오히려 직원이 늘었다
  • [42:56] 소프트웨어 엔지니어링에 대해 “조심스럽게 낙관적” — 수요는 매우 클 것
  • [44:06] OpenAI에서 “우리가 성공하면 결국 우리 모두 일자리를 잃는다”고 말하곤 했다
  • [46:23] 프런티어 랩 밖에서는 조직 압박이 덜해 “인류와 같은 편”에 선 느낌을 더 받는다

“[41:46] 지금은 무엇보다 ‘도구’로 생각해야 합니다.”

“[44:06] 우리가 성공하면 결국 우리 모두 일자리를 잃는다는 사실을 깨닫고 있냐고 말하곤 했습니다.”

오픈소스 vs 폐쇄형 모델 (48:25-53:51)

  • [49:33] 폐쇄형 모델이 앞서지만, 오픈소스 격차가 18개월에서 6~8개월로 수렴 중
  • [49:54] LLM도 운영체제처럼 큰 소프트웨어 프로젝트화될 수 있으며, 리눅스처럼 오픈 플랫폼이 공존할 것
  • [50:03] 리눅스가 약 60%의 컴퓨터에서 구동 — 업계는 항상 개방형 플랫폼의 존재를 요구해왔다
  • [54:00] 소수만 모이는 폐쇄적 방향은 “좋은 미래가 아니다” — 연구소가 더 많아지고 오픈 소스도 역할을 해야

“[49:45] 최근 기준으로는 한 8개월, 6개월에서 8개월 정도 뒤처져 있는 셈입니다.”

자율 로보틱스 (53:51-1:00:59)

  • [54:42] 자율주행은 “첫 번째 로보틱스 응용” — 대부분의 자율주행 스타트업은 장기적으로 살아남지 못했다
  • [55:03] 로보틱스는 막대한 자본 지출과 큰 확신이 필요하며, 물리적인 것들은 디지털보다 뒤처질 것
  • [55:17] 디지털 공간에서는 “대규모 언번들링”으로 효율이 거의 100배 수준으로 개선 가능
  • [56:37] 전개 순서: 대규모 언번들링(디지털) → 물리-디지털 인터페이스(센서/액추에이터) → 물리 세계
  • [57:05] 물리 세계의 TAM은 디지털보다 더 클 수 있지만, 원자는 “백만 배” 더 어렵기 때문에 시간이 걸린다
  • [58:20] Periodic 사례: 재료과학을 위한 “오토 리서치” — 센서가 비싼 실험실 장비인 경우

“[57:20] 원자, 즉 물질은 백만 배는 더 어렵습니다.”

MicroGPT와 에이전트 교육 (1:00:59-1:05:40)

  • [01:03:10] 이제 사람에게 직접 설명하지 않고 에이전트에게 설명 — 에이전트가 라우터 역할로 사용자 맞춤 설명 제공
  • [01:03:34] 교육의 재편: 에이전트에게 “스킬”을 만들어 커리큘럼을 스크립트화하는 방식으로 전환
  • [01:04:37] 문서화도 변화: 사람을 위한 HTML 문서 대신 “에이전트를 위한 Markdown 문서”를 둬야
  • [01:05:05] MicroGPT를 에이전트에게 작성하게 시도했지만 실패 — 200줄로 신경망을 최대한 단순화하는 것은 인간의 “집착의 종착점”
  • [01:05:57] “에이전트가 못 하는 일이 이제 당신의 일” — 무엇에 시간을 쓸지 전략적으로 결정해야

“[01:05:57] 에이전트가 못 하는 일이 이제 당신의 일입니다.”

“[01:06:03] 그래서 무엇에 시간을 쓸지 전략적으로 정해야 합니다.”