Jim Fan

NVIDIA Senior Research Manager, GR00T & Foundation Agent 연구

Jim Fan (范麟熙)

Home > People > Jim Fan

Profile

항목내용
현직NVIDIA Senior Research Manager
팀GEAR Lab (Generalist Embodied Agent Research)
PhDStanford University
지도교수Fei-Fei Li
SNS활발한 AI 커뮤니케이터 (100K+ 팔로워)

핵심 기여

  • GR00T: NVIDIA 휴머노이드 로봇 파운데이션 모델
  • Voyager: LLM 기반 Minecraft 자율 에이전트
  • MineDojo: Minecraft 기반 AI 벤치마크
  • Foundation Agent 비전: 범용 에이전트 연구 방향 제시

Research Timeline

Stanford PhD (2016-2022)

Fei-Fei Li 지도

YearWorkImpact
2018Video Understanding비디오 이해 연구
2021MineDojoMinecraft AI 벤치마크, NeurIPS Outstanding Paper
2022PhD 졸업

NVIDIA (2022-present)

GEAR Lab 설립 & 운영

YearWorkImpact
2022NVIDIA 입사GEAR Lab 설립
2023VoyagerLLM + Minecraft 자율 탐험
2023EurekaLLM으로 reward function 생성
2024GR00T휴머노이드 파운데이션 모델
2025GR00T N1오픈 휴머노이드 VLA

Major Publications

Foundation Agent

  • Voyager (2023) - LLM 기반 자율 Minecraft 에이전트
  • MineDojo (NeurIPS 2022 Outstanding Paper) - Minecraft AI 벤치마크
  • Eureka (2023) - LLM으로 reward function 자동 생성

Robotics

  • GR00T (GTC 2024) - 휴머노이드 파운데이션 모델
  • GR00T N1 (2025) - 오픈 휴머노이드 VLA

Key Ideas

Voyager (2023)

핵심: LLM이 코드를 작성하며 Minecraft 자율 탐험

구성:
1. Automatic Curriculum - LLM이 다음 목표 제안
2. Skill Library - 발견한 스킬 저장/재사용
3. Iterative Prompting - 실패 시 LLM이 코드 수정

결과:
- 인간 개입 없이 다이아몬드 도구까지 제작
- 기존 방법 대비 3.3배 빠른 기술 습득

영향:

  • LLM + 게임 에이전트 연구의 시작
  • Embodied AI에서 LLM 활용 방향 제시

GR00T (2024)

핵심: 휴머노이드 로봇을 위한 범용 파운데이션 모델

구조:
- Dual-system (System 1 + System 2)
- VLM + Diffusion Transformer
- Synthetic data 대규모 활용

특징:
- 자연어 이해
- 인간 동작 모방
- 다양한 휴머노이드 지원

영향:

  • 최초 오픈 휴머노이드 파운데이션 모델 (N1)
  • NVIDIA 로봇 생태계의 핵심

GEAR Lab Vision

Foundation Agent

목표: 하나의 에이전트가 다양한 환경에서 다양한 태스크 수행

게임 (Minecraft) → 시뮬레이션 (Isaac) → 실제 로봇

핵심:
- LLM의 reasoning 능력 활용
- Simulation에서 대규모 학습
- 다양한 embodiment 지원

NVIDIA 전략과의 연계

  • Isaac Sim: 시뮬레이션 환경
  • Omniverse: 합성 데이터 생성
  • Jetson: 엣지 컴퓨팅
  • GR00T: 파운데이션 모델

Philosophy & Direction

연구 철학

“게임에서 성공한 에이전트가 실제 세계에서도 성공할 수 있다. 범용성이 핵심이다.”

연구 방향

  1. 2016-2021: Video understanding, MineDojo
  2. 2022-2023: LLM + games (Voyager, Eureka)
  3. 2024-현재: Humanoid robotics (GR00T)

Communication & Influence

활발한 SNS 활동

  • Twitter/X: 100K+ 팔로워
  • AI 연구 해설, 비전 공유
  • 업계 뉴스 큐레이션

대중 소통

  • 복잡한 AI 연구를 쉽게 설명
  • AI 연구의 방향성 논의
  • 연구자-대중 소통의 모범

Awards & Recognition

  • NeurIPS 2022 Outstanding Paper (MineDojo)
  • Stanford AI Lab 출신

See Also