Chapter 1: 연사 소개와 배경 (00:00-02:25)
- [00:01] Sunday Robotic의 CTO이자 공동창업자인 Cheng Chi 소개
- [00:10] 미시간대 학부에서 Dimitri Berenson 교수 지도로 첫 연구 시작
- [00:29] 박사과정은 Sharon Song 교수 지도하에 컬럼비아대 → 스탠퍼드로 이동
- [00:45] 박사과정 주요 연구: Diffusion Policy — 이후 Flow Matching, 비디오/행동 생성, 로코모션 등 다양한 분야로 확산
- [01:09] 마지막 연구 Universal Manipulation Interface(UMI) — 소프트웨어보다 하드웨어 프로젝트에 가까운 오픈소스 경량 솔루션
- [01:32] 박사 이후 Diffusion Policy보다 UMI 확장에 집중
- [01:57] Tony와 함께 Sunday Robotic 창업
- [02:05] 오늘 강의 제목: ‘Robotics Beyond Algorithms’ — 졸업 후 배운 실전/스타트업 관점의 교훈 공유
Chapter 2: 로보틱스는 결코 완전한 엔드투엔드가 아니다 (02:30-04:59)
- [02:30] 현대 로보틱스 시스템은 거의 정책(policy) 중심으로 설계되어 있음
- [03:00] 엔드투엔드라 말하지만 실제로는 결코 완전한 엔드투엔드가 아님
“[03:05] 실제로는 결코 완전한 엔드투엔드는 아니고”
- [03:12] 센서-정책-액추에이터 사이에 항상 소프트웨어 계층이 존재 (PID 제어, SLAM 등)
- [04:06] 학부~박사까지 수학/이론/알고리즘 중심으로 로보틱스를 배워 왔음
- [04:43] 졸업 후 깨달음: 그동안 배운 것은 로보틱스의 “아주 작은 부분”에 불과
“[04:47] 특히 하드웨어와 데이터는 제가 보기에는 그 로보틱스 시스템이 동작하는 데 매우 매우 중요합니다”
Chapter 3: 하드웨어 프로젝트 시작과 BOM (05:01-06:49)
- [05:20] 하드웨어 프로젝트 시작을 소프트웨어 프로젝트와 비유 — 오픈소스를 찾거나 기존 제품을 분해해 구조를 파악
- [05:51] “재사용 가능한 구성요소”를 찾는 것이 핵심 단계
- [05:56] 소프트웨어의
requirements.txt에 해당하는 것이 하드웨어의 BOM(Bill of Materials, 자재명세서) - [06:41] BOM에는 부품, 수량, 구매 링크, 비용이 기재됨
Chapter 4: 조달(공급 트리)과 제작 vs 구매, 조립(SOP) (06:57-12:18)
- [07:14] 하드웨어 개발 환경 구축은 소프트웨어보다 훨씬 복잡 — 부품이 서로 다른 벤더에서 옴
- [07:55] 리테일(아마존 등)은 “물리적 캐싱 계층”으로 낮은 지연시간의 환상을 제공
- [08:25] 구성요소 변경이나 대량 주문 시 리테일 캐시가 빠르게 고갈
- [09:05] 공급망보다 “공급 트리(supply tree)“가 더 적절한 표현 — 제품이 복잡할수록 일정 복잡성이 폭증
“[09:07] ‘공급 트리’라고 부르는 것이라고 생각합니다.”
- [10:17] 비유:
pip가 전체 의존성 트리를 보고 일관성을 확인하는 것과 유사 - [10:29] 공급망이 때로는 기술만큼(혹은 그 이상) 중요하다는 교훈
- [11:10] 흔한 실수: 연구자들이 하드웨어로 넘어올 때 모든 것을 직접 만들려 함
“[11:10] 연구자들이 하드웨어로 넘어올 때 모든 것을 직접 만들려고 한다는 점입니다.”
- [11:49] 조립에는 표준 작업 절차(SOP)가 필수
- [12:08] 제작 시작 후 곧 “일관성(consistency)” 문제가 핵심으로 드러남
Chapter 5: 제조(FATP)와 추적(가시성) — 소프트웨어의 힘 (13:58-16:33)
- [14:15] 전체 조립-테스트-포장 과정을 FATP(Final Assembly Test and Pack up)라고 부름
- [14:36] 이 과정에서 가장 큰 교훈: “소프트웨어의 힘”
- [15:45] 장갑 단위로 누가, 언제 만들었는지, 어떻게 보정되었는지 추적하는 시스템 구축
- [16:03] 추적 정보가 학습 데이터 로더까지 연결됨 — 문제가 있는 장갑의 데이터를 설정 하나로 필터링 가능
“[16:19] 많은 경우 하드웨어 문제에 대한 소프트웨어 해법이 존재한다는 것입니다.”
- [16:33] 전체 스택을 이해하는 사람이 최적의 해법을 찾을 수 있음
Chapter 6: 데이터 수집을 확장한다는 것 — 운영과 사람 (16:42-21:33)
- [17:14] 연구자가 직접 수집할 때가 가장 쉬움 — 모델에 필요한 것을 이해하므로
- [17:38] Sunday에서 데이터 수집 책임자가 3세대를 거침 (공동창업자 → 운영 총괄 → 전담 책임자)
- [18:32] 카밀라(전 정치 캠페인 매니저)가 데이터 운영을 20명에서 200명으로 확장
- [19:17] 현재 담당 페리는 테슬라 오토파일럿 데이터 라벨링 출신, 200명→수천 명 규모 확장 중
- [20:01] 핵심 교훈: 데이터 수집은 운영이고, 운영은 결국 사람에 관한 일
“[20:01] 데이터 수집은 운영이라는 것이고 운영은 결국 전부 사람에 관한 일입니다”
- [20:15] 슬랙 채널 하나와 스프레드시트 몇 개로도 200명 운영 가능 — 사람 부분이 제대로 되면
- [21:06] 커뮤니티의 힘: 데이터 수집자가 벽에 포스트잇을 붙여 트래킹 안정화 방법을 시행착오로 발견
“[21:30] 그래서 결국 데이터는 사람에 관한 것입니다”
Chapter 7: 전 스택 관점과 채용 — 열정과 호기심 (21:42-24:02)
- [21:49] 기존 관점: 로보틱스 = 알고리즘(더 좋은 알고리즘, 다른 학습/데이터 패러다임)
- [22:08] 현실은 학계보다 훨씬 넓고, 실제로 작동하는 제품을 만들려면 배울 것이 훨씬 많음
- [22:49] 스택 전체(하드웨어→소프트웨어→학습→데이터)에 걸친 이해가 핵심
“[23:15] 로봇을 실제로 작동하게 하려면 로보틱스는 정말 교차점입니다. 모든 공학 분야의요.”
- [23:28] 전 스택 가시성과 직관이 좋은 해결책을 빠르게 찾는 데 도움
- [23:47] Sunday Robotics 현재 약 70명 규모
- [24:00] 채용에서 가장 중요하게 보는 공통점: 열정과 호기심