안드레 카파시의 autoresearch

오토리서치가 그래서 카파시가 이번에 또 트윗을 올린 건데 트윗을 먼저 볼까?이 이게 이제 그 오토 리서치에 대한 슬레드인 거 같아요. 근데 대충 자율로 연구해서 뭐 GPT2를 빨리빨리 학습시키는 걸 하고 있고 이게 뭐냐면 이게 성능이 지금 엑스페리먼트가 뭐 600개 넘어서 하는데 그리고 요거는 val리데이션 러스겠죠. 그지? 아무튼 낮을수록 좋대요. 그래서 처음 시작할 때부터 베이스라인부터 막 이제 모델들이 실험을 하는 거야. 아, 모델들이 아니고이 AI가 이런 하이퍼 파라미터라든지 방법론들을 막 다르게 해서 실험을 하는 거죠. 근데 아시겠지만 하이퍼파라미터가 굉장히 많잖아요. 그래서 예를 들어서 러닝레이트 웜업 같은 건가 워업 레시오 바꿔주고 뭐 뭐 아무튼 이런 것들을 막 조절해 주면서 성능이 낮아지고 있다가 >> 갑자기 훅 낮아지죠. >> 갑자기 훅 낮아지는 경우도 있죠. 그래서 이게 막 하더니 모델이 막 더 좋은 방법들 이렇게 막 찾는 거죠. 근데 이게 뭔가 단순히 그냥 뭐 랜덤 시드를 바꿔 주는 정도가 아니고 이런 모델이 실험들을 해보면서 더 좋은 솔루션들을 찾아내 간다. 신기한 경우죠. 사실 저게 님이 많이 하던 일이잖아요. >> 사람이 했죠. >> 예. 모델이 모델 학습시킬 때 >> 이렇게 해보고 안 되니까 저렇게 해보고 이거 해보고 저거 해보고 데이터 뜯어보고 왜 안 되지? 뭐가 이상하네. 어떻게 해 볼까 이거잖아요. >> 근데 고칠게 진짜 많거든요. 사실 >> 사실 뭘 고쳐야 되는지도 몰라요. >> 시그모이드로 해보고. >> 응. 탄젠트로 해보고 탄젠트를 0에서 1 사이로도 해보고 아키텍처도 바꿔 보고 바이너리 크로스 엔트로피드도 해보고 그냥 크로스 엔트로피도 해보고 딱 이제 오토 갔네요라고 해 주셨는데

그 오토이랑 어떤 점들이 조금 다른 건지 이따가 한번 더 자세히 한번 살펴보겠습니다. 어쨌든 사람이 하는 일 그것도 심지어 저거 >> 비싼 사람들이 하는 일이에요. 그거를 LLM한테 맡겼더니 잘하더라. 이게 기타 래퍼에 가면은 코드가 진짜 몇 개 없거든요. 1번이 일단프로그램.md프로그램.md. 너는 이거 해야 돼. 프럼프트거요, 사실. >> 그다음에 트레인.파파 이게 이제 GPT2 만들기잖아요. GPT2 학습하는 코드 하나. 아, 프리페어는 뭐 전처리 이거는 고정이네. 왜냐면 이벨이 뚫리면 안 되니까 >> 이건 고정하고 어쨌든 트레인.py마 PY마 에이전트가 >> 막 고쳐 가지고 편집해 봐 가지고 실험을 할 수가 있는 거고 그다음에 이제 이거에 따라서 나온 결과가 리트점 보시겠죠. >> 네. >> 그래서 이거 보고 아 성능이 구려졌네 보고 >> 네. 그래서 실험해 보고 학습시켜보고 돌려보고 학습시켜 보고 돌려보고 >> 그래서 했던 테스크가 그 GPT2였죠. 이거는 나노 >> 이게 나노챗인데 이거를 최지T 클론처럼 만들고 싶고 벤치마크는

타임투 GPT 2 >> 그래서 GPT2가 1.6빌리언 파라미터인데 뭐요 스코어를 달성하데 걸리는 시간 그래서 이때 기준으로 1.65시간네 1.65시간이면 이게 뚫려 저거 예전에 우리 뮤원 뮤원 클립 그거 볼 때 봤었던 거 같은데 >> 음네 >> 스피드런 학습 스피드런 하는 거 >> 어쨌든 학습 스피드런인데 그거를 AI가 알아서 한다. 근데 이게 이미 여러 번 자기가 손을 닫음은 코드 래프기 때문에 코드가 꽤나 좋은 코드라고 하더라고요. 과연 이것도 더 개선할 수 있을까? 이게 이제 중요한 거잖아요. 그냥 단순히 그냥 숫자 갈아끼면서 다시럼 돌려보고 좋은 거 찾는다 이런게 아니라는 거죠. 그래서 저 원래 GPT2 저 리더오브드 그거는 그냥 사람이 막 이럴 테면 핸드크래프티드 하이파피터로 사람이 어떻게 해서 >> GPT2를 학습시키는데 >> 음 >> 그 월클럭 기준으로 제일 짧은 거 하는 건데 얘는 카파가 오토리서치를 통해서 스스로 이거를 >> 해나가는 과정인 거죠 >> 해보고네 그래서 700번 이렇게저렇게 실험해 보는 걸 700번 돌려봤다는 거고 그래서 뭐 어느 정도 2두시간에서 1.8시간으로 줄어들었다 개선했다 뭐 이런 거고요. 그래서 뭘 어떻게 고쳐서 했는데 이게 중요한

거잖아. 사실. 응. 응. >> 그래. 저기 이제 카파시가 뭐 열심히 써 놓은 그 기업 글 디스커션이 있더라고요. >> 그거를 보면은 맞아요. K놈. >> 네. 카파시가 짠 저 케놈의 파라미터리스 한 코드가 아 이거를 수정할 수 있었어야 하는 거를 lm이 어쨌든 찾아내서 그거를 수정했다. >> 찾아내. 네. >> 근데 그런게 대단하죠. >> 근데 진짜로 그 사람이 하면은 그 이상한 실수를 되게 많이 해. 근데 그잖아. 당연히 >> 에이전트가 찾아내면은 너무 좋죠. 근데 아마 그 디버깅하는 것도 AI가 했겠지. >> 예를 들어서 >> 뭐 더미값을 넣어 줬을 때 아웃풋 로짓이 어떻게 생겼는데 어 이거 왜 범위가 이렇게 나와 이러면서 뭐지가 고친 거겠지. >> 아 이건 버그가 아니라 구현을 안 해 놨다는 거 같던데. >> 결과만 보고 하는 거 아니에요? >> 네. 근데 그렇게 하기에는 너무 >> 정보가 없지 않나? 그냥 성금만 보고. 근데 트레인점파이를 건드릴 수 있으니까 트레인 점파이에다가 프린트하고 싶은게 있으면 프린트 코드 넣어서 그거 보고 하겠지. >> 웨이트 모델이 알아서 그 체크포인트 뭐 디버깅 해보고 뭐 이럴 것 같아서 >> 네. >> 아담 W 베타가 네. >> 이상했는데 고쳐줬고 어쨌든 이렇게 된다. 네. >> 음. 훌륭하네요. >> 그다음에 이제 저도 사실 이런 거를

하고 있었잖아요. 제 오토 에디. >> 음. 말하자면 비슷한 거잖아요. 이밸루이션 매트릭 정해두고 제 이루이션 매트릭은 우리 라이브 편집 나라면 이렇게 편집할 거야 하는 구간을 딱 정해두고 그거랑 얼마나 비슷한가? >> 이밸루에이션 코드 제가 하나 만든 다음에 거 해 봐. >> 나랑 얼마나 비슷해? 다시 편집해 봐. 나랑 얼마나 비슷해? 편집해 봐. 나랑 얼마나 비슷해. 이걸 한 거거든요. 편집하는 로직을 바꾸면서 맨 처음에 한 번은 애가 편집한 걸 보고 제가 한번 수정을 하면서 >> 이거는 나는 왜 살렸어? 이걸 다 달아줬거든요. >> 그걸 보고지가 알아서 이렇게 하더라고. >> 야, 근데 나는 어, 나는 이렇게 했을 거 같아 >> 하고 두 개 비교하게 한 다음에 고치라 하거든. 약간 이런 식으로 이터레티브 하게 하는게 되게 중요하다. >> 그거를 이렇게 했을 것 같아. >> 어. 써 주고 고치라고 하잖아요. >> 그거를 루을 돌리는 거예요. >> 그 루을 돌릴 때 사람이 계속 교정해 줘야 되는 거 아니야? 결국 >> 아니 한 번만 교정을 하고 그거는 메모리를 지워도 되고 안 지워도 되는데 전 안 지우고 했어요. >> 왜냐면 이전 거를 보면서 하라고. 근데 그걸 꼭 루블 켜야 돼. >> 루블을 켜면 많이 좋아지던데. >> 한 번 더 하게 한 다음에 또 보고 아 나 와닿지가 않네. 와닿지. >> 네. 진짜 많이 좋아져요. 그 한번 다음에 제가 다음에 할 때 정리 한번 해 볼게요. 네. >> 그 저랑 얼마나 비슷해지는지 숫자가 다다다닥 나오거든요. 점점점 개선되는게 보여요. 근데 문제가 하나 있죠. 오버핏일 수가 있. 그래서

그랬을 때도 잘 되는지 이게 더 중요하죠. >> 네. >> 그래서 이게 오토l이랑 어떻게 다르냐? 이거 의견 주셨는데 오토l 저는 오토l은 써 본 적이 없어서 >> 저도 사실 오토을 >> 안 써 봤고 >> 사실 좀 회의적이긴 했어요. 이게 제가 느끼기에는 그냥 하이퍼 파라미터를 그냥 그리드 서치하거나 랜덤 서치하는 거를 그냥 좀 자동화해 주는 거거든요. 그 예를 들어서 그 파라미터 A는 A를 뭐 다섯 개 해 봐. 그다음에 그냥 좋은 것들 골라서 또 해 봐. 뭐 이런 거였던 거 같은데 >> 제가 이제 오토 ML을 안 써 봤지만 비슷한 거 했었던게 옛날에 저 랜덤 포레스트 이런 진짜 고전적인 ML 이런 거 할 때 랜덤 포레스트니까 틀이 몇 개나 만들 거냐, 뭐는 어떻게 할 거냐 이런 것들을 그냥 다 만들 수 있게 건드릴 수 있게 걔한테 지정을 해 준 다음에 >> 그냥 다 돌려봐라. >> 이거 그냥 사실 포문이나 랜덤이나 이런 거잖아요. >> 그 안에 이건 이거보다 저렇게 하는게 좋을 것 같아. 이런 그 생각의 트라토리가 없잖아요. 뭐 그게 이제 좀 큰 차이 거 같아요. 바꿀 수 있는 어떤 자유도. >> 바꿀 수 있는 자유도가 사실 이거는 그냥 하이퍼파라미터 뿐이었고 >> 네. 숫자만달각 바꾸는 거고서 >> 뭐 레이어 같은 거를 내가 그거를 사전에 네가 이걸 바꿀 수 있어라는 옵션을 주지 않으면은 절대 바꾸지 않는 그런 거였단 말이야. 근데이 오토 리서치는 자기가 그냥 레이어를 짤 수도 있는 그런 거잖아. 코딩을 아 다 해 버릴 수 있으니까. >> 네. >> 완전 다르죠. 어쨌든 그래서 사실

그거보다 더 좋아 방법이 막 이런 거였죠. 예를 들어서 스케일링을 발견하기 위해서 그냥 조그만 파라미터에서 좀 해보고 작은 걸 돌려봐서 프로젝션하는 거 >> 늘어난다라는 걸 경향성을 보거나 그리고 하이퍼 파라미터도 그게 전의가 되거든요. 그 뭐 메타에서도 뭐 이상한 거 나왔잖아. 뭐 그런 것들로 >> 라지 사이즈 모델에서든이 하이퍼 파라미터를 써야 된다. 뭐 이런 것들이 되게 잘 나왔기 때문에 >> 어 >> 그거 딥시계도 있었죠. 스팔시티 어떻게 할 것인가? 음 >> 작은 사이즈에서 실험 다 아 그럼 큰 사이즈에서요 정도 스팔시티 몇 개만 키는게 제일 좋겠다. >> 근데 뭐 그런 것도 오토리서치가 뭐 차주겠죠. >> 네. >> 아 이거 지금도 뭐 충분히 할 거 같아요. 어려운게 아니기 때문에. >> 그니까 이제 그런 논문 자 이대로 해 봐라고 하면 할 수도 있겠다. >> 그래서 깃업 스타 많이 받 그다음에 단순해졌다. 그래서 좋다. 밸리데이션 셋 오염 우려. 그렇죠. 저런게 이제 문제죠. 이게 진짜로 연구에 적용될 만하냐? >> 그 사실 이거는 GPT2를 한 거니까. >> 네. 작은 실험을 한 거니까 거기에서만 좋은 거 아니냐. >> 근데 저는 여기에 대해서 조금만 더 생각을 해 보자면 우리가 풀고자 하는 문제가 딱 있을 거 아니에요. >> 나는 팟캐스트 편집을 잘하고 싶어. >> 그러면은 거기에 오버핏되는게 문제는 아니거든요. 그러니까 예전 같으면 제너 그냥 뭘 썼다 이게 아니라 그냥 제너럴 한 모델이 있고 개로 나를 위한 모델을 만들어 그런 면으로 보면은 나쁘지 않은 거 같다. >> 음. >> 이런 생각도 듭니다. >> 근데 이게 사실 또 오토 리서치가 뭐

그 전부터 이런 것들을 많이 해 왔어요. >> 네. 뭐 엄청 옛날에 사실 그 오토 GPT 이런 것도 있었잖아요. 그것도 그 GPT 약간 다르긴 하지만 뭔가 자율적으로 뭔가 한다는 계속 그런 뉘앙스를 >> 근데 그건 그냥 하네스 아니었나? >> 그거 말고도 에이전트끼리 모아 가지고 뭐 얘를 좀 다른 얘기긴 해. 네게 뭔가 자율적으로 간다는 것들을 보여주고 있었잖아요. 그런 것들도 많고 이거 같은 경우에도 얘는 뭐냐면은 얘도 비슷해요. 얘도 크로드 코드나 코덱스한테 과제를 주고이 완전 자율로 수행해서 문제를 풀게 한 거예요. 근데 여기서는 과제가 뭐였냐면은 열자리 덧셈을 99% 이상 정확도로 수행하는 거. 이건 그냥 이걸 과제로 해서 이걸 할 수 있는 가장 작은 트랜스포머를 만들어라. 내 규칙도 있었네요. 인터넷 금지. 그냥 알아서 다 하는데 이것만 하면 된다. 그래서 이것도 했대요. 결국은 클로트 코드가 123 + 45 하면 이건 세 자리 쓰고 이건 자리 두자리 수고 뭐 이러니까 이거를 아예 열자리로 다 만들어 버린 거야. 그래서 제로 패딩 해 가지고 >> 그다음에 역순 출력 포맷으로 전화했다. 뭐 32100 뭐 이렇게 했나 보네요. >> 그런 식으로 하면 학습이 더 잘 되더라. 이 >> 데이터를 고친 거죠. >> 네. >> 데이터를 고쳐 가지고 그 문제를 좀 더 잘 풀게 >> 바꾼 거죠. 뭔가 아키텍처를이

트랜스폼 아키텍처에 막 서칭을 한 건 아니지만 어쨌든 창의적으로 문제를 푼 거죠. 트랜스포머의 어떤 하이퍼파라미터 찾거나 이런게 아니라 >> 그냥 데이터 전후 처리. 네. >> 그래서 파라미터 사이즈가 795K였는데 이거를 계속 낮춰 가지고 60,80만 쓰고도이 열자리 덧셈이 됐다. 100%로. 근데 코덱스 같은 경우에는 처음엔 안 됐는데 두 번째로부터는 토크나이저를 개발했다. >> 더하기만을 위한 토크나이저. 왜냐면 우리 토크나이저는 언어를 위한 거니까이 문제 안 맞는다. >> 그거에 맞게 토크나이저를 만들었네. 이렇게 해서 문제를 풀어 버렸다. 그랬더니 1600. 이것도 뭐 굳이 따지자면 데이터 전 처리를 바꿨다 범주에 넣을 수 있겠죠. >> 그러니까 원래 그냥 우리가 인간이 그냥 생각할 법한 그냥 단순 더하기를 그냥 트랜스포머 레이어를 그냥 하이퍼파프파프라이터 서치하는게 아니고 훨씬 더 창의적인 방법들을 얘네가 생각을 해낸다. >> 핵심 통찰 목표 최적화 범행성이 아니라 목표 체적화 >> 어쨌든 둘 다 맞다. >> 그래서 저희가 다 기대하고 있는 기대 어 기대일 수도 있고 두려울 수도

있고 특이점 >> 이게 셀프 임프루먼트잖아요. >> 그죠? 그죠? 셀프루먼트가 지금 될 수도 있나? 이런 점이기 때문에 이게 바이럴 되는 요소인 거 같아요. 왜냐면 LM이 LM을 학습시킨다. 벌써 말이 그 특이점을 암시하잖아요. >> 뭐 좀 과대 해석인 거 같긴 하지만 지금 시점에선 작은 사이즈가 아니라 내 사이즈를 해야 되는데 수도 있죠. 이거 전부터 >> 그 원래 있던 모델 기존에 있던 데이터들을 그냥 다 뭐 합성을 한다거나 뭐 필터링 한다거나 이런 식으로 많이 썼잖아요. 그때부터는 자기가 자기 코드를 막 고쳐가. >> 데이터만이 아니라 뭐 인간으로 치면은 혼자 생각하면서 >> 지금 그 범주를 넘어서 내가 내 몸을 개 좋아하는가 >> 코딩을 할 수 있다. >> 어 >> CEO도 코딩을 하냐? >> 자기 아이디어를 그대로 디스트레이션 받을 수 있는 AI 에이전트가 있으면 얼마나 좋겠어. 그게 사람과 사람 간의 커뮤니케이션이 진짜 병목이 좀 커요. 예를 들어서 제가 이제 오늘만 하더라도 클로드에 원프롬프트로 만든 거잖아. 이게 >> 이걸 이게 >> 제가 했는데 보자마자 별로라 그랬잖아요. 아침에 별로했어요. >> 근데 내가 내가 해 보려고 하니까 귀찮더라고. >> 다시 보니까 괜찮네. >> 응. 근데 이런 걸 이제 설득시키는게 되게 어려워요. 왜냐면 제가 이걸 보라고 해도 이게 보는게 다 힘들잖아. 에너지가 들잖아요. 언제 이걸 다 설득하고 있어. 이렇게 하자 하는게 진짜 좋다고 하더라도. 근데 AI는 그런 거부가 없다. >> 너 봐라 하면은 본다고요. 님처럼 싫어 안 한다고요. 그런게 커뮤니케이션 병목이 더 적다. >> 알겠습니다. 맞는 말이에요. 예. 100번 맞는 말이고. >> 음. 그죠. 그죠. 자, 뭐 스케일링 얘기도 있네. 이렇게 작은 걸로 실험한 거 어쨌든 프런트웨어 스케일까지 나아갈 수 있느냐. >> 아이, 되겠지. 뭐 여기까지 하죠, 이거는. >> 음. 오케이. 질문 있으시면 남겨 주시고요. 사실 솔직히 저는 요새 카파시 2에서 잘 안 봐요. 뭐 이렇게 장황하게 많이 올리셔. 인기가 많이 바이럴 것만 봅니다. 저도 >> 응 >> 너무 볼게 너무 많아