기록을 잘 남기지 않아 10개월간의 뻘짓을 정리하며, 이렇게 간략하게 기록으로 남김.
제미나이가 그나마 멀쩡하던 작년 12월, qwen1에 이것저것 해보던 나를 긁은 하나가 있으니 바로 손가락 표현. 제미나이야 이거 어떻게 해결할 수 있을까 하고 티키타카를 하던 중, 제미나이가 나에게 이런 제안을 한다
시놀로지 920에 가득 영상을 채워서, 학습데이터를 만들어 적용해보자.
제미나이 프로 구독하느라 생긴 2TB(이후 5TB가 됩니다) 에 시놀로지 자료를 꽉꽉 채우고 시놀로지를 텅텅 비운다음, 총 40테라의 용량에 신체동영상(!)을 가득 채움.
– 영상 전처리
시놀로지에서 ffmpeg으로 프레임 2~5, 해상도 720P 일괄 코딩을 걸어서 10TB를 3주만에 코딩했고, AMD 5800x가 1Gbps 이더넷으로 35TB를 인코딩하고 원본을 삭제 (덕분에 학습 영상 갯수가 3500개에서 12000개로 늘었습니다.
<참고, 2026년 9월 30일 현재, 하드웨어 상태 점검하고 작업 접는 중>
모든것을 정리한 만 9개월만의 상태. 10TB 디스크 하나는 1400원대 환율이 무너지던 지난달에 가버렸습니다.
영상을 잘게 나누어 청킹 tar+json 작업을 합니다. 이때까진 제미나이가 코드를 잘 짜줍니다. 코어빨을 세우므로, 5800x 코어에 절전이나 가변을 다 꺼버리고 최대클럭 고정으로 쿨러를 쥐어 짭니다. 2월말 쌀쌀한데, 본체 케이스 옆 유리를 열어두니 방에 난방을 따로 하지 않았습니다. 초반에 취소/재시도 좀 하다 보니 3주 걸렸습니다. 나중에 알았는데, 이 작업은 그래픽카드인 rx6750xt가 훨씬 빠르게 처리합니다.
VL-7b에 ms-swift ; flashAttention2(1은 잘 안됨) 이였고 메모리 팽창 막으려고 bfloat16에 그래디언트를 한참 삽질해서 어찌저찌 먹였습니다. MLP 풀튜닝 하는데 전체를 건들면 오히려 기존 학습을 흩어놓습니다. 손가락이 9개인데, 왜지 했더니 학습 영상이 서로 깍지를 자주 끼는데 그것 때문인듯 합니다. 여기서 아차!!!!! 함을 느낍니다.
6월쯤 되니까 최신 영상툴이 엄청나게 업뎃 됐고, 심지어 제미나이 옴니조차 좋은 결과물이 나옵니다. 제 학습데이터는 프롬프트를 이해하지 못할 정도가 되었습니다.
급한대로 청킹을 텍스트로 변환해서 얼굴이 몇개 손가락이 몇개 등등으로 시도했지만, 7월부터 영상제작 툴들이 워낙에 좋아지며 프로젝트를 중단합니다. 제미나이도 봄부터 본격적으로 맛이 가서 저의 소중한 ‘진짜’ 데이터를 살려야 하기에 nas자료를 정리하였습니다.
깨달은 점.
- Qwen 는 공부를 하고 달려들면 더 좋을것 같습니다. 파이썬으로 던져주는 코드 말고 C를 응용해서 먹여보면 더 세밀하게 조절할 수 있어 보입니다.
- 굳이 신체동영상을 긁지 않아도 됐습니다. 제가 가진 700GB의 “진짜 나와 가족의 일상 모습” 이 더욱 학습용으로 뛰어납니다.성인용 신체동영상은 정상적인 뭔가를 학습하기가 어렵습니다. 나누는 대화를 whisper-ai large로 돌렸는데 아아아 만 제대로 나오고 똥망입니다. 대화 자체도 엉망이고요. 반면 제 개인 영상들(심지어 아이폰의 라이브포토마저) 이 정확하게 잘 나옵니다. whisper도 화면을 텍스트로 읽는것도…
- 학습이고 파인튜닝이고 뭐고 양자화 된 상용 메이저의 개발수준을 따라갈 수는 없습니다. 온프라미스 구축과 세밀함에서 비교해 보자면 LLM은 몇달 만족할 수준일 뿐, 그정도를 가꿔나갈 실력이라면 지금이라도 스케일업 해서 자체구축 솔루션을 내놓는게 더 좋을겁니다. 기업에게 그럴싸한 제안-그 수준을 벗어나기 어렵습니다. 한순간의 실수를 롤백하는건 그냥 다 날리고 새로 가는게 좋습니다.
- 학습 데이터도 전문가에 의해 치밀하게 설계되어야 합니다. 그리고 분재를 가꾸듯 계속 손을 봐야합니다 비록 Qwen이 버전이 되든 안되든.
- 사람이 쉽게 쓰려고 만든 파이썬은 이미 인간의 인지능력 바깥까지 가버린것 같습니다. 이럴수록 C++이 오히려 더욱 강력하고 인간다워 보일 지경입니다.
- 고급 숙련자가 아니라면 이같은 시도를 절대 해볼 생각 마십시오. 1년에 20만원 정도면 좋은 메이저 솔루션을 사용할 수 있습니다. 하지만 제미나이는 비록 5TB에 노트북LM같은걸 준다 쳐도, 수준 이하를 자주 보여줍니다.
- 하지만 맥미니 M5급을 구한다면… 앗 아아… 인간의 욕심은 끝이 없고…
- 시놀로지 DS920은 기본 쿨러로 자꾸 고열 셧다운이 되어 외부에(시놀로지 로고 쪽에) 80미리쿨러를 하나 더 달았고, 순정 쿨러 다 뽑고 에버쿨 싸구려 고속 2볼 쿨러로 갈았습니다. 처음엔 조용했지만 5개월 풀로 돌리니 스아아아 하는 소리가 나네요. ddr5 가격 못지않게 하드디스크 가격도 미쳐 돌아가서, 이젠 디스크 하나 죽을때마다 구석에 쳐박혀있는 1~2TB 2280 ssd nvme에 아답터 달아서 sata연결해야할 지경입니다.
이제 일반인 모드로 전환하여 싹 정리합니다. 그러면 이 서버도 시한부가 될겁니다. 전기세도 줄겠죠.
이상입니다.