오늘까지 줄줄이 API 월급만 갖다 바치다가
이번에 직접 로컬로 모델을 돌려보기로 결심했어요
시작 계기는 대략 이렇습니다.
첫째 API 요금이 커피값보다 무서워짐
둘째 개인 정보를 채팅창에 넣는 게 슬슬 손해보는 기분
셋째 손맛. 이건 이성이랑 무관합니다
그동안은 웹으로 모델이랑 '수다'만 떨었지, GGUF니 양자화니 ollama, LM Studio, llama.cpp 쪽 세계는 남의 나라 얘기였는데
이번 기회에 정식으로 발 담그려고요
때마침 제 컴퓨터는 초고샤앙 게이밍 슈퍼컴퓨터급이라
돌릴수 있는게 많을거 같아요
우선 요즘 잘나가는 qwen3.8 부터 알아보고 있습니다.
나중에 후기 올릴테니 기대해 주세요
댓글(0)