54GB 모델을 7.89GB로, 16GB 노트북에서 도는 에이전트용 AI

무슨 일이에요?

Underdog라는 회사가 Saluki 27B라는 AI 모델을 허깅페이스에 공개했어요. 약 54GB인 오픈 모델 Qwen3.8-27B를 7.89GB 파일 하나로 줄였고, 16GB 노트북에서 돌아간다고 소개했어요.¹²

그런데 크기만 줄인 게 아니에요. AI 에이전트에게 가장 중요한 도구 호출 시험에서는 원본보다 조금 더 많이 맞혔다고 해요.

도구 호출이 뭐예요?

도구 호출은 AI가 상황에 맞는 기능을 골라 부르는 능력이에요. 예를 들어 "파리 날씨 알려줘"라고 하면 날씨 함수를 고르고, 도시 이름을 정확히 넣어 부르는 식이죠. 챗봇이 실제로 일을 하는 에이전트가 되려면 이게 제일 중요하고요.

성적은 어느 정도예요?

• 도구 호출 시험 120문제: 원본 Qwen3.8-27B는 84개, Saluki는 88개를 풀었어요¹
• 9개 시험 평균으로는 원본 성능의 96%를 지켰어요²
• 경시대회 수학은 원본의 82~85% 수준으로 떨어져요¹

다른 축소판과 비교하면요?

같은 Qwen3.8-27B를 2비트로 줄인 다른 판들도 같은 120문제 시험을 봤어요. 2비트는 숫자를 아주 거칠게 저장해 파일을 작게 만드는 방식이에요.¹

• Mia 2-bit(9.1GB): 85개
• ISTA 2-bit(8.4GB): 76개
• Ternary Bonsai 2(5.95GB): 70개
• Saluki(7.89GB): 88개

다만 여러 도구를 한 번에 부르는 시험에서는 Mia가 더 앞섰다고 제작사가 직접 밝혔어요.¹

어떻게 써요?

따로 만든 프로그램이 필요 없어요. 로컬 AI를 돌릴 때 많이 쓰는 llama.cpp 기본판과, 그걸 바탕으로 만든 앱에서 바로 열린다고 해요.¹ 라이선스는 Apache 2.0이고 허깅페이스에서 누구나 받을 수 있어요.²

제작사는 데이터가 기기 밖으로 나가지 않는 오프라인 작업에 쓰라고 소개하고 있어요.¹

주의할 점은요?

• 제작사 스스로 미리보기 단계 체크포인트라고 밝혔어요¹
• 120문제는 작은 시험이라, 원본보다 높게 나온 점수 일부는 실행할 때마다 생기는 편차일 수 있다고 제작사가 직접 적었어요¹
• 기본 파일은 글자만 다뤄요. 이미지를 넣으려면 별도 비전 파일을 같이 받아야 해요²

왜 중요해요?E:LAB 해석

지금까지 에이전트를 제대로 돌리려면 클라우드 API를 쓰거나 비싼 그래픽카드가 필요했어요. 16GB 노트북에서 도구를 고르는 실력이 원본만큼 나온다면, 회사 밖으로 내보내기 어려운 자료를 다루는 일도 내 컴퓨터 안에서 처리해 볼 수 있게 되죠.

나는 뭘 하면 돼요?

이미 llama.cpp 기반 앱으로 로컬 모델을 써 봤다면, 허깅페이스에서 파일 하나만 받아 바로 시험해 볼 수 있어요. 수학 문제 풀이보다는 일정 정리나 파일 다루기처럼 도구를 부르는 일에 먼저 써 보는 게 맞아요.