llama.cpp에서 "unknown model architecture" 수정하기: gemma4와 diffusion-gemma

다음 오류 중 하나가 발생한 경우:

error loading model: unknown model architecture: 'gemma4'

error loading model: unknown model architecture: 'diffusion-gemma'

두 오류는 비슷해 보이지만 원인이 완전히 다릅니다. 같은 수정 방법을 둘 다에 적용하지 마세요.

어떤 오류입니까?

오류 문자열	의미	수정 방법
unknown model architecture: 'gemma4'	런타임이 Gemma 4 릴리스보다 오래됨	llama.cpp, Ollama, 또는 앱 업데이트
unknown model architecture: 'diffusion-gemma'	DiffusionGemma가 출시된 llama.cpp에 없음	PR #24423에서 빌드하거나 다른 런타임 사용

핵심 차이: gemma4 지원은 llama.cpp main 브랜치와 현재 Ollama/LM Studio 릴리스에 존재합니다. 업데이트로 해결됩니다. diffusion-gemma 지원은 어떤 공식 릴리스에도 없습니다 — 병합되지 않은 PR(#24423)에만 있습니다. 최신 공식 버전으로 업데이트해도 해결되지 않습니다.

---

unknown model architecture: 'gemma4' 수정

이 오류는 런타임이 Gemma 4의 2026년 4월 릴리스보다 오래됐음을 의미합니다. 수정 방법은 업데이트입니다.

llama.cpp

cd llama.cpp
git pull
cmake -B build
cmake --build build --config Release -j

# 새 바이너리 확인
./build/bin/llama-cli --version

쉘이 올바른 바이너리를 사용하는지 확인:

which llama-cli
llama-cli --version

버전이 오래됐다면 시스템이 구형 설치 버전을 찾고 있는 것입니다. build 디렉터리에서 바이너리를 직접 호출하거나 설치된 버전을 업데이트하세요.

Homebrew

brew update && brew upgrade llama.cpp
llama-cli --version

Homebrew 패키지가 업스트림보다 여전히 뒤처진다면 일시적으로 소스에서 빌드하세요.

Ollama

ollama pull gemma4
ollama run gemma4

Ollama는 관리된 gemma4 모델을 유지합니다. 표준 Gemma 4를 실행하려면 커스텀 GGUF보다 Ollama가 더 쉽습니다.

LM Studio

LM Studio 내장 업데이터로 업데이트하세요. 현재 버전은 gemma4 아키텍처를 지원합니다.

---

unknown model architecture: 'diffusion-gemma' 수정

이 오류는 다릅니다. DiffusionGemma 지원은 이 글 작성 시점에 llama.cpp main에 병합되지 않았습니다. PR #24423에만 존재하며, 이 PR은 llama-diffusion-cli라는 별도 전용 바이너리도 추가합니다.

llama.cpp를 최신 공식 릴리스로 업데이트해도 해결되지 않습니다. 필요한 것:

1. PR #24423 브랜치에서 빌드, 또는
2. 이미 DiffusionGemma를 지원하는 다른 런타임 사용

옵션 A: PR #24423에서 빌드

git clone https://github.com/ggml-org/llama.cpp
cd llama.cpp
git fetch origin pull/24423/head:diffusion-gemma-pr
git checkout diffusion-gemma-pr

# CPU 전용:
cmake -B build
cmake --build build --config Release -j

# NVIDIA CUDA:
cmake -B build -DGGML_CUDA=ON
cmake --build build --config Release -j

# 필요한 바이너리:
./build/bin/llama-diffusion-cli

주의: 이 브랜치에서도 llama-cli가 아닌 llama-diffusion-cli를 사용해야 합니다. DiffusionGemma GGUF로 llama-cli를 실행하면 여전히 실패합니다.

옵션 B: 다른 런타임 사용

런타임	DiffusionGemma 지원
Unsloth Studio	예, 2026년 6월 12일부터(v0.1.463-beta). 가장 쉬운 옵션.
vLLM	예, 2026년 6월 10일부터. 서빙에 최적.
HF Transformers	예, Google 공식 가중치 사용.
Ollama	아니요. Issue #16664 오픈 중.
LM Studio	아니요. Bug #2037 오픈 중.

---

효과 없는 방법들

• GGUF 파일 이름 변경. 아키텍처 메타데이터는 파일 내부에 있으며 파일명에 없습니다.
• 컨텍스트 길이나 샘플링 설정 변경. 로더는 추론 시작 전에 실패합니다.
• 다른 프롬프트 시도. 이유가 같습니다.

---

모델 파일 유효성 확인 방법

./build/bin/llama-cli -m /path/to/model.gguf -p "안녕하세요." -n 10

결과	의미
성공적으로 로드	런타임이 최신. 다른 앱이 실패하면 그 앱의 런타임이 뒤처진 것.
unknown model architecture: 'gemma4'	런타임 업데이트.
unknown model architecture: 'diffusion-gemma'	PR #24423 또는 다른 런타임 필요.
기타 오류	파일이 불완전하거나 신뢰할 수 없는 출처.

신뢰할 수 있는 GGUF 출처: ggml-org, Unsloth, bartowski, mradermacher.

---

자주 묻는 질문

최신 llama.cpp로 업데이트했는데도 diffusion-gemma 오류가 납니다. 왜죠?
PR이 병합되지 않았기 때문입니다. 최신 main에는 DiffusionGemma 지원이 없습니다. PR 브랜치가 특별히 필요합니다.

PR 브랜치에서 빌드하는 것이 안전한가요?
개인 테스트용으로는 예. 프로덕션에서는 프로젝트의 완전한 검토 프로세스를 거치지 않은 프리릴리스 코드로 취급하세요.

llama-cli와 llama-diffusion-cli에서 같은 GGUF를 사용할 수 있나요?
아니요. 각각 다른 아키텍처를 처리합니다. DiffusionGemma GGUF는 llama-diffusion-cli가 필요합니다. 표준 Gemma 4 GGUF는 표준 llama-cli를 사용합니다.

관련 가이드:

• DiffusionGemma가 llama.cpp에서 작동하나요?
• DiffusionGemma가 LM Studio에서 작동하나요?
• Gemma 4 Q4 vs Q8: 어느 양자화를 다운로드할까