Sửa lỗi "unknown model architecture" cho gemma4 và diffusion-gemma trong llama.cpp

Nếu bạn thấy một trong các lỗi này:

error loading model: unknown model architecture: 'gemma4'

error loading model: unknown model architecture: 'diffusion-gemma'

Chúng trông giống nhau nhưng có nguyên nhân hoàn toàn khác. Đừng áp dụng cùng một cách sửa cho cả hai.

Bạn gặp lỗi nào?

Chuỗi lỗi	Ý nghĩa	Cách sửa
unknown model architecture: 'gemma4'	Runtime của bạn cũ hơn ngày phát hành Gemma 4	Cập nhật llama.cpp, Ollama, hoặc ứng dụng
unknown model architecture: 'diffusion-gemma'	DiffusionGemma không có trong bất kỳ bản phát hành llama.cpp nào	Build từ PR #24423 hoặc dùng runtime khác

Sự khác biệt cốt lõi: Hỗ trợ gemma4 có trong branch main của llama.cpp và các bản phát hành Ollama/LM Studio hiện tại. Cập nhật sẽ giải quyết được. Hỗ trợ diffusion-gemma không có trong bất kỳ bản phát hành chính thức nào — nó chỉ tồn tại trong một pull request chưa được merge (#24423). Cập nhật lên phiên bản chính thức mới nhất sẽ không sửa được.

---

Sửa unknown model architecture: 'gemma4'

Lỗi này có nghĩa là runtime của bạn cũ hơn ngày phát hành Gemma 4 vào tháng 4 năm 2026. Cách sửa là cập nhật.

llama.cpp

cd llama.cpp
git pull
cmake -B build
cmake --build build --config Release -j

# Xác minh file nhị phân mới
./build/bin/llama-cli --version

Xác nhận shell đang dùng file nhị phân đúng:

which llama-cli
llama-cli --version

Nếu phiên bản vẫn cũ, hệ thống đang tìm thấy bản cài cũ. Gọi file nhị phân trực tiếp từ thư mục build hoặc cập nhật phiên bản đã cài.

Homebrew

brew update && brew upgrade llama.cpp
llama-cli --version

Nếu gói Homebrew vẫn đi sau upstream, hãy tạm thời build từ source.

Ollama

ollama pull gemma4
ollama run gemma4

Ollama duy trì model gemma4 được quản lý. Nếu chỉ muốn chạy Gemma 4 tiêu chuẩn, dùng Ollama dễ hơn là quản lý GGUF tùy chỉnh.

LM Studio

Cập nhật LM Studio qua trình cập nhật tích hợp. Các phiên bản hiện tại hỗ trợ kiến trúc gemma4.

---

Sửa unknown model architecture: 'diffusion-gemma'

Lỗi này khác. Hỗ trợ DiffusionGemma chưa được merge vào branch main của llama.cpp tính đến thời điểm viết bài này. Nó chỉ tồn tại trong PR #24423, PR này cũng giới thiệu file nhị phân chuyên dụng riêng biệt llama-diffusion-cli.

Cập nhật llama.cpp lên bản phát hành chính thức mới nhất sẽ không sửa được điều này. Bạn cần:

1. Build từ branch PR #24423, hoặc
2. Sử dụng runtime khác đã hỗ trợ DiffusionGemma

Tùy chọn A: Build từ PR #24423

git clone https://github.com/ggml-org/llama.cpp
cd llama.cpp
git fetch origin pull/24423/head:diffusion-gemma-pr
git checkout diffusion-gemma-pr

# Chỉ CPU:
cmake -B build
cmake --build build --config Release -j

# NVIDIA CUDA:
cmake -B build -DGGML_CUDA=ON
cmake --build build --config Release -j

# File nhị phân cần dùng:
./build/bin/llama-diffusion-cli

Lưu ý: Ngay cả trên branch này bạn phải dùng llama-diffusion-cli, không phải llama-cli. Chạy llama-cli với GGUF DiffusionGemma vẫn sẽ thất bại.

Tùy chọn B: Dùng runtime khác

Runtime	Hỗ trợ DiffusionGemma
Unsloth Studio	Có, từ 12/6/2026 (v0.1.463-beta). Dễ nhất.
vLLM	Có, từ 10/6/2026. Tốt nhất cho serving.
HF Transformers	Có, qua trọng số chính thức của Google.
Ollama	Không. Issue #16664 đang mở.
LM Studio	Không. Bug #2037 đang mở.

---

Những gì sẽ không có tác dụng

• Đổi tên file GGUF. Metadata kiến trúc nằm bên trong file, không phải trong tên file.
• Thay đổi độ dài context hoặc cài đặt sampling. Loader thất bại trước khi suy luận bắt đầu.
• Thử prompt khác. Lý do giống nhau.

---

Cách xác nhận file model có hợp lệ không

./build/bin/llama-cli -m /path/to/model.gguf -p "Xin chào." -n 10

Kết quả	Ý nghĩa
Tải thành công	Runtime là mới nhất. Nếu ứng dụng khác thất bại, runtime của ứng dụng đó lạc hậu.
unknown model architecture: 'gemma4'	Cập nhật runtime.
unknown model architecture: 'diffusion-gemma'	Cần PR #24423 hoặc runtime khác.
Lỗi khác	File có thể không đầy đủ hoặc từ nguồn không đáng tin.

Nguồn GGUF đáng tin cậy: ggml-org, Unsloth, bartowski, mradermacher.

---

Câu hỏi thường gặp

Tôi đã cập nhật lên llama.cpp mới nhất vẫn bị lỗi diffusion-gemma. Tại sao?
Vì PR chưa được merge. Main mới nhất không có hỗ trợ DiffusionGemma. Bạn cần đặc biệt là branch PR.

Build từ branch PR có an toàn không?
Cho thử nghiệm cá nhân thì có. Cho sản xuất, hãy coi đây là code tiền phát hành chưa qua quy trình review đầy đủ của dự án.

Tôi có thể dùng cùng GGUF cho llama-cli và llama-diffusion-cli không?
Không. Chúng xử lý các kiến trúc khác nhau. GGUF DiffusionGemma cần llama-diffusion-cli. GGUF Gemma 4 tiêu chuẩn dùng llama-cli tiêu chuẩn.

Hướng dẫn liên quan:

• DiffusionGemma có hoạt động với llama.cpp không?
• DiffusionGemma có hoạt động trong LM Studio không?
• Gemma 4 Q4 vs Q8: nên tải quantization nào