GLM-4.7-Flash lokal betreiben: Coding-Modell mit OpenCode

Inhalt

GLM-4.7-Flash von Zhipu AI ist ein Mixture-of-Experts-Modell für Coding mit 30B Parametern, das mit Q4-Quantisierung auf einer einzelnen GPU mit 16 GB läuft. Diese Anleitung zeigt, wie Sie llama.cpp für NVIDIA- oder AMD-GPUs bauen, GLM-4.7-Flash mit llama-server bereitstellen und mit OpenCode verbinden, für agentisches Programmieren auf Ihrer eigenen Hardware. GLM-4.7-Flash ist ein schlankes, auf Coding optimiertes Modell auf Basis der GLM-4.7-Architektur.

Warum GLM-4.7-Flash

GLM-4.7-Flash von Zhipu AI hat 30B Parameter und eine Mixture-of-Experts-Architektur (MoE). Pro Forward Pass sind nur etwa 3B Parameter aktiv. Sie bekommen also die Denkleistung eines deutlich größeren Modells auf Hardware, die Sie vielleicht schon besitzen.

Für Programmierarbeit machen die Benchmark-Ergebnisse das Modell interessant. Auf SWE-bench Verified, dem Standardtest dafür, ob ein Modell echte GitHub-Issues tatsächlich beheben kann, erreicht GLM-4.7-Flash 59,2 %. Das ist fast das Dreifache von Qwen3-30B-A3B-Thinking-2507 (22,0 %) und deutlich mehr als GPT-OSS-20B (34,0 %). Bei τ²-Bench sieht es ähnlich aus: 79,5 % gegenüber 49,0 % und 47,7 % für die beiden anderen.

Benchmark-Vergleich von GLM-4.7-Flash

Das sind keine herausgepickten Zahlen. Über sechs Benchmarks hinweg (SWE-bench Verified, τ²-Bench, BrowseComp, AIME 25, GPQA und HLE) liegt GLM-4.7-Flash entweder vorne oder hält gut mit. Das Modell wurde erkennbar auf agentische Aufgaben abgestimmt: Tool Calling und mehrstufiges Schlussfolgern, also genau das, worauf es bei einem Coding-Assistenten ankommt.

Der praktische Vorteil: Mit Q4-Quantisierung läuft GLM-4.7-Flash auf einer GPU mit 16 GB. Die Gewichte sind offen und stehen unter MIT-Lizenz. Es fallen keine API-Kosten an, es gibt keine Rate Limits, und Sie kontrollieren den gesamten Inferenz-Stack. (Wie weit sich Quantisierung treiben lässt, zeigt unser Beitrag über BitNet und 1,58-Bit-LLMs, auf Englisch.)

Voraussetzungen

• NVIDIA-GPU mit CUDA 12+ ODER AMD-GPU mit ROCm 6+
• 16 GB VRAM oder mehr (für die Q4-quantisierte Version)
• Etwa 20 GB Speicherplatz für das Modell

llama.cpp bauen

Es gibt fertige Binärdateien von llama.cpp, aber wer selbst aus dem Quellcode baut, bekommt die neuesten Optimierungen und saubere GPU-Unterstützung. Der Build unterscheidet sich zwischen NVIDIA und AMD.

NVIDIA (CUDA)

Abhängigkeiten installieren und mit aktiviertem CUDA bauen:

1apt-get update
2apt-get install pciutils build-essential cmake curl libcurl4-openssl-dev -y
3
4git clone https://github.com/ggml-org/llama.cpp
5cmake llama.cpp -B llama.cpp/build \
6    -DBUILD_SHARED_LIBS=OFF -DGGML_CUDA=ON
7
8cmake --build llama.cpp/build --config Release -j --clean-first \
9    --target llama-cli llama-mtmd-cli llama-server llama-gguf-split
10
11cp llama.cpp/build/bin/llama-* ./.

AMD (ROCm)

Bei AMD muss zuerst ROCm installiert sein. Unter Ubuntu (Noble):

1wget https://repo.radeon.com/amdgpu-install/7.2/ubuntu/noble/amdgpu-install_7.2.70200-1_all.deb
2sudo apt install ./amdgpu-install_7.2.70200-1_all.deb
3sudo apt update
4sudo apt install python3-setuptools python3-wheel rocm
5sudo usermod -a -G render,video $LOGNAME

Unter Arch Linux:

1sudo pacman -S rocm-hip-sdk rocwmma

Dann bauen Sie llama.cpp mit HIP-Unterstützung. Dafür geben Sie in AMDGPU_TARGETS die Architektur Ihrer GPU an. Sie finden sie, indem Sie rocminfo ausführen und nach dem Feld Name suchen:

*******
Agent 2
*******
  Name:                    gfx1151      <-- das ist Ihr Target
  Marketing Name:          Radeon 8060S Graphics
  Vendor Name:             AMD

Mit Ihrem Target bauen:

1git clone https://github.com/ggml-org/llama.cpp
2cd llama.cpp
3cmake -S . -B build \
4    -DGGML_HIP=ON \
5    -DAMDGPU_TARGETS="gfx1151;gfx1100" \
6    -DCMAKE_BUILD_TYPE=Release \
7    -DGGML_HIP_ROCWMMA_FATTN=ON
8
9cmake --build build --config Release -- -j 10
10cp build/bin/llama-* ./.

Den GLM-4.7-Flash-Server starten

llama.cpp kann Modelle direkt von Hugging Face herunterladen. Richten Sie zuerst ein Hugging-Face-Token ein, weil manche Modell-Repositories eine Anmeldung verlangen. Erstellen Sie eines unter huggingface.co/settings/tokens und exportieren Sie es:

1export HF_TOKEN=your_token_here

Dann starten Sie den Server:

1./llama-server -hf unsloth/GLM-4.7-Flash-GGUF:UD-Q4_K_XL \
2  --alias glm-4.7-flash \
3  --jinja --ctx-size 32768 \
4  --temp 1.0 --top-p 0.95 --min-p 0.01 --fit on \
5  --sleep-idle-seconds 300 \
6  --host 0.0.0.0 --port 8080

Das Flag -hf lädt das Modell beim ersten Start automatisch herunter. UD-Q4_K_XL ist ein guter Kompromiss zwischen Qualität und VRAM-Bedarf. Mit diesem Quant sollten Sie mit etwa 12 bis 14 GB rechnen. Haben Sie 24 GB VRAM oder mehr, nehmen Sie stattdessen eine Q8-Variante.

Die wichtigsten Flags:

• --alias glm-4.7-flash: der Modellname, den OpenCode verwendet
• --ctx-size 32768: Kontextfenster (an Ihren VRAM anpassen)
• --jinja: aktiviert die Unterstützung für Chat-Templates
• --sleep-idle-seconds 300: entlädt das Modell nach 5 Minuten Leerlauf und gibt den VRAM frei

Prüfen Sie, ob der Server läuft:

1curl http://localhost:8080/health

Die Antwort sollte {"status":"ok"} lauten.

Das Modell testen

Schicken Sie eine Anfrage, um zu prüfen, ob das Modell antwortet:

1curl http://localhost:8080/v1/chat/completions \
2  -H "Content-Type: application/json" \
3  -d '{
4    "model": "glm-4.7-flash",
5    "messages": [
6      {"role": "user", "content": "Hello! Write a hello world in Python."}
7    ],
8    "temperature": 0.7,
9    "max_tokens": 500,
10    "stream": true
11  }'

Sie sollten gestreamte JSON-Chunks mit einem Hello-World-Snippet in Python sehen. Wenn das klappt, ist der Server bereit für OpenCode.

OpenCode für das lokale Modell einrichten

Tragen Sie den Provider in Ihre opencode.json ein (oder in ~/.config/opencode/opencode.json für die globale Konfiguration):

1{
2  "$schema": "https://opencode.ai/config.json",
3  "provider": {
4    "llama.cpp": {
5      "npm": "@ai-sdk/openai-compatible",
6      "name": "llama-server (local)",
7      "options": {
8        "baseURL": "http://127.0.0.1:8080/v1"
9      },
10      "models": {
11        "glm-4.7-flash": {
12          "name": "GLM-4.7-Flash (local)",
13          "limit": {
14            "context": 32768,
15            "output": 16384
16          }
17        }
18      }
19    }
20  }
21}

Die Modell-ID (glm-4.7-flash) muss mit dem --alias übereinstimmen, den Sie llama-server übergeben haben. Führen Sie in OpenCode /models aus und wählen Sie GLM-4.7-Flash (local).

OpenCode beantwortet einen Test-Prompt mit GLM-4.7-Flash

Fazit

Das war's. Sie haben jetzt einen lokalen Coding-Assistenten, der bei agentischen Benchmarks mit Closed-Source-Modellen mithält und komplett auf Ihrer eigenen Hardware läuft. Keine API-Keys zu verwalten, keine Nutzungslimits, und keine Daten verlassen Ihren Rechner. Gerade für Unternehmen, die Quellcode und Daten aus Datenschutzgründen (DSGVO) nicht an externe Dienste geben wollen, ist das ein wichtiger Punkt.

Durch die MoE-Architektur ist GLM-4.7-Flash dort praxistauglich, wo andere Modelle mit 30B Parametern und mehr es nicht sind. Wenn bei Ihnen eine GPU mit 16 GB herumsteht, ist das eine der sinnvolleren Verwendungen dafür. Möchten Sie lieber ein größeres Reasoning-Modell auf zwei GPUs betreiben, beschreibt unsere Anleitung zu DeepSeek R1 mit SGLang (auf Englisch) dieses Setup, und unsere Anleitung zu vLLM und Caddy zeigt, wie Sie ein selbst gehostetes Modell per HTTPS absichern.

Wenn Sie lokale Modelle im Unternehmen einsetzen möchten, unterstützen wir Sie in unserer KI-Beratung bei der Auswahl von Modell und Hardware und beim Aufbau.

Sie möchten zuverlässige KI-Agenten-Systeme bauen?

Wir haben auf Basis aktueller Forschung einen ausführlichen Leitfaden (auf Englisch) erstellt, wie Sie robuste KI-Agenten-Systeme bauen, die auch im produktiven Betrieb funktionieren. Der Leitfaden behandelt:

• die 14 systematischen Fehlerquellen in Multi-Agenten-Systemen
• belegte Best Practices für das Design von Agenten
• strukturierte Kommunikationsprotokolle und Prüfmechanismen

Weiterlesen

• DeepSeek R1 on-premises: Reasoning-Modelle mit SGLang auf eigener Hardware (auf Englisch)
• LLM selbst hosten: vLLM mit Caddy sicher per HTTPS betreiben
• LLM-Kosten senken: 11 bewährte Strategien
• LLM-Routing: einfache Prompts an ein günstigeres Modell schicken
• Open WebUI: eine selbst gehostete Chat-Oberfläche für lokale Modelle

Über den Autor

Andreas Nigg

Mitgründer, Pondhouse Data

Andreas entwickelt seit mehr als acht Jahren Datenanwendungen. Bei Pondhouse Data konzipiert und baut er KI-Systeme und integriert sie in komplexe, gewachsene Unternehmensumgebungen.

Sprechen Sie mit Andreas über Ihr ProjektAuf LinkedIn folgen