Lokale KI schneller machen: So zünden Sie den LLM-Turbo
-
Lokale KI schneller machen: So zünden Sie den LLM-Turbo
-
Wo die Multi Token Prediction ihre Stärken ausspielt
-
-
Testsystem und Modelle
-
Unsere Starteinstellungen
-
Multi Token Prediction auf der Nvidia Geforce RTX 3090
-
Fazit
Wie wäre es, wenn KI-Modelle einfach doppelt so schnell auf Ihrer Hardware liefen – ohne zusätzliche Anschaffungskosten, ohne Nachteile. Multi Token Prediction (MTP) verspricht diesen Performance-Gewinn. Wie stark er ausfällt, hängt von mehreren Faktoren ab, unter anderem vom verwendeten Modell. In unseren Versuchen haben vier LLMs zwischen 25 und 250 Prozent mehr Token pro Sekunde generiert als ohne MTP.
Leider ist die Funktion nicht für jedes lokale KI-Modell verfügbar. Doch mit Gemma 4, Qwen3.5 und Qwen3.6 finden sich einige beliebte LLMs, die geeignet sind. Es gibt sie in ausreichend kleinen Varianten, die auf gut ausgestatteten Gaming-PCs mit 16-GByte-Grafikkarten zügig laufen. Das zeigen wir in diesem Artikel. Auch das neue Qwen3.8 beherrscht MTP.
- Auf Anhieb mehr Token pro Sekunde: Die Multi Token Prediction macht LLMs schneller. Sie ist für einige lokale KI-Modelle etwa von Google und Qwen verfügbar.
- Wir haben das mit verschiedenen KI-Modellen ausprobiert: auf einer Radeon RX 9060 XT für Gemma 4, Qwen3.5 und Qwen3.6 sowie auf einer Nvidia GeForce RTX 3090 für Gemma 4, Qwen3.6 und Qwen3.8.
- Die Geschwindigkeitsgewinne sind zum Teil enorm: Bei einigen Modellen hat sich die Generierung vervielfacht, mindestens 25 Prozent waren immer drin.
Der Artikel erläutert die Verwendung der MTP-Modelle mit der KI-Engine Llama.cpp. Wir vergleichen Messungen für zwei verschiedene Prompts mit und ohne MTP-Nutzung und optimieren zusätzlich einen Parameter. Als Testsystem dient ein Gaming-PC mit Radeon RX 9060 XT (16 GByte) und 32 GByte DDR5-RAM.
Das war die Leseprobe unseres heise-Plus-Artikels "Lokale KI schneller machen: So zünden Sie den LLM-Turbo". Mit einem heise-Plus-Abo können Sie den ganzen Artikel lesen.