AI Coding News12 min read

DeepSeek V4-Flash: Die Architektur, die Benchmarks und warum Post-Training gerade gewonnen hat

Eine technische Analyse von DeepSeek V4-Flash Final-Version: MoE-Architektur, hybride Sparse Attention, Benchmark-Methodik und was der 6,5-fache DeepSWE-Sprung über modernes Modelltraining verrät.

Die technische These: DeepSeek V4-Flash Final-Version nutzt dieselbe 284B-MoE-Architektur wie die April-Vorschau. Null architektonische Änderungen. Die 6,5-fache DeepSWE-Verbesserung kam ausschließlich durch Post-Training. Dieser Artikel erklärt, wie – und was das für die Modellbewertung in Zukunft bedeutet.

1. Architektur: Was unter der Haube steckt

Mixture of Experts, 284B insgesamt, 13B aktiv

V4-Flash verwendet eine spärliche MoE-Architektur. Das vollständige Modell enthält 284 Milliarden Parameter, verteilt auf mehrere Experten-Subnetzwerke. Bei jedem Forward-Pass werden nur 13 Milliarden aktiviert – etwa 4,6 % des Gesamtmodells. Das ist der fundamentale Kompromiss: Trainiere ein massives Modell, aber führe Inference zu den Kosten eines viel kleineren durch.

Das Experten-Routing wird während des Pre-Trainings gelernt. Jeder Token wird basierend auf der Eingaberepräsentation einer kleinen Teilmenge von Experten zugewiesen. Der Router wird gemeinsam mit den Experten trainiert, sodass Spezialisierung auf natürliche Weise entsteht, statt vorab festgelegt zu werden.

CSA + HCA: Hybride Sparse Attention

Der Attention-Mechanismus kombiniert zwei spärliche Muster:

  • CSA (Chunked Sparse Attention): Die Sequenz wird in Blöcke fester Größe unterteilt. Jeder Token attendiert auf alle Tokens innerhalb seines eigenen Blocks plus eine spärliche Auswahl von Tokens aus vorherigen Blöcken. Dies liefert lokale Kohärenz ohne quadratische Skalierung.

  • HCA (Hierarchical Compressed Attention): Langreichweitige Abhängigkeiten werden durch eine komprimierte Repräsentation verarbeitet. Key-Value-Paare aus entfernten Blöcken werden zu einem kleineren Satz von Zusammenfassungsvektoren aggregiert, auf die jeder Token zugreifen kann. Genau das ermöglicht das 1M-Token-Kontextfenster ohne die Speicherexplosion voller Attention.

Die Kombination macht das 1M-Token-Kontextfenster praktikabel: Bei 1M Tokens beträgt der KV-Cache-Speicher laut DeepSeek nur 10 % dessen, was V3.2 benötigte, und die Inference-Rechenleistung liegt bei 27 % von V3.2.

Natives 1M-Token-Kontextfenster

Das Kontextfenster umfasst nativ 1 Million Tokens – nicht durch Positionsinterpolation oder RoPE-Erweiterungstricks. Das bedeutet, die Attention-Muster wurden von Anfang an auf diese Länge trainiert, was für die Genauigkeit bei der Suche in langen Dokumenten entscheidend ist. DeepSeek gibt eine Retrieval-Genauigkeit von 97 % bei Millionen-Token-Dokumenten an.

2. Die Benchmark-Geschichte: Was sich geändert hat und was nicht

Das Pre-Training blieb unverändert

DeepSeek stellte ausdrücklich klar: „模型结构、尺寸和预览版完全一致,仅重新进行了后训练“ – die Modellstruktur und -größe sind vollständig identisch mit der Vorschau; nur das Post-Training wurde neu durchgeführt.

Das bedeutet: Der Pre-Training-Korpus, das Experten-Routing, die Attention-Muster und das Basiswissen stammen alle vom ursprünglichen April-Checkpoint. Die Gewichte, die Faktenwissen, Sprachverständnis und Code-Syntax kodieren, sind unverändert.

Worauf das Post-Training abzielte

Die Post-Training-Phase für V4-Flash Final-Version konzentrierte sich auf drei Bereiche:

  1. Abschluss von Agent-Aufgaben. Mehrschrittige autonome Workflows, bei denen das Modell plant, ausführt, Ergebnisse beobachtet und anpasst. Genau das messen DeepSWE und Terminal Bench.

  2. Präzision bei Tool-Aufrufen. Korrekte Parameterformatierung, richtige Tool-Auswahl und Fehlerbehebung über verkettete API-Aufrufe hinweg. Genau das misst Toolathlon.

  3. Befolgen von Anweisungen in langen Kontexten. Aufrechterhaltung der Aufgabenkohärenz über 100K+ Token-Kontexte hinweg. Dies erklärt die Verbesserungen bei Retrieval-Genauigkeit und Langdokument-Benchmarks.

Die Zahlen, mit methodischen Anmerkungen

Benchmark Flash Final-Version Flash Preview Pro Preview Anmerkungen
Terminal Bench 2.1 82,7 67,9 (TB 2.0) Unterschiedliche Testset-Versionen; nicht direkt vergleichbar
DeepSWE 54,4 7,3 Gleiches Testset; 6,5-fache Verbesserung ist real
Cybergym 76,7 Sicherheitsautomatisierung; neuer Benchmark für dieses Release
Toolathlon Verified 70,3 Tool-Aufrufe; verifizierte Teilmenge
NL2Repo 54,2 Repository-weites Codeverständnis
DSBench-FullStack 68,7 Interner DeepSeek-Benchmark
DSBench-Hard 59,6 Interner DeepSeek-Benchmark

Der DeepSWE-Vergleich ist das sauberste Signal: gleiches Testset, gleiche Architektur, 6,5-fache Verbesserung. Der Terminal-Bench-Vergleich verwendet unterschiedliche Testset-Versionen (2.1 vs. 2.0), daher sollte der Abstand von 82,7 zu 67,9 richtungsweisend interpretiert werden, nicht als präzise Größenordnung.

3. Warum das für die Modellbewertung zählt

Die Parameterzahl-Heuristik ist tot

Ein Modell mit 13B aktiven Parametern (V4-Flash) übertrifft nun ein 744B-Modell (GLM-5.2) bei Agent-Aufgaben. Ein 13B-aktives Modell liegt 2,3 Punkte hinter einem Modell mit geschätzt 300–400B aktiven Parametern (Claude Opus 4.6). Die Korrelation zwischen Parameterzahl und Fähigkeit war nie perfekt, aber jetzt ist sie auf eine Weise gebrochen, die nicht mehr ignoriert werden kann.

Post-Training ist die neue Grenze

Wenn Pre-Training bestimmt, was ein Modell weiß, dann bestimmt Post-Training, was es mit diesem Wissen anfangen kann. Das V4-Flash-Ergebnis deutet darauf hin, dass für Agent-Aufgaben die Qualität des Post-Trainings die Skalierung des Pre-Trainings dominiert. Ein gut trainiertes 13B-Modell schlägt ein schlecht trainiertes 1,6T-Modell bei den Aufgaben, die für autonomes Coden zählen.

Benchmark-Inflation ist real und beschleunigt sich

V4-Flash Final-Version erreicht 82,7 auf Terminal Bench 2.1. Vor drei Monaten waren 67,9 beeindruckend. Die Obergrenze verschiebt sich schnell, und Modelle, die im April noch „State of the Art“ waren, liegen jetzt unter der neuen Baseline. Teams brauchen kontinuierliche Evaluierungs-Pipelines, keine punktuellen Vergleiche.

4. Das Harness: Infrastruktur, nicht nur ein Modell

DeepSeek’s Agent Harness-Framework wurde in diesem Release erstmals namentlich genannt. Das Team, geleitet vom ehemaligen Jane-Street-Quant Cui Tianyi, wurde im März 2026 zusammengestellt. Das Harness bietet:

  • Langfristige Aufgabenplanung mit iterativer Selbstprüfung
  • Automatische Wiederholung bei fehlgeschlagenen Tool-Aufrufen
  • Zustandsverwaltung über mehrschrittige Workflows hinweg
  • Integration mit dem Responses-API-Format

Das ist bedeutsam, weil es bedeutet, dass DeepSeek nicht nur ein Modell ausliefert – sie liefern die Agent-Laufzeitumgebung. Die Kombination aus Modell + Harness ist das Produkt, nicht nur die Modellgewichte.

5. Was Sie testen sollten

Wenn Sie V4-Flash für Coding-Aufgaben evaluieren:

  1. Führen Sie Ihr eigenes DeepSWE-Äquivalent durch. Definieren Sie 10–20 abgegrenzte Coding-Aufgaben mit Akzeptanzkriterien. Vertrauen Sie nicht dem Benchmark; vertrauen Sie Ihrer Arbeitslast.
  2. Messen Sie die Länge der Tool-Aufrufketten. Wenn Ihr Agent-Workflow 5+ Tool-Aufrufe verkettet, testen Sie gezielt auf Kontextdrift und Parameterkorruption am Ende der Kette.
  3. Prüfen Sie den 1M-Token-Kontext. Die Angabe von 97 % Retrieval-Genauigkeit ist ermutigend, aber verifizieren Sie sie mit Ihren tatsächlichen Dokumenttypen und Abfragemustern.
  4. Vergleichen Sie die Kosten pro akzeptierter Aufgabe. V4-Flash kostet 1/10 des Preises von GPT-4o pro Token. Wenn es 2× mehr Wiederholungen braucht, ist es immer noch 5× günstiger. Messen Sie die tatsächliche Wirtschaftlichkeit. Sie wollen den breiteren Überblick? Der direkte Vergleich stellt V4-Flash gegen GPT-5.6, Claude, Kimi K3 und GLM-5.2, und die Post-Training-Analyse erklärt, warum Trainingsmethodik heute mehr zählt als die Parameterzahl. Für das vollständige Launch-Bild inklusive der Änderungen durch Pro starten Sie beim vollständigen Launch-Briefing.

Sie haben die Architektur gelesen. Jetzt führen Sie das Modell aus.

MonkeyCode unterstützt bereits V4-Flash-0731. Same-Day-Integration, 30M Tokens täglich kostenlos, keine Hardware bereitzustellen.

👉 Benchmarken Sie es selbst auf MonkeyCode