sirfyynProjekt · veröffentlicht im Oktober 2026 · MIT
FLE — Fast Local Experts
Eine Inferenz-Engine für große Mixture-of-Experts-Modelle auf einer Grafikkarte. Gebaut als Fork von llama.cpp, jede Änderung in gepaarten Messungen belegt — auch die, die nicht funktioniert haben.
GitHub Technischer Bericht Modelldateien
- Dekodieren
- ~90 tok/s
- FLE-IQ3_M
- 88,9 GB
- Grafikkarte
- 32 GB
Wie es funktioniert
- Expertencache im VRAM. Die häufigsten Experten bleiben auf der GPU; Zulassung nach Häufigkeit, Verdrängung des ältesten Eintrags.
- GPU und CPU gleichzeitig. Cache-Treffer rechnet die GPU, fehlende Experten zur selben Zeit die CPU aus dem Arbeitsspeicher; dazu fusionierte CUDA-Kernel.
- MTP-Kopf des Modells. Er schlägt zwei Token vor, das Hauptmodell prüft sie im nächsten Durchgang; eine 32k-Vokabelliste macht das Entwerfen billiger.
- Schlankes Prefill. Lange Prompts leihen sich Cache-Schichten für größere Batches, dazu ein Prompt-Cache, der Folgeturns nicht verdrängt.
- Kompatibel. Gleiches GGUF-Format und gleiche Server-API wie llama.cpp.
Kennwerte
| DekodiertempoFLE-IQ3_M, RTX PRO 4500 32 GB; 91,2 tok/s auf sechs Aufgaben | ~90 tok/s |
|---|---|
| Gegen llama.cppgleiche Datei, gleiche GPU, gleiche 16 Threads | 2,49× |
| Gegen den Betrieb davorunverändertes llama.cpp mit Unsloth UD-IQ4_XS, ~56 tok/s | +58,5 % |
| Gegen Strata91,2 gegen 74,0 tok/s auf sechs Aufgaben, nicht gepaart | +23 % |
| Prefillllama.cpp mit -ub 4096 ist bei 4k und 8,6k Token 24 % und 12 % schneller; der nächste Schritt | langsamer |
| Modellgröße FLE-IQ3_MUnsloth UD-IQ4_XS: 93,7 GB | 88,87 GB |
Gemessen auf „Titan“: AMD Ryzen 9 9950X3D (16 Kerne), 120 GB DDR5, NVIDIA RTX PRO 4500 (32 GB). Alle Zahlen außer dem Strata-Vergleich stammen aus gepaarten Messklammern mit 95-%-Intervallen; die Einzelheiten stehen im technischen Bericht.
Was es gebracht hat
Jede Änderung lief in einer gepaarten Messung: Bezug, Kandidat, Bezug, auf derselben Maschine. Zwei Ideen haben das Tempo gesenkt und wurden verworfen.
| Expertencache + Zulassung/Verdrängung | +12,2 % | |
|---|---|---|
| Überlappung + CUDA-Fusion + IQ4_NL-Kopf | +19,5 % | |
| Nachtrainierter MTP-Kopf (nicht veröffentlicht) | +4,9 % | |
| 32k-Vokabelliste (Entwurfskopf) | +4,1 % | |
| 46 statt 44 Cache-Schichten | +2,3 % | |
| Experten vorladen (Pre-Gating)verworfen | −10 … −27 % | |
| N-Gramm-Entwurf statt MTPverworfen | −14 … −23 % |
Änderung des Dekodiertempos gegen den jeweiligen Bezug. Die Effekte bauen aufeinander auf.
FLE-IQ3_M: kleiner, gleich gut
FLE-IQ3_M (intern „G3“) kombiniert die Basis von Unsloth UD-IQ4_XS mit Expertenschichten von ISTA-DASLab GSQ-RCO und spart so knapp 5 GB. Die KL-Divergenz gegen das Original unterscheidet sich auf drei Texten nur innerhalb des Messrauschens (±0,007); einer der Texte war bei der Auswahl zurückgehalten.
| Text FAuswahltext | ΔKLD −0,0077 |
|---|---|
| Text EPrüftext | ΔKLD +0,0029 |
| Text Vzurückgehalten | ΔKLD −0,0026 |
Was veröffentlicht ist
- FastLocalExperts auf GitHub — die Engine (MIT), Version 1.1.0 (Releases, ab v1.1.0 mit portablen CUDA-Builds für Linux und Windows), mit Startbefehl und allen FLE-Schaltern.
- FLE Studio — eine lokale App mit Chat, Livedaten, Modell-Lader und Startprofilen für FLE und llama.cpp (MIT, Version 0.3.0; GitHub).
- Modelldateien auf Hugging Face — FLE-IQ3_M, FLE-IQ3_XXS, FLE-IQ2_M und der MTP-Kopf, mit Herkunft je Schicht; die REAP-gekürzte Fassung hat ein eigenes Repo.
- Der technische Bericht — jede Messung, auch die Fehlschläge; bei Zenodo archiviert (doi:10.5281/zenodo.23272400).
- Acht Kurzfilme — „Making Rhea fast“, sieben Minuten auf YouTube (Kanal @sirfyyn), wie FLE gemessen wurde und was nicht funktioniert hat.
Quellen
- llama.cpp / ggml — G. Gerganov und Mitwirkende, MIT-Lizenz
- Qwen3.8-Next — Qwen Team, „On the Design of Qwen3.8-Next Architecture“, arXiv:2608.30320
- Unsloth Dynamic GGUF — Basis-Quant UD-IQ4_XS
- ISTA-DASLab GSQ-RCO — Spender der Expertenschichten; GSQ arXiv:2604.18556, RCO arXiv:2605.00649
- imatrix & IQ-Quants — I. Kawrakow, llama.cpp #4861, #4897, #5676
- KLD als Maß — Dutta u. a., „Accuracy is Not All You Need“, arXiv:2407.09141
- Multi-Token-Prediction — DeepSeek-V3, arXiv:2412.19437; Gloeckle u. a., arXiv:2404.19737
- Spekulatives Dekodieren — Leviathan u. a., arXiv:2211.17192; Chen u. a., arXiv:2302.01318
- Hyper-Connections — Zhu u. a., arXiv:2409.19606
- MoE-Auslagerung — Fiddler arXiv:2402.07033; HybriMoE arXiv:2504.05897; MoE-Infinity arXiv:2401.14361
Häufige Fragen
Läuft Qwen3.8-Flash-Next auf einer einzigen 32-GB-Grafikkarte?
Ja. FLE legt die dichten Schichten und einen Cache häufig genutzter Experten auf die GPU; die übrigen Experten bleiben im Arbeitsspeicher und rechnet die CPU. Auf einer RTX PRO 4500 mit 32 GB habe ich so rund 90 Token pro Sekunde beim Dekodieren gemessen.
Ist FLE ein Fork von llama.cpp?
Ja. FLE ist ein Fork von llama.cpp (MIT-Lizenz) und übernimmt dessen Modellformat GGUF, Quant-Typen und Server. Alle FLE-Funktionen sind abschaltbar; ohne sie verhält es sich wie llama.cpp.
Was ist FLE-IQ3_M?
Die Modelldatei, mit der die Zahlen gemessen sind (intern „G3“): ein Hybrid-Quant von Qwen3.8-Flash-Next aus Unsloth UD-IQ4_XS und ISTA-DASLab GSQ-RCO, 88,87 statt 93,7 GB, bei einer KL-Divergenz innerhalb des Messrauschens.
Wo gibt es FLE?
Seit Oktober 2026 öffentlich: die Engine auf GitHub (sirfyyn/FastLocalExperts, MIT), die Modelldateien auf Hugging Face (sirfyyn/Qwen3.8-Flash-Next-FLE-GGUF) und der technische Bericht unter sirfyyn.github.io/FastLocalExperts, archiviert bei Zenodo (doi:10.5281/zenodo.23272400).
Gibt es eine Oberfläche für FLE?
Ja: FLE Studio ist eine lokale App für macOS, Linux und Windows mit Chat im Browser, Livedaten während der Antwort, Modell-Lader und Startprofilen. Sie arbeitet mit FLE und mit gewöhnlichem llama.cpp, ohne Konto und ohne Telemetrie (MIT).