Projekt · Oktober 2026

Katy

Eine Quantisierung von Swift-1.5-Qwen3.8-27B für llama.cpp und die FLE-Engine. Wie bei Rhea gilt: im Text steht nur, was gemessen ist.

Kennwerte

Basismodell	Swift-1.5-Qwen3.8-27B (ukisai), abgeleitet von Qwen3.8-27B
Quant	IQ4_XS mit imatrix (Produktion), Datei 15,3 GB
Qualität gegen BF16	KL-Divergenz gegen BF16 (E, W, K): IQ4_XS 0,0645 / 0,0127 / 0,0160; Top-1 92,5 / 95,9 / 95,0 %. ARC-Challenge 96,3 bis 96,5 %, GSM8K 96,8 bis 97,2 %. Quelle: Modellkarte auf dem Hub
Tempo beim Dekodieren	127 tok/s gesamt auf dem gemischten Aufgabenset (DFlash2-Kopf + ngram-mod ng8, ABAB, Drift 0,5 %). Etwa 80 tok/s auf festen Aufgaben, 46,6 tok/s ohne Spekulation. Gemessen auf einer RTX PRO 4500 Blackwell (32 GB)
Lizenz	Swift Open License v1.0, Abgeleitetes ist gekennzeichnet (NOTICE). Bedingungen geprüft, Veröffentlichung freigegeben (Max, 22.10.2026)
Dateien	Ein Hugging-Face-Repo: sirfyyn/Katy-27B-GGUF, öffentlich. IQ2_S, IQ3_S und IQ4_XS mit imatrix, dazu der DFlash2-Kopf als Q8_0 und die Imatrix; Prüfsummen in SHA256SUMS