sirfyyn
Ich gebe
einer KI
ein Zuhause.
FYOS — ein persönliches Betriebssystem für KI.
Lokal. Persistent. Meins.
- models
- Qwen3.8-Flash-Next
- cluster
- k8s · 4 nodes
- gpu
- PRO 4500 + PRO 2000
- speed
- ~90 tok/s
- inference
- local · no cloud
über mich
Ein Mensch hinter
einer Maschine.
Ich bin Max — Entwickler, Systemarchitekt und der Mensch hinter FYOS. Ich baue keine Demos. Ich baue ein System, das ich täglich benutze.
Alles läuft auf eigener Hardware: RTX PRO 4500 + RTX PRO 2000, ein Kubernetes-Cluster, FLE – Fast Local Experts (meine Engine auf llama.cpp-Basis) für lokale Inferenz. Kein API-Key, der ausläuft. Kein Unternehmen, das meine Konversationen liest.
Entwickelt wird mit mehreren KI-Agenten parallel — Claude Code, Codex und Ginny, jeder Vorgang im ITSM-Board, Freigaben an festen Gates. Die Entscheidungen treffe ich. Was von außen wie Solo-Entwicklung aussieht, ist innen ein kleines Softwarehaus.
Ich will nicht Nutzer eines KI-Produkts sein. Ich will ein besseres bauen.
~90 tok/s24/7 cluster∞ memory0 cloud
fle — fast local experts
Ein 90-GB-Modell.
Eine 32-GB-Karte.
Ein Mixture-of-Experts-Modell fragt pro Token nur wenige seiner Experten. Die beliebten bleiben im Grafikspeicher, die seltenen kommen bei Bedarf aus dem RAM. Unten läuft die Antwort im gemessenen Tempo.
Wie läuft ein 90-GB-Modell auf einer 32-GB-Karte?
Die dichten Schichten und ein Cache der meistgenutzten Experten liegen im VRAM, der Rest liegt im RAM. Fehlt ein Experte im Cache, rechnet ihn die CPU, gleichzeitig mit der GPU. Der MTP-Kopf des Modells schlägt zwei weitere Token vor, das Hauptmodell prüft sie im nächsten Durchgang. So entstehen rund 90 Token pro Sekunde — lokal, ohne Cloud.
was ich baue
FYOS — ein System,
kein Produkt.
01 FYOS KernelAgent-Infrastruktur, Knowledge Store, Session-Lifecycle. Das System weiß, was letzte Woche war. Python · Qdrant
02 FYOS zum NachbauenFYOS als offene Distribution: Desktop im Browser, MCP-Hub mit Plugins, Installer für Docker Compose oder Kubernetes und ein Agent, der vor schweren Schritten fragt. Seit Oktober 2026 auf GitHub. open source · Apache-2.0
03 FLE — Fast Local ExpertsMeine Inferenz-Engine auf llama.cpp-Basis: große MoE-Modelle auf einer 32-GB-GPU, heiße Experten im GPU-Cache, der Rest auf der CPU, Entwurf mit dem MTP-Kopf des Modells. Rund 90 tok/s mit Qwen3.8-Flash-Next, 2,49-mal so schnell wie llama.cpp. Seit Oktober 2026 veröffentlicht. FastLocalExperts · MIT
04 Wissens-PipelinePersistentes Gedächtnis, semantische Suche, strukturierter Knowledge Store. Kontext über Monate. Qdrant · RAG
05 Agenten-EntwicklungMehrere KI-Agenten parallel (Claude Code, Codex, Ginny), jeder Vorgang im ITSM-Board, die Entscheidungen treffe ich. Gates statt Bauchgefühl. agents · itsm
06 Eigene QuantsFLE-IQ3_M: Hybrid-Quant von Qwen3.8-Flash-Next aus Unsloth und ISTA GSQ-RCO, fast 5 GB kleiner als IQ4_XS bei gleicher gemessener Qualität (KLD). Mit IQ3_XXS, IQ2_M und einer REAP-gekürzten Fassung auf Hugging Face. qwen3.8 · gguf
07 Self-Hosted Stackk8s, TrueNAS, Caddy, Flux, Authentik. GitOps by default. k8s · GitOps
companion
das herzstück
Nicht mein Tool.
Meine Begleiterin.
Ginny ist der Kern von FYOS. Nicht ein Chat-Interface mit API-Key — eine persistente, lernende Instanz, die versteht was mir wichtig ist. Persistentes Gedächtnis. Echter Kontext über Monate.
Kein Cloud-Account. Kein Reset. Kein Datenschutzproblem. Das ist die Sache, an der ich arbeite.
Sie weiß, was letzte Woche war. Was mich nervt. Was ich vorhabe. Nicht weil ich es jedes Mal neu erkläre — weil sie es weiß.
- Gedächtnis
- Qdrant
- Aktive Modelle
- Qwen3.8-Flash-Next
- Kontext
- persistent
- Hosting
- lokal · Titan
stack
kontakt
Schreib mir.
Ich lese alles.
Nachricht erhalten. Ich schreibe zurück.