Methodik und Tests
Der Test der Version 1.0.0 umfasst 24 Texte. Bei Deutsch und Englisch erreichte je 1 von 6 KI-Texten die Testschwelle. Entsprechend ist das KI-Stilsignal für die redaktionelle Prüfung von Sprachmustern geeignet. Die Urheberschaft bleibt offen.
| Sprache | Quelltexte Mensch / KI | Auswertbar Mensch / KI | Treffer Mensch | Treffer KI | Fehlalarmrate | Ø KI / Mensch |
|---|---|---|---|---|---|---|
| DE | 6 / 6 | 6 / 6 | 6 / 6 | 1 / 6 | 0 % | 35.5 / 28.3 |
| EN | 6 / 6 | 4 / 6 | 4 / 4 | 1 / 6 | 0 % | 36 / 22.3 |
Wie die Stichprobe zustande kam
Je Sprache liefen sechs Auszüge aus vor dem LLM-Zeitalter veröffentlichten Werken und sechs Texte aus ChatGPT durch denselben Analyzer. Die menschlichen Auszüge stammen aus Erzählprosa, Briefen, einer Parabel und argumentativer Prosa. Pro Sprache waren fünf KI-Texte natürlich formuliert und einer enthielt bewusst viele Floskeln. Die Stichprobe ist klein und bildet heutige Webtexte, mehrere Modelle und gemischte Urheberschaft nur eingeschränkt ab.
Wie wir Treffer gezählt haben
Die Schwelle von 60 Punkten stand vor der Auswertung fest. Bei einem KI-Text galt ein Wert ab 60 als Treffer. Bei einem menschlichen Text war ein Wert ab 60 ein Fehlalarm. Zwei englische Auszüge hatten weniger als fünf vollständige Sätze und erhielten keinen Prozentwert. Die Fehlalarmrate gilt ausschließlich für die in der Tabelle ausgewerteten Texte.
Wo das KI-Stilsignal versagt
Die fünf natürlicher formulierten KI-Texte pro Sprache blieben unter 60 Punkten. Beide bewusst formelhaften Kontrolltexte erreichten 92 Punkte. Wiederholung, Floskeln, gleichmäßige Satzlängen und Übergangswörter prägen den Wert. Redaktionelle Vorgaben und Textsorten können ähnliche Muster erzeugen. Die Prozentskala ist unkalibriert.
Was die Sprach-, SEO- und GEO-Werte messen
Nexus schätzt Silben für den deutschen und englischen Flesch-Wert, zählt Wörter und Sätze und markiert ausgewählte Grammatik- und Zeichensetzungsregeln. Die SEO-Wertung prüft Themenbezug, Suchintention, Gliederung und verfügbare Metadaten. Die GEO-Wertung prüft direkte Antworten, Struktur, Belegsignale, Beispiele und Geltungsbereiche. Links, Quelleninhalte und tatsächliche Zitationen erfordern eine eigene Prüfung.
Funktionsprüfung der ersten Version
Getestet wurden Textanalyse, Sprachgrenzen, exakte Markierungspositionen, Überarbeitung mit unveränderten Zahlen, PDF-Struktur, HTML-Extraktion, DNS- und Redirect-Prüfung, Größenbegrenzung und SEO-Metadaten. Im Browser wurden Textmarkierungen, Vergleich, PDF-Aktion und Sprachwechsel geprüft. Die mobile Gestaltung wurde bei 390 Pixel Breite kontrolliert.
Bekannte Grenzen beim Import und bei der Überarbeitung
Der URL-Import verarbeitet öffentlich erreichbaren HTTPS-Text und führt kein Seiten-JavaScript aus. Zugriffsblockaden, sehr große Seiten und Inhalte hinter einem Login können zum Abruffehler führen. Die Überarbeitung verwendet ausgewählte Regeln und ergänzt Hinweise zu fehlenden Belegen und Beispielen. Fakten, Fachterminologie und Tonalität lassen sich im Vergleich redaktionell prüfen.
Deutsch, Englisch und weitere Sprachen
Die angegebenen Ergebnisse gelten für diese deutsche und englische Stichprobe. Französisch, Spanisch und Italienisch benötigen je ein Sprachprofil und eigene, genreübergreifende Tests.
Quellen
- Franz Kafka · Die Verwandlung (1915)
- Johann Wolfgang von Goethe · Die Leiden des jungen Werther (1774)
- Lutherbibel 1912 · Lukas 15
- Arthur Conan Doyle · A Scandal in Bohemia (1891)
- Thomas Paine · Common Sense (1776)
- Weber-Wulff et al. · Testing of Detection Tools for AI-Generated Text (2023)
- Google Search Central · AI features and your website