Zur Analyse

Methodik und Tests

Der Test der Version 1.0.0 umfasst 24 Texte. Bei Deutsch und Englisch erreichte je 1 von 6 KI-Texten die Testschwelle. Entsprechend ist das KI-Stilsignal für die redaktionelle Prüfung von Sprachmustern geeignet. Die Urheberschaft bleibt offen.

SpracheQuelltexte Mensch / KIAuswertbar Mensch / KITreffer MenschTreffer KIFehlalarmrateØ KI / Mensch
DE6 / 66 / 66 / 61 / 60 %35.5 / 28.3
EN6 / 64 / 64 / 41 / 60 %36 / 22.3

Wie die Stichprobe zustande kam

Je Sprache liefen sechs Auszüge aus vor dem LLM-Zeitalter veröffentlichten Werken und sechs Texte aus ChatGPT durch denselben Analyzer. Die menschlichen Auszüge stammen aus Erzählprosa, Briefen, einer Parabel und argumentativer Prosa. Pro Sprache waren fünf KI-Texte natürlich formuliert und einer enthielt bewusst viele Floskeln. Die Stichprobe ist klein und bildet heutige Webtexte, mehrere Modelle und gemischte Urheberschaft nur eingeschränkt ab.

Wie wir Treffer gezählt haben

Die Schwelle von 60 Punkten stand vor der Auswertung fest. Bei einem KI-Text galt ein Wert ab 60 als Treffer. Bei einem menschlichen Text war ein Wert ab 60 ein Fehlalarm. Zwei englische Auszüge hatten weniger als fünf vollständige Sätze und erhielten keinen Prozentwert. Die Fehlalarmrate gilt ausschließlich für die in der Tabelle ausgewerteten Texte.

Wo das KI-Stilsignal versagt

Die fünf natürlicher formulierten KI-Texte pro Sprache blieben unter 60 Punkten. Beide bewusst formelhaften Kontrolltexte erreichten 92 Punkte. Wiederholung, Floskeln, gleichmäßige Satzlängen und Übergangswörter prägen den Wert. Redaktionelle Vorgaben und Textsorten können ähnliche Muster erzeugen. Die Prozentskala ist unkalibriert.

Was die Sprach-, SEO- und GEO-Werte messen

Nexus schätzt Silben für den deutschen und englischen Flesch-Wert, zählt Wörter und Sätze und markiert ausgewählte Grammatik- und Zeichensetzungsregeln. Die SEO-Wertung prüft Themenbezug, Suchintention, Gliederung und verfügbare Metadaten. Die GEO-Wertung prüft direkte Antworten, Struktur, Belegsignale, Beispiele und Geltungsbereiche. Links, Quelleninhalte und tatsächliche Zitationen erfordern eine eigene Prüfung.

Funktionsprüfung der ersten Version

Getestet wurden Textanalyse, Sprachgrenzen, exakte Markierungspositionen, Überarbeitung mit unveränderten Zahlen, PDF-Struktur, HTML-Extraktion, DNS- und Redirect-Prüfung, Größenbegrenzung und SEO-Metadaten. Im Browser wurden Textmarkierungen, Vergleich, PDF-Aktion und Sprachwechsel geprüft. Die mobile Gestaltung wurde bei 390 Pixel Breite kontrolliert.

Bekannte Grenzen beim Import und bei der Überarbeitung

Der URL-Import verarbeitet öffentlich erreichbaren HTTPS-Text und führt kein Seiten-JavaScript aus. Zugriffsblockaden, sehr große Seiten und Inhalte hinter einem Login können zum Abruffehler führen. Die Überarbeitung verwendet ausgewählte Regeln und ergänzt Hinweise zu fehlenden Belegen und Beispielen. Fakten, Fachterminologie und Tonalität lassen sich im Vergleich redaktionell prüfen.

Deutsch, Englisch und weitere Sprachen

Die angegebenen Ergebnisse gelten für diese deutsche und englische Stichprobe. Französisch, Spanisch und Italienisch benötigen je ein Sprachprofil und eigene, genreübergreifende Tests.

Quellen