Falsche Zeichenkodierung
Beim Einsatz von generativen KI-Systemen (z. B. ChatGPT, Claude oder vergleichbaren Tools) kann es vorkommen, dass Texte formal korrekt aussehen, jedoch technisch problematische Zeichen enthalten. Diese fallen insbesondere bei der Weiterverarbeitung in Textverarbeitungssystemen, LaTeX, Markdown, Content-Management-Systemen oder Quellcode auf. Typische Problemfälle sind Geviertstriche (Em Dash) sowie nicht standardkonforme Leerzeichen.
KI-Modelle erzeugen Text nicht zeichenweise, sondern tokenbasiert. Dabei greifen sie häufig auf typografisch hochwertige Unicode-Zeichen zurück, die aus gestalterischer Sicht sinnvoll sind, technisch jedoch nicht immer mit Zielsystemen kompatibel sind. Das Ergebnis ist ein Text, der visuell korrekt wirkt, aber bei Kopieren, Rendern, Parsen oder Weiterverarbeiten Fehler verursacht oder unerwartetes Verhalten zeigt.
Geviertstrich (Em Dash) statt Bindestrich
Statt eines normalen Bindestrichs (-, ASCII 45) geben KI-Systeme häufig einen Geviertstrich (—, Unicode U+2014) oder einen Halbgeviertstrich (–, Unicode U+2013) aus. Diese Zeichen werden typischerweise verwendet:
- zur typografischen Hervorhebung
- als Gedankenstrich
- als Ersatz für Doppelpunkte oder Klammern
Typische Symptome
- Probleme beim Import in LaTeX, Markdown oder CSV
- Fehlerhafte Trennungen in Silbentrennung oder Suchfunktionen
- Unerwartete Zeilenumbrüche
- Fehlverhalten in Programmen, die ASCII-Zeichen erwarten
Beispiele
Die Nutzung von KI—insbesondere im wissenschaftlichen Kontext—erfordert klare Regeln.Die Nutzung von KI - insbesondere im wissenschaftlichen Kontext - erfordert klare Regeln.Ungewöhnliche oder unsichtbare Leerzeichen
KI-Systeme verwenden teilweise Unicode-Leerzeichen, die sich vom normalen Leerzeichen (U+0020) unterscheiden. Diese sind visuell kaum erkennbar, können aber maschinell problematisch sein. Häufige Varianten:
- Geschütztes Leerzeichen (
U+00A0) - Schmales Leerzeichen (
U+2009) - Kein-Umbruch-Leerzeichen (
U+202F) - Zero-Width-Space (
U+200B)
Typische Symptome
- Zeilen umbrechen nicht korrekt
- Copy-&-Paste führt zu “verklemmten” Wörtern
- Probleme bei automatischer Textverarbeitung
- Fehler bei regulären Ausdrücken oder Parsing
- Abweichungen bei Zeichen- oder Wortzählungen
Ursachen
Die Ursachen liegen nicht in einer klassischen “falschen Zeichenkodierung”, sondern in der typografischen Optimierung der KI-Ausgabe:
- KI bevorzugt typografisch korrekte Zeichen
- Modelle orientieren sich an redaktionellen Texten
- Unicode wird standardmäßig verwendet
- Der Zielkontext (z. B. LaTeX, Markdown, Code) ist der KI oft nicht implizit bekannt