Die Herausforderungen der Kohärenz in von Language Model Machines (LLMs) generierten Texten sind vielfältig und betreffen mehrere Dimensionen der linguistischen und konzeptuellen Kohärenz. Kohärenz bezieht sich auf die logische und inhaltliche Konsistenz eines Textes, die ihm hilft, verständlich und zusammenhängend zu sein. Hier sind einige der Hauptprobleme im Detail beschrieben:
1. Globale Kohärenz: Globale Kohärenz bezieht sich auf die Fähigkeit eines Textes, eine schlüssige und zusammenhängende gesamte Bedeutung oder ein Thema zu vermitteln. LLMs haben oft Schwierigkeiten, ein durchgehendes Thema zu halten, besonders bei längeren Texten. Sie neigen dazu, vom Thema abzuweichen oder irrelevante Informationen einzufügen.
Beispiel: Ein LLM könnte einen Absatz über Kognitive Wissenschaft beginnen und plötzlich ohne Vorwarnung zu einem ganz anderen Thema wie Klimawandel übergehen.2. Lokale Kohärenz: Lokale Kohärenz bezieht sich auf die Verknüpfungen und Übergänge zwischen Sätzen und Absätzen. Diese Mikroverbindungen tragen dazu bei, die Lesbarkeit und Verständlichkeit des Textes sicherzustellen. LLMs können Schwierigkeiten haben, geeignete logische Verknüpfungen (wie Konjunktionen und Bezugnahmen) zu generieren.
Beispiel: Ein Satz könnte mit einem bestimmten Argument enden, und der folgende Satz könnte etwas völlig Unverbundenes ohne Erklärung oder logischen Übergang beginnen.3. Anaphorische Kohärenz: Dies bezieht sich auf die korrekte Verwendung von Pronomen und anderen anaphorischen Referenten, um auf vorhergehende Elemente im Text zu verweisen. LLMs kämpfen oft mit der ordnungsgemäßen Zuordnung dieser Referenzen, was zu Verwirrung führt.
Beispiel: “Jane ging ins Haus. Sie war sehr aufgeregt.” Die Modelle könnten Schwierigkeiten haben, “sie” korrekt auf “Jane” zu beziehen, besonders wenn weitere Charaktere eingeführt werden.4. Semantische Kohärenz: Semantische Kohärenz ist die Übereinstimmung der Bedeutung innerhalb eines Textes. LLMs könnten semantisch inkonsistente Aussagen generieren, die logisch nicht zusammenpassen.
Beispiel: “Die Sonne ist ein Planet, der Licht auf die Erde wirft.” Dies ist semantisch inkonsistent, da die Sonne eigentlich ein Stern ist.5. Pragmatische Kohärenz: Dies betrifft die Angemessenheit und Zweckmäßigkeit von Aussagen im gegebenen Kontext. LLMs können Anomalien aufweisen, die im gegebenen Kontext unpassend oder unnötig sind.
Beispiel: In einem professionellen Bericht könnte plötzlich eine informelle oder umgangssprachliche Phrase erscheinen, die den Ton des Textes stört.Technisch gesehen steht das Problem der Kohärenz mit der begrenzten Fähigkeit der Modelle in Verbindung, den Kontext über längere Textabschnitte hinweg akkurat zu erhalten. LLMs wie GPT-3 und GPT-4 verwenden transformerbasierte Architekturen, die auf Attention-Mechanismen beruhen (Vaswani et al., 2017). Diese Modelle werden auf riesigen Textkorpora trainiert und nutzen statische Attention-Spannen, was bedeutet, dass der Kontext, auf den sie sich beziehen können, auf ein bestimmtes Textfenster begrenzt ist (Brown et al., 2020). Wenn ein Text länger als dieses Fenster ist, können frühere Teile des Textes “vergessen” werden, was die globale Kohärenz beeinträchtigt.
Eingesetzte Quellen:
- Vaswani, A., Shazeer, N., Parmar, N., et al. (2017). Attention Is All You Need. In Advances in Neural Information Processing Systems (NeurIPS).
- Brown, T., Mann, B., Ryder, N., et al. (2020). Language Models are Few-Shot Learners. In Advances in Neural Information Processing Systems (NeurIPS).
Diese technischen und linguistischen Herausforderungen zeigen, dass, obwohl LLMs beeindruckende Fähigkeiten bei der Textgenerierung aufweisen, sie noch nicht perfekt in der Lage sind, vollständig kohärente und konsistente Texte zu produzieren.
