De uitdagingen op het gebied van coherentie in de teksten die door Large Language Models (LLM’s) zoals GPT-3 en GPT-4 worden gegenereerd, zijn talrijk en complex. Coherentie verwijst naar de mate waarin verschillende delen van een tekst logisch met elkaar zijn verbonden en samen een samenhangend geheel vormen. Ondanks de vooruitgangen in de ontwikkeling van LLM’s, zijn er nog steeds significante obstakels als het gaat om het garanderen van coherentie in de gegenereerde teksten. Hieronder worden enkele van deze uitdagingen besproken, geïllustreerd met voorbeelden en ondersteund door betrouwbare bronnen.
1. Contextverloop en consistentieregeling: Een van de grootste uitdagingen is het behouden van consistente context gedurende de gehele tekst. LLM’s kunnen soms in de loop van langere teksten de draad kwijtraken, waardoor er inconsistenties ontstaan die de coherentie verstoren. Bijvoorbeeld, een verhaal dat begint met een personage in een stad, kan abrupt schakelen naar een plattelandssetting zonder een duidelijke overgang.
Bron: - Marcus, G., & Davis, E. (2020). GPT-3, Bloviator: OpenAI’s language generator has no idea what it’s talking about. Technology Review. Dit artikel bespreekt hoe GPT-3 vaak niet in staat is een consistente verhaallijn te behouden.1. Referentiële coherentie: Referentiële coherentie betreft het probleem dat LLM’s soms moeite hebben met het correct verwijzen naar eerder genoemde objecten, personen of gebeurtenissen. Dit kan leiden tot verwarring en fragmentatie in de tekst. Bijvoorbeeld, een LLM kan een persoon eerst met “hij” aanduiden en later in de tekst ineens overschakelen naar “zij” zonder duidelijke reden.
Voorbeeld: “Jan ging naar het park. Daar ontmoette hij zijn vriend. Ze besloten naar haar huis te gaan om een film te kijken.” – Hier is de overgang van “zijn” naar “haar” verwarrend en inconsistent. Bron: - Bender, E. M., Gebru, T., McMillan-Major, A., & Shmitchell, S. (2021). On the Dangers of Stochastic Parrots: Can Language Models Be Too Big? Proceedings of the 2021 ACM Conference on Fairness, Accountability, and Transparency. Het document benadrukt de beperking van LLM’s om referentiële coherentie te handhaven.1. Semantische coherentie: De semantische coherentie betreft het behoud van betekenisvolle en logische relaties tussen de verschillende delen van de tekst. LLM’s kunnen soms logisch inconsistent of tegenstrijdig zijn binnen dezelfde tekst. Bijvoorbeeld, in een artikel over gezondheidsadvies kan een LLM eerst beweren dat water drinken noodzakelijk is voor hydratatie, maar later suggereren dat het drinken van water minder belangrijk is dan aangenomen.
Bron: - Ruder, S., Peters, M. E., Swayamdipta, S., & Wolf, T. (2019). Transfer Learning in Natural Language Processing. Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics. Hier wordt besproken hoe semantische coherentie een uitdaging blijft voor LLM’s bij het overstappen tussen verschillende delen van een tekst.1. Pragmatische coherentie: Ten slotte is er het probleem van pragmatische coherentie, waarbij het gaat om de mate waarin de gegenereerde tekst aansluit bij de verwachtingen en de kennis van de lezer. LLM’s kunnen soms ongebruikelijke of onverwachte wendingen nemen die niet goed aansluiten bij de pragmatische context van de lezer. Dit kan de lezer verwarren of afleiden.
Bron: - Clark, E., Ross, A. S., Tan, C., Ji, Y., & Smith, N. A. (2021). Creative Writing with a Machine in the Loop: Case Studies on Syntactic and Pragmatic Coherence. Proceedings of the 14th International Conference on Natural Language Generation. Dit bespreekt hoe LLM’s vaak lastig vinden om pragmatische coherentie te behouden, vooral bij langere of complexere teksten.Samenvattend zijn de uitdagingen van coherentie in door LLM’s gegenereerde teksten divers en omvatten problemen met contextverloop, referentiële, semantische en pragmatische coherentie. Terwijl LLM’s indrukwekkende prestaties hebben geleverd in het genereren van mensachtige teksten, blijven deze coherentie-uitdagingen belangrijke onderzoeksvragen voor voortschrijdende verbeteringen.
