Große Sprachmodelle (Large Language Models, LLMs) wie GPT-4 sind derzeit das Nonplusultra in der Welt der künstlichen Intelligenz (KI). Sie erzeugen beeindruckende Texte und lösen komplexe Aufgaben – dennoch wächst der Zweifel unter Expert:innen, ob dieser Ansatz tatsächlich zum Ziel einer allgemeinen, sogenannten Super-KI führt.
Der renommierte KI-Forscher Yann LeCun, bekannt für seine Beiträge zum Deep Learning und ehemaliger Facebook-Chef-Wissenschaftler, ist einer der lautstarken Kritiker der reinen Sprachmodell-Strategie. Er bezeichnet LLMs als eine Art Sackgasse und setzt stattdessen auf das Konzept der World Models.
World Models sind künstliche neuronale Netzwerke, die eine interne, dynamische Modellierung ihrer Umwelt erlernen – eine Art mentale Repräsentation der Welt, die es ermöglicht, Aktionen vorauszudenken und komplexe Probleme durch Simulation zu lösen. Dieser Ansatz hat Wurzeln im Bereich der Modellbasierten Reinforcement Learning (RL) und könnte langfristig flexiblere und robustere KI-Systeme ermöglichen.
Im Gegensatz zu LLMs, die auf großen Textdatensätzen und statistischen Wahrscheinlichkeiten basieren, verfolgen World Models ein grundsätzlich anderes Paradigma: Sie versuchen, die Umwelt in abstrakten, latenten Raumrepräsentationen zu erfassen und darauf basierende Vorhersagen zu treffen. Dadurch könnte die KI lernen, generalisierbarere und adaptivere Intelligenzleistungen zu erbringen.
Diese Diskussion findet gerade eine Bühne beim AI Summit in Paris, wo LeCun seine Wette auf die World Models öffentlich macht. Er sieht in ihnen den Schlüssel zu einer echten Superintelligenz, während die aktuellen LLMs seiner Meinung nach vor allem mächtige, aber letztlich oberflächliche Sprach-Generatoren bleiben.
Wissenschaftlich betrachtet ist das ein spannender Paradigmenwechsel und zeigt, wie wichtig die Erforschung verschiedener KI-Architekturen und Lernmethoden ist. Für Maturant:innen und KI-Interessierte lohnt es sich, sowohl die Mechanismen von LLMs als auch die Potenziale von World Models zu verstehen, um die Zukunft dieser revolutionären Technologie beurteilen zu können.
Insgesamt stellt sich die Frage: Sind große Sprachmodelle nur ein Zwischenschritt oder die endgültige Lösung? Die Antwort bleibt offen, doch die Entwicklung um World Models zeigt, dass die KI-Forschung nie stillsteht.
Weiterführende Links
- https://de.wikipedia.org/wiki/Yann_LeCun
- https://en.wikipedia.org/wiki/World_model_(artificial_intelligence)
- https://www.technologyreview.com/2023/02/15/1068448/world-models-ai-yann-lecun-skepticism/
- https://ai.googleblog.com/2018/06/world-models.html