Wie lassen sich große KI-Sprachmodelle so anpassen, dass sie zuverlässig, sicher und leicht anpassbar werden? Und wie kann man dabei verstehen, was im Inneren der Sprachmodelle passiert? Mit diesen Fragen beschäftigt sich Marius Mosbach, der jetzt zum Professor für Language Science and Technology an der Universität des Saarlandes ernannt wurde. Seine Forschung will den entscheidenden Schritt verständlich machen, mit dem aus einem vortrainierten Sprachmodell ein spezialisiertes, verlässliches System wird.
Große Sprachmodelle (Large Language Models, LLMs) – die Technologie hinter Werkzeugen wie ChatGPT und Claude, die Millionen Menschen täglich nutzen – zeigen erst nach umfangreicher Anpassung ihre volle Leistungsfähigkeit. Dieser Schritt, in der Fachwelt als Fine-Tuning oder Post-Training bekannt, spezialisiert ein Modell auf neue Fachgebiete, Sprachen oder Aufgaben und sorgt dafür, dass es sicherer und besser auf menschliche Anforderungen abgestimmt ist. Doch obwohl fast jede praktische Anwendung auf dieser Anpassung beruht, ist bislang erstaunlich wenig darüber bekannt, wann, warum und wie sie tatsächlich funktioniert. Genau hier setzt die Forschung von Marius Mosbach an.
Sein Ziel ist es, die Anpassung von Sprachmodellen von einer Sammlung empirischer Rezepte in eine fundierte Wissenschaft zu überführen und dieses Verständnis zu nutzen, um zuverlässigere und anpassungsfähigere KI-Systeme zu entwickeln. Seine Arbeit gliedert sich in drei Richtungen: Zum einen beschäftigt er sich mit der Interpretierbarkeit von Modellen, also der Frage, wie Sprachmodelle intern arbeiten und wie die Anpassung sie verändert. Marius Mosbach interessiert sich aber auch für das Thema Generalisierung, also die Frage, wann und warum Modelle auch außerhalb ihrer Trainingsdaten verlässlich funktionieren. Und er erforscht das Feld des kontinuierlichen Lernens, bei dem Systeme auch nach Abschluss des Trainings dynamisch weiterlernen, überholtes Wissen aktualisieren und sich im Einsatz verbessern können. Ein besonderes Anliegen ist ihm dabei, die Forschung zur Interpretierbarkeit von KI-Systemen praktisch nutzbar zu machen.
In der Fachwelt wurde Marius Mosbach unter anderem durch LLM2Vec bekannt, ein Verfahren, mit dem sich große Sprachmodelle in leistungsfähige Text-Encoder verwandeln lassen. Außerdem fanden seine grundlegenden Arbeiten zur Stabilität des Fine-Tunings von Sprachmodellen wie „Bert“ breite Beachtung.
An der Universität des Saarlandes baut Marius Mosbach in der Fachrichtung Sprachwissenschaft und Sprachtechnologie am Saarland Informatics Campus eine neue Forschungsgruppe auf. Zugleich wird er als wissenschaftlicher Direktor am Deutschen Forschungszentrum für Künstliche Intelligenz (DFKI) tätig sein und ist damit eng mit der internationalen Forschungslandschaft und der KI-Forschung am Standort verzahnt.
Für seine Arbeiten wurde Marius Mosbach gemeinsam mit seinen Mitautorinnen und Mitautoren mehrfach ausgezeichnet, darunter mit einem Best Paper Award auf der COLING 2022, dem Best Theme Paper Award auf der ACL 2023 sowie dem Most Interesting Paper Award bei der BabyLM Challenge 2023.
Kurzbiografie
Marius Mosbach studierte Informatik an der Universität des Saarlandes, wo er auch an der Fakultät für Mathematik und Informatik promovierte. Anschließend forschte er als Postdoktorand am Mila – Quebec AI Institute und an der McGill University in Montréal (Canada). Marius Mosbach wird am 1. Oktober seine Tätigkeit als Professor an der Universität des Saarlandes und wissenschaftlicher Direktor am Deutschen Forschungszentrum für Künstliche Intelligenz (DFKI) aufnehmen.
