Wie kleinere KI-Modelle die Zukunft prägen: Insights aus dem Forschungsaufenthalt von Maximilan Dauner an der Cal Poly

Zwei Monate lang war Maxmilian Dauner (Doktorand bei MUC.DAI) als Visiting Researcher an der California Polytechnic State University, USA zu Gast.

Im Gespräch mit uns hat er über seinen Aufenthalt erzählt:

1. Was waren die zentralen Ziele deines Forschungsaufenthalts an der Cal Poly – und warum gerade dort?

Generative KI hält immer stärker Einzug in unseren Alltag, von sensiblen Gesprächen mit Chatbots über personalisierte Bilder bis hin zu automatisierten Workflows mit interagierenden KI-Agenten. Gleichzeitig steigt mit immer größeren Datensätzen und komplexeren Modellen nicht nur die Leistungsfähigkeit, sondern auch der Ressourcenbedarf, insbesondere beim Energie- und Wasserverbrauch großer Rechenzentren.

Genau hier setzt mein Forschungsaufenthalt an der Cal Poly in San Luis Obispo an. Gemeinsam untersuchen wir, wie das Training und die Architektur großer Sprachmodelle nachhaltiger gestaltet werden können und wie sich Emissionen bei alltäglichen Chatbot-Interaktionen reduzieren lassen wie etwa durch intelligentes Caching und die automatisierte Optimierung von Nutzereingaben.

Cal Poly ist dafür ein idealer Partner, da die Universität eine starke technische Ausrichtung, ausgewiesene Expertise in angewandter Forschung und eine enge Verzahnung von Wissenschaft und Praxis verbindet.

2. Woran hast du konkret geforscht?

Konkret habe ich am Thema Knowledge Distillation geforscht. Dabei geht es darum, ein großes und leistungsstarkes Large Language Model (LLM) als „Lehrermodell“ einzusetzen, um ein deutlich kleineres Modell mit weniger Parametern, das sogenannte „Schülermodell“, zu trainieren. Diese Methode wird auch von Unternehmen wie DeepSeek verwendet, um kompakte und dennoch leistungsfähige LLMs zu entwickeln.

Während meines Forschungsaufenthalts habe ich mich auf zwei spezifische Anwendungsfelder konzentriert: das Schreiben von Python-Code und das Lösen mathematischer Gleichungen. Neben dem eigentlichen Training der Modelle lag ein weiterer Schwerpunkt auf der Generierung geeigneter Trainingsdaten. Dazu wurden sowohl Programmieraufgaben in Python als auch Daten für mathematische Problemstellungen erstellt.

Das zentrale Ziel besteht darin, durch Knowledge Distillation effizientere, ressourcenschonendere KI-Modelle zu entwickeln, die trotz geringerer Größe eine hohe Leistungsfähigkeit aufweisen und so zu einer nachhaltigeren Nutzung von KI beitragen.

3. Welche Methoden oder Modelle hast du eingesetzt oder weiterentwickelt?

Als Trainingsmethode kam der Step-wise Preference Optimization (Step-DPO) Algorithmus zum Einsatz, eine spezielle Form der Knowledge Distillation. Dabei wurden lokale Qwen 3-Modelle mit Größen zwischen 7 und 32 Milliarden Parametern verwendet. Das Training fand auf einem GPU-Server der Hochschule München statt, der mit zwei NVIDIA A100-Grafikkarten (jeweils 80 GB Speicher) ausgestattet ist. Ein besonderer Aspekt des Projekts war die Messung des Energieverbrauchs während des gesamten Trainingsprozesses, um die Nachhaltigkeit der Modellentwicklung bewerten zu können. In den Forschungsarbeiten wurden alle zentralen Schritte einer modernen Machine-Learning-Pipeline abgedeckt, von der Datengenerierung über die Entwicklung neuer Modellarchitekturen bis hin zum Training mithilfe aktueller Methoden der Knowledge Distillation.

4. Gab es ein besonderes Highlight – fachlich oder persönlich – während deines Forschungsaufenthalts?

Der Aufenthalt an einem US-College war in vielerlei Hinsicht voll mit besonderen Highlights. Die Vielfalt an Aktivitäten, von Sportevents bis hin zu Halloween-Veranstaltungen, boten spannende und interessante Einblicke in das Campusleben und die amerikanische Collegekultur. Besonders bereichernd war auch die Zusammenarbeit mit den Studierenden, die durch ihre unterschiedlichen Perspektiven neue Denkanstöße in die Forschung einbrachten. Auch abseits des Campus war der Aufenthalt ein unvergessliches Erlebnis: Von Surfen an der kalifornischen Küste bis hin zu Wanderungen in Nationalparks bot sich eine beeindruckende Vielfalt an Möglichkeiten und Highlights.

5. Welche Erkenntnisse oder Ergebnisse nimmst du für deine weitere Forschung an der HM mit?

Durch den Forschungsaufenthalt konnte eine solide Grundlage für weiterführende Arbeiten geschaffen werden. Dabei entstand eine erste Pipeline, die nun in zukünftigen Projekten weiter verbessert und ausgebaut wird. Ein besonderer Schwerpunkt liegt künftig auf der Entwicklung einer neuen Modellarchitektur, die Large Language Models leistungsfähiger machen und ihre Fähigkeit zum Reasoning weiter verallgemeinern soll. Die gesammelten Erfahrungen und Trainingserkenntnisse lieferten wertvolle Einsichten, sowohl in typische Herausforderungen beim Training von LLMs als auch in zentrale Stellschrauben, an denen für die nächste Entwicklungsphase angesetzt werden kann.

6. Wie fließen deine Erfahrungen in Lehre, Projekte oder Kooperationen bei MUC.DAI ein?

Die Erfahrungen aus dem Forschungsaufenthalt fließen auf vielfältige Weise in die Arbeit bei MUC.DAI ein, sowohl in Abschlussarbeiten als auch in internationale Studierendenprojekte rund um die Themen KI und Nachhaltigkeit. Zudem bereichern die Konzepte und Lehransätze, die an der Cal Poly zum Einsatz kommen, die Gestaltung und Weiterentwicklung der Lehrveranstaltungen und Projekte an der Hochschule München, die ich mitbetreue. Insgesamt war der Aufenthalt eine äußerst wertvolle Erfahrung, die mich sowohl fachlich als auch persönlich bereichert hat und deren Impulse nun in verschiedene Aktivitäten bei MUC.DAI einfließen.

7. Gibt es bereits geplante nächste Schritte oder gemeinsame Projekte mit Cal Poly?

Im Rahmen dieser Kooperation ist für 2026 ein weiterer Forschungsaufenthalt an der Cal Poly geplant. Während eines Semesters werde ich dort erneut mit Studierenden der Cal Poly zusammenarbeiten und Projekte im Bereich generativer KI und Nachhaltigkeit fortführen und weiterentwickeln. Auch die laufenden Projekte zwischen Studierendengruppen der Cal Poly und der HM werden fortgesetzt: Gemischte Teams arbeiten gemeinsam an innovativen Ideen und fördern so den internationalen Austausch, die Zusammenarbeit und den Lerneffekt auf beiden Seiten. Darüber hinaus geben Prof. Dr. Franz Kurfess und ich im kommenden Jahr gemeinsam eine Summer-School-Vorlesung, die sich mit den Themen nachhaltiger generativer KI und KI-Agenten beschäftigt. Die Kooperationen werden also weiter ausgebaut und sollen zu einem lebendigen Austausch zwischen der HM und der Cal Poly mit vielen gemeinsamen Projekten führen.

Vielen Dank fürs Gespräch!

Mehr Informationen zum Forschungsaufenthalt gibt es in diesem Artikel der CalPoly (auf Englisch).