Für dynamisch reagierende virtuelle Charaktere ist Text-to-Speech eine zentrale Schnittstelle zwischen einer durch ein LLM erzeugten Antwort und der tatsächlichen Wahrnehmung durch die Teilnehmenden. Besonders in interaktiven Simulationen ist dabei nicht nur die Sprachqualität entscheidend. Auch Latenz, Streamingfähigkeit, lokale Ausführbarkeit, benötigte Hardware, Mehrsprachigkeit und die Möglichkeit zur emotionalen Sprachgestaltung können eine wichtige Rolle spielen.

Im Rahmen der Arbeit sollen unterschiedliche aktuelle Text-to-Speech-Systeme systematisch verglichen und anhand einer geeigneten Testumgebung bewertet werden. Neben objektiven technischen Messwerten können auch subjektive Kriterien wie Natürlichkeit und Verständlichkeit betrachtet werden.

Grobe Forschungsfrage:
Welche Text-to-Speech-Verfahren eignen sich hinsichtlich Latenz, Sprachqualität, Ressourcenbedarf und Integrationsfähigkeit für dynamische LLM-basierte Charaktere in Echtzeit-Simulationen?

Schwerpunkte:

• Text-to-Speech 
• Large Language Models 
• Speech AI 
• Benchmarking 
• Unity / Unreal Engine

Betreuer: Alexander Thier

Eigenes Thema vorschlagen: Ist kein passendes Thema in der Liste dabei? Eigene Themenideen aus unseren Forschungsschwerpunkten (z. B. Mensch-KI-Interaktion, Sozio-technische Systeme, Digitale Transformation) sind bei uns jederzeit willkommen! Wenden Sie sich hierzu einfach an Prof. Dr. Thomas Ludwig oder das jeweilige Teammitglied.

 

Betreuer: Prof. Dr. Thomas Ludwig

In VR-Trainingsszenarien sollen virtuelle Charaktere nicht ausschließlich vorab geskriptete Abläufe ausführen, sondern dynamisch auf Situationen und Teilnehmende reagieren können. Large Language Models können hierbei Dialoge, Handlungsabsichten oder strukturierte Zustände eines NPCs erzeugen. Für eine glaubwürdige Simulation reicht die sprachliche Ausgabe allein jedoch nicht aus: Aussagen und Entscheidungen müssen mit passenden Körperhaltungen, Gesten, Blickrichtungen und Animationen verbunden werden.

Ziel der Arbeit ist die Entwicklung und Untersuchung einer Architektur, mit der strukturierte LLM-Ausgaben in geeignete Avataranimationen überführt werden können. Dabei soll insbesondere untersucht werden, welche Informationen ein LLM liefern muss, wie diese zuverlässig interpretiert werden können und wie sich Animationen mit Sprache und Verhalten synchronisieren lassen.

Grobe Forschungsfrage:
Wie können Ausgaben eines Large Language Models automatisiert in glaubwürdige und kontextabhängige Avataranimationen überführt werden?

Schwerpunkte

• Unity / Unreal Engine 
• Large Language Models 
• Avatar Animation 
• IK 
• NPC-Systeme

Betreuer: Alexander Thier

Komplexe Trainingssimulationen benötigen eine Leitstelle, über die ein Operator das laufende Szenario überwachen und beeinflussen kann. Bei bis zu 16 gleichzeitig teilnehmenden Personen entstehen dabei zahlreiche mögliche Funktionen: Starten und Beenden von Szenarien, Überwachung der Teilnehmenden, Auslösen von Ereignissen, Veränderung von Umweltbedingungen, Steuerung virtueller Charaktere, technische Diagnose oder das Markieren relevanter Situationen für das spätere Debriefing.

Die Arbeit soll zunächst untersuchen, welche Informationen und Eingriffsmöglichkeiten ein Operator tatsächlich benötigt und wie diese sinnvoll strukturiert werden können. Darauf aufbauend soll ein prototypisches UI- und Bedienkonzept entwickelt und gegebenenfalls direkt in die vorhandene Simulationsplattform integriert werden. Neben der reinen Implementierung stehen insbesondere Informationsarchitektur, Bedienbarkeit und die Vermeidung unnötiger Komplexität im Mittelpunkt.

Grobe Forschungsfrage:
Welche Informationen und Steuerungsmöglichkeiten benötigt ein Operator zur Durchführung komplexer Multi-User-VR-Trainingsszenarien und wie können diese in einem geeigneten Interface dargestellt werden?

Schwerpunkte

• UI/UX 
• Operator Interface 
• Unity / Web UI 
• Multi-User VR 
• Requirements Engineering

Betreuer: Alexander Thier

Die manuelle Erstellung neuer Trainingsumgebungen ist zeitaufwendig und begrenzt die Anzahl unterschiedlicher Szenarien. Ein Procedural-Content-Generation-System könnte stattdessen aus wiederverwendbaren Bausteinen automatisch oder halbautomatisch unterschiedliche Einsatzumgebungen erzeugen. Denkbar sind beispielsweise Wohngebäude, Büroflächen, Lagerhallen, Straßenabschnitte oder andere Einsatzorte, deren Grundriss, Räume, Objekte und Gefahrenquellen anhand konfigurierbarer Regeln erzeugt werden.

Ziel der Arbeit ist zunächst die Entwicklung der grundlegenden Architektur eines solchen Systems. Der Schwerpunkt liegt weniger auf der vollständigen Generierung hochkomplexer Einsatzlagen als auf der Frage, wie Umgebungen modular beschrieben und nach definierten Regeln reproduzierbar erzeugt werden können. Darauf aufbauend können Parameter wie Raumstruktur, Türen, Möblierung, Einsatzobjekte oder Gefahrenstellen variiert werden.

Grobe Forschungsfrage:
Wie kann ein modulares Procedural-Content-Generation-System aufgebaut werden, das automatisch unterschiedliche, plausible und für VR-Training geeignete Einsatzumgebungen erzeugt?

Schwerpunkte

• Procedural Content Generation 
• Unity / Unreal Engine 
• Level Generation 
• Modular Assets 
• Rule-Based Systems

Betreuer: Alexander Thier

Ist kein passendes Thema in der Liste dabei? Eigene Themenideen aus unseren Forschungsschwerpunkten (z. B. Mensch-KI-Interaktion, Sozio-technische Systeme, Digitale Transformation) sind bei uns jederzeit willkommen! Wenden Sie sich hierzu einfach an Prof. Dr. Thomas Ludwig oder das jeweilige Teammitglied.

 

Betreuer: Prof. Dr. Thomas Ludwig