Werkstudent*in im Bereich UX / UI Prompter für generative Benutzeroberflächen

Du interessierst dich für generative KI, automatisiertes Fahren und die Mensch-Maschine-Interaktion? Dann bist du bei uns genau richtig! Werde Teil unserer Abteilung Human-AI Interaction (HAI), die sich mit der Entwicklung von modernen Mensch-Maschine-Schnittstellen (kamerabasierte Gestenerkennung, Körperposenerkennung, Aktivitätserkennung, Intentionserkennung u.a.) beschäftigt. 

Am Fraunhofer-Institut für Optronik, Systemtechnik und Bildauswertung IOSB machen wir aus neuesten wissenschaftlichen Erkenntnissen technische Innovationen und wollen so unseren Beitrag dazu leisten, die Zukunft zu gestalten. Nur zehn Minuten Fußweg vom Campus Süd des KIT entfernt, wartet deine Chance, Teil unserer renommierten Forschungseinrichtung zu werden.

Generative Benutzeroberflächen (GenU-In)
Generierte Benutzerschnittstellen interagieren mit dem Benutzer über multimodale Ausgabe- und Eingabeschnittstellen. Sie generieren die Output-Interaktion durch die Verwendung generativer KI-Modelle und die Auswahl an UI-Assets. Sie akzeptieren Eingaben über eine Vielzahl von Modalitäten, angefangen bei Text, bis hin zu Kamerabildern, akustischen und anderen Daten. Durch die benutzerdefinierte Generierung passen sie die Ausgabeschnittstelle an alle verfügbaren Informationen an, einschließlich der Rückschlüsse auf die Absicht des Benutzers. 

Zur Weiterentwicklung generativer Intentionsbasierter Benutzerschnittstellen im automatisierten Fahrzeug, wird ein*e Werkstudent*in oder Praktikant*in UX/UI Prompter gesucht. Möglich auch als Bachelor- oder Masterarbeit.  
 

Was Du bei uns tust

• Entwicklung und Implementierung eines Systems, das große Sprachmodelle (LLMs) zur Echtzeit-Generierung benutzerdefinierter grafischer Benutzeroberflächen (GUIs) verwendet
• Analyse von Benutzerabsichten durch LLMs und Übersetzung dieser in funktionale GUI-Entwürfe
• Aufbau eines iterativen Prozesses zur Interpretation, Planung und Erstellung von GUIs
• Erweiterung textbasierter Interaktionen um visuelle und multimodale Komponenten, um die Benutzererfahrung zu verbessern
• Entwicklung eines Mechanismus, der das Stellen von klärenden Fragen zur Verbesserung der Intent-Analyse ermöglicht

Anforderungen ergeben sich aus dem Paper: 
“Bespoke: Using LLM agents to generate just-in-time interfaces by reasoning about user intent” von Palash Nandy et al. (DOI: 10.1145/3686215.3688372)
 

Was Du mitbringst

• Du studierst im Master Informatik, (Wirtschafts-) Ingenieurwissenschaften, Mathematik oder eine vergleichbare Fachrichtung.
• Du bringst idealerweise Kenntnisse oder Interesse an einer der folgenden Themen mit:  

1. Erfahrung in der Arbeit mit großen Sprachmodellen (z.B. GPT, PaLM, etc.) 
2. Programmierung mit JavaScript, Python oder C
3. Begeisterung für multimodale Interaktionskonzepte und die Integration visueller Elemente
4. Gestaltung der Mensch-Maschine Schnittstelle
5. Unity und VR Programmierung
6. Idealerweise Erfahrung in Forschung oder Projekten im Bereich der Mensch-Computer-Interaktion

Was Du erwarten kannst

• Flexible Arbeitszeiten in Abstimmung mit den Anforderungen der Uni 
• Vergütung nach der Gesamtbetriebsvereinbarung zur Beschäftigung der Hilfskräfte
• Gelegenheit, deine Kenntnisse und Fähigkeiten in einem wissenschaftlichen Umfeld einzusetzen
• Offenes und kommunikatives Arbeitsklima 
• Bearbeitung zukunftsweisender Themen wie KI, autonomes Fahren und Mensch-Maschine-Interaktion
• Gute Anbindung an den ÖPNV und Möglichkeit zum Homeoffice 
• Unterstützung bei persönlicher und beruflicher Weiterbildung
   

Wir wertschätzen und fördern die Vielfalt der Kompetenzen unserer Mitarbeitenden und begrüßen daher alle Bewerbungen – unabhängig von Alter, Geschlecht, Nationalität, ethnischer und sozialer Herkunft, Religion, Weltanschauung, Behinderung sowie sexueller Orientierung und Identität. Schwerbehinderte Menschen werden bei gleicher Eignung bevorzugt eingestellt.

Die monatliche Arbeitszeit beträgt maximal 80 Stunden. Die Stelle ist befristet ausgeschrieben, mit der Möglichkeit der Verlängerung. Die Vergütung richtet sich nach der Gesamtbetriebsvereinbarung zur Beschäftigung der Hilfskräfte.

Mit ihrer Fokussierung auf zukunftsrelevante Schlüsseltechnologien sowie auf die Verwertung der Ergebnisse in Wirtschaft und Industrie spielt die Fraunhofer-Gesellschaft eine zentrale Rolle im Innovationsprozess. Als Wegweiser und Impulsgeber für innovative Entwicklungen und wissenschaftliche Exzellenz wirkt sie mit an der Gestaltung unserer Gesellschaft und unserer Zukunft. 

Haben wir Dein Interesse geweckt? Dann bewirb Dich jetzt online mit Deinen aussagekräftigen Bewerbungsunterlagen. Wir freuen uns darauf, Dich kennenzulernen! 

Bei Fragen wende dich gerne an:

David Lerch

David.Lerch@iosb.fraunhofer.de

Fraunhofer-Institut für Optronik, Systemtechnik und Bildauswertung IOSB 

www.iosb.fraunhofer.de 

Kennziffer: 77183                Bewerbungsfrist: