Wir suchen eine motivierte Masterstudierende zur Erforschung und Entwicklung eines Evaluierungsframeworks für Retrieval-Augmented Generation (RAG) Anwendungen. Ziel der Arbeit ist es, ein wissenschaftlich fundiertes und industrienahes Framework zu entwickeln, das kontinuierlich die Antwortqualität (Fokus: Richtigkeit und Genauigkeit) von RAG-Systemen erfasst. Während deiner Masterarbeit untersuchst du aktuelle wissenschaftliche Methoden zur Evaluierung von Large Language Models (LLMs) und RAG-Anwendungen, idealerweise Auseinandersetzung mit LLM-Critric Methodik. Du entwickelst ein Evaluierungsframework, das im industriellen Umfeld eingesetzt werden kann. Darüber hinaus implementierst kontinuierlich und integrierst du das Framework, um die Skalierbarkeit und Leistungsfähigkeit wachsender Retrieval-Systeme zu gewährleisten. Ein weiterer Schwerpunkt liegt auf der Bewertung der Antwortqualität. Weitere Kriterien wie Robustheit, Fairness, Transparenz und Latenz werden als Pluspunkte betrachtet und optional mit bewertet. Nicht zuletzt wird der finale Umfang der Arbeit innerhalb des ersten Monats mit der/dem Studierenden und dem Betreuer:in der Universität vereinbart.