In diesem Mikroprojekt testet und evaluiert das Team verschiedene fortgeschrittene „Advanced RAG“-Methoden. Mithilfe eines RAG-Systems (Retrieval Augmented Generation) können Benutzer Fragen stellen, woraufhin das System Informationen aus relevanten Dokumenten abruft (Retrieval) und in Kombination mit einem großen Sprachmodell (Large Language Model – LLM) eine passende Antwort generiert.
Projektziele
Das Ziel des Projekts ist es, verschiedene fortgeschrittene „Advanced RAG“-Methoden (Retrieval Augmented Generation) zu testen und zu evaluieren, um schneller zu produktionsreifen Systemen zu kommen. Dazu werden zahlreiche Advanced RAG-Methoden auf den gleichen Datensatz (KFZ-Versicherungsbedingungen) angewandt und mit Hilfe standardisierter Tests danach evaluiert, wie korrekt, kontextgetreu und hilfreich die Antworten sind. Auf diese Weise sollen Muster extrahiert werden, welche Methoden typische Herausforderungen sowohl in der Retrieval- als auch in der Generationphase am besten adressieren.
Die Evaluation der RAG-Methoden erfolgt auf der Grundlage von KFZ-Versicherungsbedingungen sowie 137 Beispiel-Fragen und -Antworten.
Förderung
BMBF-Förderung Mikroprojekt, SDI-S 3. Call (Laufzeit 2024, Dauer ca. 6 Monate)
Projektpartner
Kauz GmbH: Dr. Thomas Rüdel
Fraunhofer IAIS: Joran Poortstra
