Ein kleines Modell fragt besser: Feintuning zur Klärung von Anfragen für Retrieval-gestützte Generierung
· Quelle: arXiv cs.AI
Die Forschung zu Retrieval‑Augmented Generation (RAG) zeigt, dass die Klarheit der Nutzerfrage entscheidend ist: Mehrdeutige Anfragen erschweren die Auswahl relevanter Dokumente. In mehrstufigen Gesprächen kann eine Frage schlecht formuliert, im Kontext unklar oder zwar korrekt, aber mehrdeutig im Vergleich zu den zurückgeholten Texten sein. Ziel ist es, beide Fälle zu erkennen und eine passende Klärungsanfrage zu formulieren.
Dazu stellen die Autoren ClariEdge vor – einen Datensatz mit rund 3 900 Beispielen mehrdeutiger Fragen sowie negativen Fällen, die keine Klärung benötigen. Sie demonstrieren, dass ein kleines Modell, das mit LoRA (Low‑Rank Adaptation) feinjustiert wurde, eine Klassifikationsgenauigkeit von 96,6 % erreicht und mehrere größere Modelle mit Prompt‑Design sowohl bei der Klassifikation als auch bei der Erzeugung qualitativ hochwertiger Klärungsanfragen übertrifft.
Der Artikel betont die Bedeutung von schwierigen Negativbeispielen, um echte Mehrdeutigkeiten von Fragen zu unterscheiden, die sich mit dem vorhandenen Kontext lösen lassen. Das LoRA‑Modell funktioniert sowohl vor als auch nach der Retrieval‑Phase, sodass es als Filter vor der Antwortgenerierung in zwei unterschiedlichen Punkten des RAG‑Workflows eingesetzt werden kann.
Diese Erkenntnisse deuten darauf hin, dass die Fähigkeit von Systemen, gezielt nach Klarstellungen zu fragen, die Genauigkeit und Nützlichkeit generierter Antworten deutlich steigern kann – ein wichtiger Fortschritt für Anwendungen, die auf natürliche Nutzerinteraktion angewiesen sind.
Originalartikel lesen auf arXiv cs.AI
Diese Zusammenfassung ist eine informationelle Synthese von dataqbs.com. Alle Rechte am Originalinhalt liegen beim Autor und dem genannten Medienunternehmen. Wir handeln ausschließlich als Kuratoren von Technologie-Nachrichten und beanspruchen keine Urheberschaft.