Benchmark-Methodik:
Wie wir Subsumio messen

Trefferquote unter den ersten acht Treffern (Recall@8)

Von 500 Fragen des öffentlichen Tests LongMemEval lag die richtige Textstelle in 99,8 % der Fälle unter den ersten acht Treffern der Suche. „Recall@8“ bedeutet genau das: der Anteil der Fragen, bei denen die gesuchte Stelle unter den ersten acht Ergebnissen ist.

Was die Zahl nicht sagt

• LongMemEval ist ein öffentlicher Test für das Langzeitgedächtnis von KI-Assistenten — kein juristischer Test. Die Fragen stammen nicht aus österreichischen Akten.
• Gemessen wird das Auffinden der richtigen Textstelle — nicht die Qualität der daraus formulierten Antwort und nicht ihre rechtliche Richtigkeit.
• Auf Ihren Akten können die Ergebnisse abweichen, etwa bei schlecht lesbaren Scans oder sehr ähnlichen Dokumenten.
• Die anwaltliche Prüfung jeder Antwort bleibt notwendig.