Welche Chunk-Größe für RAG? Was unsere Messung zeigt

Warum die Größe überhaupt zählt

Bei einer Frage wandelt Ihr System die Frage in einen Vektor um und holt die ähnlichsten Chunks, meist drei bis fünf. Nur diese liest das Sprachmodell. Sind die Chunks zu groß, mischt ein Vektor mehrere Themen, und das Modell liest viel Text, der mit der Frage nichts zu tun hat. Sind sie zu klein, steht die Antwort verteilt auf mehrere Stücke, und der Zusammenhang fehlt.

Dazu kommt eine harte Grenze: Jedes Embedding-Modell hat ein Eingabefenster. multilingual-e5-large zum Beispiel verarbeitet höchstens 512 Tokens; was ein längerer Chunk darüber hinaus enthält, fließt nicht in den Vektor ein, meist ohne Meldung.

So haben wir gemessen

• 10 echte deutschsprachige Seiten, dazu 8 Störseiten zu ähnlichen Themen im selben Index, wie in einer echten Datenbank.
• 58 Fragen, jede mit einer wörtlichen Antwortstelle auf ihrer Seite. Eine Frage gilt als gefunden, wenn einer der drei ähnlichsten Chunks diese Stelle enthält (Top-3).
• Zwei Embedding-Modelle: multilingual-e5-large (512 Tokens) und jina-embeddings-v2-base-de (8.192 Tokens).
• Alle Varianten schneiden dasselbe bereinigte Markdown. „Nach Länge“ heißt: alle 1.750 Zeichen ein Schnitt, etwa 500 Tokens, so wie es viele Standard-Pipelines tun.
• Gemessen am 30.09.2026.

Die Ergebnisse

Was wir daraus ableiten

1. Struktur schlägt Länge. Der größte Unterschied der ganzen Messung: 57 statt 44 von 58 Fragen gefunden (e5). Ein Abschnitt unter einer Überschrift behandelt meist genau ein Thema. Ein Schnitt nach Zeichenzahl trennt mitten im Gedanken und klebt den Anfang des nächsten Themas daran, der Vektor wird unscharf. Beim zweiten Modell ist der Abstand kleiner (90 % zu 86 %), die Richtung dieselbe.

2. 500 Tokens als Start, dann nach Ihrem Modell richten. 250 Tokens halbieren, was das Sprachmodell pro Frage lesen muss (499 statt 871 Tokens), und treffen beim Modell mit kleinem Fenster fast gleich gut. Beim Modell mit großem Fenster fiel die Trefferquote dagegen auf 79 %: Es kann mit mehr Zusammenhang pro Chunk mehr anfangen. 1.000 Tokens brachten bei keinem Modell bessere Treffer, aber deutlich mehr Lesestoff pro Frage.

3. Überlappung ist kein Allheilmittel. Überlappung wiederholt das Ende des vorigen Chunks. Das hilft, wenn ein Schnitt mitten im Satz liegt. Wer an Überschriften schneidet, hat diese Schnitte kaum. Bei uns: e5 93 % statt 98 %, jina 91 % statt 90 %, also kein klarer Gewinn.

4. Ein Vorspann aus Titel und Pfad hat geschadet. Häufig wird empfohlen, jedem Chunk Seitentitel und Überschriften voranzustellen. In unserer Messung fiel die Trefferquote damit von 98 % auf 91 % (e5) und von 90 % auf 84 % (jina). Eine plausible Erklärung: Alle Chunks einer Seite tragen dann denselben Vorspann, ihre Vektoren rücken zusammen, und die Ähnlichkeit der Seite überdeckt den Inhalt des Abschnitts. Nützlich kann der Vorspann sein, wenn Ihre Datenbank viele Seiten mit gleichnamigen Abschnitten enthält, etwa „Kosten“ bei hundert Produkten. Titel und Pfad gehören trotzdem in jeden Datensatz, als Metadaten zum Filtern und für die Quellenangabe.

Was die Messung nicht sagt

• 58 Fragen sind eine kleine Stichprobe. Eine Frage entspricht 1,7 Prozentpunkten; Unterschiede von zwei, drei Punkten können Zufall sein. Der Abstand zwischen 98 % und 76 % ist es kaum.
• Gemessen wurden deutschsprachige Seiten und zwei Modelle, ohne Reranker und ohne Stichwortsuche daneben.
• Die Fragen haben wörtliche Antwortstellen. Bei Fragen, die nur sinngemäß beantwortet werden, können die Zahlen anders aussehen.

Nehmen Sie die Ergebnisse als Ausgangspunkt, nicht als Gesetz.

So prüfen Sie es mit Ihren eigenen Daten

1. Wählen Sie 30 bis 50 echte Fragen, die Ihre Nutzer stellen, und notieren Sie zu jeder die Stelle, an der die Antwort steht.
2. Schneiden Sie Ihre Dokumente in zwei oder drei Varianten, etwa nach Überschriften mit 250 und 500 Tokens.
3. Betten Sie jede Variante mit Ihrem Modell ein, stellen Sie alle Fragen und zählen Sie, wie oft die Antwortstelle unter den ersten drei Treffern liegt.
4. Notieren Sie dazu, wie viele Tokens die drei Treffer zusammen haben. Bei gleicher Trefferquote gewinnt die Variante mit weniger Lesestoff.

In der kostenlosen Chunk-Werkstatt sehen Sie, wie eine beliebige Seite nach Überschriften geteilt wird, mit Ihrem Modell und Ihrer Größe. Das Ragfeed-Format chunks liefert solche Abschnitte als fertige Datensätze, mit Überschriftenpfad als Metadaten (Dokumentation). Wie Sie diese Datensätze aktuell halten, wenn sich die Seite ändert: Vektordatenbank aktuell halten.