Réglages RAG : valeurs par défaut selon la physionomie des données

Nexus propose plusieurs réglages de retrieval (récupération des passages/chunks) qui influencent fortement la qualité des réponses.

Où configurer ?

• Service (source_app) : Admin → Services → « Profil RAG »
• Workspace : Admin → Services → Workspaces → Modifier → section RAG (override workspace → service)
• Priorité des paramètres administrés par Nexus : workspace override > service > global
  • Si un champ est vide au niveau workspace, Nexus hérite du service.
• Priorité du mode pour les endpoints Query : requête > workspace > service > défaut dense_mmr.
  • Le champ client facultatif retrieval_mode peut remplacer uniquement le mode.
  • Il ne remplace jamais retrieve_k, fetch_k, mmr_lambda, les limites de prefetch, les seuils, le modèle ou la politique de cache.
  • Une valeur autre que dense_mmr ou hybrid_rrf est rejetée par validation.

Modes de retrieval

• dense_mmr (défaut) : recherche dense (embeddings) + diversification MMR.
• hybrid_rrf : fusion dense + sparse (RRF) via Qdrant.

hybrid_rrf nécessite que la collection Qdrant soit créée en mode hybrid (voir QDRANT_HYBRID_ENABLED dans .env).

Si Hybrid RRF est indisponible, échoue ou ne retourne aucun résultat, Nexus peut retomber sur Dense MMR. Le fallback est journalisé avec une raison contrôlée et le mode qui a réellement produit les documents détermine l'identité du cache.

Paramètres

• Top K (retrieve_k) : nombre final de chunks envoyés au LLM.
• Fetch K (fetch_k) : nombre de candidats “pré-sélectionnés” (dense_mmr) ou fallback de prefetch (hybrid_rrf).
• MMR λ (mmr_lambda) : uniquement utile en dense_mmr (0 = diversité max, 1 = pertinence max).
• Hybrid prefetch dense/sparse K : uniquement utile en hybrid_rrf (nombre de candidats par branche avant fusion RRF).

Recommandations de départ

1) Gros corpus mono-sujet (200–10 000 pages sur le même thème)

Objectif : rappel (ne rien rater) tout en gardant une diversité de sources.

• Mode : hybrid_rrf
• retrieve_k : 8–12
• hybrid_prefetch_dense_k : 40–80
• hybrid_prefetch_sparse_k : 40–80
• fetch_k : laisser au défaut (ou 40) si vous ne renseignez pas les champs prefetch

2) Beaucoup de documents indépendants (ex. 100 000 documents d’1 page)

Objectif : précision, éviter le bruit (peu de redondance, beaucoup de “one-shots”).

• Mode : dense_mmr
• retrieve_k : 3–6
• fetch_k : 10–30
• mmr_lambda : 0.3–0.6

3) Corpus “RH mixte” (CV + contrats + conventions collectives dans un même service)

Objectif : garder un service unique, mais adapter la récupération selon la nature du workspace.

• Service (fallback) : dense_mmr, retrieve_k=4, fetch_k=15, mmr_lambda=0.5
• Workspace CV : dense_mmr, retrieve_k=3, fetch_k=12, mmr_lambda=0.4
• Workspace Conventions / Réglementaire : hybrid_rrf, retrieve_k=10, hybrid_prefetch_dense_k=60, hybrid_prefetch_sparse_k=60

Diagnostic (quand “ça ne marche pas”)

Symptômes courants et pistes rapides :

• Réponse hors-sujet → baissez retrieve_k (bruit), augmentez fetch_k (rappel), vérifiez les filtres (service/workspace).
• Réponse qui “oublie” une info pourtant présente → testez hybrid_rrf et augmentez les prefetch K.
• Réponse redondante → en dense_mmr, baissez mmr_lambda (plus de diversité).