Architecture (vue d’ensemble)

Aurora Nexus est une plateforme RAG auto‑hébergée composée de services spécialisés et d’un socle de stockage. L’objectif est de fournir :

• une ingestion robuste (multi‑formats),
• une recherche vectorielle + citations,
• un passage unique des appels LLM (Gateway + cache + observabilité),
• une UI d’administration et d’usage (multi‑langue).

1) Services (qui fait quoi)

• UI (ui/) : dashboard Next.js (admin + assistant + documents + observabilité).
• API (api/) : FastAPI (ingestion, query RAG, administration, auth, logs, settings).
• Ingestion (ingestion/) : worker Docling (conversion, chunking, embeddings, écritures DB/MinIO/Qdrant).
• Gateway (aurora_gateway/) : proxy LLM de production (cache + observabilité + providers BYOK).
• Serveurs MCP : surfaces standard pour agents LLM externes.
  • nexus-api expose l'API Nexus et le RAG en OAuth utilisateur.
  • nexus-code-kg expose le Code KG / Meta KG pour Codex et les agents développeurs.
  • nexus-doc-kg expose le KG documentaire en lecture seule.
• Stockage
  • Postgres : source de vérité (documents, jobs, settings, audit, logs, cache exact).
  • Qdrant : index vectoriel (chunks embeddings) + cache sémantique optionnel.
  • MinIO : stockage objet (uploads + artefacts ingestion + backups).
  • Redis : broker/back‑end Celery (tâches Gateway / tâches API).

2) Flux “ingestion”

1. Upload d’un fichier via UI/API → objet stocké dans MinIO (bucket uploads).
2. Création d’un job d’ingestion en base (Postgres).
3. Worker ingestion/ :
   • récupère le fichier (MinIO),
   • convertit/normalise (Docling),
   • chunking,
   • embeddings,
   • écrit les chunks dans Qdrant (payload + vecteurs),
   • écrit les artefacts (MinIO bucket artifacts) + métadonnées (Postgres).

3) Flux “requête RAG”

1. UI/API appelle POST /api/query (question + filtres).
2. L’API :
   • détermine la requête de retrieval (condense follow‑up si nécessaire),
   • interroge Qdrant (vector search + filtres),
   • compose un prompt déterministe (QUESTION + CONTEXT délimité),
   • appelle le LLM via Aurora Gateway (cache + observabilité),
   • renvoie la réponse + citations,
   • loggue l’exécution dans queries_log.

4) Flux “MCP / agents LLM”

nexus-api

ChatGPT / client MCP
-> https://mcp-nexus.auroramind.fr/mcp
-> OAuth Nexus
-> API Nexus
-> RAG / documents / registries autorisés

Le MCP forwarde le JWT Nexus utilisateur. Les droits restent donc ceux de l'utilisateur connecté.

nexus-code-kg

Codex / agent développeur
-> https://mcpkgcode.auroramind.fr/mcp
-> API Meta KG Nexus
-> graphes de code, findings, contexte patch, régénération contrôlée

Ce MCP est le seul des trois à exposer une régénération de graphe, uniquement avec confirmation SR ou validation humaine.

nexus-doc-kg

Assistant documentaire / client MCP
-> https://mcpkgdocs.auroramind.fr/mcp
-> API Knowledge Graph Nexus
-> ressources, voisins, sous-graphes documentaires filtrés

Ce MCP est strictement read-only et accepte les filtres caller_app, source_app, workspace et project.

5) Observabilité & “enterprise safety”

• queries_log : statut, latence, modèle, coûts, cache, diagnostics retrieval.
• “No context” safe : si retrieval vide, la réponse doit rester utile sans inventer.
• “Follow‑ups” robustes : stockage d’état minimal par thread + résolution de références (ex: “point B”).