Dynabuy est une centrale d’achats qui négocie des conditions auprès de fournisseurs pour un réseau d’environ 364 000 entreprises adhérentes. Au sein du Pôle IA & Data, nous recherchons une/un étudiante/étudiant pour un stage master 2 recherche de 6 mois, inscrit dans un programme de recherche pluriannuel.
Les systèmes de génération augmentée par la recherche (RAG) se sont imposés pour connecter les LLM et l’IA générative aux données de l’entreprise. Leur qualité dépend avant tout de l’étage de recherche : modèles d’embeddings, recherche hybride lexicale et dense, reranking, et une base vectorielle dont l’index approché (HNSW) et l’organisation des données conditionnent le rappel, la latence et le coût. Nous exploitons en production un tel système, qui apparie des documents commerciaux à des catalogues de plusieurs dizaines et bientôt des centaines de milliers de produits.
Nos mesures font apparaître des comportements que la pratique courante n’explique pas : une même chaîne de recherche peut exceller ou s’effondrer selon la nature des requêtes, et la qualité se dégrade avec le volume sans qu’on sache faire la part entre la difficulté intrinsèque des données et l’approximation de l’index. Aujourd’hui, ces systèmes se configurent surtout par essais successifs et valeurs par défaut, et les méthodes d’optimisation automatique doivent être relancées pour chaque nouveau jeu de données.
La littérature relie pourtant la géométrie d’un espace d’embeddings (dimension intrinsèque locale, hubness, contraste relatif) à la difficulté de la recherche approchée. Elle reste en revanche silencieuse sur deux points : le lien entre cette géométrie et la pertinence finale, et le cas, fréquent en entreprise, de collections de données de tailles très déséquilibrées interrogées sous filtre dans un même index.
Le stage pose la question suivante : peut-on prédire, à partir de propriétés mesurables des données et des requêtes, la configuration d’un système de recherche hybride qui maximise la pertinence sous contrainte de latence, et cette prédiction se transfère-t-elle à une collection jamais vue et à une échelle dix fois supérieure ? Une attention particulière portera sur l’architecture de la base vectorielle : quand partitionner en plusieurs collections plutôt que filtrer un index unique (multitenance), quand un index HNSW est-il justifié face à une recherche exacte, et comment régler ses paramètres selon la sélectivité des filtres et la géométrie des données.
L’ambition est une méthodologie générale et reproductible, applicable à d’autres systèmes RAG que le nôtre. La démarche est expérimentale : hypothèses écrites, protocole, mesures répétées, évaluation par LLM-as-a-judge et validation hors échantillon. Un résultat négatif serait tout aussi instructif qu’un résultat positif.
Vos missions
- Comprendre et caractériser :
- Réaliser un état de l’art daté sur la recherche approchée de plus proches voisins, la recherche hybride, le reranking et la configuration des bases vectorielles, en identifiant ses angles morts ;
- Caractériser la géométrie des espaces d’embeddings et la nature des requêtes à l’aide de descripteurs issus de la littérature.
- Expliquer la dégradation à l’échelle :
- Séparer, par expériences contrôlées, ce qui relève de la difficulté intrinsèque des données et ce qui relève de l’approximation de l’index ;
- Étudier l’effet de la recherche filtrée et de la sélectivité des filtres sur le rappel.
- Concevoir une configuration prédictive :
- Formuler et tester des hypothèses reliant les propriétés des données aux choix de configuration : fusion lexicale / dense, reranking, seuils de décision, paramètres d’index ;
- Établir des critères de choix d’architecture : collection unique filtrée, partitionnement en plusieurs collections, index HNSW ou recherche exacte.
- Valider la généralisation :
- Valider hors échantillon, sur des collections de données non vues ;
- Tester la tenue de la prédiction à une échelle augmentée, sur données réelles ou jumeaux synthétiques calibrés.
- Formaliser et diffuser :
- Rédiger un protocole expérimental, puis un rapport final avec résultats positifs et négatifs ;
- Si les résultats le permettent, soumettre un article à un atelier ou une conférence du domaine (ECIR, SIGIR, CIKM), co-signé avec l’entreprise et le laboratoire.