[Stage R&D] : Incertitude dans les grands modèles de langage avec des méthodes entropiques supervisées

Présentation d’Artefact

Artefact est une société internationale de services de données spécialisée dans le conseil en transformation des données. Sa mission est de transformer les données en produisant des résultats tangibles sur l'ensemble de la chaîne de valeur des entreprises. L'approche unique d'Artefact, qui relie les données aux activités, permet à nos clients d'atteindre leurs objectifs commerciaux avec dévouement et efficacité. Nos 1 500 collaborateurs répartis dans le monde entier combinent leurs compétences pluridisciplinaires pour accompagner les entreprises dans l'innovation. Nos technologies et méthodes d'intelligence artificielle de pointe garantissent la réussite des projets d'IA de nos clients, de la conception au déploiement, en passant par la formation et la conduite du changement.

Depuis plusieurs années, nous développons des solutions de supply chain pour de grands groupes de distribution tels que Carrefour, Orange, L'Oréal et Danone.

Contexte

L'intégration des grands modèles de langage (LLM) dans un nombre croissant d'applications met en évidence un défi majeur : leur fiabilité et leur fiabilité. En effet, si vous avez déjà utilisé ces outils, vous avez sûrement été confronté à une hallucination qui vous a depuis rendu méfiant quant à leurs résultats.

Ces hallucinations constituent des obstacles majeurs à l'adoption, en particulier pour les LLM spécialisés ou de petite taille déployés dans des environnements aux ressources limitées (par exemple, des environnements industriels hors ligne), où la surveillance continue ou l'accès à des modèles cloud de pointe sont impossibles. Alors que les LLM progressent rapidement, des méthodes robustes pour quantifier l'incertitude de leurs résultats sont essentielles pour un déploiement sûr et fiable.

Objectifs et livrables 

Ce stage étudiera de nouvelles méthodes basées sur l'échantillonnage entropique par distribution logit, couplées à une approche d'apprentissage supervisé pour atténuer l'excès de confiance typique des réseaux de neurones profonds. L'idée centrale est qu'un modèle manquant d'informations spécifiques aura tendance à considérer un grand nombre de jetons différents comme probables, répartissant ainsi la distribution de probabilité sur l'ensemble du vocabulaire.

L'un des principaux objectifs et défis de ce travail est d'adapter ces méthodes de quantification de l'incertitude aux modèles LLM boîte noire (tels que GPT-4o via l'API OpenAI). Ces modèles n'offrent souvent qu'un accès limité aux états internes, généralement limité aux probabilités logarithmiques de quelques jetons candidats de premier plan à chaque étape de génération. Nous explorerons des stratégies permettant d'exploiter efficacement ces informations rares pour une estimation fiable de l'incertitude. Nous étudierons également l'influence d'un contexte externe supplémentaire sur les distributions de probabilité et l'entropie qui en résulte, dans un pipeline RAG par exemple.

• Mettre en œuvre la méthode d'estimation de l'incertitude entropique supervisée proposée
• Développer des stratégies pour son application aux modèles boîte noire avec un accès limité à la méthode logprob.
• Évaluer rigoureusement les performances de notre méthode par rapport aux techniques de quantification de l'incertitude établies.
• Intégrer les méthodologies développées dans une bibliothèque Python Open Source documentée, adaptée aux contributions à des publications dans des conférences. 

Votre profil

• Étudiant(e) de niveau bac+4 ou bac+5, en fin d’études ou césure, en université ou en école d’ingénieur, spécialisé(e) en ML, statistiques, mathématiques appliquées ou autre domaine pertinent
• Début de stage : Septembre ou Octobre 2025
• Vous maîtrisez Python, notamment en calcul scientifique et en traitement de données
• Vous disposez de solides connaissances en théorie des probabilités, en statistique et en apprentissage automatique
• Vous êtes capable de comprendre et d’implémenter des algorithmes issus de travaux de recherche
• Vous vous intéressez aux défis de la fiabilité des LLM, de la quantification des incertitudes et de la contribution aux logiciels libres
• Vous avez de l’expérience en rédaction d’articles/rapports scientifiques.

Ce stage offre une opportunité unique de travailler sur des recherches de pointe en LLM, d’approfondir vos connaissances sur les techniques de quantification des incertitudes, de développer des compétences pratiques dans l’application du ML aux contraintes du monde réel et d’apporter une contribution concrète à la recherche GenAI grâce à un projet libre.