Consultant.e.s - Stage de fin d'études - Nantes - CIO - IA responsable : quels KPI et outils pour suivre et implémenter explicabilité, biais, censure ?

Description de l'entreprise

Dans un monde où savoir se transformer est la clé du succès, Wavestone s'est donné pour mission d'éclairer et guider les grandes entreprises et organisations dans leurs transformations les plus critiques avec l'ambition de les rendre positives pour toutes les parties prenantes. C'est ce que nous appelons « The Positive Way ».  

Dans le but de devenir les leaders du conseil indépendant, Wavestone s'est rapproché de Q-Perior, l’un des leaders du conseil sur le marché germanophone (Allemagne – Suisse – Autriche) en 2023 dans une démarche d'internationalisation. Wavestone a aussi fait l'acquisition de Nomadéis en 2022 pour développer une offre de transformation durable.    

Wavestone rassemble aujourd'hui plus de 5500 collaborateurs dans 17 pays pour un chiffre d'affaires supérieur à 800M€. Wavestone est coté sur Euronext à Paris et labellisé Great Place To Work®.    

Pour plus d'informations, consulter www.wavestone.com.  

Description du poste

Au sein du bureau de Nantes, vous intervenez aux côtés de 150 consultant·e·s sur des missions variées qui accompagnent nos clients, vous permettant de développer vos compétences ainsi que votre connaissance des expertises du cabinet.   

Nos consultant.e.s interviennent au sein d'entreprises de référence implantées dans toute la région Grand Ouest, et accompagnent en proximité nos clients dans leurs transformations digitales et leurs décisions stratégiques. 

Le bureau de Nantes adresse une grande majorité des savoir-faire du cabinet Wavestone, et offre l’opportunité d’intervenir sur des missions variées et à forte valeur ajoutée, du cadrage stratégique à la réalisation du projet. 

Nous intervenons en particulier sur les domaines de compétences suivants répartis en communautés :    

• Cybersécurité : stratégie et conformité Cybersécurité (risque, gestion de crise, vie privée, infrastructures critiques, réglementations), sécurisation de la transformation digitale (big data, cloud, IoT, SOC, IT Security), identité numérique et services de confiance (IAM, CIAM, PAM, PKI, MFA, fédération d'identités), audit, tests d'intrusion et réponse aux incidents (pentest, audit PASSI, redteam, forensics, gestion de crise)   

• Transformation de l'IT-CIO : business transformation (open architecture), industrial IoT (embedded system, IoT platforms), data (gouvernance de données, data analytics, plateformes nouvelle génération), Next GenIT (cloud, devops, automation, container, serverless, laC), Next GenIT (smart networks, telecoms), digital workplace (New Waysof Working, change, employee experience, workplace, communication), business transformation (UX, design thinking), industrial IoT (LoRa, Sigfox, lpwan), transformations organisationnelles et managériales, transformation agile, conduite du changement….   

• Transformation durable (environnementale et sociale) des organisations – Sustainability – STB : Numérique Responsable (sensibilisation, rédaction de politiques, gestion de l’obsolescence...), accompagnement à la transition écologique et sociétale, décarbonisation (Bilan Carbone et plan de transition), performance durable (gouvernance et stratégie RSE, conformité et reporting ESG), adaptation au changement climatique, inclusivité...  

Sujet de stage :  

Contexte :

Avec l'essor des modèles de langage de type LLM (GPT, Claude, Mistral…), les chatbots basés sur l’IA générative sont de plus en plus intégrés dans des solutions métiers : assistants RH, services client, FAQ juridiques, interfaces de diagnostic, copilotes internes, etc. 

Ces agents conversationnels génératifs présentent cependant un risque accru de biais : leurs réponses peuvent reproduire ou amplifier des stéréotypes, manquer d'équité dans les formulations, ou désavantager certains groupes d’utilisateurs. 
Contrairement aux systèmes de classification classiques, les biais dans un chatbot peuvent être subtils, contextuels, linguistiques ou culturels, et donc plus difficiles à détecter avec les méthodes traditionnelles. 

Dans ce contexte, Wavestone souhaite structurer une expertise spécifique autour des biais conversationnels liés à l’IAG, afin d’accompagner ses clients dans la conception de chatbots responsables, sûrs et inclusifs. 

Objectif du stage :

L’objectif du stage est d’identifier et d’analyser les biais spécifiques aux chatbots à base d’IA générative, ainsi que les KPI permettant aux décideurs d’estimer et de suivre le niveau de biais de leurs agents conversationnels. Le/la stagiaire étudiera également les outils et bonnes pratiques permettant de limiter ces biais tout au long du cycle de vie du chatbot, et proposera des recommandations concrètes pour concevoir des agents plus équitables, fiables et conformes aux exigences éthiques et réglementaires. 

Travaux à réaliser :

Sous la tutelle d’un(e) consultant(e) et le pilotage d’un(e) manager, le ou la stagiaire pourra être amené(e) à réaliser une partie ou la totalité des travaux suivants : 

• Définir les principaux types de biais conversationnels dans les chatbots IAG (biais de genre, culturels, socio-économiques, linguistiques, etc.) ; 

• Identifier des exemples concrets de biais observés dans des produits existants ou issus de la littérature scientifique ; 

• Étudier les KPI d’évaluation du biais conversationnel : diversité des réponses, respect de critères d’équité, réponses stéréotypées, tonalité, etc. ; 

• Benchmarker les outils de détection de biais pour les modèles de langage (ex. : IBM AI Fairness 360, PromptEval, etc.) ; 

• Cartographier les techniques de réduction ou de maîtrise des biais dans le développement de chatbots IAG : fine-tuning, filtrage de prompts, réinjection de règles, RLHF, modération post-génération… ; 

• Proposer une démarche de détection et correction des biais à intégrer dans le cycle de vie d’un chatbot IA (data → modèle → prompt → réponse → supervision) ; 

• Formaliser un guide de bonnes pratiques et un outil d’aide à la décision pour les équipes projet et les décideurs. 

Les livrables de ce stage contribueront à construire une offre d'accompagnement Wavestone sur la gouvernance éthique des chatbots et pourront servir de base à des missions dans les secteurs réglementés (RH, banque, assurance, secteur public). 

Qualifications

Futur diplômé.e d’une grande école d’ingénieurs ou du Programme Grande Ecole d'une école de management, vous êtes à la recherche d'un stage de fin d'études dans un cabinet de conseil.  

Vous possédez une forte appétence pour les technologies du numérique, un excellent relationnel, le goût du travail en équipe et un sens prononcé de la qualité.  

Vous savez associer analyse et synthèse et être force de proposition.  

Vous souhaitez être considéré comme un collaborateur à part entière : soucieux d'être acteur d'un projet d'entreprise ambitieux, ayant envie de mettre à profit son talent et son enthousiasme dans une société où il est possible de prendre des responsabilités rapidement et de vivre une expérience riche.  

Informations supplémentaires

Durant votre processus de recrutement, vous serez accompagné.e d'un.e chargé.e de recrutement.  

Nos stages s'inscrivent tous dans une logique de pré-embauche en CDI et ce dans le bureau de rattachement, en l’occurrence, le bureau nantais. 

Wavestone est un employeur inclusif qui s’engage pour l’égalité des chances. Dans le cadre de cette politique de diversité et inclusion, Wavestone accompagne les personnes en situation de handicap et/ou nécessitant un aménagement durant leur process de recrutement et lors de leur prise de poste.  

Le dispositif de télétravail est largement déployé au sein de Wavestone pour tous les métiers.