Analyste risque IA sur l'incertitude des LLM

Le département Model Risk Management veille à la qualité et à la pertinence des modèles développés au sein du Groupe, ainsi qu’au suivi du risque de modèle de la banque. L’équipe est entre autres en charge de réaliser des benchmarks afin de tester les limites des modèles des entités auditées.

Réaliser une revue de littérature sur l’état de l’art des techniques quantitatives d’incertitude appliquées aux "Large Language Models" (LLM), et implémenter ces techniques sur différents modèles open source.

Vous serez notamment amené à :

• Effectuer une revue de littérature des méthodes de quantification de l’incertitude en machine learning et de leurs applications aux LLM.

• Apprendre à manipuler des LLM open source (white box) et à extraire/analyser leurs log-probabilités

• Implémenter différentes méthodes de quantification de l’incertitude sur plusieurs modèles et interpréter les résultats obtenus

• Réaliser des benchmarks comparatifs des méthodes d’incertitudes utilisées, mais aussi des modèles testés

• Intégrer les travaux réalisés durant le stage dans le protocole de revue interne de l’équipe

• Documenter l’étude et animer des ateliers interactifs pour présenter les avancements aux membres de l’équipe

Apports du stage 

Vous acquerrez une vision spécifique en gestion du risque de modèle au sein des établissements bancaires, ainsi qu’une expérience significative dans le domaine de la data science. Vous mettrez en exergue vos qualités rédactionnelles et de présentation.

Durée du stage : 6 mois.

Compétences requises et qualités appréciées : 

• De formation Bac + 4/5 — École d’Ingénieurs ou équivalent universitaire, vous avez de solides connaissances théoriques et opérationnelles en Machine Learning et en Deep Learning (e.g. étapes d’apprentissage d’un modèle)

• Vous justifiez de bonnes connaissances en Python

• Doté de qualités rédactionnelles, vous savez rédiger des notes synthétiques et présenter vos résultats sous format PowerPoint ou de Web apps. Autonome, rigoureux, curieux, vous êtes force de proposition

• Un fort esprit d’équipe, de l’enthousiasme et un bon relationnel vous permettront de vous insérer rapidement dans l’équipe

Rejoignez-nous pour faire grandir vos ambitions ! Dès votre arrivée, vous serez intégré dans nos équipes et apprendrez chaque jour aux côtés de nos experts qui vous accompagneront dans vos missions. Progressivement, vous gagnerez en autonomie sur vos projets pour faire de cette expérience un vrai accélérateur de carrière. Vous découvrirez également toute la diversité de nos métiers, dans un secteur qui évolue et innove en permanence.

Rejoignez-nous pour faire grandir vos ambitions ! Dès votre arrivée, vous serez intégré dans nos équipes et apprendrez chaque jour aux côtés de nos experts qui vous accompagneront dans vos missions. Progressivement, vous gagnerez en autonomie sur vos projets pour faire de cette expérience un vrai accélérateur de carrière. Vous découvrirez également toute la diversité de nos métiers, dans un secteur qui évolue et innove en permanence.

A la fin de vos études, diverses opportunités pourront s’offrir à vous, en France et à l’international.

Attentif à votre qualité de vie et conditions de travail, vous bénéficiez d’avantages :

- Télétravail possible selon le rythme de votre service

- Prise en charge de 50% de votre titre de transport

- Billetterie à prix réduits de notre Comité d’Entreprise (concerts, cinéma, sport)

- Offre variée de restaurants d’entreprise et de cafétérias à tarifs compétitifs ainsi que des titres restaurants dématérialisés quand vous êtes en télétravail

Créer, oser, innover, entreprendre font partie de notre ADN. Si vous aussi vous souhaitez être dans l’action, évoluer dans un environnement stimulant et bienveillant, vous sentir utile au quotidien et développer ou renforcer votre expertise, nous sommes faits pour nous rencontrer !

Vous hésitez encore ?

Sachez que nos collaborateurs peuvent s’engager quelques jours par an pour des actions de solidarité sur leur temps de travail : parrainer des personnes en difficulté dans leur orientation ou leur insertion professionnelle, participer à l’éducation financière de jeunes en apprentissage ou encore partager leurs compétences avec une association. Les formats d’engagement sont multiples.