CS27 - Bac+5 - Évaluation et Monitoring des Agents IA en Production

Société

RENAULT s.a.s.

Descriptif du poste

Contexte

L'intelligence artificielle générative et les agents IA transforment progressivement les usages au sein de Renault Group. Afin d'accompagner leur déploiement à grande échelle, le Centre of Excellence AI développe des méthodologies, des outils et des plateformes permettant d'évaluer, de suivre et d'améliorer en continu les performances des agents IA tout au long de leur cycle de vie.

Dans ce contexte, nous recherchons un(e) stagiaire de fin d'études pour contribuer à la structuration et à l'industrialisation des processus d'évaluation des agents IA, depuis leur développement jusqu'à leur monitoring en production.

Vos missions

Au sein du Centre of Excellence AI, vous participerez à la mise en place d'un cadre commun d'évaluation des agents IA.
Vos principales missions seront les suivantes :

• Cartographier et analyser les processus d'évaluation existants au sein des différentes équipes.
• Agréger, comparer et synthétiser les méthodes, outils et bonnes pratiques déjà en place.
• Concevoir et contribuer à l'implémentation d'une plateforme commune d'évaluation et de monitoring des agents IA.
• Travailler sur les jeux de données d'évaluation et explorer les mécanismes permettant leur mise à jour automatique ou semi-automatique en liens avec les évolutions de la vérité terrain.
• Collecter, analyser et comparer les métriques utilisées dans l'entreprise pour mesurer la qualité, la robustesse et la performance des agents IA.
• Participer à la définition de recommandations et de standards d'évaluation pour les futurs développements et leur application aux agents déjà en production.
• Réaliser une veille sur les frameworks et méthodologies d'évaluation des systèmes d'IA générative.

Profil recherché

• Étudiant(e) en dernière année d'école d'ingénieur ou Master 2 avec une spécialisation en Intelligence Artificielle, Machine Learning, NLP (Natural Language Processing), Data Science ou Informatique.
• Connaissances des technologies d'IA générative : LLM, NLP, RAG, agents IA et techniques d'évaluation associées.
• Solides compétences en Python et en développement de solutions Data & IA.
• Conaissances des framework de création d'agent en python (ADK, Langgraph...).
• Intérêt marqué pour les problématiques d'évaluation, de qualité et d'industrialisation des systèmes d'IA.
• Capacité d'analyse, esprit de synthèse et autonomie.
• Bon niveau d'anglais professionnel.

Compétences appréciées

• Expérience avec des frameworks d'évaluation de LLM et d'agents IA (Ragas, Vertex AI Gen AI evaluation service, ...).
• Connaissance des problématiques de monitoring, d'observabilité et de gouvernance des systèmes IA.
• Familiarité avec les pipelines de données et les mécanismes d'automatisation.
• Connaissances de l'environnement cloud GCP.

Ce que vous apprendrez

• Les enjeux de gouvernance et d'industrialisation de l'IA à l'échelle d'un grand groupe.
• Les mise en pratique d'évaluation des agents IA en production en liens avec des impératifs métier.
• La conception de plateformes de monitoring et d'observabilité pour les systèmes d'IA générative.
• La définition de métriques et de standards permettant d'améliorer la qualité des solutions IA déployées en production.
• La collaboration avec des experts IA, Data Science et Software Engineering sur des cas d'usage stratégiques pour Renault Group.

Métier

Technologies & Systèmes D'information

Durée du contrat

6 months

Renault Group s’engage à créer un environnement de travail inclusif et les conditions permettant à chacun de nous d’apporter sa passion, donner le meilleur de lui-même et s’épanouir, tout en étant lui-même.

Nous trouvons notre force dans notre diversité et nous nous engageons à garantir l'égalité des chances en matière d'emploi, indépendamment de la couleur, de l'ascendance, de la religion, du sexe, de l'origine nationale, de l'orientation sexuelle, de l'âge, de la citoyenneté, de l'état civil, du handicap, de l’identité de genre, etc. Si vous avez un handicap ou un besoin particulier nécessitant l’aménagement du poste de travail ou de l’horaire de travail, merci de nous le faire savoir en remplissant ce formulaire.

Afin de pouvoir suivre en temps réel l'évolution de vos candidatures et pouvoir rester en contact avec nous, nous vous invitons à créer un compte candidat. Cela ne vous prendra pas plus d’une minute et vous permettra également de faciliter vos prochaines candidatures.

En soumettant votre CV ou votre candidature, vous autorisez Renault Group à utiliser et stocker des informations vous concernant à des fins de suivi de votre candidature ou de futurs emplois. Ces informations ne seront utilisées que par les sociétés de Renault Group tel que mentionné dans la Politique Groupe de protection des données personnelles.