Stage - Modèles de fondation pour données tabulaires

Le stage se déroulera au sein de l’équipe Data Science en charge du service DataScienceNotebook, permettant de fournir un environnement de développement dédié au Machine Learning au sein de la 3DEXPERIENCE Plateforme.

Vos Missions

Vous utiliserez DataScienceNotebook pour explorer, expérimenter et évaluer des modèles fondamentaux tabulaires. Vous serez impliqué(e) dans :
•    État de l'art : étudier les Tabular Foundation Models existants (tels que TabPFNv2, TabFM et TabICL), leurs principes de fonctionnement (in-context learning, pré-entraînement sur données synthétiques) et leurs limites.
Constitution de datasets : sélectionner et préparer des jeux de données tabulaires représentatifs (publics ou synthétiques), couvrant des tâches de classification et de régression et des caractéristiques variées (taille, nombre de variables, variables catégorielles, valeurs manquantes).
•    Expérimentation TFM : mettre en œuvre les TFM sur ces jeux de données, étudier leur capacité à généraliser à partir des données fournies en contexte, et analyser ce qu'ils sont capables de reproduire (distributions, relations entre variables, prédictions).
•    Définition de modèles de référence : entraîner spécifiquement des modèles de régression et de Machine Learning classiques (régression linéaire/logistique, Random Forest, Gradient Boosting type XGBoost, LightGBM ou CatBoost) avec optimisation des hyperparamètres.
•    Évaluation comparative : comparer les TFM aux modèles de référence selon des critères quantitatifs (métriques de performance, temps d'entraînement et d'inférence, consommation de ressources) et qualitatifs (robustesse, facilité d'usage, interprétabilité).
•    Fine-tuning : explorer l'adaptation des TFM à des cas d'usage spécifiques (fine-tuning, voire apprentissage par renforcement) et mesurer le gain obtenu.
•    Synthèse et recommandations : documenter les résultats et identifier les cas d'usage pour lesquels les TFM apportent une réelle valeur ajoutée dans la plateforme.