Session:
Toutes nos formations
apprentissage automatique
Intelligence artificielle
Apprentissage par renforcement pour l’industrie
Module état de l'art
L'apprentissage par renforcement (A/R) est une approche puissante qui permet aux machines d'apprendre en interagissant avec leur environnement. Cette méthode s'impose aujourd'hui comme un levier clé de l'optimisation dans l'automatisation industrielle, énergétique et plein d'autres domaines. Le cours portera sur des aspects théoriques de l'apprentissage par renforcement, les algorithmes de bandit pour le compromis exploration-exploitation, et la programmation dynamique avec approximation (PDA), dans le cadre des processus de décision markoviens (PDM). @Inria
Aucune session disponible actuellement.
Objectifs
-
Explorer les algorithmes de bandits linéaires et à noyaux, en mettant en lumière une application dans le domaine de l’imagerie microscopique.
-
Maitriser les concepts clés et les algorithmes importants pour l’optimisation de fonctions à l’aide de méthodes de bandits.
-
Apprendre à estimer des paramètres et la construction de régions de confiance en utilisant la régression, en s’appuyant sur les informations des sources fournies.
-
Acquérir des notions de base de systèmes markoviens et de contrôle linéaire robuste.
-
Couvrir les algorithmes de planification, en commençant par les bases et en progressant vers des concepts plus avancés.
-
Connaître les fondements de l’apprentissage par renforcement profond.
-
Mettre en oeuvre l’approximation de fonction en apprentissage par renforcement.
-
Explorer les limites de l’apprentissage profond.
A l’issue de cette formation, vous allez acquérir comme compétences
-
Apprentissage séquentiel et bandits manchots pour l’optimisation
-
Algorithms UCB, TS
-
Systèmes linéaires, estimation et incertitudes
-
Markov Decision Processes, Dynamic Programming,
-
Planifications, Optimistic planning, MCTS et ses variantes.
-
Apprentissage par renforcement approché
-
LSPI, DQN, PPO, SAC et leur variantes.
Public cible : ingénieurs et développeurs
Pré-requis
-
Espérance
-
Variance
-
Variable aléatoire
-
Régression linéaire
Programme
Jour 1
Introduction aux Bandits Stochastiques
Bandits pour l’optimisation
-
Régression linéaire, régression à noyaux
-
Bandits linéaires et à noyaux
-
Application à l’imagerie microscopique
Jour 2
Introduction aux Processus Décisionnels de Markov
Planification
-
Planning optimiste
- Application: navigation de cathéter dans les artères coronaires.
Contrôle linéaire
- Système linéaires
- Propagation d’incertitude
- Planning robuste
- Application: conduite autonome et évitement de collision
Jour 3
Introduction à l’apprentissage par renforcement profond
Représentation de fonctions
-
Représentation linéaire, non-linéaire
-
Algorithmes critiques, acteurs
-
Convergence et instabilité
Apprentissage par renforcement profond
-
Librairies
-
Points d’attention
-
Exploration en apprentissage profond
Intervenant(s)
-
Odalric-Ambrym Maillard
Chargé de recherche Inria
Odalric-Ambrym Maillard est chercheur d’Inria spécialisé dans le domaine de l’apprentissage par renforcement (Reinforcement Learning) et séquentiel (Sequential Learning).
Il fait partie des rares personnes qui construisent des algorithmes d’intelligence artificielle (Machine Learning), à grand renfort de statistique mathématique et théorie des systèmes dynamiques (Bandits, MDPs, Concentration si ça vous parle).
Côté applicatif, Odalric initie et coordonne plusieurs projets en Agroécologie dans le but d’identifier et de promouvoir le partage de bonnes pratiques, en construisant des compagnons d’expérimentations numériques pour assister le besoin de massification des expérimentations. Les compagnons numériques permettent de s’assurer d’avoir des résultats fiables, reproductibles, personnalisés et tout ça avec le minimum d’essais possibles.
Ses devises
- As academic researchers, it is our duty to open novel application paths, choose which future we want to create, and picture the world we dream of beyond the existing applications of current research.
- The more applied you go, the stronger theory you need.
@coll.privée
3 jours
1950 / pers.