apprentissage automatique Intelligence artificielle

Apprentissage par renforcement pour l’industrie

Module état de l'art Nouveau
L'apprentissage par renforcement (A/R) est une approche puissante qui permet aux machines d'apprendre en interagissant avec leur environnement. Cette méthode s'impose aujourd'hui comme un levier clé de l'optimisation dans l'automatisation industrielle, énergétique et plein d'autres domaines. Le cours portera sur des aspects théoriques de l'apprentissage par renforcement, les algorithmes de bandit pour le compromis exploration-exploitation, et la programmation dynamique avec approximation (PDA), dans le cadre des processus de décision markoviens (PDM). @Inria

Session:

Aucune session disponible actuellement.

Contactez-nous !

Objectifs

Explorer les algorithmes de bandits linéaires et à noyaux, en mettant en lumière une application dans le domaine de l’imagerie microscopique.
Maitriser les concepts clés et les algorithmes importants pour l’optimisation de fonctions à l’aide de méthodes de bandits.
Apprendre à estimer des paramètres et la construction de régions de confiance en utilisant la régression, en s’appuyant sur les informations des sources fournies.
Acquérir des notions de base de systèmes markoviens et de contrôle linéaire robuste.
Couvrir les algorithmes de planification, en commençant par les bases et en progressant vers des concepts plus avancés.
Connaître les fondements de l’apprentissage par renforcement profond.
Mettre en oeuvre l’approximation de fonction en apprentissage par renforcement.
Explorer les limites de l’apprentissage profond.

A l’issue de cette formation, vous allez acquérir les compétences suivantes :

Apprentissage séquentiel et bandits manchots pour l’optimisation.
Algorithmes UCB, TS.
Systèmes linéaires, estimation et incertitudes.
Markov Decision Processes, Dynamic Programming.
Planifications, Optimistic planning, MCTS et ses variantes.
Apprentissage par renforcement approché.
LSPI, DQN, PPO, SAC et leur variantes.

Public cible : ingénieurs et développeurs

Pré-requis

Espérance
Variance
Variable aléatoire
Régression linéaire

Programme

Jour 1

Introduction aux Bandits Stochastiques

Bandits pour l’optimisation

Régression linéaire, régression à noyaux
Bandits linéaires et à noyaux
Application à l’imagerie microscopique

Jour 2

Introduction aux Processus Décisionnels de Markov

Planification

Planning optimiste
Application: navigation de cathéter dans les artères coronaires.

Contrôle linéaire

Système linéaires
Propagation d’incertitude
Planning robuste
Application: conduite autonome et évitement de collision

Jour 3

Introduction à l’apprentissage par renforcement profond

Représentation de fonctions

Représentation linéaire, non-linéaire
Algorithmes critiques, acteurs
Convergence et instabilité

Apprentissage par renforcement profond

Librairies
Points d’attention
Exploration en apprentissage profond

Intervenant(s)

Odalric-Ambrym Maillard

Chargé de recherche Inria
Odalric-Ambrym Maillard est chercheur d’Inria spécialisé dans le domaine de l’apprentissage par renforcement (Reinforcement Learning) et séquentiel (Sequential Learning).

Il fait partie des rares personnes qui construisent des algorithmes d’intelligence artificielle (Machine Learning), à grand renfort de statistique mathématique et théorie des systèmes dynamiques (Bandits, MDPs, Concentration si ça vous parle).

Côté applicatif, Odalric initie et coordonne plusieurs projets en Agroécologie dans le but d’identifier et de promouvoir le partage de bonnes pratiques, en construisant des compagnons d’expérimentations numériques pour assister le besoin de massification des expérimentations. Les compagnons numériques permettent de s’assurer d’avoir des résultats fiables, reproductibles, personnalisés et tout ça avec le minimum d’essais possibles.

Ses devises
- As academic researchers, it is our duty to open novel application paths, choose which future we want to create, and picture the world we dream of beyond the existing applications of current research.
- The more applied you go, the stronger theory you need.
@coll.privée

Les prochaines sessions

3 jours

Informations pratiques

Tarif : 2 400€ par participant
Tarifs dégressifs à partir de 5 personnes (-10% de 5 à 9 inscrits, -20% plus de 10 inscrits) ;
Durée : 3 journées (de 9h à 12h et de 14h à 17h) ;
Lieu : en distanciel ou en présentiel ;
Nombre de participants : jusqu’à 12 personnes ;
Langue : la formation peut être délivrée en français ou en anglais en fonction du groupe d’apprenants ;
Privatisation : La privatisation de cette formation est possible au sein d’une même entreprise à partir de dix participants.
Méthodes pédagogiques : la formation intègre des éléments théoriques, certains techniques, d’autres plus généralistes à prendre en compte dans la stratégie
Le matériel et les ressources nécessaires serons fournis afin de favoriser l’apprentissage autonome après le cours
Modalités d’évaluation des acquis de la formation : A l’issue de la formation, l’envoi des questionnaires permettent d’évaluer le niveau des compétences acquises
Délais d’accès : la programmation est soumise à la disponibilité des scientifiques d’Inria. Une inscription anticipée est recommandée. La confirmation de la session intervient au plus tard 2 semaines à l’avance

Pour aller plus loin

Bibliographie sur le sujet de l’apprentissage par renforcement recommandée par le formateur :

Consulter

Temoignage

La formation en Reinforcement Learning animée par Odalric-Ambrym Maillard a été très enrichissante.

En trois jours, elle a combiné efficacement apports théoriques, quiz, démonstrations et travail pratique sur le code.

Cette approche équilibrée nous a permis de consolider notre culture générale en IA tout en acquérant des bases directement utiles pour nos projets futurs.

Alexandre GRIGORIEV

HORIBA Scientific

Responsable de l’IA DEV/DATA

Expert senior IA

Demander plus d'informations