apprentissage automatique Intelligence artificielle

Apprentissage par renforcement pour l’industrie

Module état de l'art Nouveau
L'apprentissage par renforcement (A/R) est une approche puissante qui permet aux machines d'apprendre en interagissant avec leur environnement. Cette méthode s'impose aujourd'hui comme un levier clé de l'optimisation dans l'automatisation industrielle, énergétique et plein d'autres domaines. Le cours portera sur des aspects théoriques de l'apprentissage par renforcement, les algorithmes de bandit pour le compromis exploration-exploitation, et la programmation dynamique avec approximation (PDA), dans le cadre des processus de décision markoviens (PDM). @Inria

Session:

Aucune session disponible actuellement.

Contactez-nous !

Objectifs

Explorer les algorithmes de bandits linéaires et à noyaux, en mettant en lumière une application dans le domaine de l’imagerie microscopique.
Maitriser les concepts clés et les algorithmes importants pour l’optimisation de fonctions à l’aide de méthodes de bandits.
Apprendre à estimer des paramètres et la construction de régions de confiance en utilisant la régression, en s’appuyant sur les informations des sources fournies.
Acquérir des notions de base de systèmes markoviens et de contrôle linéaire robuste.
Couvrir les algorithmes de planification, en commençant par les bases et en progressant vers des concepts plus avancés.
Connaître les fondements de l’apprentissage par renforcement profond.
Mettre en oeuvre l’approximation de fonction en apprentissage par renforcement.
Explorer les limites de l’apprentissage profond.

A l’issue de cette formation, vous allez acquérir les compétences suivantes :

Apprentissage séquentiel et bandits manchots pour l’optimisation avec minimisation des regrets
Algorithmes UCB, TS.
Systèmes linéaires, estimation et incertitudes.
Markov Decision Processes, Dynamic Programming.
Planifications, Optimistic planning, MCTS et ses variantes.
Apprentissage par renforcement approché.
LSPI, DQN, PPO, SAC et leur variantes.

Public cible : ingénieurs et développeurs

Domaines d’applications

Environnements simulés : jeux, robotique, recommandations pour les plateformes en ligne, essais cliniques (recherche de traitements), navigations autonomes, entrainement des LLMs etc.
Environnements réels : agroécologie, paramétrages d’outils etc.
L’environnement réel suppose généralement un développement avec peu de données, ce qui est possible en les observant au maximum et en combinant les incertitudes avec la dynamique des systèmes

Pré-requis

Espérance
Variance
Variable aléatoire
Régression linéaire

Programme

Jour 1

Introduction aux Bandits Stochastiques

Bandits pour l’optimisation

Régression linéaire, régression à noyaux
Bandits linéaires et à noyaux
Application à l’imagerie microscopique

Jour 2

Introduction aux Processus Décisionnels de Markov

Planification

Planning optimiste
Application: navigation de cathéter dans les artères coronaires.

Contrôle linéaire

Système linéaires
Propagation d’incertitude
Planning robuste
Application: conduite autonome et évitement de collision

Jour 3

Introduction à l’apprentissage par renforcement profond

Représentation de fonctions

Représentation linéaire, non-linéaire
Algorithmes critiques, acteurs
Convergence et instabilité

Apprentissage par renforcement profond

Librairies
Points d’attention
Exploration en apprentissage profond

Intervenant(s)

Odalric-Ambrym Maillard

Chargé de recherche Inria
Odalric-Ambrym Maillard est chercheur d’Inria spécialisé dans le domaine de l’apprentissage par renforcement (Reinforcement Learning) et séquentiel (Sequential Learning).

Il fait partie des rares personnes qui construisent des algorithmes d’intelligence artificielle (Machine Learning), à grand renfort de statistique mathématique et théorie des systèmes dynamiques (Bandits, MDPs, Concentration si ça vous parle).

Côté applicatif, Odalric initie et coordonne plusieurs projets en Agroécologie dans le but d’identifier et de promouvoir le partage de bonnes pratiques, en construisant des compagnons d’expérimentations numériques pour assister le besoin de massification des expérimentations. Les compagnons numériques permettent de s’assurer d’avoir des résultats fiables, reproductibles, personnalisés et tout ça avec le minimum d’essais possibles.

Ses devises
- As academic researchers, it is our duty to open novel application paths, choose which future we want to create, and picture the world we dream of beyond the existing applications of current research.
- The more applied you go, the stronger theory you need.
@coll.privée

3 jours

2400 / pers.

Témoignages

Un panorama complet, structuré et détaillé des différentes méthodes et enjeux de l’apprentissage par renforcement, dispensé par un formateur maîtrisant totalement le sujet. Formation idéale pour une introduction académique de la matière.

Hervé Mignot

Chief AI Officer @EDG & Partner Head of AI @Equancy

J’ai trouvé très instructive la mise en évidence des concepts et des mécanismes sous-jacents à certains outils, qui peuvent parfois être perçus comme des « boîtes noires ». J’ai également apprécié la mise en garde concernant une utilisation consciente, en tenant compte des potentialités et des limites de ces outils.
Nous avons eu une description claire des concepts d’un point de vue technique, mettant en évidence leur applicabilité à des cas concrets et la transmission d’une méthodologie de travail

Antonio Iazzolino

Directeur R&D Poetis

La formation en « Apprentissage par renforcement pour l’industrie » animée par Odalric-Ambrym Maillard a été très enrichissante. En trois jours, elle a combiné efficacement apports théoriques, quiz, démonstrations et travail pratique sur le code. Cette approche équilibrée nous a permis de consolider notre culture générale en IA tout en acquérant des bases directement utiles pour nos projets futurs.

Alexandre Grigoriev

HORIBA Scientific, Responsable de l’IA DEV/DATA, Expert senior IA

Informations pratiques

Tarif : 2 400€ par participant
Tarifs dégressifs à partir de 5 personnes (-10% de 5 à 9 inscrits, -20% plus de 10 inscrits) ;
Durée : 3 journées (de 9h à 12h et de 14h à 17h) ;
Lieu : en distanciel ou en présentiel ;
Nombre de participants : jusqu’à 12 personnes ;
Langue : la formation peut être délivrée en français ou en anglais en fonction du groupe d’apprenants ;
Privatisation : La privatisation de cette formation est possible au sein d’une même entreprise à partir de dix participants.
Méthodes pédagogiques : la formation intègre des éléments théoriques, certains techniques, d’autres plus généralistes à prendre en compte dans la stratégie
Le matériel et les ressources nécessaires serons fournis afin de favoriser l’apprentissage autonome après le cours
Modalités d’évaluation des acquis de la formation : A l’issue de la formation, l’envoi des questionnaires permettent d’évaluer le niveau des compétences acquises
Délais d’accès : la programmation est soumise à la disponibilité des scientifiques d’Inria. Une inscription anticipée est recommandée. La confirmation de la session intervient au plus tard 2 semaines à l’avance

Pour aller plus loin

Bibliographie sur le sujet de l’apprentissage par renforcement recommandée par le formateur :

Consulter

Découvrir

Demander plus d'informations