Programmation dynamique avec approximation de la fonction valeur

461 Pages·2017·4.71 MB·French

by  Rémi Munos

Programmation dynamique avec approximation de la
fonction valeur
Rémi Munos
To cite this version:
Rémi Munos. Programmation dynamique avec approximation de la fonction valeur. Processus déci-
sionnels de Markov et intelligence artificielle, Hermes, pp.19-50, 2008. ￿hal-00830192￿
HAL Id: hal-00830192
https://hal.science/hal-00830192
Submitted on 4 Jun 2013
HAL is a multi-disciplinary open access L’archive ouverte pluridisciplinaire HAL, est
archive for the deposit and dissemination of sci- destinée au dépôt et à la diffusion de documents
entific research documents, whether they are pub- scientifiques de niveau recherche, publiés ou non,
lished or not. The documents may come from émanant des établissements d’enseignement et de
teaching and research institutions in France or recherche français ou étrangers, des laboratoires
abroad, or from public or private research centers. publics ou privés.
Processus Décisionnels de Markov
en Intelligence Artificielle
Groupe PDMIA
27février2008
2
Table des matières
PREMIÈREPARTIE.PRINCIPESGÉNÉRAUX . . . . . . . . . . . . . . . . . . 15
Chapitre1.ProcessusDécisionnelsdeMarkov . . . . . . . . . . . . . . . . . 17
FrédérickGARCIA
1.1. Introduction. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 17
1.2. ProblèmesdécisionnelsdeMarkov . . . . . . . . . . . . . . . . . . . . 18
1.2.1. ProcessusdécisionnelsdeMarkov . . . . . . . . . . . . . . . . . . 18
1.2.2. Lespolitiquesd’actions . . . . . . . . . . . . . . . . . . . . . . . . 20
1.2.3. Critèresdeperformance . . . . . . . . . . . . . . . . . . . . . . . . 22
1.3. Fonctionsdevaleur . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 23
1.3.1. Lecritèrefini . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 23
1.3.2. Lecritèreγ-pondéré . . . . . . . . . . . . . . . . . . . . . . . . . . 24
1.3.3. Lecritèretotal . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 24
1.3.4. Lecritèremoyen . . . . . . . . . . . . . . . . . . . . . . . . . . . . 25
1.4. Politiquesmarkoviennes . . . . . . . . . . . . . . . . . . . . . . . . . . 25
1.4.1. Equivalencedespolitiqueshistoire-dépendantesetmarkoviennes 25
1.4.2. PolitiquemarkovienneetchaînedeMarkovvaluée . . . . . . . . 27
1.5. Caractérisationdespolitiquesoptimales . . . . . . . . . . . . . . . . . . 27
1.5.1. Lecritèrefini . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 27
1.5.2. Lecritèreγ-pondéré . . . . . . . . . . . . . . . . . . . . . . . . . 29
1.5.3. Lecritèretotal . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 34
1.5.4. Lecritèremoyen . . . . . . . . . . . . . . . . . . . . . . . . . . . . 36
1.6. AlgorithmesderésolutiondesMDP . . . . . . . . . . . . . . . . . . . . 40
1.6.1. Lecritèrefini . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 40
1.6.2. Lecritèreγ-pondéré . . . . . . . . . . . . . . . . . . . . . . . . . . 40
1.6.3. Lecritèretotal . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 45
1.6.4. Lecritèremoyen . . . . . . . . . . . . . . . . . . . . . . . . . . . . 46
1.7. Conclusionetperspectives . . . . . . . . . . . . . . . . . . . . . . . . . 48
Chapitre2.Apprentissageparrenforcement . . . . . . . . . . . . . . . . . . 51
5
6 PDMenIA
OlivierSIGAUD,FrédérickGARCIA
2.1. Introduction. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 51
2.1.1. Brefaperçuhistorique . . . . . . . . . . . . . . . . . . . . . . . . . 52
2.2. Apprentissageparrenforcement:vued’ensemble . . . . . . . . . . . . 53
2.2.1. Approximationdelafonctiondevaleur . . . . . . . . . . . . . . . 53
2.2.2. Méthodesdirectesetindirectes . . . . . . . . . . . . . . . . . . . . 54
2.2.3. Apprentissagetemporel,nonsuperviséetparessaiseterreurs . . 55
2.2.4. Ledilemmeexploration/exploitation . . . . . . . . . . . . . . . . 56
2.2.5. Desméthodesincrémentalesfondéessuruneestimation . . . . . 58
2.3. MéthodesdeMonteCarlo. . . . . . . . . . . . . . . . . . . . . . . . . . 59
2.3.1. Préliminairesgénérauxsurlesméthodesd’estimation . . . . . . . 59
2.3.2. LesméthodesdeMonteCarlo . . . . . . . . . . . . . . . . . . . . 60
2.4. Lesméthodesdedifférencetemporelle . . . . . . . . . . . . . . . . . . 62
2.4.1. L’algorithmeTD(0) . . . . . . . . . . . . . . . . . . . . . . . . . . 63
2.4.2. L’algorithmeSARSA. . . . . . . . . . . . . . . . . . . . . . . . . . 64
2.4.3. L’algorithmeQ-learning . . . . . . . . . . . . . . . . . . . . . . . 66
2.4.4. LesalgorithmesTD(λ),Sarsa(λ)etQ(λ) . . . . . . . . . . . . . . 68
2.4.5. Lesarchitecturesacteur-critique . . . . . . . . . . . . . . . . . . . 69
2.4.6. Différencestemporellesavectracesd’éligibilité:TD(λ) . . . . . 69
2.4.7. DeTD(λ)àSARSA(λ) . . . . . . . . . . . . . . . . . . . . . . . . 73
2.4.8. L’algorithmeR-learning. . . . . . . . . . . . . . . . . . . . . . . . 75
2.5. Méthodesindirectes:apprentissaged’unmodèle . . . . . . . . . . . . 77
2.5.1. LesarchitecturesDYNA . . . . . . . . . . . . . . . . . . . . . . . . 78
2.5.2. L’algorithmeE3 . . . . . . . . . . . . . . . . . . . . . . . . . . . . 80
2.5.3. L’algorithmeR . . . . . . . . . . . . . . . . . . . . . . . . . . 81
max
2.6. Conclusion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 82
Chapitre3.PDMpartiellementobservables . . . . . . . . . . . . . . . . . . 85
AlainDUTECH,BrunoSCHERRER
3.1. DéfinitionformelledesPOMDP . . . . . . . . . . . . . . . . . . . . . . . 86
3.1.1. Définitiond’unPOMDP . . . . . . . . . . . . . . . . . . . . . . . . 86
3.1.2. Critèresdeperformance . . . . . . . . . . . . . . . . . . . . . . . . 88
3.1.3. Etatd’information . . . . . . . . . . . . . . . . . . . . . . . . . . . 88
3.1.4. Politique . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 92
3.1.5. Fonctionsdevaleur . . . . . . . . . . . . . . . . . . . . . . . . . . 93
3.2. Problèmesnon-markoviens(informationincomplète) . . . . . . . . . . 95
3.2.1. Politiquesadaptées . . . . . . . . . . . . . . . . . . . . . . . . . . 95
3.2.2. Critèrepondéré. . . . . . . . . . . . . . . . . . . . . . . . . . . . . 96
3.2.3. Algorithmesadaptésetcritèremoyenadapté . . . . . . . . . . . . 100
3.3. Calculerunepolitiqueexactesurlesétatsd’information . . . . . . . . 101
3.3.1. Casgénéral . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 102
3.3.2. Etatsdecroyanceetfonctiondevaleurlinéaireparmorceaux . . 103
Tabledesmatières 7
3.4. Algorithmesexactsd’itérationsurlesvaleurs. . . . . . . . . . . . . . . 107
3.4.1. Etapesdel’opérateurdeprogrammationdynamique. . . . . . . . 107
3.4.2. ObtenirunereprésentationparcimonieusedeV . . . . . . . . . . 110
3.4.3. L’algorithmeWITNESS . . . . . . . . . . . . . . . . . . . . . . . . 117
3.4.4. Elagageitératif(Iterativepruning) . . . . . . . . . . . . . . . . . . 120
3.5. Algorithmesd’itérationsurlespolitiques . . . . . . . . . . . . . . . . . 123
3.6. ConclusionetPerspectives . . . . . . . . . . . . . . . . . . . . . . . . . 125
Chapitre4.Uneintroductionauxjeuxstochastiques . . . . . . . . . . . . . 127
AndriyBURKOV,BrahimCHAIB-DRAA
4.1. Introduction. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 127
4.2. Rappelsurlathéoriedesjeux. . . . . . . . . . . . . . . . . . . . . . . . 128
4.2.1. Quelquesdéfinitionsdebase . . . . . . . . . . . . . . . . . . . . . 128
4.2.2. Jeuxstatiqueseninformationcomplète . . . . . . . . . . . . . . . 133
4.2.3. Jeuxdynamiqueseninformationcomplète . . . . . . . . . . . . . 137
4.3. Jeuxstochastiques . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 143
4.3.1. Définitionetéquilibred’unjeustochastique . . . . . . . . . . . . 143
4.3.2. Résolutiondesjeuxstochastiques . . . . . . . . . . . . . . . . . . 145
4.3.3. Complexitéetextensibilitédesalgorithmesd’apprentissagemul-
tiagent . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 155
4.3.4. Au-delàdelarecherched’équilibre . . . . . . . . . . . . . . . . . 157
4.3.5. Discussion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 161
4.4. Conclusionetperspectives . . . . . . . . . . . . . . . . . . . . . . . . . 162
Chapitre5.Critèresnonclassiques . . . . . . . . . . . . . . . . . . . . . . . . 165
Matthieu BOUSSARD , Maroua BOUZID , Abdel-Illah MOUADDIB , Régis
SABBADIN,PaulWENG
5.1. Introduction. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 165
5.2. Lesapprochesmulticritères . . . . . . . . . . . . . . . . . . . . . . . . . 166
5.2.1. Décisionmulticritère . . . . . . . . . . . . . . . . . . . . . . . . . 167
5.2.2. ProcessusdécisionneldeMarkovmulticritères . . . . . . . . . . . 168
5.3. PriseencomptedelarobustessedanslarésolutiondesMDP . . . . . . 172
5.4. ProcessusDécisionnelsdeMarkovPossibilistes . . . . . . . . . . . . . 175
5.4.1. Contrepartiespossibilistesdel’utilitéespérée . . . . . . . . . . . 175
5.4.2. ProgrammationDynamiquePossibiliste. . . . . . . . . . . . . . . 178
5.4.3. ExtensionsdesMDPpossibilistes . . . . . . . . . . . . . . . . . . 183
5.5. MDPalgébriques. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 187
5.5.1. Rappels . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 188
5.5.2. Définitiond’unMDPalgébrique . . . . . . . . . . . . . . . . . . . 190
5.5.3. Fonctionsdevaleurd’unepolitique . . . . . . . . . . . . . . . . . 191
5.5.4. Conditions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 192
5.5.5. ExemplesdeAMDP . . . . . . . . . . . . . . . . . . . . . . . . . . 193
5.6. Conclusion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 198
8 PDMenIA
DEUXIÈMEPARTIE.EXEMPLESD’APPLICATIONDES(PO)MDP . . . . . 201
Chapitre6.Apprentissageenlignedelamanipulationdemicro-objets . . 203
GuillaumeLAURENT
6.1. Introduction. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 203
6.2. Dispositifdemanipulation . . . . . . . . . . . . . . . . . . . . . . . . . 204
6.2.1. Objectif:lemicro-positionnementparpoussée . . . . . . . . . . 204
6.2.2. Dispositifdemanipulation . . . . . . . . . . . . . . . . . . . . . . 205
6.2.3. Boucledecommande . . . . . . . . . . . . . . . . . . . . . . . . . 206
6.2.4. Représentation du système de manipulation sous la forme d’un
MDP . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 206
6.3. Choixdel’algorithmed’apprentissageparrenforcement . . . . . . . . 207
6.3.1. CaractéristiquesduMDP . . . . . . . . . . . . . . . . . . . . . . . 207
6.3.2. Unalgorithmeadapté:STM-Q . . . . . . . . . . . . . . . . . . . . 208
6.4. Résultatsexpérimentaux . . . . . . . . . . . . . . . . . . . . . . . . . . 210
6.4.1. Miseenœuvre . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 210
6.4.2. Résultatsobtenus . . . . . . . . . . . . . . . . . . . . . . . . . . . 210
6.5. Conclusion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 211
Chapitre7.Conservationdelabiodiversité . . . . . . . . . . . . . . . . . . . 215
IadineCHADÈS
7.1. Introduction. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 215
7.2. Protéger, surveiller ou abandonner : gestion optimale d’espèces se-
crètesetmenacées . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 216
7.2.1. SurveillanceetgestiondutigredeSumatra . . . . . . . . . . . . . 216
7.2.2. Modèle . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 217
7.2.3. Résultats . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 217
7.2.4. Extensionàplusieurspopulations . . . . . . . . . . . . . . . . . . 220
7.3. Lesloutresetlesabalonespeuvent-ilsco-exister? . . . . . . . . . . . . 221
7.3.1. Lesabalonesetlesloutres,deuxespècesmenacées . . . . . . . . 221
7.3.2. Modèles. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 223
7.3.3. Méthodes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 226
7.3.4. Résultats . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 227
7.3.5. Discussion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 229
7.4. Conclusion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 231
TROISIÈMEPARTIE.EXTENSIONS . . . . . . . . . . . . . . . . . . . . . . . . 233
Chapitre8.DEC-MDP/POMDP . . . . . . . . . . . . . . . . . . . . . . . . . 235
AurélieBEYNIER,FrançoisCHARPILLET,DanielSZER,Abdel-IllahMOUAD-
DIB
8.1. Introductiongénérale . . . . . . . . . . . . . . . . . . . . . . . . . . . . 235
Tabledesmatières 9
8.2. Observabilité . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 236
8.3. ProcessusdécisionnelsdeMarkovmulti-agents . . . . . . . . . . . . . 238
8.3.1. Formalisme . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 238
8.3.2. Contrôlecentralisé . . . . . . . . . . . . . . . . . . . . . . . . . . . 239
8.3.3. Contrôledécentralisé . . . . . . . . . . . . . . . . . . . . . . . . . 239
8.4. ContrôledécentraliséetprocessusdécisionnelsdeMarkov . . . . . . . 240
8.4.1. LesprocessusdécisionnelsdeMarkovdécentralisés . . . . . . . . 240
8.4.2. MultiagentTeamDecisionProblem . . . . . . . . . . . . . . . . . 241
8.4.3. GestiondelacommunicationdanslesDEC-POMDP . . . . . . . . 244
8.5. PropriétésetclassesparticulièresdeDEC-POMDP . . . . . . . . . . . . 247
8.5.1. Transitions,observationsetbuts . . . . . . . . . . . . . . . . . . . 248
8.5.2. DEC-MDPdirigésparlesévénements . . . . . . . . . . . . . . . . 250
8.5.3. ModélisationdeDEC-MDPaveccontraintes . . . . . . . . . . . . 251
8.6. LarésolutiondesDEC-POMDP . . . . . . . . . . . . . . . . . . . . . . . 254
8.6.1. Algorithmesderésolutionoptimaux . . . . . . . . . . . . . . . . . 254
8.6.2. Algorithmesderésolutionapprochée . . . . . . . . . . . . . . . . 264
8.7. Quelquesexemplesd’application . . . . . . . . . . . . . . . . . . . . . 270
8.7.1. Robotiquemobileexploratoire . . . . . . . . . . . . . . . . . . . . 270
8.8. Conclusionetperspectives . . . . . . . . . . . . . . . . . . . . . . . . . 272
Chapitre9.Représentationsfactorisées . . . . . . . . . . . . . . . . . . . . . 275
ThomasDEGRIS,OlivierSIGAUD
9.1. Introduction. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 275
9.2. LeformalismedesFMDP . . . . . . . . . . . . . . . . . . . . . . . . . . 276
9.2.1. Représentationdel’espaced’état . . . . . . . . . . . . . . . . . . 276
9.2.2. L’exempleCoffeeRobot. . . . . . . . . . . . . . . . . . . . . . . . 276
9.2.3. Décompositionetindépendancesrelativesauxfonctions . . . . . 278
9.2.4. Indépendancesrelativesauxcontextes. . . . . . . . . . . . . . . . 283
9.3. PlanificationdanslesFMDP . . . . . . . . . . . . . . . . . . . . . . . . . 284
9.3.1. Itérationsstructuréessurlesvaleursetsurlespolitiques . . . . . 284
9.3.2. L’algorithmeStochasticPlanningUsingDecisionDiagrams . . . 289
9.3.3. ProgrammationlinéaireapprochéedansunFMDP. . . . . . . . . 292
9.4. Conclusionetperspectives . . . . . . . . . . . . . . . . . . . . . . . . . 299
Chapitre10.Approchesderésolutionenligne . . . . . . . . . . . . . . . . . 301
LaurentPÉRET,FrédérickGARCIA
10.1.Introduction. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 301
10.1.1.Exploiterletempsenligne . . . . . . . . . . . . . . . . . . . . . . 301
10.1.2.Rechercheenligneparsimulation . . . . . . . . . . . . . . . . . . 302
10.2.Algorithmesenlignepourlarésolutiond’unMDP . . . . . . . . . . . . 303
10.2.1.Algorithmeshorsligne,algorithmesenligne . . . . . . . . . . . . 303
10.2.2.Formalisationduproblème . . . . . . . . . . . . . . . . . . . . . . 303
10.2.3.AlgorithmesheuristiquesderechercheenlignepourlesMDP . . 306
10 PDMenIA
10.2.4.L’algorithmeparsimulationdeKearns,MansouretNg . . . . . . 310
10.2.5.L’algorithmeRolloutdeTesauroetGalperin . . . . . . . . . . . . 312
10.3.Contrôlerlarecherche . . . . . . . . . . . . . . . . . . . . . . . . . . . . 314
10.3.1.Bornessurl’erreuretpathologiedelarechercheavant . . . . . . 315
10.3.2.Allocationitérativedessimulations . . . . . . . . . . . . . . . . . 317
10.3.3.FocusedReinforcementLearning . . . . . . . . . . . . . . . . . . 320
10.3.4.ControlledRollout . . . . . . . . . . . . . . . . . . . . . . . . . . . 325
10.4.Conclusion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 327
Chapitre11.Programmationdynamiqueavecapproximation . . . . . . . . 329
RémiMUNOS
11.1.Introduction. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 330
11.2.Itérationssurlesvaleursavecapproximation(IVA) . . . . . . . . . . . 332
11.2.1.Implémentationàpartird’échantillonsetapprentissagesupervisé 333
11.2.2.Analysedel’algorithmeIVA . . . . . . . . . . . . . . . . . . . . . 335
11.2.3.Illustrationnumérique . . . . . . . . . . . . . . . . . . . . . . . . . 336
11.3.Itérationssurlespolitiquesavecapproximation(IPA) . . . . . . . . . . 338
11.3.1.Analysedel’algorithmeIPAennormeL∞ . . . . . . . . . . . . . 340
11.3.2.Évaluationapprochéed’unepolitique . . . . . . . . . . . . . . . . 342
11.3.3.Approximationlinéaireetméthodedesmoindrescarrés. . . . . . 343
11.4.MinimisationdirectedurésidudeBellman . . . . . . . . . . . . . . . . 350
11.5.VersuneanalysedelaprogrammationdynamiqueennormeLp . . . . 351
11.5.1.Intuitiond’uneanalyseLpenprogrammationdynamique. . . . . 352
11.5.2.BornesPACpourdesalgorithmesd’A/R . . . . . . . . . . . . . . 354
11.6.Conclusionetperspectives . . . . . . . . . . . . . . . . . . . . . . . . . 355
Chapitre12.Méthodesdegradient . . . . . . . . . . . . . . . . . . . . . . . . 357
OlivierBUFFET
12.1.Rappelssurlanotiondegradient . . . . . . . . . . . . . . . . . . . . . . 358
12.1.1.Gradientd’unefonction . . . . . . . . . . . . . . . . . . . . . . . . 358
12.1.2.Descentedegradient . . . . . . . . . . . . . . . . . . . . . . . . . 359
12.2.Optimisationd’unepolitiqueparamétréeparméthodedegradient . . . 360
12.2.1.ApplicationauxMDP:aperçu . . . . . . . . . . . . . . . . . . . . 360
12.2.2.Estimationdugradientdef dansunMDP,casdel’horizontem-
porelfini . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 362
12.2.3.Extensionaucasdel’horizontemporelinfini:critèreactualisé,
critèremoyen . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 365
12.2.4.Caspartiellementobservable . . . . . . . . . . . . . . . . . . . . . 369
12.3.Méthodes"Acteur-Critique" . . . . . . . . . . . . . . . . . . . . . . . . 370
12.3.1.EstimateurdugradientutilisantlesQ-valeurs . . . . . . . . . . . 371
12.3.2.Compatibilitéavecl’approximationd’unefonctiondevaleur. . . 372
12.4.Compléments . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 375
12.5.Conclusion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 378
Tabledesmatières 11
QUATRIÈMEPARTIE.EXEMPLESD’APPLICATION(SUITE) . . . . . . . . . 379
Chapitre13.Hélicoptèreautonome . . . . . . . . . . . . . . . . . . . . . . . . 381
PatrickFABIANI,FlorentTEICHTEIL-KÖNIGSBUCH
13.1.Introduction. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 381
13.2.Présentationduscénario. . . . . . . . . . . . . . . . . . . . . . . . . . . 383
13.2.1.Problèmedeplanification . . . . . . . . . . . . . . . . . . . . . . . 384
13.2.2.Étatsetactions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 385
13.2.3.Incertitudes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 386
13.2.4.Critèreàoptimiser . . . . . . . . . . . . . . . . . . . . . . . . . . . 386
13.2.5.Modèleformeldedécision . . . . . . . . . . . . . . . . . . . . . . 386
13.3.Architecturededécisionembarquée . . . . . . . . . . . . . . . . . . . . 387
13.3.1.Vueglobale . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 387
13.3.2.Planificationmulti-tâchesurrequêtedusuperviseur . . . . . . . . 388
13.4.Programmationdynamiquestochastique,incrémentaleetlocale . . . . 389
13.4.1.Obtentiond’unepremièrepolitiquenonoptimisée . . . . . . . . . 390
13.4.2.Générationdusous-espaced’étatsatteignables . . . . . . . . . . . 391
13.4.3.Optimisationlocaledelapolitique . . . . . . . . . . . . . . . . . . 391
13.4.4.Replanificationslocales . . . . . . . . . . . . . . . . . . . . . . . . 392
13.5.Testsenvoletretourd’expérience . . . . . . . . . . . . . . . . . . . . . 392
13.6.Conclusion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 394
Chapitre14.Robotiquemobile . . . . . . . . . . . . . . . . . . . . . . . . . . 397
SimonLEGLOANNEC,Abdel-IllahMOUADDIB
14.1.Lamissiondurobotexplorateur . . . . . . . . . . . . . . . . . . . . . . 397
14.2.Formalismed’unemissionconstituéedetâchesprogressives . . . . . . 399
14.3.ModélisationMDP/PRU . . . . . . . . . . . . . . . . . . . . . . . . . . 400
14.3.1.Lesétatsdel’agent . . . . . . . . . . . . . . . . . . . . . . . . . . 401
14.3.2.Lesactionsdel’agent . . . . . . . . . . . . . . . . . . . . . . . . . 401
14.3.3.Lafonctiondetransition . . . . . . . . . . . . . . . . . . . . . . . 402
14.3.4.Lafonctionderécompense . . . . . . . . . . . . . . . . . . . . . . 403
14.4.Calculdelapolitiquedecontrôle . . . . . . . . . . . . . . . . . . . . . 403
14.5.Modéliserconcrètementunemission . . . . . . . . . . . . . . . . . . . 405
14.6.Extensionspossibles . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 406
14.7.Conclusion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 406
Chapitre15.Planificationd’opérations . . . . . . . . . . . . . . . . . . . . . 407
SylvieTHIÉBAUX,OlivierBUFFET
15.1.Planificationd’opérations . . . . . . . . . . . . . . . . . . . . . . . . . . 407
15.1.1.Intuition. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 407
15.1.2.Définitionsformelles . . . . . . . . . . . . . . . . . . . . . . . . . 410
15.2.MDP . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 415