Sessione 1

Control Task

Il Task di Controllo è una sequenza di stati e di azioni, gli elementi dei task di controllo sono:

1) Stati S(t) gli stati sono, come dice la parola, sono dei momenti nel tempo che hanno un certo valore

2) Azioni, sono le azioni eseguibili nell'ambiente basate sullo stato del task ed eseguite in un determinato momento nel tempo

3) Ricompensa, è un valore che l'agente riceve dopo aver eseguito un'azione

4) Agente, l'agente è l'entita che partecipa al task che asserva lo stato ed effettua le azioni.

5) L'ambiente, è dove vengono eseguete le azioni da parte dell'agente ed otteneuta una ricompensa e una osservazione.

MDP

MDP sta per processo decisionale di MarkovMarkov, è un template che serve per descrivere i task di controllo.

E' un controllo di processo a tempo discreto, stocastico basato su un tempo discreto.

L'MDP si basa su 4 elementi detti (S,A,R,P) ovvero:

• il set di possibili stati appartenenti al task
• il set di possibili azioni che possono essere intraprese in ciascun stato
  
• il set di possibili ricompense restituite a fronte di una azione intrapresa nello stato
• la probabilità di passare da uno stato all'altro eseguendo ogni possibile azione.

L'MDP ha una importante proprità, ovvero la probabilità di visitare lo stato successivo dipende esclusivamente dallo stato attuale, il processo di Markov NON ha quindi memoria del passato.

lezione 10

Reinforcement Learning beginner to master - AI in Python | Udemy