Free sample lesson · Reinforcement Learning Grundlagen Vertiefen
RL-Framework
Wie lernt eine KI ohne korrekte Antworten, nur durch Versuch und Irrtum?
Lesson 1 of the Wondering course Reinforcement Learning Grundlagen Vertiefen
Lernen durch Versuch und Irrtum
Beim überwachten Lernen erhält ein Modell korrekte Antworten, aus denen es lernt.
Beim Reinforcement Learning fehlen solche Musterbeispiele. Eine KI probiert Handlungen aus und beobachtet deren Folgen.
Für gute Ergebnisse erhält sie eine Belohnung, für ungünstige Folgen eine geringe oder negative Belohnung. So verbessert sie ihr Verhalten schrittweise.
- Überwachtes Lernen
- Reinforcement Learning
Agent und Umgebung
Das Grundmodell besteht aus zwei Teilen: dem Agenten und der Umgebung.
Der Agent entscheidet, welche Handlung er ausführt. Die Umgebung reagiert darauf und liefert einen neuen Zustand sowie eine Belohnung.
- Agent
- Umgebung
Danach entscheidet der Agent erneut. Dieser Kreislauf verbindet Wahrnehmen, Handeln und Lernen.
Zustand, Handlung und Belohnung
Der Zustand beschreibt, was der Agent aktuell über die Umgebung weiß. In einem Labyrinth könnten dies seine Position und sichtbare Wege sein.
Eine Handlung verändert die Situation, etwa ein Schritt nach links oder rechts.
Die Belohnung bewertet die unmittelbare Folge. Sie zeigt dem Agenten, welche Richtung günstiger war.
Die Policy entscheidet
Eine Policy ist die Strategie des Agenten. Sie ordnet einem beobachteten Zustand mögliche Handlungen zu.
Am Anfang kennt die Policy meist keine gute Lösung. Der Agent kann deshalb verschiedene Wege ausprobieren und seine Strategie anhand der erhaltenen Belohnungen anpassen.
Eine gelernte Policy soll in ähnlichen Zuständen zuverlässig hilfreiche Handlungen auswählen.
- Zustand beobachten: Die Policy nimmt einen beobachteten Zustand als Ausgangspunkt.
- Handlung wählen: Sie ordnet diesem Zustand eine mögliche Handlung zu.
- Strategie anpassen: Der Agent probiert Wege aus und verändert die Policy anhand der erhaltenen Belohnungen.
Kurzfristig oder langfristig denken
Eine Handlung mit sofortiger Belohnung ist nicht automatisch die beste Wahl. Manche Entscheidungen bringen zunächst wenig, führen später jedoch zu einem besseren Ergebnis.
Der Agent muss deshalb die Folgen einer Handlung über mehrere Schritte berücksichtigen.
Im Labyrinth kann ein Umweg sinnvoll sein, wenn er sicher zum Ziel führt. Entscheidend ist die gesamte Folge von Belohnungen.
- Kurzfristig
- Langfristig
Der Lernkreislauf im Überblick
Der Ablauf lässt sich als Kreislauf merken: Zustand beobachten, Handlung wählen, Reaktion erhalten, Policy anpassen.
- Zustand beobachten: Die aktuelle Situation wird erfasst.
- Handlung wählen: Der Agent entscheidet sich für einen Schritt.
- Reaktion erhalten: Die Umgebung zeigt die Qualität der Folge.
- Policy anpassen: Die Strategie wird mit dieser Rückmeldung weiterentwickelt.
Anders als beim überwachten Lernen gibt es häufig keine direkte Musterantwort für jeden Schritt. Die Umgebung liefert stattdessen Rückmeldung über die Qualität des Verhaltens.
So eignet sich das Agent-Umgebung-Paradigma für Aufgaben, bei denen Entscheidungen und ihre Folgen zusammengehören.
Check yourself
Welches Lernverfahren nutzt keine korrekten Musterantworten für jeden einzelnen Schritt, sondern Belohnungen aus der Umgebung?
- Reinforcement Learning
- überwachtes Lernen
Answer: Reinforcement Learning
Beim überwachten Lernen erhält das Modell korrekte Antworten als Musterbeispiele. Beim Reinforcement Learning probiert der Agent Handlungen aus und lernt aus deren Folgen und Belohnungen.
Im Lernkreislauf kennt der Agent den aktuellen _____, wählt eine _____, erhält eine _____ und kann seine _____ anpassen.
Answer: Im Lernkreislauf kennt der Agent den aktuellen Zustand, wählt eine Handlung, erhält eine Belohnung und kann seine Policy anpassen.
Der Agent kennt den aktuellen Zustand, wählt daraufhin eine Handlung und erhält von der Umgebung eine Reaktion mit einer Belohnung. Diese Rückmeldung kann zur Anpassung der Policy genutzt werden.
Ein Agent steht in einem Labyrinth. Ein direkter Weg bringt sofort eine kleine Belohnung, endet aber in einer Sackgasse. Ein Umweg bringt zunächst keine Belohnung, führt jedoch sicher zum Ziel. Welche Entscheidung zeigt langfristiges Denken?
- Einen zunächst wenig belohnten Umweg wählen, der sicher zum Ziel führt.
- Immer die Handlung mit der unmittelbar höchsten Belohnung wählen.
- Nur den aktuellen Zustand betrachten und spätere Folgen ignorieren.
- Eine Handlung ohne Rückmeldung der Umgebung dauerhaft beibehalten.
Answer: Einen zunächst wenig belohnten Umweg wählen, der sicher zum Ziel führt.
Eine sofortige Belohnung ist nicht automatisch die beste Wahl. Ein Umweg mit zunächst geringer Belohnung kann langfristig besser sein, wenn er sicher zum Ziel führt. Der Agent sollte daher die gesamte Folge der Belohnungen berücksichtigen.
Keep going
This is lesson 1 of 6 in Reinforcement Learning Grundlagen Vertiefen. Next up:
- Bandit-Probleme
- Markov-Prozesse
- Bellman-Gleichungen
- Q-Learning
- Deep RL
Wondering turns any topic into short lessons you can read, watch, or listen to, with practice questions and an AI tutor.