Memahami Reinforcement Learning: Dari Persamaan Bellman sampai PPO, Episode demi Episode

Isi buku. Bagian I membahas bandit multi-lengan (epsilon-greedy, UCB, Thompson sampling), proses keputusan Markov, dan persamaan Bellman beserta buktinya. Bagian II menyelesaikannya dengan pemrograman dinamis, termasuk policy iteration sebagai metode Newton. Bagian III belajar dari pengalaman: Monte Carlo, importance sampling, temporal difference, SARSA, Q-learning, double Q-learning, jejak kelayakan, Dyna-Q, dan pencarian pohon Monte Carlo. Bagian IV memakai hampiran fungsi linear, LSTD, triad maut, dan DQN pada CartPole. Bagian V membahas REINFORCE, aktor-kritik, GAE, A2C, gradien natural dan matriks Fisher, TRPO, PPO, serta DDPG, TD3, dan SAC untuk aksi kontinu. Bagian VI membahas RLHF, model imbalan Bradley-Terry, DPO, optimisasi berlebihan, dan cara merancang serta melaporkan eksperimen RL.

Fitur buku. Ada 72 Contoh Soal yang dikerjakan lengkap, dan setiap bilangannya diperiksa ulang oleh kode. Setiap metode ditulis dengan NumPy, dan metode jaringan saraf dengan PyTorch. Semua lingkungan, termasuk grid es, tebing, labirin, CartPole, dan Pendulum, ditulis dari persamaannya sendiri sehingga isinya dapat dibaca. Percobaan memperlihatkan hal yang tidak tampak dari rumus: mengapa Q-learning memilih jalur tepi tebing, bias maksimisasi, divergensi pada contoh Baird, DQN yang runtuh tanpa jaringan target, PPO yang tidak stabil tanpa clipping, dan model imbalan yang dioptimumkan berlebihan. Bab eksperimen dan daftar periksa pelaporan membantu menulis bagian metode skripsi, tesis, dan artikel. Semua kode dan data tersedia bebas di GitHub.

Untuk siapa. Mahasiswa S1 akhir dan S2 matematika, informatika, ilmu data, dan teknik, dosen yang mengajar kecerdasan buatan atau reinforcement learning, serta peneliti yang memakai RL. Prasyaratnya kalkulus, aljabar matriks, peluang dasar, dan kemampuan membaca Python. Tebalnya 257 halaman A5.