Memahami Transformer: Dari Attention sampai Model Bahasa, Matriks demi Matriks

Isi buku. Bagian I membahas tokenisasi (BPE dihitung tangan), embedding, dan informasi posisi (sinusoidal, RoPE, ALiBi). Bagian II membahas scaled dot-product attention, mask, cross-attention, multi-head attention, dan gradien attention lengkap. Bagian III menyusun blok Transformer: FFN, fungsi aktivasi, residual, LayerNorm dan RMSNorm, serta tiga keluarga arsitektur (BERT, GPT, encoder- decoder). Bagian IV melatih model: objektif dan perplexity, Adam dan AdamW, warmup, dan pelatihan Transformer kecil dari nol pada teks peraturan perundang-undangan Indonesia. Bagian V memakainya: greedy, beam search, temperature, top-k, top-p, KV cache, fine-tuning, LoRA, serta Transformer untuk gambar dan deret waktu. Bagian VI membahas FlashAttention, attention linear, mixture of experts, scaling law Chinchilla, serta peta attention, ablasi, dan probing untuk menganalisis model dalam riset.

Ciri buku. Ada 77 Contoh Soal yang dikerjakan lengkap, dan setiap bilangannya diperiksa ulang oleh kode. Setiap komponen ditulis dari nol dengan NumPy lalu dicocokkan dengan PyTorch, termasuk arah mundur satu lapisan yang cocok dengan autograd sampai galat pembulatan. Percobaan memperlihatkan hal yang tidak tampak dari rumus: mengapa skor dibagi akar d_k, mengapa attention buta urutan tanpa posisi, kapan banyak head diperlukan, mengapa post-LN gagal tanpa warmup, dan bagaimana model dapat tampak pintar padahal memakai jalan pintas. Kotak "Untuk laporan riset" dan daftar periksa pelaporan membantu menulis bagian metode skripsi, tesis, dan artikel. Semua kode, data, dan model tersedia bebas di GitHub.

Untuk siapa. Mahasiswa S1 akhir dan S2 matematika, informatika, ilmu data, dan teknik, dosen yang mengajar deep learning, serta peneliti yang memakai atau meneliti model bahasa. Prasyaratnya kalkulus (aturan rantai), aljabar matriks, peluang dasar, dan kemampuan membaca Python. Tebalnya 259 halaman A5.