About this ebook
Model seperti ChatGPT sering dijelaskan dengan satu kalimat: "model itu meramal kata berikutnya". Kalimat itu benar, tetapi hitungannya jarang ditunjukkan. Buku ini menunjukkannya, dan pembaca ikut merumuskan serta menghitungnya sendiri dengan tangan, mulai dari model yang paling sederhana. Pembahasannya berangkat dari satu neuron yang meramal suhu harian Jakarta 2024 dari suhu dua hari terakhir. Neuron itu hanya memuat tiga bilangan, dan ternyata sama persis dengan model autoregresif dari statistika. Setiap bab sesudahnya menambahkan satu gagasan matematika saja. Setiap gagasan dihitung dengan tangan sampai angka terakhirnya, lalu dicocokkan dengan keluaran kode. Bagian I meramal suhu: loss, turunan, gradient descent, matriks dan nilai eigen, serta ramalan yang dimasukkan kembali sebagai input. Bagian II mengubah kata menjadi angka, lalu memakai mesin yang sama untuk meramal kata: token, embedding, softmax, cross-entropy, dan turunan yang ternyata hanya berbunyi peluang dikurangi target. Bagian III menambahkan hidden layer, attention, positional encoding, causal mask, residual connection, dan layer normalization, sampai terbentuk satu blok Transformer yang bentuknya sama dengan blok GPT-2. Bab terakhir menghitung ukuran GPT-3 dengan rumus yang diturunkan dari blok berdimensi delapan. Hasilnya 174.599.540.736 parameter, sedangkan makalah GPT-3 mencatat 174.600 juta. Yang membedakan model mainan dari model sebesar itu ialah ukurannya, bukan jenis hitungannya. Setiap angka yang tercetak lahir dari menjalankan kode yang disertakan, termasuk angka yang tidak menyenangkan. Ramalan suhu yang dimasukkan kembali sebagai input ternyata lebih buruk daripada menebak rata-rata. Hidden layer yang terlalu sempit ternyata lebih buruk daripada tidak ada. Model yang lupa memakai causal mask mencapai loss yang mustahil rendah saat dilatih, lalu gagal saat menulis. Semuanya dilaporkan apa adanya beserta angkanya. Isinya lima belas bab dalam tiga bagian, 57 gambar, 32 berkas kode Python, dan 150 soal latihan, termasuk soal yang dikerjakan tanpa komputer. Ditujukan bagi mahasiswa tingkat akhir, mahasiswa magister, dan dosen yang ingin memahami model bahasa sampai ke hitungannya, dengan prasyarat aljabar, kalkulus dasar, dan sedikit Python.
Model seperti ChatGPT sering dijelaskan dengan satu kalimat: "model itu meramal kata berikutnya". Kalimat itu benar, tetapi hitungannya jarang ditunjukkan. Buku ini menunjukkannya, dan pembaca ikut merumuskan serta menghitungnya sendiri dengan tangan, mulai dari model yang paling sederhana. Pemba...
Discover more
Ratings and reviews
1 review
Rate this ebook
Tell us what you think.
Reading information
Smartphones and tablets
Install the Google Play Books app for Android and iPad/iPhone. It syncs automatically with your account and allows you to read online or offline wherever you are.
Laptops and computers
You can listen to audiobooks purchased on Google Play using your computer's web browser.
eReaders and other devices
To read on e-ink devices like Kobo eReaders, you'll need to download a file and transfer it to your device. Follow the detailed Help Center instructions to transfer the files to supported eReaders.
