Memahami GRU: Mengapa gate bekerja, dan bagaimana menuliskannya dari nol

· Edumath
Ebook
251
Pages

About this ebook

Gated Recurrent Unit dipakai di mana-mana, dan penjelasannya hampir selalu berhenti pada satu kalimat: "gate menahan gradien supaya tidak lenyap". Kalimat sependek itu memindahkan pertanyaannya, bukan menjawabnya. Buku ini menjawabnya sampai tuntas, dan hanya untuk satu sel. Pembahasannya berangkat dari rekurensi yang paling sederhana, lewat pembuktian mengapa rekurensi itu pasti gagal pada jarak yang panjang, sampai ke sel GRU yang ditulis ulang dari nol dengan NumPy, termasuk gradiennya, yang diturunkan dengan tangan suku demi suku lalu diperiksa terhadap autograd PyTorch. Satu aturan dipegang dari halaman pertama sampai halaman terakhir: setiap angka yang tercetak lahir dari menjalankan kode yang disertakan, dan kecocokan keduanya diperiksa mesin setiap kali naskahnya disusun ulang. Aturan itu beberapa kali memaksa penulisnya melaporkan hal yang tidak diharapkan, dan justru bagian-bagian itulah yang paling banyak mengajarkan sesuatu. Isinya sembilan belas bab dalam lima bagian: Bagian I menyiapkan bekal matematika dan Python secukupnya; Bagian II membangun jaringan rekuren sederhana, menurunkan backpropagation through time, lalu membuktikan mengapa gradiennya lenyap; Bagian III menyusun GRU dari gagasan jalan pintas aditif sampai ke keempat persamaannya, kode NumPy-nya, gradiennya, dan buktinya; Bagian IV membaca isi gate sel yang sudah terlatih, membandingkannya dengan LSTM pada parameter yang disamakan, lalu membuang bagian-bagiannya satu per satu untuk melihat mana yang sungguh menentukan; Bagian V menutup dengan PyTorch, penyetelan, studi kasus pada catatan cuaca Jena 2009-2016, dan arah sesudah GRU. Buku ini ditujukan bagi mahasiswa tingkat akhir, mahasiswa magister, dan dosen yang mengajar pembelajaran mendalam, dengan prasyarat kalkulus dasar, aljabar linear dasar, pengertian turunan berantai, serta Python. Urutannya tetap: intuisi dan gambar lebih dahulu, lalu turunan matematis yang dibuktikan penuh, lalu implementasi dari nol, baru pembandingan dengan PyTorch. Setiap gradien diperiksa dua kali, terhadap selisih terpusat dan terhadap autograd. Setiap galat disebutkan bersama baseline-nya. Kode pendampingnya boleh dipakai siapa pun untuk keperluan apa pun, termasuk komersial.
Gated Recurrent Unit dipakai di mana-mana, dan penjelasannya hampir selalu berhenti pada satu kalimat: "gate menahan gradien supaya tidak lenyap". Kalimat sependek itu memindahkan pertanyaannya, bukan menjawabnya. Buku ini menjawabnya sampai tuntas, dan hanya untuk satu sel. Pembahasannya berangk...

Discover more

About the author

Dosen Program Studi Matematika dan Kepala Laboratorium Komputasi dan Pemrograman, Fakultas Sains dan Teknologi, UIN Maulana Malik Ibrahim Malang. Bidang keahliannya matematika terapan, analisis numerik, dan komputasi ilmiah. Perhatian risetnya tertuju pada perjumpaan antara optimasi numerik dan pembelajaran mesin, khususnya metode Newton bebas-Hesse untuk melatih jaringan saraf dalam, serta kemampuan hampiran jaringan saraf dalam pada pemodelan deret waktu multivariat. Ia juga tercatat sebagai anggota dewan redaksi jurnal CAUCHY: Jurnal Matematika Murni dan Aplikasi.

Dosen Program Studi Matematika dan Kepala Laboratorium Komputasi dan Pemrograman, Fakultas Sains dan Teknologi, UIN Maulana Malik Ibrahim Malang. Bidang keahliannya matematika terapan, analisis numerik, dan komputasi ilmiah. Perhatian risetnya tertuju pada perjumpaan antara optimasi numerik dan p...

Rate this ebook

Tell us what you think.

Reading information

Smartphones and tablets
Install the Google Play Books app for Android and iPad/iPhone. It syncs automatically with your account and allows you to read online or offline wherever you are.
Laptops and computers
You can listen to audiobooks purchased on Google Play using your computer's web browser.
eReaders and other devices
To read on e-ink devices like Kobo eReaders, you'll need to download a file and transfer it to your device. Follow the detailed Help Center instructions to transfer the files to supported eReaders.