RNN LSTM 1

Pengenalan Artificial Intelligence dan Sistem Cerdas

Overview: Pada kesempatan ini, kita akan membahas tentang Artificial Intelligence (AI) dan sistem cerdas. Kita akan melihat beberapa hal seperti model umum vanilla rmn, kelemahan exploding dan finishing gradient, model LSM memori, serta implementasi jaringan saraf tiruan.

Pengertian Jaringan Saraf Tiruan

• Jaringan saraf tiruan adalah algoritma yang mencontoh otak manusia untuk melakukan komputasi, prediksi, dan klasifikasi.

• Neuron dalam jaringan saraf tiruan memiliki bobot yang digunakan untuk mengambil keputusan atau melakukan klasifikasi.

Proses Kerja Otak Manusia

• Otak manusia menggunakan memori dari pengalaman sebelumnya untuk mentraining neuron agar mampu berlaku seperti manusia dalam mengambil keputusan atau melakukan klasifikasi.

• Proses kerja otak manusia bersifat sekuensial atau berurutan dari satu dua tiga empat dengan waktu yang singkat.

Aplikasi Neural Network

• Ada beberapa aplikasi neural network seperti standard activation function dan Convolutional Neural Network (CNN).

• Namun, aplikasi neural network memiliki keterbatasan sehingga perlu dikembangkan lebih lanjut.

Implementasi Jaringan Saraf Tiruan

Overview: Pada bagian ini kita akan membahas tentang implementasi jaringan saraf tiruan pada beberapa kasus seperti image classification dan speech recognition.

Image Classification

• Image classification adalah salah satu contoh penerapan jaringan saraf tiruan pada pengolahan citra.

• Dalam image classification terdapat beberapa tahapan seperti preprocessing, feature extraction, dan classification.

Speech Recognition

• Speech recognition adalah salah satu contoh penerapan jaringan saraf tiruan pada pengolahan suara.

• Dalam speech recognition terdapat beberapa tahapan seperti preprocessing, feature extraction, dan classification.

Kelebihan dan Keterbatasan Jaringan Saraf Tiruan

• Kelebihan dari jaringan saraf tiruan adalah kemampuannya dalam mempelajari pola yang kompleks serta dapat digunakan untuk berbagai macam aplikasi.

• Namun, keterbatasan dari jaringan saraf tiruan adalah waktu training yang lama serta sulitnya interpretasi hasil output.

Ekstraksi Data dengan Neural Network

Overview: Pada bagian ini, pembicara membahas tentang penggunaan neural network untuk ekstraksi data.

Pengolahan Gambar dan Sensor Data

• Neural network dapat digunakan untuk mengolah gambar dan sensor data.

• Ukuran, berat, dan warna dari suatu objek dapat diambil menggunakan sensor yang terpasang pada ban berjalan.

• Inputan jumlahnya terbatas fixpoint sehingga harus sesuai ukurannya agar bisa diolah bersamaan.

• Output dari pengolahan data juga jelas dan langsung keluar.

Model Neural Network yang Digunakan

• Untuk data yang lengkap, digunakan model Artificial Neural Network (ANN).

• Untuk data sekuensial atau time series seperti stok price prediction regression, digunakan model Recurrent Neural Network (RNN).

• RNN diilhami dari cara kerja otak manusia yang tidak hanya satu waktu tapi merupakan runtutan dari hal-hal sebelumnya.

• RNN cocok untuk mempelajari data-data yang bersifat sekuensial atau berurutan seperti kalimat panjang atau sentimen analisis pada Twitter.

Interpretasi Teks dan Video

• Jika hanya ada satu gambar saja maka ANN bisa digunakan. Namun jika ada video dengan interpretasi keseluruhan maka lebih tepat menggunakan RNN.

• Para peneliti telah melakukan analisis tulisan tangan dan suara sejak tahun 2013/2014.

Kesimpulan

Overview: Pada bagian ini, pembicara menyimpulkan bahwa neural network dapat digunakan untuk ekstraksi data dalam berbagai bentuk termasuk gambar, sensor data, teks, dan video.

• Neural network dapat digunakan untuk mengolah data dalam berbagai bentuk.

• ANN cocok untuk data yang lengkap sedangkan RNN cocok untuk data sekuensial atau time series.

• Para peneliti telah melakukan analisis tulisan tangan dan suara sejak tahun 2013/2014.

Pengenalan tentang Model RNN

Overview: Pada bagian ini, dijelaskan mengenai model RNN dan strukturnya.

Struktur Model RNN

• Input layer menerima input X.

• Layer berikutnya adalah hidden layer yang outputnya digunakan sebagai masukan untuk neuron selanjutnya.

• Output layer y merupakan hasil akhir dari proses rekursif pada setiap neuron.

Input Sekuensial

• Input pada model RNN bersifat sekuensial, artinya input tidak diterima secara bersamaan melainkan berurutan.

• Setiap nilai x diproses oleh satu neuron dan output dari neuron tersebut digunakan sebagai masukan untuk neuron selanjutnya.

Reusable Neuron

• Setiap neuron pada model RNN dapat digunakan ulang untuk memproses input yang berbeda.

• Hal ini membuat model lebih simpel karena hanya menggunakan satu jenis neuron saja.

Kelemahan Model RNN

• Terdapat kelemahan pada model RNN yaitu exploding dan vanishing gradient ketika input terlalu panjang.

Model RLN

Overview: Pada bagian ini dijelaskan mengenai model RLN yang terdiri dari input, hidden layer, dan output layer. Terdapat simbol-simbol seperti bobot dan wirek yang digunakan untuk menghubungkan antara hidden layer dengan output layer.

Komponen Model RLN

• Model RLN terdiri dari input, hidden layer, dan output layer.

• Terdapat simbol-simbol seperti bobot dan wirek yang digunakan untuk menghubungkan antara hidden layer dengan output layer.

Permasalahan pada Bobot

Overview: Pada bagian ini dijelaskan permasalahan yang muncul ketika menggunakan fungsi aktivasi sigmoid pada model RLN. Salah satu permasalahan adalah vanishing gradient dimana nilai gradient semakin kecil sehingga training tidak menunjukkan perubahan bobot yang signifikan.

Solusi untuk Permasalahan Bobot

• Salah satu solusi untuk mengatasi vanishing gradient adalah dengan mengubah fungsi aktivasi menjadi relu atau menggunakan gradien kliping.

• Alternatif lainnya adalah menggunakan model LSCM (Long Short-Term Memory).

RMN dan LSDM

Overview: Pada bagian ini dijelaskan tentang RMN (Recurrent Neural Network) dan LSDM (Long Short-Term Memory). LSDM merupakan alternatif solusi untuk memecahkan masalah vanishing gradient pada RMN.

Penyelesaian Masalah Vanishing Gradient

• LSDM merupakan alternatif solusi untuk memecahkan masalah vanishing gradient pada RMN.