Neural Network
1. Tujuan [back]
1. Memahami algoritma machine learning Convolutional Neural Network
2. Alat dan Bahan [back]
Alat yang digunakan pada pembelajaran ini adalah python pada percobaan ini kita menggunakan spyder sebagai platform open sourcenya
3. Dasar Teori [back]
python dibuat pertama kali oleh Guido van Rossum di tahun 1991. Saat ini ada 2 versi, yaitu python 2 dan python 3. Versi yang terbaru adalah versi yang ketiga.
Python dapat digunakan sebagai berikut :
- Pengembangan aplikasi web dan seluler back end (atau sisi server)
- Pengembangan aplikasi atau perangkat lunak untuk dekstop
- Memproses data besar dan melakukan perhitungan matematis
- Menulis skrip sistem (membuat instruksi yang memberitahu sistem komputer untuk “melakukan” sesuatu)
Neural Network
Convolutional Neural Network (CNN) yang adalah salah satu jenis neural network yang biasa digunakan pada data image atau video. CNN bisa digunakan untuk mendeteksi dan mengenali object pada sebuah image atau video. CNN adalah sebuah teknik yang terinspirasi dari cara manusia, menghasilkan persepsi visual
Tahapan pada CNN
- Convolution
Convolusi merupakan proses pengalian matriks input dengan feature detector yang akan menghasilkan feature map, konvolusi layer adalah gabungan dari beberaoa feature map
- Max Pooling
Teknik ini melakukan proses pencarian fitur yang sudah didapat di tahap sebelumnya, yaitu convolution. Dari hasil convolutional layer ini, teknik max pooling mencari fitur dengan tetap mempertahankan fleksibilitas yang tinggi. Ia tidak peduli apakah gambarnya miring ke kiri, kanan, diputar, dikecilkan, dibesarkan, berbeda teksturnya, warnanya dan lain sebagainya. Ia hanya peduli dengan fitur yang ia cari.
- Flattening
Tahapan flattening adalah merubah dari matriks yang ada di pooling layer menjadi satu kolom saja (sebuah vektor tunggal).
Full Conection adalah tahap dimana semua nodes harus terhubung dengan nodes di depan dan belakangnya
Pada gambar di atas bisa dilihat ada beberapa simbol. Simbol W merepresentasikan bobot yang dimiliki oleh setiap neuron (perceptron) nya. Wout artinya bobot yang dimiliki oleh output layer, sementara Win adalah bobot yang dimiliki oleh input layer. Tentunya Wout satu dengan lainnya berbeda angkanya. Kita tuliskan sama hanya untuk memudahkan saja. Begitu pula dengan Win satu dengan Win lainnya yang juga berbeda.
Wrec (weight of reccurent) merupakan bobot yang dimiliki oleh jalur looping ke perceptron lain yang ada di sampingnya. Wrec satu dengan Wrec yang lain juga berbeda nilainnya. Penulisan dibuat sama hanya untuk memudahkan ilustrasi saja.
Simbol yang paling atas merupkan epsilon (Et) yang mewakili nilai error sebuah perceptron di output layer pada waktu t. Nilai error ini adalah selisih (perbedaan) antara nilai di prediksi (yt) dengan nilai sesungguhnya (y).
Dalam proses meminimasi nilai error ini, maka sebuah neural networks harus melakukan proses backpropagation, di mana ia akan mundur ke belakang untuk mengupdate nilai w yang dimiliki setiap perceptron dengan cara menghitung nilai turunannya (derivative). Berbeda dengan neural networks versi standar, di RNN maka ia juga akan mundur ke belakang termasuk ke cabang-cabang recurrent-nya. Ilustrasinya sebagai berikut.
Sekarang mulailah muncul masalah, dan ini terjadi ketika kita menggunakan fungsi aktivasi sigmoid (sigmoid activation function). Karena nilai fungsi sigmoid berkisar antara 0 hingga 1, artinya nilai w semakin lama akan semakin kecil. Semakin panjang layer nya maka semakin cepat penurunan nilai W, apalagi jika proses epoch nya dilakukan berulang-ulang (sampai ratusan bahkan ribuan kali).
Dengan demikian, lama kelamaan nilai gradiennya (delta W) akan mendekati nol, dan penyesuaian nilai W tidak akan signifikan lagi. Jika penyesuaian nilai W sudah tidak signifikan, maka penurunan nilai epsilon (error) akan stagnan, padahal sebenarnya solusinya belum converge.
Solusi masalah Vanishing Gradient
Ada beberapa hal yang bisa dilakukan, antara lain:
- Menggunakan fungsi aktivasi rectifier (ReLu). Walau demikian, perlu diperhatikan, penggunaan ReLu dalam RNN bisa menyebabkan masalah lain yang disebut dengan exploding gradient problem, di mana nilai gradiennya semakin lama semakin membesar. Tapi ini bisa disiasati dengan menggunakan ukuran batch yang kecil. Ini juga yang menjadi alasan mengapa penggunaan ReLu menjadi populer.
- Solusi lain adalah dengan menggunakan gradient clipping. Artinya kita mengunci agar nilai gradiennya tetap di rentang tertentu. Caranya adalah dengan me-rescale gradiennya sehingga nilainya berada di rentang tertentu.
- Menggunakan arsitektur ResNet (Residual Network), di mana sebuah neuron melewati (skip) beberapa neuron di depannya. Berikut adalah tampilan dari arsitektur ResNet.
Pada RNN terdapat desain tambahan yang membuat RNN istimewa yaitu LSTM Dengan adanya penambahan LSTM, maka RNN terbukti dapat diaplikasikan ke dalam berbagai aspek, antara lain speech recognition (mengenali suara manusia), image captioning (menamai gambar dan memberinya judul hanya dengan melihatnya saja), translation (menerjemahkan kalimat dari bahas satu ke bahasa lainnya, seperti google translate), dan masih banyak lagi. Ringkasnya, LSTM menambakan sebuah proses seleksi di dalam cell (kotak kontrol) nya sehingga bisa menyeleksi informasi mana yang layak untuk diteruskan, sekaligus menjadi solusi bagi permasalahan vanishing gradient.
4. Percobaan (Contoh) [back]
Kasus CNN : Mendeteksi gambar anjing atau kucing
Dataset terbagi menjadi data latih dan data
uji. Masing-masing terbagi menjadi kategori data gambar kucing dan anjing, yang
memiliki ukuran berbeda-beda yang akan diubah resolusinya menjadi 64x64. Dataset
yang kita miliki semuanya adalah gambar dengan format jpg. Kita memiliki 4000
gambar kucing dan 4000 gambar anjing untuk training set, dan 1000 gambar
kucing dan 1000 gambar anjing untuk test set. Jadi secara ringkas kita
memiiki 8000 data untuk training set dan 2000 data untuk test
set Berikut merupakan beberapa gambar dataset kucing dan anjing
No comments:
Post a Comment