Decision Tree
Pohon Keputusan
Decision tree adalah alat pendukung dengan struktur seperti pohon yang memodelkan kemungkinan hasil, biaya sumber daya, utilitas, dan kemungkinan konsekuensi.
Decision tree menyediakan cara untuk menyajikan algoritma dengan pernyataan kontrol bersyarat. Mereka termasuk cabang yang mewakili langkah-langkah pengambilan keputusan yang dapat mengarah pada hasil yang menguntungkan.
ID3
ID3 Merupakan salah satu algoritma varian decision tree. Decision tree dibaungun atas asynsu bila atribut memberikan informasi yang cukup memadai maka kita mampu membangung decision tree. Sehingga perlu dicari hubungan antara kelas dengan atribut
Cara kerja
Pada setiap Langkah pembuatan decision tree akan menggunakan information gain. Information gain digunakan untuk mengukur kemampuan suatu atribut memisahkan data training berdasarkan kelas
Untuk mencari information gain kita akan menggunakan entropy. Dimana
Sehingg untuk mencari information gain
- Outlook = Sunny
Ada dua instance dengan play = yes dan tiga instance dengan play = no
saat outlook — sunny, dengan demikian kita hitung Info-nya.
- Outlook = Overcast
Ada empat otance dengan play = yes dan tidak ada instance dengan
play = no saat outlook = overcast, dengan demikian kita hitung Infonya,
- Outlook = rainy
Ada tiga instance dengan play = yes dan dua instance dengan play = no
saat outlook = rainy, dengan demikian kita hitung Info-nya.
Dengan metoda yang sama maka akan didapatkan
1. IG Temperatur = 0.029
2. IG Humditiy = 0.152
3. IG Windy = 0.048
Dengan demikian maka didapatkan bahwa Outlook akan menjadi root
1. Mudah overfitting
2. Masalah menangani atribut kontinu
3. Information gain memiliki bias terhadap atribut yang memiliki banyak nilai (highly-branching attributes)
4. Data dengan missing value. Beberapa sel pada tabel dataset tidak terisi.
5. Data dengan unseen value. Misal nilai atribut yang tidak pernah dilihatpada training data, muncul saat testing.
html
video
No comments:
Post a Comment