Committee Neural Network

Salah satu metode dalam menyelesaikan suatu komputasi yang kompleks adalah dengan membagi proses komputasi menjadi beberapa bagian sederhana untuk kemudian menggabungkan hasil komputasi dari beberapa bagian tersebut. Dalam pembelajaran terbimbing (supervised learning), penyederhanaan komputasi dilakukan dengan mendistribusikan tugas pembelajaran kepada beberapa ahli (expert) yang mana akan membagi himpunan input menjadi beberapa sub himpunan input. Kombinasi ini lah yang akan menghasilkan apa yang disebut mesin komite (committee machine) atau lebih umum dengan committee neural network.

Pada dasarnya metode ini meleburkan pengetahuan yang diperlukan oleh beberapa expert yang terdapat dalam sistem untuk mendapatkan keputusan keseluruhan yang dapat dicapai oleh salah satu dari expert tersebut secara sendirian. Ide committee machine ini mulai dikenalkan oleh Nilsson pada tahun 1965. JST yang dibangun diasumsikan terdiri dari lapisan perceptron yang diikuti oleh perceptron pengambil keputusan pada lapisan berikutnya. Committee neural network adalah penafsir universal yang secara umum dapat diklasifikasikan menjadi dua kategori berdasarkan strukturnya, yaitu:
1. Struktur Statis
Pada tipe ini, tanggapan dari beberapa penafsir (expert) dikombinasikan dengan cara yang tidak melibatkan sinyal masukan karena sifat statisnya tersebut. Kategori ini terdiri atas dua metode yaitu:
- Ensemble averaging, yaitu dengan mengkombinasikan secara linier keluaran expert yang berbeda untuk mendapatkan keluaran keseluruhan. Pada metode ini tiap expert dilatih dengan data pelatihan yang sama, namun dengan kondisi inisial pelatihan yang berbeda. Metode yang paling sederhana adalah stacked generalization, yaitu ketika tiap expert dilatih secara independen untuk kemudian digunakan secara bersamaan, dengan konfigurasi diagram blok seperti pada gambar 1.

Gambar 1. Diagram blok metode ensemble averaging

- Boosting, yaitu mengubah suatu algoritma pembelajaran yang lemah menjadi algoritma yang memiliki akurasi sangat tinggi. Pada metode ini tiap expert tidak lagi diberi data pelatihan yang sama, namun diberi data pelatihan dengan distribusi yang berbeda dan tiap expert akan menangani masalah yang berbeda.

2. Struktur Dinamis
Pada tipe ini sinyal masukan secara langsung terlibat dalam mekanisme mandapatkan keluaran dari masing-masing expert menjadi keluaran keseluruhan karena sifat dinamisnya tersebut. Kategori ini terdiri dari dua metode yaitu:
- Mixture of expert (ME), yaitu metode ketika respon individu tiap expert dikombinasikan secara non linier untuk memperoleh keluaran keseluruhan. Kombinasi dilakukan dengan menggunakan satu unit pengintegrasi yang disebut jaringan gerbang (gating network), dengan konfigurasi diagram blok seperti pada gambar 2. Secara umum gating network ini berfungsi sebagai mediator yang akan mengatur keluaran dari expert yang akan disampaikan pada unit penambah (summary unit). Pada metode ini himpunan masukan dibagi menjadi beberapa sub himpunan masukan dan tiap expert dilatih dengan sub himpunan masukan yang berbeda.

Gambar 2. Diagram blok metode mixture of expert

- Hierarchical mixture of expert (HME), yaitu metode ketika respon individu tiap expert dikombinasikan secara non linier melalui beberapa jaringan gerbang (gating network) yang tersusun dalam suatu model hirarki, dengan konfigurasi diagram blok seperti pada gambar 3. Arsitektur struktur ini dapat dianalogikan dengan pohon, dimana tiap gating network bertanggung jawab atas distribusi keluaran tiap cabang pohon dan tiap expert merupakan daun pada cabang tersebut. Perbedaan umum ME dan HME adalah bahwa data masukan dimasukkan pada suatu sub himpunan bersarang dengan informasi yang dikombinasi dan didistribusikan oleh expert dalam kendali oleh beberapa gating network yang tersusun dalam bentuk hirarki.

Gambar 3. Diagram blok metode hierarchical mixture of expert

literatur : Neural Networks, A Comprehensive Foundation [Haykin, S]