Perbandingan Arsitektur Multilayer


INTEGRAL, Vol. 7,No. 2, Oktober 2002 107
Nico Saputro
Perbandingan Arsitektur Multilayer
Feedforward Network dengan
memakai Topologi Multiprosesor
Ring Array Dan Linear Array
Abstrak
Jaringan Syaraf Tiruan dapat diimplementasikan secara perangkat lunak
maupun perangkat keras. Perangkat keras lebih cepat dibandingkan
perangkat lunak sehingga dapat dipergunakan untuk pemrosesan waktu
nyata. Implementasi perangkat keras dari Jaringan Syaraf Tiruan dapat
dilakukan memakai sistem multiprosesor. Ada beragam topologi
multiprosesor, dalam makalah ini akan diperbandingkan 2 topologi yaitu
topologi Linear Array dan Ring Array.
Abstract
Neural Network implementations could be done with software or hardware.
Hardware is faster than software and can be used in real time processing.
Hardware implementation of neural network could be done using
multiprocessor system. Multiprocessor topologies used in this paper are
Linear Array and Ring Array.
Diterima : 12 Agustus 2002
Disetujui untuk dipublikasikan : 19 Agustus 2002
1. Pendahuluan
Jaringan Syaraf Tiruan (JST) telah
banyak digunakan untuk beragam
aplikasi seperti pengenalan karakter atau
suara, pemrosesan citra, prediksi harga
saham, prediksi kurs mata uang, dsb.
Pada umumnya aplikasi- aplikasi tersebut
membutuhkan pemrosesan secara waktu
nyata (real time).
Jaringan Syaraf Tiruan selain dapat
diimplementasikan dengan perangkat
lunak, juga dengan perangkat keras.
Perangkat keras memiliki keunggulan
dibandingkan perangkat lunak pada
kecepatannya. Operasi yang dilakukan
perangkat keras lebih cepat dibandingkan
perangkat lunak. Oleh karena itu,
perangkat keras jaringan syaraf tiruan
dapat dipakai untuk melayani aplikasiaplikasi
waktu nyata.
Jaringan Syaraf Tiruan terdiri dari
beberapa unit pemroses yang melakukan
akumulasi (penjumlahan) dari masukanmasukan
berbobot dan menghasilkan
suatu keluaran dengan fungsi aktivasi
tertentu. Sifat-sifat jaringan ditentukan
oleh topologi jaringan, bobot-bobot
interkoneksi, dan fungsi aktivasi.
2. Jaringan Syaraf Tiruan
Jaringan Syaraf Tiruan secara formal,
didefinisikan sebagai “generalisasi model
matematika sistem syaraf biologis”1.
Sebagai sebuah model, Jaringan Syarat
108 INTEGRAL, Vol. 7,No. 2, Oktober 2002
Tiruan harus memiliki kemampuan
sebagai berikut2 :
1. Kemampuan memodelkan transmisi
sinyal antarneuron tiruan melalui
saluran satu arah yang disebut
koneksi. Setiap koneksi masukan
hanya berhubungan dengan satu
koneksi keluaran neuron tiruan
lainnya. Setiap koneksi keluaran
dapat berhubungan dengan beberapa
koneksi masukan neuron tiruan
lainnya.
2. Kemampuan memodelkan
pembobotan pada tiap-tiap koneksi.
Pada sebagian besar tipe jaringan
syaraf, nilai bobot koneksi akan
dikalikan dengan sinyal-sinyal
transmisi.
3. Kemampuan memodelkan fungsi
aktivasi pada setiap neuron tiruan
untuk menentukan sinyal
keluarannya.
4. Kemampuan memodelkan struktur
informasi terdistribusi . Artinya,
proses pengolahan informasi
disebarkan pada beberapa neuron
tiruan sekaligus. Setiap neuron tiruan
harus memiliki memori lokal dan
mampu melakukan pengolahan
informasi secara lokal.
2.1 Pemodelan Neuron
McCulloch-Pits, pada tahun 1943
membuat lima asumsi dasar tentang
sistem syaraf biologis, yaitu2 :
1. Aktivitas neuron bersifat all-ornone.
2. Untuk membuat neuron
memancarkan sinyal (aktif)
diperlukan sejumlah sinapsis
yang mengeksitasi neuron dalam
jangka waktu tertentu.
3. Sejumlah sinapsis mampu
menghambat neuron untuk aktif
(inhibitory).
4. Adanya delay dalam sistem
syaraf yang disebabkan oleh
sinapsis delay.
5. Struktur interkoneksi jaringan
tidak berubah sepanjang waktu.
Berdasarkan asumsi ini, McCulloch-Pitts
membangun model neuron tiruan yang
meniru cara kerja neuron biologis.
X1
X2
Xn
Xn-1
W1
W2
Wn-1
Wn
fungsi
aktivasi
net f(net)
Gambar 2.1 Model Neuron
Model neuron mempunyai n sinyal
masukan, yaitu x1, x2, …, xn dengan x Î
{0,1}. Masing-masing sinyal tersebut
kemudian dimodifikasi oleh bobot
sinapsis w1, w2, …, wn sehingga sinyal
yang masuk ke neuron adalah xi
1 = xiwi ,
i = 1,2,…,n. Selanjutnya neuron akan
menghitung hasil penjumlahan seluruh
sinyal masukan yang telah dimodifikasi :
net = x1w1 + x2w2 + … + xnwn atau (2.1)
å=
=
n
i
i i net x w
1
(2.2)
Fungsi aktivasi yang terdapat dalam
neuron tiruan umumnya berupa fungsi
non-linier. Fungsi aktivasi ini yang
menentukan apakah neuron akan
INTEGRAL, Vol. 7,No. 2, Oktober 2002 109
mengalami aktivasi atau tidak. Tingkat
aktivasinya diwujudkan dalam suatu nilai
ambang (threshold). Fungsi aktivasi yang
biasanya digunakan adalah fungsi tangga
(step function), fungsi lereng (slope
function), dan fungsi sigmoid. Pada
model McCulloch-Pitts, fungsi
aktivasinya adalah fungsi tangga
sehingga :
î í ì
=
<
³
= ana nilai ambang
jikanet
jikanet
f net q
q
q
,dim
0,
1,
( ) (2.3)
2.2 Arsitektur Jaringan Syaraf Tiruan
Pemodelan struktur pemrosesan
informasi terdistribusi dilakukan dengan
menentukan pola hubungan antar neuron
tiruan (arsitektur). Pola hubungan yang
umum adalah hubungan antar lapisan
(layer). Setiap lapisan terdiri dari
sekumpulan neuron tiruan (unit) yang
memiliki fungsi tertentu, misalnya fungsi
masukan atau fungsi keluaran. Ada tiga
tipe arsitektur jaringan syaraf tiruan :
1. Single-layer Feedforward Network
Tipe jaringan paling sederhana,
dibangun oleh lapisan masukan yang
berkoneksi dengan lapisan keluaran
yang berjalan satu arah
(feedforward). Proses komputasi
hanya terjadi pada lapisan keluaran
.
Lapisan Masukan Lapisan Keluaran
Lapisan
Masukan
Lapisan
Tersembunyi
Lapisan
Keluaran
Gambar 2.2 Single-layer Gambar 2.3 Multilayer
Feedforward Network Feedforward Network
2. Multilayer Feedforward Network
Pada tipe ini, di antara lapisan
masukan dan keluaran, terdapat satu
atau lebih lapisan tersembunyi
(hidden layer). Hubungan antar
lapisan berlangsung satu arah.
3. Reccurent Network
Tipe recurrent berbeda dengan kedua
tipe sebelumnya. Pada recurrent,
sedikitnya memiliki satu koneksi
umpan balik (feedback ).
110 INTEGRAL, Vol. 7,No. 2, Oktober 2002
Gambar 2.4 Recurrent Network
2.3 Algoritma Belajar Back
Propagation
Algoritma ini diciptakan dengan
melakukan generalisasi hukum
pembelajaran Widrow-Hoff yang dikenal
sebagai delta rule atau metode Least
Mean Square (LMS). LMS melibatkan
teknik gradient descent, teknik dimana
parameter setiap bobot bergerak dalam
arah yang berlawanan dengan error
gradient. Setiap langkah menuruni
gradient menghasilkan error yang lebih
kecil sampai suatu error minimum
tercapai. Fungsi aktivasi yang
dipergunakan pada JST dengan memakai
algoritma Back Propagation (BP) harus
fungsi yang dapat diturunkan. Umumnya
fungsi aktivasi yang dipergunakan adalah
fungsi Sigmoid.
Pada algoritma BP, bobot-bobot interkoneksi diperbaharui sebagai berikut :
Dw (t ) = x + Dw (t -1) ij j i ij hd a (2.4)
dengan dj pada persamaan (2.4) antara lapisan hidden dan keluaran adalah:
[ ]
( ) j j j j j s x x x
lapisan hidden keluaran
= – –

d ( ) 1
(2.5)
dan dj pada persamaan (2.4) antara lapisan masukan dan hidden adalah: [ ]
å-
= –

hdn out
i i i ji j x x w
lapisan masukan hidden
d (1 ) d (2.6)
dengan : t = jumlah iterasi
sj = data belajar untuk unit sel ke- j
h = kecepatan belajar
a = momentum
3. Topologi Linear Array dan Ring
Array.
Arsitektur Multilayer Feedforward
mempunyai struktur paralel dan
pemrosesan informasi terpisah, yang
terdiri dari unit-unit pemroses
(processing element = PE) yaitu neuronneuron.
Unit-unit ini saling berhubungan
satu sama lain. Untuk
mengimplementasikan arsitektur ini
dengan perangkat keras, setiap unit
pemroses ini adalah prosesor. Akibatnya
karena di dalam satu jaringan terdapat
beberapa unit-unit pemroses maka
arsitektur perangkat kerasnya juga
terdapat beberapa prosesor. Tiap prosesor
harus dapat melakukan komunikasi data
dengan prosesor lainnya. Agar dapat
dihasilkan kinerja perangkat keras yang
efektif maka topologi atau arsitektur
jaringan prosesor tersebut harus benar –
benar diperhatikan.
INTEGRAL, Vol. 7,No. 2, Oktober 2002 111
3.1. Topologi linear array
Topologi linear array dapat dilihat pada
gambar 3.1. Misalkan tiap PE melakukan
perkalian dan penjumlahan seperti
terlihat pada gambar 3.2.
PE PE PE
Gambar 3.1 Topologi linear array
x PE
y
a
xy + a
Gambar 3.2 Operasi PE
Masukan x dikalikan dengan masukan y
dan kemudian dijumlahkan dengan
masukan a dalam 1 siklus waktu (clock).
Keluaran PE adalah xy+a. Masukan x
dan y ini berasal dari memori lokal tiap
PE.
3.2. Topologi ring array
Topologi ring array merupakan
pengembangan dari topologi linear
array. Topologi ring array dapat dilihat
pada gambar 3.3. Operasi perkalian dan
penjumlahan pada topologi ring array
sama seperti linear array.
PE PE PE
Gambar 3.3 Topologi ring array
4. Cara kerja Arsitektur Multilayer
Feedforward Network dengan
topologi Linear Array dan
topologi Ring Array
Untuk menyederhanakan pembahasan,
misalkan terdapat sebuah arsitektur
multilayer yang hanya terdiri dari tiga
buah lapisan dengan 3 unit masukan, 3
unit hidden, dan 3 unit keluaran seperti
ter lihat pada gambar 4.1.
3
4
5
Lapisan
Masukan
Lapisan
Tersembunyi
Lapisan
Keluaran
0
1
2
6
7
8
X0
X1
X2
X3
X4
X5
X6
X7
X8
Gambar 4.1 Sebuah jaringan syaraf tiruan tiga lapisan
112 INTEGRAL, Vol. 7,No. 2, Oktober 2002
4.1 Cara kerja untuk Propagasi ke depan (Feedforward)
Propagasi ke depan dari jaringan pada gambar 4.1 dapat dirumuskan sebagai berikut :
÷ ÷ ÷
ø
ö
ç ç ç
è
æ
÷ ÷ ÷
ø
ö
ç ç ç
è
æ
÷ ÷ ÷
ø
ö
ç ç ç
è
æ
=
÷ ÷ ÷
ø
ö
ç ç ç
è
æ
2
1
0
50 51 52
40 41 42
30 31 32
5
4
3
x
x
x
w w w
w w w
w w w
f
x
x
x
(4.1)
dimana w30 di baca bobot antara koneksi antara neuron 0 ke neuron 3.
÷ ÷ ÷
ø
ö
ç ç ç
è
æ
÷ ÷ ÷
ø
ö
ç ç ç
è
æ
÷ ÷ ÷
ø
ö
ç ç ç
è
æ
=
÷ ÷ ÷
ø
ö
ç ç ç
è
æ
5
4
3
83 84 85
73 74 75
63 64 65
8
7
6
x
x
x
w w w
w w w
w w w
f
x
x
x
(4.2)
Arsitektur multilayer di atas dapat dibuatkan perangkat kerasnya dengan 3 unit prosesor,
setiap unit prosesor mempunyai memori lokal seperti terlihat pada gambar 4.2. dan 4.3.
PE1 PE2 PE3
M1 M2 M3
M M M
Gambar 4.2 Arsitektur Perangkat Keras Gambar 4.3 Arsitektur Perangkat Keras
Topologi Linear Array Topologi Ring Array
Pada pembahasan berikut, di asumsikan
bahwa proses penempatan data ke setiap
PE memerlukan waktu 1 clock, operasi
perkalian dan operas i penjumlahan dapat
dilakukan dalam 1 clock, dan
perhitungan fungsi aktivasi memerlukan
1 clock.
4.1.1 Cara kerja Propagasi ke depan
Topologi Linear Array
Untuk menyelesaikan persamaan (4.1),
komponen-komponen kolom dari matrik
bobot di simpan di dalam memori lokal
tiap PE, kemudian data masukan (x0, x1,
x2) di salurkan ke masing-masing PE
seperti terlihat pada gambar 4.4.
INTEGRAL, Vol. 7,No. 2, Oktober 2002 113
Gambar 4.4 Penyimpanan dan penyaluran data feedforward Linear Array
Keluaran aktivasi dari tiap unit masukan
atau hidden diinputkan ke dalam
masukan x dan komponen dari matrik
bobot dimasukkan ke dalam masukan y
tiap PE. Keluaran dari PE1 di transfer ke
PE2, dst. Urutan proses penyelesaian
persamaan (4.1) dapat dilihat pada
tabel 4.1.
Clock PE1 PE2 PE3
1 X0
2 X1
3 X2
4 x0w30
5 x0w40 x0w30 + x1w31
6 x0w50 x0w40 + x1w41 x0w30 + x1w31 + x2w32
7 x0w50 + x1w51 x0w40 + x1w41 + x2w42
8 x0w50 + x1w51 + x2w52
Tabel 4.1 Urutan proses perhitungan persamaan (4.1) topologi Linear Array
Perhitungan persamaan (4.1)
memerlukan 9 clock, dengan rincian : 3
clock penempatan data, 5 clock operasi
perkalian dan penjumlahan, dan 1 clock
perhitungan aktivasi. Hasil perhitungan
diperoleh setelah clock keenam (x3),
clock ketujuh (x4), dan clock kedelapan
(x5). Hasil ini kemudian didistribusikan
kembali ke masing-masing PE untuk
menyelesaikan persamaan (4.2).
Komponen-komponen kolom dari
matriks bobot juga di simpan di dalam
memori lokal tiap PE. Perhitungan
persamaan (4.2) juga memerlukan 9
clock.
4.1.2 Cara kerja Propagasi ke depan
Topologi Ring Array
Komponen-komponen kolom dari matrik
bobot di simpan di dalam memori lokal
tiap PE dengan urutan penempatan
seperti terlihat pada gambar 4.5.
Kemudian data masukan (x0, x1, x2) di
salurkan ke masing-masing PE.
X X X
Gambar 4.5 Penyimpanan dan penyaluran data feedforward Ring Array
114 INTEGRAL, Vol. 7,No. 2, Oktober 2002
Keluaran aktivasi dari tiap unit masukan
atau hidden diinputkan ke dalam
masukan x dan komponen dari matrik
bobot dimasukkan ke dalam masukan y
tiap PE. Keluaran dari PE1 di transfer ke
PE2, keluaran dari PE2 ditransfer ke PE3
dan keluaran dari PE3 ditransfer ke PE1
sehingga terlihat membentuk sebuah
putaran. Urutan proses penyelesaian
persamaan (4.1) dapat dilihat pada
tabel 4.2.
Clock PE1 PE2 PE3
1 X0
2 X1
3 X2
4 x0w30 x1w51 x2w42
5 x0w40 +x2w42 x1w31 +x0w30 x2w52 +x1w51
6 x0w50 + x2w52 +x1w51 x1w41 + x0w40 +x2w42 x2w32 +x1w31 +x0w30
Tabel 4.2 Urutan proses perhitungan persamaan (4.1) topologi Ring Array
Persamaan (4.1), dapat diselesaikan
dalam 7 clock, dengan perincian : 3 clock
untuk penempatan data (X0, X1, X2) ke
masing-masing PE, 3 clock untuk operasi
perkalian dan penjumlahan, dan 1 clock
perhitungan aktivasi. Hasil perhitungan
akan diperoleh setelah clock ke enam
yaitu x3 berada di PE3, x4 pada PE2, dan
x5 pada PE1. Hasil perhitungan ini dapat
didistribusikan kembali ke masingmasing
input x dari PE untuk menghitung
persamaan (4.2). Perlu diperhatikan, hasil
yang tersimpan di PE3 (x3) akan
dimasukkan ke input x dari PE1, hasil
yang tersimpan di PE2 (x4) dimasukkan
kembali ke input x dari PE2, dan hasil
yang tersimpan di PE1 (x5) dimasukkan
kembali ke input x dari PE3. Perhitungan
persamaan (4.2) juga memerlukan 7
clock.
4.2 Cara kerja untuk Back Propagation
pada topologi Linear Array dan
Ring Array
Untuk menperbaharui bobot-bobot antara
lapisan tersembunyi dengan lapisan
output dengan persamaan (2.4), terlebih
dahulu dilakukan perhitungan persamaan
(2.5). Persamaan (2.5) dapat dihitung
dengan memakai salah satu PE saja atau
setiap d di hitung oleh masing-masing PE
(karena jumlah d sama dengan jumlah
PE). Persamaan (2.4) dapat di hitung
dengan cara yang sama seperti
persamaan (2.5).
Untuk memperbaharui bobot-bobot
antara lapisan tersembunyi dengan
lapisan input dengan persamaan (2.4),
terlebih dahulu dilakukan perhitungan
persamaan (2.6). Seperti terlihat pada
persamaan (2.6), perkalian dan
penjumlahan dibawah ini dibutuhkan
untuk memperbaharui harga-harga tiap
bobot interkoneksi antar lapisan masukan
dan hidden.
÷ ÷ ÷
ø
ö
ç ç ç
è
æ
÷ ÷ ÷
ø
ö
ç ç ç
è
æ
÷ ÷ ÷
ø
ö
ç ç ç
è
æ
=
÷ ÷ ÷
ø
ö
ç ç ç
è
æ
8
7
6
65 75 85
64 74 84
63 73 83
5
4
3
d
d
d
d
d
d
w w w
w w w
w w w
(4.3)
INTEGRAL, Vol. 7,No. 2, Oktober 2002 115
Matriks bobot pada persamaan (4.3) ini
merupakan transpos e matriks bobot pada
persamaan (4.2). Komponen-komponen
kolom dari persamaan (4.3) di simpan di
memori lokal tiap PE dengan urutan
sama seperti penyimpanan matrik bobot
untuk persamaan (4.2), seperti terlihat
pada gambar 4.6 dan gambar 4.7. Setiap
¶ di masukkan ke input x dari PE. Proses
operasinya sama seperti untuk
perhitungan persamaan (4.1) dan (4.2).
  
Gambar 4.6 Penyimpanan dan penyaluran data backpropagation topologi Linear Array
Gambar 4.7 Penyimpanan dan penyaluran data backpropagation topologi Ring Array
Operasi matrik yang dilakukan oleh ring
array ternyata lebih cepat dibandingkan
dengan operasi matrik jika menggunakan
topologi linear array. Pada linear array
dengan arsitektur multilayer yang sama,
untuk melakukan operasi matrik
diperlukan 5 clock sementara dengan
ring array ini hanya 3 clock. Sementara
jumlah transfer data input ke masingmasing
PE-nya sama yaitu 3 clock.
5. Kesimpulan
1. Jaringan syaraf tiruan multilayer
dengan jumlah neuron yang
sama di setiap lapisan dapat
diimplementasikan dengan
sistem multiprosesor baik
dengan topologi linear array
maupun ring array dimana
jumlah prosesor sama dengan
jumlah neuron di setiap lapisan.
2. Pada topologi linear array,
secara umum jika terdapat n
neuron di setiap lapisnya,
jumlah clock yang diperlukan
untuk menyelesaikan satu
operasi matrik lengkap adalah
3n, dengan rincian n clock
penempatan data ke input x
setiap PE, 2n-1 clock untuk
operasi matrik, dan 1 clock
untuk operasi fungsi aktivasi.
116 INTEGRAL, Vol. 7,No. 2, Oktober 2002
3. Pada topologi ring array, secara
umum jika terdapat n neuron di
setiap lapisnya, jumlah clock
yang diperlukan untuk
menyelesaikan satu operasi
matrik lengkap adalah 2n+1,
dengan rincian n clock untuk
penempatan data ke input x
setiap PE, n clock untuk
melakukan operasi matrik, dan 1
clock untuk operasi fungsi
aktivasi.
4. Arsitektur multilayer
feedforward network dengan
topologi multiprosesor ring
array kinerjanya lebih cepat
dibandingkan topologi
multiprosesor linear array.
5. Rangkaian multilayer
feedforward network dengan
topologi multiprosesor ring
array lebih rumit dibandingkan
dengan topologi multiprosesor
linear array karena hasil akhir
perhitungan untuk setiap elemen
matrik ter sebar di setiap PE,
sementara pada linear array
selalu diperoleh dari PE terakhir
(PEn).
6. Daftar Pustaka
1. Fausett, L., “Fundamentals of
Neural Network”, Prentice-Hall,
1994.
2. Freeman, J.A., Skapura, D.M.,
“Neural Networks : Algorithms,
Applications, and Programming
Techniques”, Addison-Wesley,
1991.
3. Hwang, K., Briggs, F.A.,
“Computer Architecture and
Parallel Processing”, McGraw-
Hill, 1984.
4. Przytula, K. Wojtek dan Viktor K.
Prasanna, “Parallel Digital
Implementations of Neural
Networks”, Prentice Hall
International, Inc., 1993.
7. Penulis
Nico Saputro adalah dosen Jurusan Ilmu
Komputer FMIPA, Universitas Katolik
Parahyangan, Bandung.

Tinggalkan Balasan

Please log in using one of these methods to post your comment:

Logo WordPress.com

You are commenting using your WordPress.com account. Logout / Ubah )

Gambar Twitter

You are commenting using your Twitter account. Logout / Ubah )

Foto Facebook

You are commenting using your Facebook account. Logout / Ubah )

Foto Google+

You are commenting using your Google+ account. Logout / Ubah )

Connecting to %s