GüREŞEN–kayakutlu 1 kho biLİm dergiSİ CİLT: 23 sayi: yil: 2013

 

GÜREŞEN–KAYAKUTLU 

 

 

66 

 

 

KHO BİLİM DERGİSİ CİLT: 23 SAYI: 1  YIL: 2013 

 

    Düzenleme  algoritmaları  (Regularization)  göreli  büyük  bir  ağ  yapısı  ile 

başlar ve bu yapıdaki sonuca etkisi az  olan ama  hala hatanın düşürülmesine 

yardımcı olan bağlantıları düzenlemeye çalışırlar (Ma ve Khorasani, 2003). Bu 

bağlantılar eğitim verisinde hatayı düşürse de yeni bir veri ile karşılaşıldığında 

genelleme yeteneklerini kaybettiklerinden hatanın artmasına sebep olurlar (Ma 

ve  Khorasani,  2003).  Bu  sorunu  aşmak  için  düzenleme  algoritmaları 

düzenleme  kuralları  oluşturarak  bu  kurallara  göre  daha  az  önemli  olan 

ağırlıkların  sıfıra  çekilmesini  yani  silinmesini  sağlarlar.  Düzenleme  kuralları 

Thodberg  (1996)  ile  Buntine  ve  Weigend  (1991)’de  olduğu  gibi  Bayes 

kuramına dayalı yöntemlerle oluşturulabilir. Ancak Ma ve Khorasani (2003) bu 

kurallarda  Bayesyen  kanıtların  olmadığını  ve  bazen  yeterince  iyi  sonuçlar 

vermediğini belirlemişlerdir. 

 

    Evrimsel algoritmalar literatürde yapay sinir ağlarının parametre tespitinde 

kullanılmaktadır  Çınar  (2007).  Kullanılan  (veya  kullanılması  umulan)  bu 

evrimsel  algoritmaların  çeşitleri  Kiranyaz  ve  diğ.  (2009)’da  şöyle  sıralamıştır; 

genetik  algoritmalar  (Goldberg,  1989),  genetik  programlama  (Koza,  1992), 

evrimsel  stratejiler  (Back ve  Kursawe,  1995),  evrimsel  programlama  (Fayyad 

ve  diğ.,  1996),  parcacıkk  sürü  algoritmaları  (partical  swarm  optimization) 

(Kennedy  ve  Eberhart,  1995)  olarak  söylenebilir.  Evrimsel  algoritmalar 

popülasyon  tabanlı  stokastik  süreçlerdir  ve  yerel  optimumlara  takılı  kalmayı 

önlemek amacıyla kullanılmaktadır (Kiranyaz ve diğ., 2009). 

 

    Yapay  sinir  ağı  parametrelerinden  öğrenme  oranını  evrimsel  algoritma 

kullanarak  belirleyenlere  Kim  ve  Bae  (2005);  Wang  ve  Huang  (2007);  Yi-Hui 

(2007)’nun  çalışmaları  örnek  olarak  verilebilir.  Evrimsel  algoritmalar  ile 

başlangıç  ağırlıklarını  tespit  edenlere  ise  Castillo  ve  diğ.  (2000),  Kim  ve  Bae 

(2005),  Wang  ve  Huang  (2007),  Kuo  (2001)’nın  çalışmaları,  gizli  katman 

sayısını ve bu katmanlardaki işlem elemanı sayısını tespit edenlere ise Castillo 

ve  diğ.  (2000),  Niska  ve  diğ.  (2004),  Ferentinos  (2005),  Kim  ve  Bae  (2005), 

Wang  ve  Huang  (2007),  Yi-Hui  (2007)’nın  çalışmaları,  işlem  elemanlarının 

transfer  fonksiyonunun  türünü  tespit  edenlere  ise  Ferentinos  (2005)’un 

---

 

GÜREŞEN–KAYAKUTLU 

 

 

67 

 

 

KHO BİLİM DERGİSİ CİLT: 23 SAYI: 1  YIL: 2013 

 

çalışması  örnek  gösterilebilir.  Evrimsel  algoritmalarla  ayrıca  hangi  girdilerin 

kullanılacağı  araştırılmış  yani  başlangıç  elemanları  tespit  edilmiştir.  Bu  tip 

çalışmalara  ise  Niska ve  diğ.  (2004),  Sexton ve diğ.  (2004),  Doganis ve  diğ. 

(2006)’nin çalışmaları örnek verilebilir. 

 

    Dört  temel  yaklaşım  incelendiğinde,  yapıcı  algoritmaların  göreli  küçük 

ağlarla  başlaması,  hesaplama  süresi  açısından  yapıcı  algoritmalara  diğer 

yaklaşımlardan  daha  hızlı  çalışma  fırsatı  sunmaktadır.  Ayrıca  budama  ve 

düzenleme  algoritmaları  mevcut yapay  sinir  ağı  yapısına  herhangi bir ekleme 

yapmadığından öğrenme değil sadece kavrama yapaktadırlar. Benzer şekilde 

evrimsel  algoritmalar  da  yazında  sadece  yapay  sinir  ağlarının  parametre 

optimizasyonunda  kullanıldığından  kavrama  yapmakta  ancak  öğrenme 

yapmamaktadırlar.  Kavramanın  yanında  öğrenme  yapabilecek  algoritmalar 

olarak  yapıcı  algoritmalar  işleyiş  olarak  ayrıntılı  bir  incelemeyi  gerektirecek 

potansiyele sahiptirler. 

    a. Yapıcı Yapay Sinir Ağı Algoritmaları 

      Dinamik  Düğüm  Yaratma  (Dynamic  Node  Creation)  algoritmaları  ilk 

olarak  Ash  (1989)  tarafından  ortaya  atılmıştır.  Temelde  bu  algoritmalar  gizli 

katmana  her  seferinde  yeni  bir  gizli  sinir  hücresi  (GSH)  eklerler  ve  tüm  YSA 

tekrar  eğitilir  (Kwok  ve  Yeung,  1997a).  Azimi-Sadjadi  ve  diğ.  (1993)  hem 

ağırlıkları güncelleyen hem de gizli katmandaki GSH sayısını tek tek arttıran bir 

algoritma  oluşturmuştur.  Zhang  (1994)  ise  dinamik  düğüm  yaratma  benzeri 

SELF adındaki algoritmayı geliştirmiştir ve bu algoritma ile gizli katmandaki en 

iyi GSH sayısını bulmaya çalışmaktadır. 

 

    İzdüşüm  Takip  Regresyonu  (Projection  Pursuit  regression)  algoritmaları 

temel  olarak  Friedman  ve  Stuetzle  (1981)’nin  bu  konudaki  çalışmalarını  ele 

alırlar. Temel olarak bu algoritmalarda çok değişkenli veriyi iki katmanlı bir ağ 

yardımıyla  çok  boyutlu  bir  uzaydan  izdüşümlerle  daha  az  boyutlu  bir  uzaya 

taşırlar  (Hwang  ve  diğ.,  1994).  Saha  ve  diğ.  (1993)  ise  radyal  temelli 

---

 

GÜREŞEN–KAYAKUTLU 

 

 

68 

 

 

KHO BİLİM DERGİSİ CİLT: 23 SAYI: 1  YIL: 2013 

 

fonksiyonlar kullanılan problemlerin gözlem/boyut oranını düşürmek için çoklu 

lineer izdüşüm kullanmışlardır. Shin ve Ghosh (1995) Ridge Polinom Ağlarını, 

izdüşüm  takip  regresyonunun  özel  bir  durumu;  her  zaman  aynı  fonksiyonu 

kullanan  versiyonu  olarak  özetlemiştir.    Verkooijen  ve  Daniels  (1994)  ise 

izdüşüm  takip  regresyonunda  kullanılacak  fonksiyonları  ayrı  ayrı  yapay  sinir 

ağı olarak ele almış ve bu ağları eğiterek uygun fonksiyonu bulmuştur. 

 

    Basamak-Korelasyon  algoritması  (Cascade-Corelation  Algorithm)  ilk  defa 

Fahlman ve Lebiere (1990) tarafından ilk olarak geliştirilmiştir. Bu algoritmada 

her seferinde yeni bir GSH eklenmektedir. Bu yeni eklenen GSH diğer tüm gizli 

katmandaki  GSH’lere  bağlanmaktadır.  Böylece  aslında  her  eklenen  GSH,  bir 

GSH’den  oluşan  bir  gizli  katman  oluşturmaktadır  (Kwok  ve  Yeung,  1997a). 

Phatak ve Koren (1994), basamak-korelasyon algoritmasını her bir gizli katman 

birden  fazla  GSH  alabilecek  şekilde  değiştirmişler  böylece  tüm  girdi  sinir 

hücrelerinin  GSH’lere  bağlantısı  olmamasını  sağlamışlar.  Sjogaard  (1992) 

ikinci  dereceden  basamak-korelasyon  algoritması  kullanarak  eklenen  tüm 

GSH’lerin  aynı  gizli  katmanda  ve  birbirlerinden  etkilenmeyecek  (birinin  çıktısı 

diğerinin girdisi  olmayacak) şekilde  toplamıştır. Kwok ve  Yeung  (1997b) farklı 

korelasyon  tabanlı  farklı  fonksiyonları  kullanarak  farklı  zaman  ve  uzay 

ihtiyaçlarını karşılaştırarak performans analizleri yapmışlardır. 

 

    Kaynak dağıtım ağları (Resource Allocation Networks; RAN) her seferinde 

bir  adet  GSH’yi  gizli  katmana  eklemektedirler  ve  diğer  yapıcı  algoritmalardan 

temel  farkı  öğrenme  izlerini  hatırlayarak  bunları  kullanmalarıdır  (Kwok  ve 

Yeung  1997a).  Sadece  gizli  katmandaki  GSH’leri  artırarak  ya  da  azaltarak 

adaptasyon yeteneğini artırırlar. 

 

  İlk defa Platt (1991) tarafından ortaya atılan kaynak dağıtım ağı iki katmanlı 

bir  radyal  tabanlı  fonksiyon  (RTF)  ağıdır  (Li  ve  diğ.,  2010).  Fritzke  (1993, 

1994a,  1994b)  yaptığı  çalışmalarda  hem  gözetimli  hem  de  gözetimsiz  eğitim 

için  büyüyen  hücre  yapıları  (growing  cell  structures)  adlı  algoritmayı 

geliştirmiştir. Daha sonra Fritzke (1995a,  1995b) bu algoritmayı  büyüyen sinir 

---