Neyronli tarmoqning asosiy tushunchalari va elementlari

Neyron tarmoqlarni regulyarizatsiyalash

Birinchidan, tartibga solinmagan holda neyron tarmoqni quramiz, keyin regulyarizatsiyabilan, qaysi biri kamroq umumlashma xatosiga ega ekanligini ko'rishimiz mumkin. λ eng yaxshi natijalarni olish uchun moslashtirilishi kerakligini unutmang, lekin bu erda kontseptsiyani ko'rsatish uchun o'zboshimchalik bilan qiymatni tanlaymiz. Har ikki neyron tarmoqlari bo'ladi 2 har bir yashirin qatlami bor qaerda yashirin qatlamlari 5 ta.

# Qatlam ulchamlarini sozlash
layer_dims=X_train. shape0,5,5,1
# poezd NN
parametrlar = model_with_regularization (X_train, Y_train, layer_dims, learning_rate=0,03, num_epochs=2500, print_cost
=True, hidden_layers_activation_fn="tanh", lambd=0)
print (« O‘qitishning aniqlik darajasi: {}». format (aniqlik (X_train, parametrlar, Y_train, «tanh»)-7:))
print («Testning aniqlik darajasi: {}». format (aniqlik (X_test, parametrlar, Y_test, «tanh») -7:))
Narxi 100 iteratsiyadan so‘ng: 0.6555634398145331
Narxi 200 iteratsiyadan so‘ng: 0,6467746423961933
Narxi 300 iteratsiyadan so‘ng:0.6446638811282552
Narxi 400 iteratsiyadan so‘ng: 0.6441400737542232
Narxi 500 iteratsiyadan so‘ng: 0.6440063101787575
Narxi 600 iteratsiyadan so‘ng: 0,6439697872317176
Narxi 700 iteratsiyadan so‘ng:0,6439570623358253
Narxi 800 iteratsiyadan so‘ng: 0.6439491872993496
Narxi 900 iteratsiyadan so‘ng: 0,6439407592837082
Narxi 1000 iteratsiyadan so‘ng: 0.6439294591543208
Narxi 1100 iteratsiyadan so‘ng: 0.6439131091764411
Narxi 1200 iteratsiyadan so‘ng: 0.6438883396380859
Narxi 1300 iteratsiyadan so‘ng: 0,6438489715870495
Narxi 1400 iteratsiyadan so‘ng: 0,6437825798034876
Narxi 1500 iteratsiyadan so‘ng: 0.6436617691190204
Narxi 1600 iteratsiyadan so‘ng: 0.6434191397054715
Narxi 1700 iteratsiyadan so‘ng: 0.642864008138056
Narxi 1800 iteratsiyadan so‘ng: 0.6413476000796884
Narxi 1900 iteratsiyadan so‘ng: 0,6360827945885947
Narxi 2000 iteratsiyadan so‘ng: 0.6124050450908987
Narxi 2100 iteratsiyadan so‘ng: 0.511236045905345
Narxi 2200 iteratsiyadan so‘ng: 0.5287658028657057
Narxi 2300 iteratsiyadan so‘ng: 0,43124104856359174
Narxi 2400 iteratsiyadan so‘ng: 0.38213869447364884
Narxi 2500 iteratsiyadan so‘ng: 0.3386708692392079
O‘qitishning aniqlik koeffitsienti: 82,30%. Testning aniqligi:78,00%.

Treningning aniqligi 82,30%, sinov aniqligi esa 78%. Ta'lim va test aniqligi o'rtasidagi farq juda katta emas, ya'ni bizda juda ko'p narsa yo'q. Shuning uchun, kichik Regulyarizatsiyayordam berishi mumkin, masalan λ = 0,02. Amaliyotlarni tavsiya etadigan ls qiymatlari: 0,02, 0,04, 0,08, 0,16, 0,32, 0,64, 1,28, 2,56, 5,12, 10,24.

#Poezd NN s regulyarizatsiey
parametrlar = model_with_regularization (X_train, Y_train,layer_dims,learning_rate=0,03,num_epochs=2500,print_cost
= True, hidden_layers_activation_fn = "tanh", lambd = 0,02)print («O‘qitishning aniqlik darajasi: {}». format (aniqlik (X_train, parametrlar,Y_train,«tanh»)-7:))
print («Testning aniqlik darajasi: {}». format (aniqlik (X_test,parametrlar,Y_test,«tanh») -7:))
Narxi 100 iteratsiyadan so‘ng: 0.6558634554205135
Narxi 200 iteratsiyadan so‘ng: 0.6470807090618383
Narxi 300 iteratsiyadan so‘ng: 0.6449737235917311
Narxi 400 iteratsiyadan so‘ng: 0.6444519406797673
Narxi 500 iteratsiyadan so‘ng: 0.6443191828114609
Narxi 600 iteratsiyadan so‘ng:0.6442831256251426
Narxi 700 iteratsiyadan so‘ng: 0,6442705985766486
Narxi 800 iteratsiyadan so‘ng: 0.6442628048800636
Narxi 900 iteratsiyadan so‘ng: 0.6442544325786784
Narxi 1000 iteratsiyadan so‘ng: 0.6442432311807257
Narxi 1100 iteratsiyadan so‘ng: 0.6442270988055475
Narxi 1200 iteratsiyadan so‘ng: 0.6442027847231018
Narxi 1300 iteratsiyadan so‘ng: 0.6441643410411311
Narxi 1400 iteratsiyadan so‘ng: 0.6440998547029029
Narxi 1500 iteratsiyadan so‘ng: 0,6439832000181198
Narxi 1600 iteratsiyadan so‘ng: 0,6437505375793907
Narxi 1700 iteratsiyadan so‘ng: 0.6432228625403317
Narxi 1800 iteratsiyadan so‘ng: 0,6417982979158361
Narxi 1900 iteratsiyadan so‘ng: 0,6369273437378263
Narxi 2000 iteratsiyadan so‘ng: 0.6152774362019153
Narxi 2100 iteratsiyadan so‘ng: 0.5207828651496548
Narxi 2200 iteratsiyadan so‘ng: 0.5145012356446598
Narxi 2300 iteratsiyadan so‘ng: 0,40757220705507585
Narxi 2400 iteratsiyadan so‘ng: 0,517757346098386
Narxi 2500 iteratsiyadan so‘ng: 0.4574831239241244

O‘qitishning aniqligi: 65,55%.

Testning aniqligi: 80,00%.

Yuqorida keltirilgan natijalar shuni ko'rsatadiki, biz 78% dan 80% gacha bo'lgan sinov aniqligini oshirib, umumlashma xatosini yaxshiladik. Boshqa tomondan, ta'limning aniqligi 82,30% dan 65,55% gacha kamaydi.

• 
  λ qiymati eng yaxshi umumlashma xatosini olish uchun sozlanishi kerak. Odatda, biz λs uchun qiymatlarni taqqoslashda bir qator tekshiruvlardan foydalanamiz va eng kichik tekshirish xatosiga ega modelni tanlaymiz.
  
• 
  Agar model qayta o'qitishdan azob chekayotgan bo'lsa, tartibga solishdan foydalaning, ya'ni xato o'rganish xatosi tekshirish xatosi.
  
• 
  Agar regularizatsiyadan foydalangandan so'ng, tasdiqlash xatosi hali ham katta bo'lsa, unda biz etarli darajada muvofiq bo'lmagan hududda bo'lamiz. Boshqacha aytganda, bizning modelimiz hali ham juda oddiy va allaqachon yuqori burchakka ega. Shuning uchun, modelga murakkablik qo'shing va keyin tartibga solishdan foydalaning.
  

• 
  Biz hal qilmoqchi bo'lgan vazifalarning aksariyati etarli ma'lumotga ega emasligi sababli (yoki ko'proq ma'lumot to'plash uchun qimmat), neyron tarmoqlarning murakkabligini hisobga olgan holda, chuqur o'rganishda qayta jihozlash yanada keng tarqalgan bo'ladi.