KUCHAYTIRILGAN O‘QITISH: Q-LEARNING, SARSA

Аннотация

Mazkur maqola sun’iy intellektning asosiy tarmoqlaridan biri bo’lgan neyron tarmoqlarini o’rganishga bag’ishlangan bo’lib, uning modeli, tuzilishi, strukturasiga bag’ishlangan. Kalit so’zlar: Deep Learning, HTM modeli va hujayralari. Annotation. This article is dedicated to the study of neural networks, which represent one of the main branches of artificial intelligence. It focuses on their models, architecture, and structure. Keywords: Deep Learning, HTM model and cells. Sun’iy neyron tarmoqlar (Artificial Neural Networks) yaratilganidan beri ko‘plab yutuqlar va muvaffaqiyatsizliklarga guvoh bo‘lgan. Sun’iy neyron tarmoqlar turli arxitektura va yondashuvlarga ega bo‘lib, ular turli muammolarni hal etishga moslashtirilgan. Ular orasida eng oddiy shakli — yagona qatlamli tarmoqlar bo‘lib, ular kirish va chiqish qatlamlaridan iborat va faqat chiziqli funksiyalarni o‘rganishga qodir. Murakkabroq masalalar uchun esa ko‘p qatlamli tarmoqlar qo‘llaniladi, ular yashirin qatlamlarga ega bo‘lib, murakkab, chiziqsiz bog‘liqliklarni modellash imkonini beradi. O‘ziga qaytuvchi (rekurrent) neyron tarmoqlari, xususan Hopfield tarmoqlari (Tank va Hopfield, 1986), vaqtga bog‘liq jarayonlarni o‘rganishda qo‘llaniladi. Bu tarmoqlar o‘z holatini saqlab qolish va vaqt bo‘yicha ketma-ket ma’lumotlar ustida ishlashga imkon beradi. Shu bilan birga, o‘z-o‘zini tashkil etuvchi xaritalar, ya’ni Kohonen tarmoqlari (Kohonen, 1982), ma’lumotlarni vizualizatsiya qilish va klasterlash uchun mos bo‘lgan nazoratsiz o‘qitish modelidir. Bundan tashqari, adaptiv rezonans nazariyasi asosida qurilgan tarmoqlar mavjud bo‘lib, ular yangi kirish ma’lumotlari kelganda mavjud bilimni saqlagan holda o‘rganishni davom ettira oladi. Kechikishli neyron tarmoqlar esa signalni ma’lum vaqt davomida ushlab turish xususiyatiga ega bo‘lib, ayniqsa nutqni tanish va tahlil qilish sohalarida foydalidir. Shuningdek, zamonaviy tarmoqlar orasida konvolyutsion neyron tarmoqlar (CNN), uzun va qisqa xotirali tarmoqlar (LSTM), transformator arxitekturasi asosida qurilgan modellarning keng tarqalgani kuzatiladi. Bularning barchasi neyron tarmoqlarning turli holatlarga moslashuvchanligini, ularning arxitekturaviy boyligini va real hayotdagi murakkab muammolarni hal 148 ACADEMIC RESEARCH IN MODERN SCIENCE International scientific-online conference etishdagi ahamiyatini yaqqol namoyon etadi. Bu avlodlarning har biri avvalgi modellar cheklovlarini bartaraf etish va yangi darajadagi intellektga erishish maqsadida bosqichma-bosqich yaxshilanishlarni olib kelgan. Ammo, bu “intellektual” tarmoqlarning umumiy effekti hanuzgacha inson intellektining haqiqiy mohiyatini to‘liq aks ettira olmagan. Shuning uchun chuqur o‘qitish (Deep Learning) bugungi kunda mashinaviy o‘qitish sohasida keskin rivojlanmoqda. Chunki an’anaviy sayoz arxitekturalar (shallow networks) — ya’ni 1–2 qatlamli oddiy neyron tarmoqlar — mashinaviy o‘qitishning murakkab muammolari va kuchli sun’iy intellekt (Strong AI) uchun yetarli emasligi isbotlangan. Kompyuter quvvatining oshishi, samarali o‘qitish algoritmlarining yaratilishi, hamda neyrofan sohasidagi yutuqlar bilan birgalikda, ilgari imkonsiz bo‘lgan chuqur o‘qitish tamoyillarini amalda qo‘llash imkonini berdi. Bu yutuqlar biologiyadan ilhomlangan o‘qitish yondashuvlarini taklif qiluvchi kognitiv neyrofan yondashuvlariga asoslangan chuqur arxitekturalarni shakllantirdi. Hierarchical Temporal Memory (HTM) haqida umumiy ma’lumot Hierarchical Temporal Memory (HTM) — bu neokorteks (inson miyasi po‘stlog‘i) ning funksional va strukturaviy xususiyatlarini taqlid qilishga intiluvchi modeldir. HTM modeli Jeff Hawkinsning “On Intelligence” (2007) kitobidagi fikrlarga asoslanadi. Unda intelhlektning asosi — bu kelajakni bashorat qilish qobiliyati ekani ta’kidlanadi. HTM strukturasi biomimetik model (ya’ni biologiyadan nusxa olingan model) sifatida ishlab chiqilgan bo‘lib, inson miyasi algoritmik va strukturaviy xatti-harakatlarini (soddalashtirilgan va funksiyaga yo‘naltirilgan tarzda) taqlid qiladi. HTM hierarxik (ko‘p bosqichli) tarzda tashkil etilgan — bu tuzilma 1-rasmda umumiy shaklda tasvirlangan. HTM tarkibidagi har bir daraja va uning tarkibiy qismlari bir xil hisoblash algoritmini bajaradi. 149 ACADEMIC RESEARCH IN MODERN SCIENCE International scientific-online conference 1-rasm. HTM tarmogʻining hierarxik tuzilmasi. Chuqur arxitekturalar va neokorteksning hierarxik tuzilmasi. Chuqur arxitekturalar (deep architectures) inson miyasining neokorteks qismidagi hierarxik tuzilmani o‘zlashtiradi. Sababi — miyada butun neokorteks bo‘ylab tarqalgan umumiy hisoblash algoritmining mavjudligi ochiq-oydin ravshan bo‘lib, bu algoritm inson miyasiga sezgilar bilan ishlash — ko‘rish, eshitish, hid sezish va boshqalarni deyarli bir xil usulda qayta ishlash imkonini beradi. Miyaning turli hududlari hierarxik tarzda bog‘langan bo‘lib, ma’lumot yuqoriga qarab oqayotganda murakkab abstraksiyalar va tasvirlar hosil qiladi. Ya’ni, sezgilardan olinadigan oddiy signallar har bir b