Mashinalarni oʻqitish va neyron tarmoqlarida transformer modeli

Аннотация

Ushbu tezisda hozirgi kunda keng tarqalgan neyron tarmoqlari va mashinalarni oʻqitishda transformer modeli koʻrib chiqilgan. Transformer neyron tarmoq modelining, tarixi, kamchiliklari, tibbiyot hamda tabiiy tilni qayta ishlashda qoʻllanilishi hamda erishilgan natijalar haqida toʻxtalib oʻtilgan, shuningdek ushbu modelning kelajakdagi istiqbollariga ham toʻxtalib oʻtilgan. Kalit soʻzlar: Sunʻiy intellekt (AI), Sunʻiy neyron tarmoqlari(ANN), simulyatsiya qilingan neyron tarmoqlari (SNN), Transformers Neural Network (TNN). Kirish. Transformer modeli tabiiy tilni qayta ishlash (Neural Language Processing) hamda tibbiy tasvirlarni qayta ishlash sohalarida juda katta yutuqlrga erishdi. Transformer jumladagi soʻzlar orasidagi uzoq muddatli bogʻliqlikni oʻrgana olganligi tufayli mashinaning tarjimasi, savollarga javob berish, matnni umumlashtirish, hissiyotlarni tovush orqali aniqlash vazifalari uchun kuchli model hisoblanadi. Sunʻiy neyron tarmoqlari (ANN) yoki simulyatsiya qilingan neyron tarmoqlari (SNN) sifatida atash mumkin boʻlgan neyron tarmoqlar mashinani oʻrganishning muhim bir qismi boʻlib, chuqur oʻrganish algoritmlarining markazida joylashgan[1]. 182 Chuqur oʻrganishning eng soʻnggi texnologik yutuqlaridan biri boʻlgan transformator modeli hozirgi kunda tabiiy tilni qayta ishlash va kompyuterni koʻrish sohalarida keng tarqalgan[4]. Transformator modellari jumlalar yoki vaqt seriyasidagi maʻlumotlar kabi ketma-ket maʻlumotlarni qayta ishlashga moʻljallangan neyron tarmoq arxitekturasining bir turi hisoblanadi. Transformator tushunchasi, diqqat-qatlamga asoslangan, ketma-ketlikdan ketma- ketlikka ("Seq2Seq") kodlovchi-dekoder arxitekturasi chuqur oʻrganish modellari Kashshofi Ashish Vaswani va boshqalar tomonidan 2017 yilda yozilgan "Diqqat hamma narsa" deb nomlangan maqolada ishlab chiqilgan[2]. Transformator modellarini oʻrgatish va joylashtirisgda murakkablik mavjud boʻlsa ham NLP uchun kuchli vosita hisoblanadi. Transformer neyron tarmoqlarining tarixi 2010-yillarning boshlariga borib taqaladi. Vaswani va boshqalar tomonidan kiritilgan Transformator arxitekturasi. 2017-yilgi "Diqqat sizga kerak" nomli maqolalarida taklif qilingan koʻp boshli diqqat mexanizmiga asoslangan chuqur oʻrganish arxitekturasidir. Neyron tarmoqlardagi diqqat mexanizmlari tushunchasi birinchi marta Bahdanau va boshqalar tomonidan kiritilgan. Transformator neyron tarmoqlari turli vazifalarda muvaffaqqiyatli ishlagan va koʻp qirralilikni namoyish etgan boʻlsada, ular maʻlum kamchiliklarga ham ega ular quyidagilar: Hisoblashning murakkabligi. Transformatorlar odatda anʻanaviy takroriy neyron tarmoqlari (RNN) yoki konvolyutsion neyron tarmoqlari (CNN) bilan solishtirganda koʻproq hisoblash resurslari kerak boʻladi. Ushbu ortib borayotgan hisoblash murakkabligi oʻz-oʻziga eʻtibor berish mexanizmidan kelib chiqadi, u kirish ketma-ketligi uzunligi bilan kvadratik ravishda oʻzgaradi, bu esa oʻqitish va xulosa chiqarishni qoʻshimcha hisoblashni talab qiladi. Xotiraga qoʻyiladigan talablar. Transformatorlar koʻpincha katta hajmdagi xotirani talab qiladi, ayniqsa koʻp sonli qatlamlar, diqqat boshlari va parametrlari boʻlgan modellar uchun. Bu, ayniqsa, mobil qurilmalar yoki chekka qurilmalar kabi resurs cheklangan muhitlarda keng koʻlamli Transformator modellarini qoʻllashda qiyinchiliklar yuzaga keltiradi. Diqqat mexanizmi yuki. Transformerlarda qoʻllaniladigan oʻz-oʻziga eʻtibor mexanizmi anʻanaviy neyron tarmoqlari arxitekturalariga nisbatan qoʻshimcha hisoblash xarajatlariga olib keladi. Diqqat mexanizmlari Transformatorlarga uzoq masofali bogʻliqliklarni samarali tarzda qoʻlga kiritish imkonini berishi bilan birga, ular modelning hisoblash murakkabligi va xotiraga boʻlgan talablarini ham oshiradi. Maʻlumotlar samaradorligi. Katta transformator modellarini oʻrgatish odatda katta hajmdagi izohli maʻlumotlarni talab qiladi, bu maʻlum vazifalar yoki domenlar uchun doim ham mavjud boʻlavermasligi mumkin. Katta maʻlumotlar toʻplamiga cheklov boʻlishi mumkin, ayniqsa belgili maʻlumotlar kam yoki qimmat boʻlgan ilovalar uchun. Ushbu kamchiliklarga qaramay, Transformator neyron tarmoqlari keng koʻlamli ilovalarda juda samarali va koʻp qirrali ekanligini tadqiqotchilar tomonidan isbotladi. Transformatorga asoslangan modellarning samaradorligi, izohlanishi va mustahkamligini oshirishga qaratilgan ushbu muammolarni hal qilish boʻyicha hozirgi kunda tadqiqot harakatlari davom etttirilmoqda. Adabiyotlar tahlili. Tibbiy tasvirlarni qayta ishlab va tahlil qilaoladigan sunʻiy intellekt (AI) texnologiyalari soʻnggi yillarda ilmiy tadqiqotlar va klinik amaliyotlarda juda keng tarqaldi ( Chjou va boshq., 2019 ). Bu, asosan tasniflashda ajoyib natijalarga erishgan chuqur oʻrganish (DL) ( LeCun va boshq., 2015 ) bilan bogʻliq ( He et al., 2016 , Hu et al., 2018 , Huang va boshq., 2017 ), obʻektni aniqlash ( Girshick va boshq., 2014 , Wang va boshq., 2017b ) va semantik segmentatsiya ( Zhao va boshqalar, 2017 , Chen va boshq., 2017 ). Konvolyutsion neyron