Tanib olish modullarini dasturiy amalga oshirish

Аннотация

Tanib olish modullarini dasturiy jihatdan amalga oshirish hamda nutqni tanib olish moduli ishini sifatini baholash ishlarini olib borish. Nutq signaliga dastlabki ishlov berish va ularni neyron tarmoqlarida oʻqitishga tayyorlash jarayonini avtomatlashtiruvchi dasturiy modul ishlab chiqildi. Ushbu dasturiy modul yordamida katta xajmdagi nutq maʼlumotlarini tarmoqga kirish standartiga moslash imkoniyatini beradi. Kalit so‘zlar: Wav, CTC, MFCC, WER, CER , Epoch 38 Tanib olish modullarini dasturiy amalgan oshirish bir nechta modullardan iborat boʻlib bularga: Nutq maʼlumotlar bazasini tayyorlash; nutq signaliga dastlabki ishlov berish; neyron tarmogʻini yaratish va oʻqitish hamda nutqni tanib olish. Nutq maʼlumotlar bazasini yaratish. Trening maʼlumotlar toʻplami - bu audiofaylning manzili, tegishli transkripsiyasi, shuningdek fayl hajmi haqidagi maʼlumotlarni oʻz ichiga olgan manifest.csv matnli fayl toʻplami, undan keyin esa neyron tarmogʻini oʻrgatish paytida misollarni saralash uchun foydalaniladi. Wav formatidagi audio fayllar nutqning maʼlum bir qismini oʻz ichiga oladi va har bir fayl uchun transkripsiyasi berilgan matnli hujjat mavjud. Wav formatidagi audiofayllar bitta audio kanalga (mono) ega, namuna olish tezligi 16000 Hz va har bir qiymat uchun kengligi 2 bayt bilan kodlangan. Shuningdek, CTC matritsasini dekodlash algoritmi audio uzunlik nisbati va transkriptdagi belgilar sonining cheklanishini nazarda tutadi, yaʼni: CTC matritsasidagi qadamlar soni transkriptdagi belgilar sonidan koʻp boʻlishi kerak. 1.1-jadval - manifest.csv fayli tarkibiga misol Wav_filename Transcript filename Filesize ./data/train/ru_01 .wav ./data/train/ru_01 .txt 220044 ./data/train/ru_02.wav ./data/train/ru_02.txt 252044 Nutq signaliga dastlabki ishlov berish. Signalni oldindan qayta ishlash MFCC.py skriptida amalga oshiriladi. Skriptdagi mfcc funktsiyasi audio faylni argument sifatida qayta ishlashga oladi. Namuna sifatida oʻquv namunalari fayllaridan biri tanlangan. Freymga ajratish. Keyingi ishlov berishni amalga oshirish uchun audio fayl 10 ms lik freymlarga ajratiladi. Audiofaylni freymlarga ajratish jarayoni (Ilova A. 1- listing) keltirib oʻtilgan. 1.1-rasm. Audio faylni 10 msek lik uzunlikdagi freymlarga ajratish(1-Listing natijasi) 39 Xemming oynasini qoʻllash. Keyingi bosqichda ajratilgan freymlarga Xemming oynasini qoʻllash prosedurasi bajariladi. Ushbu jarayonning dastur kodi (Ilova A. 2-listing) da keltirib oʻtilgan. Xemming oynasi qoʻllash natijasi esa 1.2- rasmda keltirilgan. 1.2-rasm. Xemming oyna funksiyasi (chap tarafdagi) va uning signalga qoʻllanilgan natijasi (oʻng tarafdagisi) Spektral almashtirish. Olingan natijalarga tezkor Fur’e almashtirish algoritmi qoʻllaniladi (Ilova A. 3-Listing). Spektral ishlov berish natijasi 1.3-rasmda keltirilgan. 1.3-rasm. Tezkor Fur’e almashtirish algoritmi qoʻllanilgandan soʻng olingan spektr Dasturning oxirgi bosqichida har bir freym uchun mel chastotali oyna spektriga yoyish asosida energiya hisoblanadi. Undan soʻng diskret kosinus almashtirish algoritmi yordamida yakuniy nutq signalining belgilarini hosil qilamiz va bu belgilar mel chastotali kepstral koeffisientlar deb ataladi. MFCC ni hisoblash. Ushbu jarayonda nutqni tanish tizimiga kiritilgan soʻzdan olingan MFCC spektrogrammasi hosil qilinadi. MFCC tasvirlarini hosil qilish jarayoni berilgan. Natija 1.4-rasmda keltirilgan. 1.4-rasm. Mel chastotali kepstral koeffisientlardan hosil qilingan spektrogramma tasviri 40 Neyron tarmoqni yaratish va oʻqitish. Nutqni tanib olish moduli bilan ishlashdan oldin yaratilgan nutq bazasi iborat oʻquv tanlama asosida tarmoq oʻqitiladi[19,21]. Oʻqitish va tanib olish uchun 2 ta qatlamli LSTM va konnekstion vaqtni tasniflash (Neyron tarmoq) baholovchi qatlamlardan tashkil topgan neyron tarmoq yaratilgan. Neyron tarmoqni yaratish va oʻqitishning dasturlarda keltirib oʻtilgan. Oʻqitish tugatilgandan soʻng neyron tarmoqning nutqni tanish moduli testlash uchun tayyor holga keladi. Nutqni tanishni mikrafondan yozib olingan audio fayl orqali amalga oshirishlarda keltirib oʻtilgan. Tanib olish jarayoni esa berilgan. Nutqni tanib olish moduli ishini sifatini baholash. Oʻzbek tilidagi uzluksiz nutqni tanish uchun ishlab chiqilshgan E2E yondashuvga asoslangan tarmoqlardan biri bu SNN+RNN+CTC (DNN-CTC) hisoblanadi. Tarmoq oʻqitish qadamlari soni 70 ta epoch etib belgilandi. Oʻqitish jarayonida epoch larning ortishi bilan aniqlikning koʻtarilishi, Loss xatoligining pasayishi, WER va CER koʻrsatgichlarining oʻzgarishlarini mos ravishda 1.5, 1.6, 1.7--rasmlarda koʻrishimiz mumkin. 1.5-rasm. Rekurrent neyon tarmoq asosidagi modelning aniqligini oʻqitish qadamlari ortishiga mos oʻzgarishi 1.6-rasm. Rekurrent neyron tarmoq modelning Loss xatoligining o’qitish qadamlarida o’zgarishi 41 1.7-rasm. Rekurrent neyron tarmoq modelning WЕR va CЕR xatoligining o’qitish qadamlarida o’zgarishi Ushbu grafiklar tarmoqning eng yaxshi natija bergandagi holatini ifodalaydi. Ilova qilingan grafiklarning oʻzgarishida