“MASHINALI O‘QITISHDA MATNLARNI KATEGORIYALAR YOKI MAVZULAR BOʻYICHA KLASSIFIKATSIYA QILISH USULLARI”

Аннотация

Matnlarni kategoriyalar yoki mavzular boʻyicha klassifikatsiya qilish texnologiyasi sunʼiy intellekt va tabiiy tilni qayta ishlashda muhim rol oʻynaydi. Ushbu maqola matnlarni toifalashning asosiy usullari, jumladan Naive Bayes, Matn Vektor Mashinasi (SVM), K-yaqin qoʻshnilar (KNN) va chuqur oʻqitish (Deep Learning) yondashuvlari, shuningdek, Word2Vec va TF-IDF kabi vektorlashtirish texnikalarini oʻrganadi. Tadqiqot natijalari ushbu usullarning matnlarni aniqlik bilan toifalashda samarador ekanligini va ularning ijtimoiy tarmoqlar, tibbiyot, va taʼlim sohalarida keng qoʻllanish imkoniyatini koʻrsatadi. Matnlarni toifalashning rivojlanishi katta hajmdagi maʼlumotlarni tahlil qilish va tartiblashda yuqori samaradorlikka erishish imkoniyatini yaratadi. Kalit soʻzlar: matnlarni toifalash, sunʼiy intellekt, tabiiy tilni qayta ishlash, Naive Bayes, SVM, KNN, Word2Vec, TF-IDF, chuqur oʻqitish, vektorlashtirish, ijtimoiy tarmoqlar, tibbiyot, taʼlim, algoritmlar, semantik tahlil Introduction (Kirish) Bugungi kunda matnlarni kategoriyalash yoki mavzular boʻyicha tasniflash jarayoni sunʼiy intellekt va tabiiy tilni qayta ishlash (NLP) sohalarida muhim ahamiyat kasb etadi. Ushbu jarayon turli matnlar tarkibini aniqlash, ularni tegishli toifalarga ajratish va tartibga solishni maqsad qiladi. Klassifikatsiya texnologiyasi matnlarni oldindan belgilangan mavzular yoki teglar asosida guruhlash imkonini berib, koʻplab sohalarda, jumladan elektron pochta spamini filtrlash, tibbiy maʼlumotlarni ajratish, yangiliklarni mavzular boʻyicha tartiblash va ijtimoiy tarmoqlardagi xabarlarni kuzatishda qoʻllaniladi. Ushbu jarayon uchun algoritmlarning samaradorligi va maʼlumotlar toʻplamining toʻgʻri tuzilishi juda muhimdir. Ushbu maqola matnlarni toifalash usullari, ularni samarali boshqarish texnikalari va amaliy tadqiqot natijalarini koʻrib chiqishga qaratilgan. 85 ACADEMIC RESEARCH IN MODERN SCIENCE International scientific-online conference Matnlar - inson faoliyatining barcha sohalari uchun asosiy media hisoblanadi. Har kuni biz koʻplab turli xil matnlar bilan muloqot qilamiz - yangiliklar, kitoblar, ilmiy maqolalar, ijtimoiy media postlari va hokazo. Bu katta hajmdagi matnlar oqimini samarali boshqarish uchun ularni kategoriyalash va klassifikatsiya qilish muhim ahamiyatga ega. Matnlarni kategoriyalash va tasniflash muammosi turli sohalarda keng qoʻllaniladi, jumladan, tavsiya tizimlarida, axborot qidiruv tizimlari, reklama, senzura va boshqalarda. Bu muammoning etakchi echimi matnlarni avtomatik ravishda aniq kategoriyalarga ajratish hisoblanadi. Matnlarni avtomatik ravishda klassifikatsiya qilish muammosi juda muhim va dolzarb masala hisoblanadi. Ushbu muammoning etakchi yechimi matnlarni aniq kategoriyalar boʻyicha saralash usullaridan iborat. Methods (Usullar) Tadqiqotda matnlarni toifalash uchun keng tarqalgan usullar, jumladan nazoratli va nazoratsiz oʻqitish, vektorlashtirish texnikalari va chuqur oʻqitish algoritmlari sinovdan oʻtkazildi. Dastlab Naive Bayes va Matn Vektor mashinasi (SVM) kabi klassifikatsiya algoritmlari oʻrganildi. Naive Bayes algoritmi bayes statistikasi asosida har bir kalit soʻz yoki iborani tegishli toifaga ajratadi, SVM esa yuqori samaradorlik bilan ikki oʻlchamli fazoda matnlarni toifalash imkonini beradi. Shuningdek, K-yaqin qoʻshnilar (KNN) va logistik regressiya usullari orqali ham matnlarni tasniflash ishlari amalga oshirildi. Matnlarni toifalashda soʻzlarni raqamli shaklga aylantirish, yaʼni vektorlashtirish muhim ahamiyatga ega. Tadqiqotda Word2Vec va TF-IDF (Term Frequency-Inverse Document Frequency) kabi vektorlashtirish texnologiyalari qoʻllanilib, soʻzlarning semantik aloqalarini tahlil qilish imkoniyati yaratildi. Word2Vec matnlarni semantik jihatdan tasniflashda yuqori samaradorlik koʻrsatsa, TF-IDF esa matnda koʻp uchraydigan va ahamiyatli soʻzlarni ajratish orqali toʻgʻri toifalashga yordam berdi. Bundan tashqari, chuqur oʻqitish usullaridan foydalanib, neyron tarmoqlar asosida matnlarni toifalash sinovlari oʻtkazildi. Bunda konvolyutsion neyron tarmoqlar (CNN) qisqa matnlarni, takrorlovchi neyron tarmoqlar (RNN) esa uzun matnlarni ketma-ketlikda tahlil qilish imkoniyatiga ega ekanligi koʻrsatildi. Tadqiqot uchun quyidagi usullar qoʻllanildi: Supervizorli mashinali oʻrganish algoritmlarini qoʻllash, jumladan, logistik regression, support vector machines, gradient boosting. Enskriptlanmagan matnlarni semantik xususiyatlari asosida tasnif qilish. 86 ACADEMIC RESEARCH IN MODERN SCIENCE International scientific-online conference Enskriptlanmagan va enskriptlangan matnlarni birlashtirib klassifikatsiya qilish. Results (Natijalar) Tadqiqot natijalari Naive Bayes va SVM usullarining matnlarni tezkor va yuqori aniqlik bilan toifalashda samarador ekanligini koʻrsatdi. Ayniqsa, katta hajmdagi matnlarni tasniflashda bu usullar kuchli natijalar berdi. Vektorlashtirish texnikalari, xususan, Word2Vec va TF-IDF, matnlarni aniq va toʻgʻri toifalash imkonini berdi. Ushbu yondashuvlar soʻzlar oʻrtasi