MATN AVTOMATIK ANNOTATSIYASI UCHUN NLP VA DEEP LEARNING’NI INTEGRATSIYALASHGAN PARALLEL MODELI

Аннотация

This article proposes an integrated parallel model for solving the problem of automatic text annotation. The model combines Natural Language Processing (NLP) techniques and Deep Learning approaches to automatically identify key phrases, topics, and brief summaries from text. The approach utilizes BiLSTM and Transformer architectures in parallel to enhance contextual understanding and semantic precision. Experiments conducted on standard datasets such as SemEval and Reuters demonstrate that the proposed model outperforms existing methods, achieving a precision of 91.3% and an F1-score of 90.7%. This model can serve as an effective annotation tool in information systems dealing with large volumes of textual data. Keywords: text annotation, NLP, deep learning, transformer, BiLSTM, parallel model, semantic analysis. Аннотация: В данной статье предлагается интегрированная параллельная модель для автоматической аннотации текстов. Модель сочетает методы обработки естественного языка (NLP) и технологии глубокого обучения (Deep Learning) для автоматического извлечения ключевых слов, тем и кратких описаний из текста. Предложенный подход использует архитектуры BiLSTM и Transformer в параллельной обработке, что повышает контекстную глубину и семантическую точность. Эксперименты на стандартных корпусах, таких как SemEval и Reuters, показали, что модель превосходит существующие методы с точностью 91.3% и F1-мерой 90.7%. Модель может быть эффективно использована в информационных системах, работающих с большими объемами текстовой информации. https://scientific-jl.com/wsrj 7 9 Volume-41_Issue-1_July-2025 World scientific research journal Ключевые слова: аннотация текста, NLP, глубокое обучение, трансформер, BiLSTM, параллельная модель, семантический анализ. Kirish: Raqamli axborotning jadal o‘sishi natijasida internet va boshqa elektron platformalarda matn ko‘rinishidagi ma’lumotlar hajmi keskin ortib bormoqda. Ushbu axborotdan samarali foydalanish, uni tartiblash, indekslash va izlash imkonini beruvchi vositalardan biri bu — matnlarni avtomatik annotatsiyalashdir. Annotatsiya deganda matnning asosiy mazmunini ifodalaydigan kalit iboralar, mavzular yoki qisqacha izohlar yig‘indisi tushuniladi. Bunday annotatsiyalar foydalanuvchilarga hujjatni o‘qimasdan turib, uning mazmunini tushunishga yordam beradi. An’anaviy annotatsiya tizimlari asosan qoidaviy (rule-based) va statistik yondashuvlarga tayanib kelgan bo‘lsa-da, bunday usullar matnning semantik ma’nosini chuqur anglay olmaydi hamda kontekstdan xulosa chiqarish imkoniyatlari cheklangan bo‘ladi. So‘nggi yillarda tabiiy tilni qayta ishlash (NLP) va chuqur o‘rganish (Deep Learning) texnologiyalari ushbu muammoni yechishda keng qo‘llanilmoqda. Ayniqsa, BiLSTM (ikki yo‘nalishli uzun qisqa xotira tarmoqlari), transformer, va e’tibor (attention) mexanizmlari asosida qurilgan modellar matnni chuqur va kontekstual tarzda tahlil qilish imkonini bermoqda. Biroq, mavjud yondashuvlarning aksariyati ketma-ket (sekvensial) ishlashga asoslangan bo‘lib, bu katta hajmdagi ma’lumotlar bilan ishlaganda samaradorlikni pasaytiradi. Shu sababli ushbu maqolada NLP va Deep Learning’ni parallellashtirilgan holda integratsiyalovchi model ishlab chiqildi. Mazkur yondashuv orqali matnlarni kontekstual va semantik jihatdan tahlil qilishda aniqlikni oshirish, tezkorlikni ta’minlash hamda annotatsiya sifati bo‘yicha ilg‘or natijalarga erishish maqsad qilinadi. Adabiyotlar tahlili: TF-IDF algoritmi oddiy amalga oshiriladi va juda kuchli hisoblanadi, ammo uning cheklovlarini inkor etib bo‘lmaydi. Bugungi katta ma’lumotlar dunyosida tahlil amalga oshirilishidan oldin ma’lumotlarni qayta ishlash uchun yangi texnikalarga ehtiyoj bor. Ko‘plab tadqiqotchilar TF-IDF algoritmining takomillashtirilgan shaklini, ya’ni Adaptiv TF-IDF deb nomlangan versiyasini taklif etishgan. Taklif qilingan algoritm ishlash samaradorligini oshirish uchun hill climbing (tepalikka chiqish) usulini o‘z ichiga olgan. TF-IDF’ning yana bir varianti kuzatilgan bo‘lib, u statistik tarjima yordamida turli tillar orasida qo‘llanilishi mumkin. Shuningdek, genetik algoritmlar ham TF-IDF’ni yaxshilashda qo‘llangan — bu yerda tabiiy genetik tushunchalar bo‘lmish krossover va mutatsiya dasturiy tarzda qo‘llangan. Ammo bu yondashuv katta natija bermagan — ya’ni samaradorlikda faqat juda ozgina o‘sish kuzatilgan. Google kabi qidiruv tizimi gigantlari esa foydalanuvchi so‘rovi uchun eng dolzarb natijalarni chiqarish uchun PageRank kabi zamonaviy algoritmlarni qo‘llab kelmoqda. Kelajakdagi tadqiqotlarda TF-IDF’ning cheklovlarini yengib o‘tuvchi yangi uslublar paydo bo‘lishi kutilmoqda, bu esa so‘rovlarni yanada aniqroq qaytarishga yordam beradi. Shuningdek, TF-IDF algoritmini Naive Bayes kabi boshqa usullar bilan birlashtirish orqali ham yanada yaxshi natijalarga erishish mumkin. [1] Yig‘ilayotgan ma’lumotlar hajmi keskin ortib borayotganligi sababli, yuqori sifatli kalit so‘zlarni ajratish tobora muhim bo‘lib bormoqda. Bu esa, ahamiyatliroq kalit s