MATNLARNI TAHRIR VA TAHLIL QILISHDAGI AVTOMATIK LINGVOTIZIM VA TEXNOLOGIYALAR

Аннотация

Til va matn muammolari bilan bog‘liq masalalar kompyuter texnologiyalari yordamida XX asrning 50-yillaridan boshlab hal qilina boshladi. Tilshunoslikda avtomatik tahlil va tahrir qilish yo‘nalishidagi morfoanalizator, parsing, spellchecker tizimlarning lingvistik ta’minoti dunyo bo`ylab ishlab chiqildi. Ular tezkorligi, vaqtni tejashi, qulayligi hamda avtomatik tarjima sifatini oshirishda muhim ahamiyat kasb etadi. Ushbu maqolada imlo tekshiruvchi, morfologik, sintaktik tahlil qiluvchi tizimlar, ularni tashkil qiluvchi tarkibiy qismlar haqida ma’lumot berildi. Kalit so`zlar: avtomatik tahrir, morfoanalizator, parser, avtokorrektor/orfokorrektor, lemmatizatsiya, tokenizatsiya,stemming Yozish - bu odamlar o‘z fikrlarini bildirishlari mumkin bo‘lgan asosiy va hayotiy aloqa usullaridan biridir. Ayniqsa, hozirgi kompyuter texnologiyalari asrida ma’lumotlarni tez qidirish, uzatish, va ularni tahlil qilish juda muhim jarayondir. Innovatsion yangiliklar hayotimizni zabt etmoqda desak hech ham mubolag`a bo`lmaydi. Bugun yaratilgan yangilik ertaga o‘z o‘rnini o‘zidan ham mukammlarog`iga bo`shatib bermoqda. Matnlarga ishlov berishning avtomatik tahrir yo‘nalishi XX asrning 60-yillariga kelib shakllandi. U matn muharrir dasturlari bilan birgalikda yangicha imkoniyatlar asosida rivojlanmoqda. Oddiy muharrirlardan farqi shundaki, unda tahrir avtomatik tarzda qisqa vaqt ichida katta hajmli matnlar tez tekshirilib, xatolarni samarali to‘g‘rilash imkoniyatlari bo‘ladi. Avtomatik tahrirning pragmatik jihati shundaki, u kelajakda taraqqiy etsa, yetarli ma’lumotlar bazasi yaratilsa va maxsus dasturlar ishlab chiqilsa, muharrir kasbi uchun ehtiyoj qolmaydi. Bu esa matn bilan ishlashni osonlashtiradi.1 Kompyuter dasturi 2 ta’minoti asosida ishlaydi: a) texnik; b) lingvistik Ushbu qismlar o‘zaro bir-biriga bog’liq holatda ishlaydi. Lingvistik ta’minot lingvistik protsessor deb ham ataladi. U mustaqil tarkibiy qismlarga ega, bir nechta lingvistik modullardan tashkil topgan. Kompyuter lingvistikasida lingvistik modul termini bugungi kunda muhim ahamiyat kasb etmoqda. Boisi tabiiy tilning kompyuter tiliga o‘tkazilishi, ya’ni kompyuter tizimi orqali matnga ishlov berish yo‘llarining yaratilishi kuzatilmoqda. Buning uchun chet tillarning lingvistik dasturlari ishlab chiqilgan va bugungi kunda ular takomillashtirilmoqda .2 1 Rahimov A. Kompyuter lingvistikasi asoslari. – Toshkent, 2011. – В. 98. 2 Abjalova M.A. Tahrir va tahlil dasturlarining lingvistik modullari /monografiya / Toshkent: Nodirabegim, 2020. – 176 b. 61 YOSH OLIMLAR ILMIY-AMALIY KONFERENSIYASI in-academy.uz/index.php/yo Lingvistik modul ana shunday lingvistik dasturlarning mustaqil tarkibiy qismlari3dir. LEKSIK GRAFEMATIK ORFOGRAFIK MORFOLOGIK MODUL TURLARI SINTAKTIK grafematik modulda ramzlar, tinish belgilar, harfiy va boshqa belgilar tahrir qilinadi Leksik modulda sintaktik lug‘at qatlami modulda supersintakti qamrab LINGVISTIK k birlik olinadi. TA'MINOT morfologik orfografik modulda modulda imlo so‘zshakllar qoidalari analizi va ssintezi Kompyuter orqali matnni analiz qilish bosqichlari: 3 Демьянков В.З. Когнитивная лингвистика как разновидность интерпретирующего подхода // Вопросы языкознания. – Москва, 1994. – № 4. – С. 22. 62 YOSH OLIMLAR ILMIY-AMALIY KONFERENSIYASI in-academy.uz/index.php/yo semantik sintaktik morfologik grafematik fonetik Matnni normallashtirish jarayoni morfologik analizga bog`liq. •Tokenizatsiya Matndagi so‘z shakllarini aniqlash jarayoni, kiritilayotgan belgilar, ramzlar va so‘zlarni ajratib chiqish jarayoni •Lemmatizatsiya So‘zlarning lug`atdagi ifodasini aniqlash, lemmaga keltirish jarayoni morfologik analiz jarayoni •Stemmizatsiya bosqichlari kiritilgan so‘zning o`zagini topish jarayoni, affiksal morfemalarni kesib chiqish texnologiyasi Xulosa qilib aytganda, bugungi globallashuv davrida barcha imkoniyatlardan unumli foydalanish darkor. Dunyoning samarali lingvotizim va texnologiyalari andozasini o‘zbek tili uchun ham tatbiq qilish kerak. O‘zbek tilining barcha nozik qirralarini qamrab olgan holda lingvistik ta’minotini mukammal yaratish shart. Lingvistik ta’minot qanchalik to‘liq, mukammal qilib ishlab chiqilsa, kelgusida yaratiladigan lingvistik dasturlar shunchalik aniq natijada ishlaydi. 63 YOSH OLIMLAR ILMIY-AMALIY KONFERENSIYASI in-academy.uz/index.php/yo