Kompyuter lingvistikasi va korpus lingvistikasi muammolari matnni avtomatik qayta ishlash xususida

Аннотация

Oxirgi o‘n yilliklarda matnning avtomatik tahlil instrumentlarini ishlab chiqishda va matnni tabiiy tilida razmetka (belgilash) sohasiga oid yangiliklarda misli ko‘rilmagan darajada sifatli o‘zgarishlar yuz berdi [1,2,8,9]. Bu hodisani soha mutaxasisslari sifatiy sakrash deb baholashdi. Bu sakrash zamonaviy kompyuter lingvistikasi sohasida erishilgan yutuqlar, usullarni faol o‘zlashtirish va kompyuter fani hamda statistikasi, mashina o‘qiydigan matn ma’lumotlari hajmining eksponensial o‘sishi, shuningdek elektron lingvistik resurslarning rivojlanishi sababli yuz berdi. Lingvistik tahlilning zamonaviy instrumentlari matnning nafaqat grammatik (morfologik, sintaktik) xususiyatlarini, balki matnning ba’zi semantik va pragmatik xususiyatlarini ham avtomatik tarzda razmetka (belgilash)ga imkon berdi. Tabiiy tilni mashina to‘laqonli tushunishi, avvalgidek futurologiya sohasi zimmasiga qolyapti, ammo komyuter lingvistikasi texnologiyasi matn materiallarini tadqiq qilishning yangi imkoniyatlarini ochib berdi.