Программы для анализа текста

Аннотация

This article analyzes the processes of analyzing and classifying textual data, considers the types of textual data, namely structured, unstructured and semi-structured data, and presents their characteristics. In addition, special attention is paid to the existing opportunities and problems in processing textual data in the Uzbek language. In particular, the achievements and shortcomings of analyzing textual data in the Uzbek language using the example of the "Tahrirchi" system are presented. Keywords: Textual data, processing, classification, natural language processing (NLP), structured data, unstructured data, "Tahrirchi", intelligent analysis, machine learning, semantic analysis, morphological analysis, algorithms, artificial intelligence, orthographic analysis. Матнли маълумотларни таснифлаш табиий тилни қайта ишлаш (NLP – Natural Language Processing) доирасида ҳал қилинадиган ва кенг тарқалган муаммолардан биридир [1]. Матнли маълумотларни таснифлаш учун машинали ўқитиш усулларидан фойдаланиш турли масалалар, хусусан, янгиликлар ва ҳужжатларни таснифлаш, спам-филтрлаш, шарҳ ҳиссий оҳангини аниқлаш, кабиларда кенг қўлланилади [2]. Маълумотлар базасига кўра, ундаги маълумотлар қуйидаги тартибга келтирилиши мумкин: ● Структураланган: маълумотлар кўп сонли қатор ва устунлар билан жадвал кўринишида стандартлаштирилган бўлиб, уларни таҳлил қилиш ва машинали ўқитиш алгоритмлари учун сақлаш ҳамда қайта ишлашни осонлаштиради. Масалан, структураланган маълумотлар исмлар, манзиллар ва телефон рақамлари каби маълумотларни ўз ичига олади. ● Структураланмаган: маълумотлар олдиндан белгиланган маълумотлар форматига эга эмас. Улар ижтимоий медиа ёки маҳсулот шарҳлари каби манбалардан олинган матнларни ёки видео ва аудио файллар каби медиа форматларини ўз ичига олади. ● Ярим структураланган: маълумотлар структураланган ва структураланмаган маълумотлар форматлари аралашмаси бўлиб, уларга XML, JSON ва HTML файллари киради [3]. Структураланмаган маълумотлар статистикасига кўра, рақамли дунёдаги маълумотларни тахминан 80%и тузилмага эга эмас. Ҳозирги кундаги маълумотларни аксарияти қидириш ёки саралаш осон бўлган стандартлаштирилган форматга мос келмайди [4]. Маълумотларни интеллектуал таҳлил қилиш машинали ўқитиш, табиий тилни қайта ишлаш, ахборотни қидириш, билимларни бошқариш ва таснифлаш соҳаларида юзага келадиган муаммоларни ҳал қилишга қаратилган компьютер фанлари бўйича янги тадқиқот соҳаси ҳисобланади [5]. 14 Современные проблемы интеллектуальных систем. Республиканская научно-практическая конференция. Джизак, 18-19 апреля 2025 г. Ушбу илмий ишда асосий мақсад матнни қайта ишлаш иловаларини ўрганиш, структураланмаган маълумотларни тузилмага келтириш ва матн таркибидаги сўзларни хатосиз ёзилиши ҳамда интеллектуал таҳлил учун зарур босқичларни бажариш қобилиятлари текширилади. Шунингдек, матнни нормаллаштириш учун дастурлар имкониятларини таққосланади. Одатда матнни интеллектуал таҳлил қилиш қуйидаги босқичларда амалга оширилади: 1. Масаланинг қўйилиши - матнни таҳлил қилиш учун муаммо ва мақсадни аниқлаш; 2. Ҳужжатларни танлаш - матнни интеллектуал таҳлили учун олдиндан тузилган аналитик мақсадлар асосида тегишли потенциал ҳужжатлар аниқланади; 3. Ҳужжатларни қайта ишлаш - матнни таҳлил қилиш қўшимча равишда хусусиятларни ажратиб олишни талаб қилади, ундан атамалар олинади, сўнгра ҳужжатларни ифодалаш учун хизмат қилади; 4. Матнни таҳлил қилиш - матнлар автоматик олдиндан белгиланган тоифаларга (таснифлаш) берилиши ёки шунга ўхшаш матнлар бирлаштирилиши учун гуруҳланиши мумкин (сегментация); 5. Интерпретация ва натижаларни баҳолаш - матнни интеллектуал таҳлил қилиш натижаларини интерпретациялаш ва баҳолаш; 6. Натижаларни қўллаш [6]. Маълумотларни олдиндан қайта ишлаш босқичидан олдин маълумотларни қайта ишлаш усулларини батафсилроқ кўриб чиқиш кейинги босқичлар учун маълумотларни қайта ишлаш босқичи қанчалик муҳимлигини тушунишга ёрдам беради. Матнни интеллектуал таҳлил қилиш жараёни унинг грамматик ёки яширин тузилишини ўрганишга қаратилган бўлиб, табиий тилни қайта ишлаш (масалан, тил корпуслари билан ишлаш) технологияларини қамраб олади. Матнни қайта ишлашда қўлланиладиган усуллар содда арифметик амаллардан то мураккаб нейрон тармоқларгача кенгаяди [5] . Матн таҳлил қилувчи воситалар уч тоифага ажратилади: Хусусий матн таҳлил қилиш воситалари – бу компаниялар томонидан ишлаб чиқилган ва фойдаланувчилар учун сотиб олишни талаб этиладиган воситалардир. Бунда одатда чекланган демо версиялар тақдим этилади, бироқ тўлиқ версияси пуллик бўлади. Очиқ кодли матн таҳлил қилиш воситалари бепул воситалар бўлиб, уларни ривожлантиришда ҳамжамият томонидан қўшилиш ва уларга ўзгартиришлар киритиш имкониятлари мавжуд. Онлайн матнни таҳлил қилиш воситалари интернет хизматлар бўлиб, улар тўғридан- тўғри веб-сайтлар орқали ишлатилади. Кўпинча, онлайн воситалар оддий функсияларни тақдим этади ва чекланган имкониятларга эга бўлади. Ўзбек тилидаги матнли маълумотларни таҳлил қилувчи иловалар жуда кам сонли ҳисобланади. Бу масала юзас