Частота слов в общественно-политическом плане

Аннотация

This article describes the development of an algorithm for extracting socio-political terms from Chinese socio-political texts and determining the frequency of words in socio-political terms. Frequency tables of socio- political terms in Chinese were compiled, analyzed using methods of experimental and component analysis, and tables of socio-political terms were compiled. The article describes methods for automatically extracting one or two polysyllabic morphemic hieroglyphic words from one word or the main text. Five different options for calculating the "terminology" of phrases were considered. The experiments were carried out on three datasets from different fields of knowledge. The methods of joint assessment are proposed and the results of the comparative assessment of the methods are presented. As an example of a possible practical use of the results within the framework of the developed system, methods for calculating frequencies with the corresponding tables are described. Keywords and expressions: Socio-political terms in Chinese, frequency, standardization, experimental method. Кириш. Терминология тизимида ҳар бир сўзнинг мутлақ частотаси бир хил эмас. Баъзи сўзлар тез-тез ишлатилади ва улар юқори частотали сўзлар деб номланади ва баъзи сўзлар кўпинча нисбатан кам қўлланилиб, улар паст частотали сўзлар деб аталади. Терминларнинг номинатсия этишда, терминлар сони кўпайиши билан, юқори частотали сўзлар сони, қоида тариқасида, кўпаяди. 75 S H ARQ M AS H ’ AL I Глобаллашув жараёнида янги терминлар сони кўпайиши билан, турли тиллардаги терминларни маъноси жиҳатдан систем-стандартлашув масаласи талаб этилади, чунки бу ҳодиса фан ривожига жуда катта ҳисса қўшиб, турли тил чегара тўсиқларини келтириб чиқаради.Бунда ижтимоий-сиёсий матнлардаги терминларни системлаштириб, ижтимоий-сиёсий термин шакл- ланишида бир-бири билан бириккан сўзларни умумий частоталарни ҳисоблаймиз. Ҳисоблаш усуллари. Хитой тилидаги сиёсий матнлардан ижтимоий - сиёсий терминлар ажратиб олишда муҳим вазифаларидан бири бу сиёсий матнларни маълум даражадаги ишончлилиги билан ҳужжатнинг тематик йўналишини акс эттирадиган терминларни ажратиб кўрсатишдир. Автоматик калит сўзларни матндан чиқариб олиш, ҳужжатдаги муҳим тематик терминларни - автоматик ажратиб кўрсатиш деб таърифланиши мумкин. 在术语系统中，每个单词的绝对頻率并不是一样的。有的单词经常使用，叫做高频词， 有的单词不常使用，叫做低频词。 随着术语条目的增加，高频词的数目一般来说也相应地增加，而新闻出现的可能性越来 越小。这时，尽管术语的条数还继续增加，不同单词总数增加的速率却越来越小，而高频 词则反复地出现。 社会政治术语和中国政治文本的重要任务之一是将这些政治文本与能够在一定程度上反映 文档主题的术语相区别。 自动关键词提取可以描述为文档中重要主题词的自动突出显示。1 Сўнгги йилларда ҳар хил ўлчамдаги ҳужжатлар тўпламини таҳлил қилиш ва бир ёки ундан ортиқ сўзлардан иборат ижтимоий - сиёсий терминларни ажратиб олиш имконини берадиган кўплаб ёндашувлар ишлаб чиқилмоқда. Маълум бир ҳужжатдаги терминнинг маъносини аниқлаш учун аввал унга тегишли бўлган барча ҳужжатлар тўпламини таҳлил қилиш керак. Таҳлилдан сўнг, илмий муқобил ёндашув усули орқали, маълум бир тилда мавжуд бўлган сўзлар тўпламининг озми-кўпми тахминий моделлари бўлган лингвистик онтологиялардан фойдаланиб, терминлар тизимлари яратилади. Бу йўналишда натижаларнинг аниқлиги ва тўлиқлиги сабабли, шунингдек ажратиб олиш усулларидан фойдаланилиб, сиёсий матнлар, луғатлар, Интернет-қидирув тизимлари ёрдами- да битта сўздан ёки матнлар корпусидан икки сўзли терминларни автоматик равишда ажра- тиб олиш имконини беради. Ижтимоий - сиёсий терминлар таркибидаги сўзларнинг частоталари ҳисоблашнинг икки хил усули кўрилиб чиқилади. Бу икки хил усул ижтимоий-сиёсий матнларда, маълумотлар тўпламларида ижтимоий - сиёсий терминлар таркибидаги сўзларнинг частоталари ҳисоблаш ўтказилади. Қўшма баҳолаш техникаси таклиф этилади, методларни қиёсий баҳолаш натижалари тақдим этилади. 近年来，已经开发出许多方法，使您可以分析一组大小不同的文档，以及由一个或多个 单词组成的单独的社会政治术语。要确定特定文档中术语的含义，您首先需要分析与之相 关的整套文档。2 1 蔡梅 [Cai Mei], 现代汉语外来词的新形式及其规范问题，人才培养模式改 革和开放教育试点论文集，[xiàndài hànyǔ wàilái cí de xīn xíngshì jí qí guīfàn wèntí]. [New Forms of Modern Chinese Loanwords and Their Standardization Issues]. 北京，2003 年. 86-87 页 [The Commercial Press Beijing], 2003. pp. 86-87. 2 郑述谱 Zheng Shupu, 俄罗斯当代术语学 èluósī dāngdài shùyǔ xué [Russian Contemporary Terminology], 商务印 书馆 shāngwù yìn shūguǎn [The Commercial Press]，2005年. 24-27 页 pp. 24-27. 76 S H ARQ M AS H ’ AL I 分析之后，将使用语言本体创建术语系统，该术语本体是使用替代科学方法以特定语言 提供的一组单词的近似模型。 由于此方向上结果的准确性和完整性，以及使用分隔方法，因此可以使用政治文本，词 典，网络搜索引擎从一个单词或主要文本中自动区分两个单词的术语。1 有两种从社会政治角度计算词频的方法。这两种方法用于计算社会政治文本中的词频， 即社会政治术语中的数据集。 提出了联合评估的方法，并给出了方法比较评估的结果。2 Теримларнинг частотасини ҳисоблашнинг энг кенг тарқалган схемалари ТФ-ИДФ ва унинг турли хил вариантлари, шунингдек бошқалар (АТC, Окапи, ЛТУ). Бироқ, ушбу схемаларнинг умумий хусусияти шундаки, улар барча ҳужжатлар тўплами- дан маълумотларни талаб қилади. Агар ҳужжат ваколатхонасини яратиш учун ТФ-ИДФ асосидаги усул ишлатилган бўлса, унда янги ҳужжатнинг тўпламга келиши барча ҳужжатлардаги терминлар частотасини қайта ҳисоблашни талаб қилади. Шунинг учун, ҳужжатдаги терминлар частотасини қийматларига асосланган ҳар қандай дастурларга ҳам таъсир кўрсати