ПРОБЛЕМА МАРКИРОВКИ И АННОТИРОВАНИЯ ПОДРАЗДЕЛЕНИЙ КОРПУСА

Аннотация

One of the characteristics that distinguishes linguistic corpora from text systems, such as an archive of texts, a system of electronic encyclopedias and dictionaries, an electronic library, is a linguistic annotation or tag. Tagging of corpus units provides a number of convenient features. This will be discussed in the article. Keywords: tag, annotation, linguistic comment, Corpus, metadata. ПРОБЛЕМА МАРКИРОВКИ И АННОТИРОВАНИЯ ПОДРАЗДЕЛЕНИЙ КОРПУСА Аннотация. Одной из особенностей, отличающих лингвистические корпуса от текстовых систем, таких как архив текстов, система электронных энциклопедий и словарей, электронная библиотека, является лингвистическая аннотация или тег. Маркировка корпусных единиц дает ряд удобных возможностей. Об этом и пойдет речь в статье. Ключевые слова: тег, аннотация, лингвистическая аннотация, тело, метаданные. Turli lingvistik topshiriq / amalni bajarish uchun matnga lingvistik va ekstralingvistik qo‘shimcha ma’lumot bilan ishlov berilgan bo‘lishi lozim. Buning uchun mavjud matnning komponentlariga maxsus izoh (masalan, so‘z turkumi haqida ma’lumot) berilishi zarur hisoblanadi. Bu izoh matn annotatsiyasi, maxsus lingvistik belgilar esa teg (belgi, ishora) (rus. razmetka, ing. tag) deb ataladi. Matn birliklarini izohlash esa annotatsiyalash yoki lingvistik izohlash (annotation), har bir lingvistik birlikni ramzlash esa teglash (разметка, tagging, mark- 227 up) deyiladi. Masalan, ot turkumi “Ot” yoki “N”, sifat turkumi “Sif” yoki “Adj”, fe’l turkumi “F” yoki “V” tarzida teglanadi. Matnda esa ot turkumiga tegishli “kitobim” so‘zshakli “Ot, n-b nom., birl., I sh., b. eg.q.” kabi annotatsiyalanadi, ya’ni lingvistik izohlanadi. Teglash va annotatsiyalashning eng oddiy misoli – so‘z turkumlarini umumiy ramzlash va umumiy izohlash hisoblanadi. Bu shunday ko‘rinishi mumkin: Samiya xalqaro tanlovga yaqinda boradi Izohlaymiz: Samiya (ot) xalqaro (sifat) tanlovga (ot) yaqinda (ravish) boradi (fe’l). Men o‘g‘lim bilan faxrlanaman. Izohlaymiz: Men (olmosh) o‘g‘lim (ot) bilan (ko‘makchi) faxrlanaman (fe’l). Tarixga nazar. 80-yillarda SGML1 (Standard Generalized Markup Language) deb nomlangan elektron matnlarni belgilash standarti qabul qilingan. U tipografiya sanoatida ishlab chiqilgan, ammo tez fursatda boshqa sohalarga tarqaldi. SGMLning maqsadi shundaki, turli matn protsessorlarida yozilgan hujjatlarni tahrirlash, tahlil qilish va ularning istalgancha o‘zgartirish mumkin bo‘ladi. SGML teglar tushunchasini kiritdi. Teglar (ing. tags) – bu matndagi xizmat belgilari, matnning o‘zi haqidagi ma’lumotni o‘z ichiga oladi. Har bir holat maxsus teglarni belgilash va shu bilan SGML tilining dialektlarini yaratishish mumkin. SGML belgilash tili – tillarning “konstruktori”. U juda murakkab til sanaladi va juda kam ishlatiladi. Ammo uning asosida HTML va XML kabi taniqli belgilash tillari yaratildi. Matnli ma’lumotlarni (korpuslarni) teglash uchun bir necha universitetlar matnlarning qaysi parametrlarini teglash kerakligini tavsiflovchi tizimni maxsus ishlab chiqdi. Ushbu tizim XMLdan foydalanadi va Text Encoding Initiative Guidelines (TEI Guidelines)1 deb nomlanadi. Bu kodlash, teglash va indeksirlash mumkin bo‘lgan matnlarning turli xil xususiyatlarining ro‘yxati hisoblanadi. Masalan, tizim matndagi turli xil tuzatishlar, iqtiboslar, qisqrtmalar, atoqli otlar, initsial, akronimlar, chet el so‘zlari va boshqalarni sanab o‘tadi. Hozirgi vaqtda korpuslarni yaratish bo‘yicha deyarli barcha loyihalar (shu jumladan, Britaniya Milliy korpusi) TEI tavsiyalariga u yoki bu tarzda amal qilishga harakat qilmoqda [Кутузов А.Б.]. 1 http://www.teic.org/Guidelines/index.xml. 228 An’anaga muvofiq teglar burchakli qavslarda juft, ya’ni ochish va yopish holatida bo‘ladi. Masalan, ochuvchi teg, yopuvchi teg. Yopish tegi ochish tegida berilgan xabarning tugaganligini bildiradi. Fikrga yuqoridagi gap bilan misol keltiramiz: Men o‘g‘lim bilan faxrlanaman . Ayon bo‘lganidek, gap boshidagi LB Men olmoshi ekanligi haqida belgi berilgan. Yoki yana Samimiyatni o‘zingizga bezak qilib oling – deydilar onajonim. Ushbu gapdagi “Samimiyatni o‘zingizga bezak qilib oling” qismi va teglarida berilgan, bu teg ko‘chirma gap (direct speech – ds)ni anglatadi. Og‘zaki nutq korpuslarida tegi toq holda qo‘llanilishi mumkin. Uning ochuvchi yoki yopuvchi ekanligi ahamiyatsiz bo‘ladi. Bu teg qo‘yilgan o‘rinda to‘xtam bo‘lganligini anglatadi. Teglar qisqa belgi yoki ramzlardan iborat bo‘ladi. Masalan, sifat – sif, fe’l – f, noun – N, verb – v tarzida. Teglar foydalanuvchiga ko‘rinmaydi. matnni Annotatsiyalangan ko‘rsatadigan dastur teglarni o‘ziga xos qoidalarga muvofiq izohlaydi va foydalanuvchiga shu qoidalarga muvofiq shakllantirilgan matnni taqdim etadi. Avtomatik annotatsiyalash / teglash. Katta hajmli korpuslarni teglash ko‘p vaqt va mablag‘ni talab qiladi. Shu bois XX arsning 70-yillarida annotatsiyalashni kompyuter orqali qilish loyihalari paydo bo‘la bos