Современные подходы к определению языка на основе речевых сигналов

Аннотация

Nowadays, systems ensuring natural interaction between humans and machines are rapidly evolving. Among them, the task of identifying the user’s language holds particular importance. This article analyzes the problem of language identification (LID) based on speech signals, its application areas, challenges, and modern approaches. It compares traditional machine learning methods (GMM, SVM, i-vector) with deep neural network-based approaches (CNN, RNN, Transformer) for language recognition. Additionally, the paper discusses key evaluation metrics such as Accuracy, Precision, F1-score, and Equal Error Rate (EER) for assessing system performance. Advanced methods for handling complex scenarios like code-switching and open- set LID are reviewed, with a focus on practical perspectives for under-resourced languages like Uzbek. The results of the study provide a solid theoretical and practical foundation for developing multilingual interactive voice systems. Keywords: speech signals, language identification, multilinguality, acoustic features, MFCC, i-vector, x-vector, machine learning, deep neural networks, transformer, code-switching, Uzbek language, automatic language detection. СОВРЕМЕННЫЕ ПОДХОДЫ К ОПРЕДЕЛЕНИЮ ЯЗЫКА НА ОСНОВЕ РЕЧЕВЫХ СИГНАЛОВ Аннотация: В настоящее время активно развиваются системы, обеспечивающие естественное взаимодействие между человеком и машиной. Одной из актуальных задач является определение языка пользователя. В данной статье рассматривается задача определения языка (Language Identification – LID) на основе речевых сигналов, области её применения, существующие проблемы и современные подходы. Проведен сравнительный анализ классических методов машинного обучения (GMM, SVM, i-vector) и подходов, основанных на глубоких нейронных сетях (CNN, RNN, Transformer). Также описаны основные метрики оценки эффективности систем: Accuracy, Precision, F1-score и Equal Error Rate (EER). Рассмотрены передовые подходы к решению сложных случаев, таких как переключение языков (code-switching) и открытые наборы языков (open-set LID), а также обсуждены практические перспективы для малоизученных языков, включая узбекский. Результаты исследования могут служить теоретической и практической основой для разработки многоязычных интерактивных голосовых систем. Ключевые слова: речевые сигналы, определение языка, многоязычие, акустические признаки, MFCC, i-vector, x-vector, машинное обучение, глубокие нейронные сети, трансформер, переключение языка, узбекский язык, автоматическое определение языка Kirish. Hozirgi kunda inson va mashina o‘rtasidagi tabiiy muloqotni ta’minlovchi texnologiyalar jadal rivojlanmoqda. Jumladan nutq orqali boshqariladigan tizimlar, avtomatik tarjima xizmatlari, so‘zlovchilarni tanib olish tizimlar, nutq orqali intellektual boshqaruv tizimlari va boshqalar[1,2,3]. Ushbu tizimlarning samaradorligini oshirish uchun ular foydalanuvchi tilini to‘g‘ri va tez aniqlash olishi kerak. Bu esa nutq signallari asosida tilni aniqlash (ing: Language Identification - LID) jarayonlarining dolzarb vazifa bo‘lib qolmoqda. Bu jarayon ko‘p tilli foydalanuvchilar auditoriyasiga ega tizimlar uchun nihoyatda muhim[6,7] 301 Современные проблемы интеллектуальных систем. Республиканская научно-практическая конференция. Джизак, 18-19 апреля 2025 г. Nutq orqali tilni aniqlash - berilgan nutq signalining qaysi tabiiy tilga mansubligini aniqlashdir. Ushbu jarayon audio segmentlar asosida amalga oshiriladi va bu orqali tizim foydalanuvchining gapirayotgan tili haqida qaror qabul qiladi. Tilni aniqlash masalasi nutq segmentida bir nechta til aralashib ketgan hollarda yanada murakkablashadi, bu esa LID tizimlaridan segment darajasida aniqlikni talab qiladi[6]. Bundan tashqari so‘zlovchilarni ajratish (ing: Speaker Diarization) orqali so‘zlovchilarning gaplari alohida ajratib har bir so‘zlovchining qaysi tilde nima deganini aniqlash imkoniyati mavjud. Ayniqsa xalqaro konferensiya, anjumanlarda bunday tizimlardan foydalanish yaxshi samara beradi(1-rasm). So‘zlovchini So‘zlovchilarni Tilni aniqlash ajratish aniqlash Nutqni matnga Umid : salom aylantirish John : hello 1-qism. Ko‘p tilli tanib olish tizimlari umumiy sxemasi. Tilni aniqlash bu berilgan nutq segmentining qaysi tabiiy tilga mansubligini aniqlash vazifasidir. Ushbu vazifa nutqdan akustik, fonetik va prosodik belgilarni ajratib olish va sun’iy intellekt algoritmlari bilan tanib olishga asoslanadi. Har bir nutq segmentlari ma’lum bir tilga tegishli bo‘ladi yoki bir segment bir nechta tilni qamrab olgan bo‘lishi ham mumkin. Bu jarayon kod-switching holatlari deyiladi. Bu esa tizim holatini yanada murakkablashtiradi. Tilni aniqlash tizimlari mavjud tillar bazasiga qarab asosan ikki xil yondashuvlar asosida ishlaydi. Birinchisi oldindan belgilangan tillar ro‘yhatidan foydalanuvchi tilni aniqlash (Closed- set LID) tizim ma’lum tillar oralig‘ida tanlov qiladi va boshqa noma’lum tillar mavjud emas deb hisoblanadi. Bu yondashuv ko‘plab sanoat tizimlarida qo‘llaniladi, chunki u