KATTA HAJMDAGI MA’LUMOTLARDA TOZALASH VA NORMALLASHTIRISH ALGORITMLARINING SAMARADORLIGI

Аннотация

Katta hajmdagi Ma’lumotlar (Big Data) zamonaviy axborot texnologiyalari sohasida muhim o‘rin tutmoqda. Ushbu Ma’lumotlarning hajmi, xilma-xilligi va tezkor o‘sishi (Volume, Variety, Velocity) tahlil jarayonlarida yuqori sifatli Ma’lumotlarni talab qiladi. Ma’lumotlarning sifati to‘g'ridan-to‘g'ri tahlil natijalarining aniqligiga ta'sir qiladi. Ma’lumotlarni tozalash (data cleaning) va normallashtirish (data normalization) jarayonlari Ma’lumotlar sifatini oshirishning asosiy vositalaridir. Ushbu maqola katta hajmdagi Ma’lumotlarda tozalash va normallashtirish algoritmlarining samaradorligini kengroq tahlil qiladi, ularning afzalliklari, kamchiliklari, amaliy qo‘llanilishi va kelajakdagi rivojlanish istiqbollarini ko‘rib chiqadi. Kalit so‘zlar: Katta hajmdagi ma'lumotlar, Ma'lumotlarni tozalash, Ma'lumotlarni normallashtirish, Yetishmayotgan qiymatlar, Takrorlanishlarni bartaraf etish, Anomaliyalarni aniqlash, Min-Max normallashtirish, Z-score normallashtirish, Log transformatsiyasi, Robust Scaling, MaxAbs Scaling, Mashinaviy o'rganish, Parallel hisoblash, Apache Spark, Hadoop, k- NN algoritmi, Isolation Forest, Ma'lumot sifati, Masshtablilik, AutoML, Real vaqtda ishlov berish Ma’lumotlarni tozalash algoritmlari Ma’lumotlarni tozalash jarayoni Ma’lumotlardagi xatolar, takrorlanishlar, yetishmayotgan qiymatlar, nomuvofiqliklar va anomaliyalarni bartaraf etishga qaratilgan. Katta hajmdagi Ma’lumotlarda bu jarayonlar murakkab bo‘lib, yuqori hisoblash quvvati va samarali algoritmlarni talab qiladi. Quyida asosiy tozalash algoritmlari va ularning xususiyatlari keltiriladi: 1. Yetishmayotgan qiymatlarni boshqarish Yetishmayotgan qiymatlar katta hajmdagi Ma’lumotlarda eng keng tarqalgan muammolardan biridir. Ushbu muammoni hal qilish uchun quyidagi usullar qo‘llaniladi: O‘chirish (Listwise/Pairwise Deletion): Yetishmayotgan qiymatlarni o‘z ichiga olgan satr yoki ustunlarni olib tashlash. Bu usul oddiy va tez, ammo Ma’lumotlarning katta qismi yetishmayotgan bo‘lsa, muhim Ma’lumotlarning yo‘qolishiga olib kelishi mumkin. Masalan, tibbiy Ma’lumotlarda bu usul foydaliligi cheklangan, chunki bemor Ma’lumotlari qisman bo‘lsa ham muhim bo‘lishi mumkin. To‘ldirish (Imputation): Yetishmayotgan qiymatlarni taxmin qilish uchun statistik yoki mashinaviy o‘rganish usullari qo‘llaniladi: Statistik usullar: O‘rtacha, median yoki moda bilan to‘ldirish. Bu usullar oddiy, lekin Ma’lumotlarning xilma-xilligini hisobga olmaydi. Mashinaviy o‘rganish usullari: k-Eng yaqin qo‘shnilar (k-NN), regression modellari yoki chuqur o‘rganish (Deep Learning) algoritmlari yordamida yetishmayotgan qiymatlarni bashorat qilish. Masalan, k-NN algoritmi yaqin qiymatlarni hisobga olib, aniqroq taxminlar beradi, ammo katta hajmdagi Ma’lumotlarda hisoblash murakkabligi yuqori bo‘ladi. 56 ILM-FAN VA INNOVATSIYA ILMIY-AMALIY KONFERENSIYASI in-academy.uz/index.php/si Vaqt seriyalari uchun maxsus usullar: Vaqt seriyali Ma’lumotlarda (masalan, sensor Ma’lumotlari) yetishmayotgan qiymatlarni to‘ldirish uchun interpolatsiya (masalan, chiziqli yoki spline interpolatsiya) qo‘llaniladi. Katta hajmdagi Ma’lumotlarda takrorlanadigan yozuvlar Ma’lumotlar bazasining hajmini oshiradi va tahlil natijalarini noto‘g'ri yo‘naltirishi mumkin. Takrorlanishlarni aniqlash uchun quyidagi algoritmlar qo‘llaniladi: Hash-jadval asosidagi usullar: Ma’lumotlarni tezkor taqqoslash uchun hash funksiyalardan foydalaniladi. Bu usul katta hajmdagi Ma’lumotlarda samarali, ammo xotira talab qiladi. Clustering algoritmlari: Ma’lumotlarni o‘xshashlik bo‘yicha guruhlash orqali takrorlanishlarni aniqlash. Masalan, DBSCAN algoritmi katta hajmdagi Ma’lumotlarda o‘xshash yozuvlarni guruhlaydi. Parallel hisoblash: Apache Spark kabi platformalarda takrorlanishlarni aniqlash jarayoni tarqatilgan hisoblash orqali tezlashadi. Anomaliyalar Ma’lumotlarning umumiy naqshidan sezilarli darajada chetga chiqadigan qiymatlardir. Ular tahlil natijalarini buzishi mumkin. Quyidagi usullar qo‘llaniladi: Statistik usullar: Z-score yoki IQR (Interquartile Range) asosida anomaliyalarni aniqlash. Bu usullar oddiy Ma’lumotlar uchun samarali, lekin murakkab Ma’lumotlarda cheklovlarga ega. Mashinaviy o‘rganish usullari: Isolation Forest, One-Class SVM yoki Autoencoder kabi algoritmlar katta hajmdagi Ma’lumotlarda anomaliyalarni aniqlashda yuqori aniqlikni ta'minlaydi. Masalan, Isolation Forest algoritmi katta hajmdagi Ma’lumotlarda tez va samarali ishlaydi. Domen xususiyatlari: Muayyan sohada (masalan, moliya yoki sog'liqni saqlash) anomaliyalarni aniqlash uchun maxsus qoidalar yoki ekspert bilimlari qo‘llaniladi. Ma’lumotlarning nomuvofiq formatlari (masalan, turli xil sana formatlari yoki o‘lchov birliklari) tahlil jarayonini qiyinlashtiradi. Ushbu muammoni hal qilish uchun: Formatni standartlashtirish: Barcha Ma’lumotlarni yagona formatga keltirish (masalan, ISO 8601 sana formati). Matnni tozalash: Ortiqcha bo‘shliqlar, noto‘g'ri imlo yoki maxsus belgilarni olib tashlash uchun regular expressions (RegEx) yoki NLP (Natu