Этапы применения методологии CRISP-DM в интеллектуальном анализе данных (этап подготовки данных)

Аннотация

This paper focuses on the training data preparation stage of the CRISP-DM methodology in data mining. Because this stage takes up to 80% of the model development time, the steps of the training data preparation stage are explained with illustrations, approaches to 338 Современные проблемы интеллектуальных систем. Республиканская научно-практическая конференция. Джизак, 18-19 апреля 2025 г. training data in the model are presented, and considerations for machine learning engineers and data analysts are mentioned. Keywords: CRISP-DM, Anomaly, Dataset, Machine learning, Data mining, Training data, Data cleaning. Kirish. CRISP-DM [1]- ma’lumotlarni inttellektual tahlil qilishda eng ko‘p qo‘llaniladigan metodologiya hisoblanadi.[2,3,4]. Metodologiyaning ma’lumotlarni inttellektual tahlil qilish hayotiy tsikli olti fazadan iborat bo‘lib, yo‘nalishlar fazalar orasidagi umumiy bog‘liqliklarni ko‘rsatadi. Ushbu bosqichlarning ketma-ketligi aniq belgilanmagan. Ko‘pgina loyihalarda avvalgi bosqichlarga qaytish va keyin yana oldinga siljish zaruriyati paydo bo‘ladi[5] Ushbu metodologiyaning birinchi versiyasi 1999 yil mart oyida Bryusselda bo‘lib o‘tgan to‘rtinchi CRISP-DM SIG seminarida taqdim etilgan[6] va bosqichma-bosqich ko‘rsatmalar bir yildan so‘ng chop etilgan[7]. 1-rasm. Ma’lumotlarni inttellektual tahlil qilish hayotiy tsikli Fazalar ketma-ketligi qat’iy emas va har doim talabga qarab fazalar o‘rtasida oldinga va orqaga harakat qilinadi. Jarayon diagrammasidagi o‘qlar fazalar orasidagi muhim bog‘liqliklarni ko‘rsatadi. Diagrammadagi tashqi doira ma’lumotlar qazib olishning tsiklik xususiyatini anglatadi. Yechim o‘rnatilgandan keyin ma’lumotlarni yig‘ish jarayoni davom etadi. Jarayon davomida olingan bilimlar yangi, ko‘pincha yo‘naltirilgan biznes savollarini yaratishi mumkin va keyingi ma’lumotlarni qidirish jarayonlari avvalgilarining o‘rganishlaridan foydalanadi, bu ma’lumotlarni qidirish jarayoni sifatini oshiradi. Modelni ishlab chiqishda vaqtning 80% gacha o‘quv ma’lumotlarini tayyorlashga sarflanadi. O‘quv ma’lumotlarini tayyorlash jarayoni ko‘p bosqichni o‘z ichiga oladi. Bularga quyidagilarni misol qilish mumkin 2-rasm. • Takrorlanishlarni olib tashlash • Imlo xatolarni to‘g‘irlash • Anamaliyalarni oldini olish • Bo‘sh joylarni qiymat bilan to‘ldirish [9] 2-rasm. O‘quv ma’lumotlaridagi kamchiliklar 339 Современные проблемы интеллектуальных систем. Республиканская научно-практическая конференция. Джизак, 18-19 апреля 2025 г. 3-rasm. Ma’lumotlarni modelga o‘qitish jarayoni Ma’lumotlar idal holatda tayyor bo‘lgach barcha ma’lumotlar datasetda tartiblangan jadval holatiga olib kelinadi va modelga qo‘llaniladi 3-rasm. Datasetda tartiblangan jadvallarda matnlar shaklda ma’lumotlar joylashtiriladi. Mashinani o‘qitish injinerlari datasetdagi ma’lumotlarni modelga mos qilib dasturlash tilida mashinani o‘qitish bibliotekalari yordamida ma’lumotlarni tahlil qilish orqali qayta ishlashadi. Qayta ishlangan ma’lumotlar qaysidir xususiyatiga ega bo‘ladi. Bu xususiyatlar ko‘pincha naqishlar, gipotezalar bo‘lishi mumkin. Ma’lumotlar to‘g‘ri xususiyatga ega bo‘lishi uchun maksimal ravishda ma’lumotlarni tozalash va ma’lumotlarni qayta ishlash talab qilinadi.[8] Biz qanday masalani yechishimizdan qatiy nazar, aytaylik avtasalonda avtamabillarni sotish biznesi bo‘ladimi, haridorning kridit limitini hisoblash bo‘ladimi yoki rasmdagi tirik mavjudotlarni tanib olish maslasi bo‘ladimi siz kiruvchi ma’lumotlarini qayta ishlamasdan masalani yecholmaysiz. Yaxshi tayyorlangan ma’lumotlar modelning yaxshi ishlashini ta’minlaydi. Xulosa. Mazkur ishda biz CRISP-DM metodologiyasining eng ko‘p vaqt oladigan va asosiy ma’lumotlarni tayyorlash fazasiga qaratdik. Ma’lumotlarni tayyorlash fazasida asosiy bosqichlar bilan tanishdik, va tahlil qilish uchun olingan ma’lumotlarning sifatini yaxshilash uchun mashinani o‘qitish injinerlari va ma’lumotlar analitiklari qayerlarga diqqat qilishlari kerakligi haqida yoritishga harakat qildik. Adabiyotlar ro‘yxati 1. Shearer C., The CRISP-DM model: the new blueprint for data mining, J Data Warehousing (2000); 5:13—22. 2. Poll: What main methodology are you using for data mining? www.kdnuggets.com. (2016) 3. Poll: Data Mining Methodology. www.kdnuggets.com. (2016) 4. . What main methodology are you using for your analytics, data mining, or data science projects? Poll. www.kdnuggets.com. (2016) 5. Óscar Marbán, Gonzalo Mariscal and Javier Segovia (2009); A Data Mining & Knowledge Discovery Process Model 6. Pete Chapman (1999); The CRISP-DM User Guide 7. Pete Chapman, Julian Clinton, Randy Kerber, Thomas Khabaza, Thomas Reinartz, Colin Shearer, and Rüdiger Wirth (2000); CRISP-DM 1.0 Step-by-step data mining guide 8. Matchonov, S., Asatov, T. and Burhonov, A., 2024. BI TIZIMLARINING AFZALLIKLARINI BAHOLASH UCHUN MASHINALI O ‘QITISH MODELLARI. International Journal of scientific and Applied Research, 1(3), pp.142-145. 9. Бабамурадов, О., & Матчонов, Ш. (2022). Bi tizimining ishlash prinspi va elektron j