Программные средства статистического анализа данных

Аннотация

Одним из обязательных этапов любого научного исследования является статистический анализ данных. К статистическим методам проявляется повышенный интерес как к одному из важнейших аналитических инструментариев в различных областях науки. Рассматриваются применения алгоритмов статистического анализа и новых цифровых технологий для изучения социальной реальности. Ключевые слова: статистический анализ данных, электронные таблицы, пакеты и алгоритмы анализа, большие данные. Введение. Выполнение расчётов является сильной стороной компьютеров. Они хорошо комбинируют и анализируют большие объёмы данных. С информацией подобного рода работает дисциплина статистика. Существует большое число стандартных видов статистического анализа и программ, производящих необходимые вычисления. Считают, что статистические задачи трудно программировать хорошо, без ошибок. Комбинирование многочисленных фрагментов и затем вывод из них соответственной информации это одна из основных задач реализации. В этой работе, однако, не рассматриваются непосредственные реализации этих процессов, а только направления исследований, применение современного соответственного программного обеспечения, обоснование их применения. Основная часть. Социология интернета, социология социальных сетей, социология онлайн сообществ, иные направления исследований прочно вошли в структуру социологического знания. Сегодня эти направления интегрируются в рамках более глобального концепта — цифровой социологии [1]. Возникли такие концепты, как например, «цифровая экономика», «цифровое (электронное) правительство», «цифровое образование». Компонентами, составляющими содержание цифровой социологии являются 1) профессиональная цифровая практика (использование цифровых инструментов в рамках социологической практики, создание научных сетей, онлайн профилей, публикация и обмен исследований, консультирование студентов); 2) анализ применения цифровых технологий (изучение того, как использование людьми цифровых технологий формирует их самоощущение, их воплощение и их социальные отношения, а также роль цифровых медиа в создании или воспроизводстве социальных институтов и социальных структур); 3) анализ цифровых данных (использование цифровых данных, генерируемых пользователями, для социальных исследований, количественных и качественных); 4) критическая цифровая социология (рефлексивный анализ 532 цифровых технологий с точки зрения социальных и культурологических теорий). Одним из измерений цифровой социологии является использование больших наборов цифровых данных для проведения социологических исследований. Такие «электронные исследования» обозначают с помощью различных терминов: цифровые социальные исследования, вебометрика, вебсоциальные исследования, вычислительные социальные науки и др. Основное внимание в рамках этого направления исследований уделяется сбору, использованию данных и инструментам для анализа этих данных. Можно выделить четыре компьютерные технологии, активно использующиеся в социальных науках: интеллектуальный анализ данных (data mining), большие данные (big data), цифровые гуманитарные науки (digital humanity), наука о данных (data science). В частности, технология data mining рассчитана прежде всего на выявление закономерностей в больших массивах данных. Массивы данных обрабатываются, комбинируются, преобразуются таким образом, чтобы извлечь интересующие исследователя закономерности. Технология data mining включает в себя различные средства визуализации данных, в извлечении из больших объемов данных неочевидных, объективных и полезных на практике закономерностей. Это значит, что найденные закономерности не обнаруживаются стандартными методами обработки информации или экспертным путем» [2, с. 144]. В этом состоит одно из существенных отличий методов data mining от традиционных статистических методов анализа данных. Последние в основном ориентированы на проверку заранее сформулированных гипотез и на грубый разведочный анализ, а data mining нацелен на обнаружение прежде всего неочевидных, неявных взаимосвязей. Наука о данных предполагает «фокусирование внимания на данных, а в более широком смысле на статистике, которая представляет собой систематическое исследование организации, свойств и анализа данных и их роли в выводе. К техническим проблемам относят сбор и регистрацию данных, первичный анализ и поиск корреляций (data mining), алгоритмы которого при большом количестве переменных могу давать заметные искажения, анализ данных (data analysis), Существует около тысячи распространяемых на мировом рынке пакетов, решающих в том или ином виде задачи статистического анализа данных. Различают профессиональные пакеты (для математиков), популярные или универсальные пакеты для широкого круга пользователей для решения широкого круга задач: SPSS, STATISTICA, SYSTAT и другие. Специальные пакеты используются для решения узкого круга задач. Они позволяют исследователю формировать собственные математические модели, аппроксимировать двухфазные зависимости. Большим шагом вперё