Data Munging

Data Munging / Data Wrangling (манипуляция данными) - подготовка больших массивов данных для последующего их анализа.

Методы

  • Понижение размерности и множественности (англ. Dimensionality & Numerosity Reduction)
  • Нормализация (англ. Normalization) — все значения приводятся к некоторому диапазону, например, [-1, -1] или [0, 1]. Для каждой пары объектов измеряется «расстояние» между ними — степень похожести. Существует множество метрик, вот лишь основные из них:
    • Евклидово расстояние
    • Квадрат евклидова расстояния
    • Расстояние городских кварталов (манхэттенское расстояние)
    • Расстояние Чебышева
    • Степенное расстояние
  • Очистка данных (англ. Data Scrubbing/Cleaning/Cleansing) — исправление данных путём выявления их дублирования, несогласованности (противоречивости) и ошибок ввода. В процессе очистки данных там, где это возможно, выполняется объединение записей из нескольких источников.
  • Восстановление пропусков данных (англ. Handling Missing Values) - большинство реальных данных имеют пропущенные значения (ошибки при записи, ошибки при измерениях, невозможность сбора). Далеко не все алгоритмы умеют работать с неполными данными. Существуют следующие методы восстановления пропусков данных:
    • Простейшие
      • Удаление объектов (либо признаков) с пропущенными значениями
      • Замена случайным значением
      • Замена специальным значением (индикатор пропущенного значения)
    • Простые
      • Замена средним значением признака
      • Замена медианой признака
      • Замена модой признака
      • Вычислить по каждому классу в отдельности
      • Размножить выборку всеми возможными значениями пропущенного признака
    • Продвинутые
      • Метод ближайших соседей
      • Наиболее точное соответствие (Closest fit)
      • Нейронная сеть
      • Метод k-средних
      • Метод нечетких k-средних (Fuzzy k-means)
      • EventCovering
      • Максимум правдоподобия и EM-алгоритм
      • SVM
  • Несмещённая оценка (англ. Unbiased Estimators) — точечная оценка, математическое ожидание которой равно оцениваемому параметру.
  • Биннинг разреженных значений (англ. Binning Sparse Values) - входной массив данных разбивается на заданное число диапазонов (групп) в соответствии с правилами разбиения. Полученные диапазоны далее используются в методах Data Mining как отдельные категории.
  • Методы выделения признаков (анг. Feature Extraction) — выбор признаков, имеющих наиболее тесные взаимосвязи с целевой переменной.
    • Одномерный отбор признаков
    • Рекурсивное исключение признаков
    • Метод главных компонент
    • Отбор на основе важности признаков
  • Шумопонижение (англ. Denoising) — процесс устранения шумов из полезного сигнала с целью повышения его субъективного качества, или для уменьшения уровня ошибок в каналах передачи и системах хранения цифровых данных. Методы шумоподавления концептуально очень похожи независимо от обрабатываемого сигнала, однако предварительное знание характеристик передаваемого сигнала может значительно повлиять на реализацию этих методов в зависимости от типа сигнала.
  • Семплирование (англ. Sampling) — обобщенное название различных методов манипуляции с начальным распределением случайной величины или выборкой этой случайной величины, которые позволяют улучшить точность статистического результата, полученного на основе применения этого начального распределения или выборки. Например, уменьшить дисперсию среднего значения какой-либо характеристики, вычисленного с помощью выборки.
  • Районированная выборка (англ. Stratified Sampling) — метод семплирования из генеральной совокупности, который позволяет улучшить точность статистических результатов при разбиении всего пространства событий на несколько областей-страт и независимой работе с этими стратами. Например, в каждой страте можно применять свою собственную выборку по значимости.
  • Метод главных компонент (англ. principal component analysis, PCA) — один из основных способов уменьшить размерность данных, потеряв наименьшее количество информации.

Ссылки

Комментарии