Очистка персональных данных, часть 2

Проблема очистки персональных данных от ошибок уже затрагивалась в предыдущей статье.

В данной статье пойдет речь о выявлении и устранении ошибок при помощи методов, основанных на понятиях математической статистики. Для этого рассчитываются определенные показатели. Вычисления производятся по всем имеющимся данным, охватывая весь диапазон значений, принимаемых признаками.

На основе полученных результатов одни методы могут выделить подозрительную информацию, которая сильно отличается от остальных, а другие – вычислить величины, которые предположительно более всего похожи на истинные.

Таким образом, анализируя сведения с помощью статистических характеристик, можно оценить общую картину данных и на ее фоне определить возможные ошибки с последующим их исправлением на подобранные похожие значения.

Различают несколько типов данных. Каждый из них обрабатывается по-своему. Рассмотрим основные типы данных.

Типы данных

Персональные данные по своей природе разнородны. Их условно можно разбить на следующие типы:

Качественные данные.

Категориальные данные.

Для примера возьмем поле "Семейное положение". Список вводимых в него значений ограничен и состоит из следующих категорий: "замужем/женат", "не замужем/не женат", "вдова/вдовец", "разведена/разведен" или "гражданский брак".

Со значениями категориальных данных непосредственно невозможно производить статистические операции, так как они относятся к нечисловому типу данных. Для решения этой проблемы используют такую характеристику, как частота появления каждой категории во всей имеющейся информации. Она описывает данные количественно и позволяет сравнивать их между собой, находить взаимосвязи и производить другие операции.

Например, значения, которые можно ввести в поле "Образование", делятся на следующие категории: "начальное", "среднее", "среднее специальное", "незаконченное высшее", "высшее". По смыслу каждое из них можно сравнить друг с другом при помощи знака неравенства "

18000 20000 20000 21000 25000

Медиана принимает значение, равное 20000 руб.

Подсчитаем частоту появления каждого из значений (таблица 4).

Таблица 4 – Определение моды

Из таблицы 4 следует, что мода равняется 20000 руб., так как это наиболее часто встречающееся значение.

Все средние значения получились приблизительно одинаковыми. Таким образом, пропущенное поле может быть заполнено любой из вышеприведенных характеристик. Теперь при поиске сотрудников система будет выдавать анкеты всех потенциальных кандидатов путем предсказания недостающих данных с помощью метода средних значений.

Если данные содержат большой разброс значений, то метод средних применяется не к отдельному объекту, а к целой группе. Все данные в этом случае разбиваются на группы, содержащие приблизительно однородные элементы с похожими признаками. Внутри каждой из них рассчитывается средняя величина, которая будет типична именно для тех объектов, которые входят в эту группу. Анализируя данные таким методом, можно отыскать скрытые ошибки, незаметные при обработке всей совокупности данных.

Рассмотрим и проверим данные о трудовом стаже, которые указали мужчины-респонденты при заполнении анкет (таблица 5).

Таблица 5 – Данные для определения групповых средних значений

Если анализировать только колонку "Стаж", то существенных ошибок в приведенных цифрах можно не заметить. Для того чтобы выявить отклонения, в таблице приведены данные о возрасте людей, заполнивших анкеты. С их помощью всех респондентов можно разделить на соответствующие возрастные категории (группы "19 лет", "20 лет" и т.д.). В этом случае данные анализируются в каждой группе и те величины, которые сильно отличаются от остальных, проверяются на наличие ошибок и могут заменяться средними групповыми значениями.

Стаж, указанный респондентом Николаевым Л.Л., для его категории слишком большой. При дополнительной проверке было подтверждено наличие опечатки в исследуемом значении, так как трудовой стаж превышает возраст респондента. Допущенную ошибку можно заменить, например, средней арифметической величиной, рассчитанной по данным о стаже людей его возраста. Вычисленное групповое значение получается равным 4. Им заменяется стаж респондента Николаева, и так происходит очистка полей от аномалий.

Метод вычисления средних значений используется при заполнении пропусков в данных, так как эта статистическая характеристика оценивает в целом всю информацию. Применение средней арифметической величины уместно в том случае, когда значения имеют нормальный закон распределения. Медиана менее чувствительна к выбросам, поэтому ее предпочтительней использовать при наличии аномальных величин. Мода применяется, когда данные не подчиняются нормальному закону распределения, так как она характеризует наиболее популярное значение признака.

Метод средних значений довольно прост в реализации, но его применение может не только восстановить картину исходных данных, а, наоборот, ее исказить. Это связано с тем, что многие величины так различаются между собой, что среднее значение не дает в целом представления об имеющейся совокупности элементов.

Учитывая данное обстоятельство, следует с осторожностью подходить к процессу очистки информации с помощью метода средних значений. Прежде чем исправлять "загрязненные" данные, нужно сначала тщательно их оценить (учитывать степень разброса, количество неповторяющихся значений, объем информации и т.д.), а затем решить, воспользоваться ли для замены наиболее подходящей средней величиной или нет.

Интервальный метод

С помощью данного метода вычисляется интервал, называемый доверительным, между границами которого с заданной вероятностью находятся истинные значения оцениваемых параметров (то есть если доверительная вероятность равна 95%, то с вероятностью 95% можно сказать, что все истинные значения совокупности данных лежат в указанном интервале).

Доверительный интервал с вероятностью 95% для большого объема данных, подчиняющихся нормальному закону распределения, определяется по формуле:

Если коэффициент вариации больше 33,3%, то считается, что степень разброса значений велика. В этом случае данный метод, скорее всего, не подходит для поиска ошибок, так как доверительный интервал будет включать слишком большой диапазон значений. Чтобы решить эту проблему, можно сгруппировать похожие данные, и для каждой группы рассчитать свой доверительный интервал.

Отыщем в данных о возрасте студентов аномальные значения, возникшие в результате опечаток операторов при наборе текста (таблица 6). Для этого вычислим доверительный интервал для имеющихся данных.

Таблица 6 – Данные о возрасте студентов

Подставив требуемые величины в вышеприведенную формулу, доверительный интервал получается равным (14; 22), а коэффициент вариации – 25%. Из этого следует, что с помощью интервального метода можно выявить ошибки в данном случае.

В доверительный интервал не вошел возраст студента Алексеева А. А., что говорит о возможной опечатке в его записи. С помощью различных методов эксперт подбирает вероятные значения этой сомнительной величине. В данном случае такими значениями могут быть "19" (при записи возраста могла быть пропущена "1"), "20" (чаще всего вводимый возраст) и т.п. Эксперт, исходя из ситуации, может заменить число "9" любой из этих величин.

Данный метод позволяет выявлять в количественной информации аномальные величины. Они сильно отличаются от присутствующих значений и из-за этого не попадают в доверительный интервал.

Интервальный метод применяется в тех случаях, когда данные не разнородны, иначе доверительный интервал будет включать в себя слишком большой диапазон значений, в том числе и аномальных. Для проверки степени однородности информации используют коэффициент вариации, на основе которого можно сказать, стоит ли применять данный метод или нет.

Корреляционно-регрессионный метод

Зачастую в персональной информации содержатся данные, которые взаимосвязаны между собой (например, рост и вес человека, доход и размер кредита и т.п.). В таком случае можно рассчитать количественную зависимость между этими переменными и выразить ее в виде математической формулы. Подставляя известные значения в полученное уравнение, пропущенные данные можно восстановить.

Проверка информации с помощью корреляционно-регрессионного метода делится на два этапа: расчет корреляций и расчет регрессий. Это две стадии одного и того же анализа данных.

Корреляция характеризует меру зависимости между переменными и используется для выявления взаимосвязанных значений. Для ее вычисления применяется несколько статистических коэффициентов. Приведем некоторые из них для различных типов данных:

Коэффициент Пирсона ($r$).

$x_i$ – ранги значений, принимаемых признаком $X$,

$y_i$ – ранги значений, принимаемых признаком $Y$,

$\bar$ – среднее арифметическое значение по признаку $X$,

$\bar$ – среднее арифметическое значение по признаку $Y$.

Коэффициент Пирсона изменяется в пределах от -1 до +1. Если он равен 0, то линейная зависимость между $x_i$ и $y_i$ отсутствует. Положительное его значение, близкое к 1, свидетельствует о существовании сильной положительной связи, т.е. рост величины $x_i$ ведет к росту величины $y_i$, а отрицательное, близкое к -1, демонстрирует противоположную тенденцию: уменьшение $y_i$ по мере увеличения $x_i$.

Коэффициент Пирсона характеризует существование линейной зависимости между несколькими переменными. Он применяется только для количественных данных. Если значения не подчиняются нормальному закону распределения или содержат аномалии, то лучше воспользоваться коэффициентом ранговой корреляции Спирмена.

$x_i$ – ранги значений, принимаемых признаком $X$,

$y_i$ – ранги значений, принимаемых признаком $Y$,

Обязательным условием перед вычислением коэффициента является предварительное ранжирование значений. Данный процесс приводит к тому, что значения этих рядов приобретают одинаковый минимум, равный 1 (минимальный ранг), и максимум, равный $N$ (количество данных).

При использовании коэффициента ранговой корреляции можно условно оценить взаимосвязь между переменными. Если значение коэффициента Спирмена менее 0,3, то данные почти не взаимосвязаны между собой. Значение показателя более 0,3, но менее 0,7 говорит об умеренной зависимости. При величине коэффициента Спирмена более 0,7 между данными существует сильная связь.

Коэффициент Спирмена вычисляется для ординальных данных. Его преимущество в том, что он применяется и для выявления нелинейной связи, а использование в расчетах вместо величин их рангов делает значения коэффициента менее чувствительными к выбросам.

Таблица 7 – Таблица для анализа связи с помощью коэффициента взаимной сопряженности Пирсона

Признаки A B C Итого D $m_$ $m_$ $m_$ $\sum m_$ E $m_$ $m_$ $m_$ $\sum m_$ F $m_$ $m_$ $m_$ $\sum m_$ Итого $\sum m_$ $\sum m_$ $\sum m_$ $N$

где $m_$ – совместные частоты появления двух признаков $X$ и $Y$, $N$ – число пар значений.

Коэффициент взаимной сопряженности Пирсона вычисляется по формуле:

где $\phi ^2$ – показатель средней квадратической сопряженности, который определяется по формуле:

Преимущество коэффициента взаимной сопряженности Пирсона в том, что он может использоваться для расчета степени взаимосвязи между категориальными данными. Показатель изменяется от 0 до 1 и анализируется так же, как и коэффициент Спирмена.

После этапа корреляции, на котором происходит отбор переменных с сильной взаимосвязью, для выбранных признаков проводится регрессионный анализ. Для этого составляется регрессионная функция вида:

$Y = b_0 + b_1 \times X_1 + b_2\times X_2 +\dots+ b_n\times X_n$,

$b_n$ – коэффициенты регрессии, соответствующим образом подобранные для оптимального предсказывания зависимой переменной $Y$,

$X_n$ – отобранные независимые переменные,

Линия регрессии ищется с помощью метода наименьших квадратов. Его суть в том, что сумма квадратов разницы между величинами, вычисленными по уравнению, и действительными значениями должна быть минимальна. Полученное уравнение используется для оценки неверных значений. Зная функцию регрессии, в уравнение подставляют известные переменные и по ним вычисляют значение, в котором была обнаружена ошибка (аномалия или пропуск). Таким образом, данная функция позволяет заменить пропущенное значение наиболее подходящей величиной.

Как известно, между весом, ростом, полом и возрастом человека существует определенная взаимосвязь. Значит, для очистки таких полей можно использовать корреляционно-регрессионный метод.

Приведем таблицу с данными о весе, росте и возрасте женщин-респондентов (таблица 8).

Таблица 8 – Зависимость между весом, ростом и возрастом женщин-респондентов

📎📎📎📎📎📎📎📎📎📎