Що таке missing data: просте пояснення з прикладами

Уявіть опитування на 20 запитань, яке заповнили тисяча людей. Частина респондентів пропустила питання про дохід, хтось не вказав вік, а кілька анкет взагалі обірвалися на середині. Коли аналітик відкриває таблицю, він бачить не суцільні рядки чисел, а решето з порожніх комірок. Саме ці порожнечі в аналітиці називають missing data — пропущеними даними, і від того, як із ними поводитися, залежить, чи можна довіряти підсумковим рейтингам, графікам і висновкам.

Що таке missing data простими словами

Missing data — це ситуація, коли для певного спостереження немає значення в одному або кількох полях набору даних. Простими словами: у таблиці є місце для відповіді, але відповіді там немає. У файлі це може виглядати як порожня комірка, позначка NA, NaN, null або технічний код на кшталт «-99», яким раніше замінювали відсутні значення.

Важливо відрізняти пропуск від нуля. Нуль — це конкретне значення («кількість дітей: 0»), а пропуск означає, що ми просто не знаємо відповіді. Плутанина між цими двома станами — одна з найпоширеніших помилок початківців, і вона здатна спотворити будь-який розрахунок. Якщо десять опитаних не відповіли на питання про заощадження, а ви записали їм нулі, середнє по вибірці штучно просяде, і вся подальша інфографіка будуватиметься на хибній основі.

Значення цього терміна виходить далеко за межі статистичних підручників. Пропуски зустрічаються скрізь: у медичних реєстрах, де пацієнт не здав один із аналізів; у вебаналітиці, де скрипт не спрацював на частині сесій; у фінансовій звітності, де компанія не розкрила окремий показник. Тому питання «missing data що це і як із цим жити» постає перед журналістами, маркетологами, дослідниками і всіма, хто готує рейтинги чи візуалізації на основі реальних даних.

Звідки беруться пропуски: типові причини

Перш ніж щось робити з пропусками, потрібно зрозуміти, чому вони виникли. Причина пропуску — це не дрібниця, а ключ до вибору правильного методу обробки. Найчастіші джерела пропущених значень такі:

• Людський фактор. Респондент відмовився відповідати, втомився від довгої анкети, не зрозумів питання або випадково його пропустив. Чутливі теми — дохід, здоров’я, політичні погляди — пропускають помітно частіше за нейтральні.
• Технічні збої. Датчик тимчасово вимкнувся, сервер не записав частину подій, форма на сайті не передала поле через помилку в коді. Такі пропуски зазвичай мають чіткий часовий або системний патерн.
• Об’єднання джерел. При зведенні таблиць із різних систем одні колонки існують в одному джерелі, але відсутні в іншому. Результат — цілі блоки порожніх комірок після злиття.
• Конструкція дослідження. Іноді питання просто не ставилося частині учасників: наприклад, розгалужена анкета, де підгрупа відповідей логічно не потрібна. Це заплановані пропуски, і обробляти їх треба інакше, ніж випадкові.
• Втрата даних на етапі обробки. Пошкоджений файл, невдалий експорт, обрізання історичних записів — класичні сценарії в реальних робочих процесах.

Практична порада: перед будь-яким аналізом порахуйте частку пропусків у кожній колонці й подивіться, чи немає в їхньому розподілі закономірності. Якщо 40% пропусків про дохід припадає на одну вікову групу — це вже не випадковість, а сигнал, який треба враховувати в методології.

Три типи пропусків: MCAR, MAR і MNAR

У методології даних прийнято класифікацію, яку запропонували статистики Дональд Рубін і Родерік Літтл. Вона ділить пропуски на три типи залежно від механізму їхнього виникнення, і саме ця класифікація визначає, наскільки небезпечні пропуски для висновків.

MCAR — пропуски повністю випадкові

Missing Completely at Random означає, що факт пропуску не пов’язаний ні з чим: ні зі значенням самої змінної, ні з іншими характеристиками. Класичний приклад — лаборантка випадково розлила кілька пробірок із загальної партії. Втрачені дані не відрізняються від збережених, тому аналіз без них дає незміщені, хоч і менш точні результати. На практиці чистий MCAR зустрічається рідко, але це найбезпечніший сценарій.

MAR — пропуски, які пояснюються іншими змінними

Missing at Random — ситуація, коли пропуск залежить від даних, які ми знаємо, але не від самого пропущеного значення. Приклад: чоловіки в опитуванні рідше відповідають на питання про витрати на косметику. Стать ми знаємо, тому можемо змоделювати й компенсувати пропуск на основі інших відомих полів. Більшість статистичних методів імпутації розраховані саме на цей тип, і в реальних дослідженнях MAR — найпоширеніше робоче припущення.

MNAR — пропуски, які залежать від самого значення

Missing Not at Random — найважчий випадок: пропуск пов’язаний із тим значенням, якого ми не бачимо. Люди з дуже високими або дуже низькими доходами частіше приховують дохід. Пацієнти з гіршим станом частіше пропускають контрольні візити. Тут проста заміна середнім системно спотворить результат, бо відсутні значення принципово відрізняються від наявних. З MNAR працюють через спеціальні моделі, залучення додаткових даних або чесне зазначення обмеження у висновках.

Як пропуски впливають на рейтинги та інфографіку

У проєктах формату «рейтинги та інфографіка» missing data — це не абстрактна проблема статистики, а пряма загроза достовірності публікації. Уявіть рейтинг шкіл за середнім балом тестів: якщо в частині закладів результати неповні, їхні позиції в таблиці відображають не якість освіти, а структуру пропусків. Школа, що передала дані лише за сильні класи, формально виглядатиме кращою за ту, що надала повний масив. У таких проєктах важливо не лише коректно обробляти пропуски, а й уміти перетворювати відкриті дані на зрозумілі матеріали, про що йдеться в темі дані рейтинги інфографіка.

Друга пастка — візуальна. На графіку пропуски або зникають, створюючи хибне відчуття суцільного ряду, або перетворюються на нулі, ламаючи масштаб. Лінійний графік із розривами і той самий графік, де пропуски «заштопані» інтерполяцією, розповідають різні історії, хоча побудовані на одних даних. Тому головне правило візуалізації звучить так: пропущені дані мають бути видимі як пропущені, а не замасковані під наявні. Позначте розриви, додайте примітку про частку неповних записів, і читач зможе сам оцінити надійність картинки.

Третій ризик стосується порівнянь. Коли ви рахуєте середнє, медіану чи частку по групах із різним рівнем повноти даних, прості формули мовчки дають групам з пропусками неявну «поправку». Рейтинг країн за рівнем щастя, корпоративний дашборд, медійний індекс довіри — усі ці продукти чутливі до того, як автори обробили missing data ще до того, як сіли малювати діаграму.

Основні методи обробки missing data

Універсального рецепта немає — вибір методу залежить від типу пропусків, їхньої кількості й завдання аналізу. Але практичний арсенал виглядає так.

Видалення

Найпростіший шлях — прибрати рядки або колонки з пропусками. Це виправдано, коли пропусків мало (орієнтовно до кількох відсотків), вони типу MCAR, а вибірка велика. Мінус очевидний: ми викидаємо корисну інформацію з решти полів видалених рядків і ризикуємо отримати зміщену вибірку, якщо пропуски не були випадковими. Видаляти колонку варто, коли вона порожня на значну частину й не є критичною для висновків.

Проста імпутація

Заміна пропуску типовим значенням: середнім, медіаною або модою. Медіана зазвичай краща за середнє для даних із викидомами — наприклад, для доходів. Метод швидкий і зрозумілий, але має вади: він штучно зменшує варіабельність даних і рве зв’язки між змінними. Для чорнової розвідки це прийнятно, для фінальних рейтингів — сумнівно.

Імпутація на основі інших змінних

Складніші підходи прогнозують пропущене значення за рештою даних: регресійна імпутація, метод k найближчих сусідів, множинна імпутація (multiple imputation), де створюють кілька версій заповненого набору й оцінюють невизначеність. Ці методи коректніші при MAR, але вимагають статистичної грамотності й перевірки припущень.

Алгоритми, стійкі до пропусків

Деякі моделі машинного навчання, зокрема дерева рішень і градієнтний бустинг, уміють працювати з пропусками напряму, трактуючи їх як окремий стан. Іноді корисно створити додаткову змінну-індикатор «було значення чи ні» — сам факт пропуску може нести інформацію, особливо при MNAR.

Документування замість «ремонту»

У журналістських і дослідницьких проєктах часто найчесніший метод — не заповнювати пропуски взагалі, а прямо вказати в методології: скільки даних бракує, де саме і як це впливає на висновки. Довірча примітка в рейтингу цінніша за ілюзію повноти.

Приклади missing data з практики

Кілька типових сценаріїв допоможуть побачити, як missing data працює в реальних задачах.

Сценарій перший: соціологічне опитування. З 1200 респондентів 15% не вказали дохід. Аналіз показує, що серед них переважають люди старшого віку. Це MAR: пропуск пов’язаний із відомою змінною — віком. Рішення — імпутація всередині вікових груп або розрахунок підсумкових показників з поправкою на структуру вибірки, а не просте видалення 180 анкет.

Сценарій другий: метеостанція. Датчик вологості зламався на три дні під час грози. Пропуски не пов’язані зі значеннями вологості — це близько до MCAR. Тут допустима інтерполяція між сусідніми днями, але на графіку ці три точки варто позначити як відновлені.

Сценарій третій: відгуки клієнтів. Покупці, які залишилися незадоволені, частіше не заповнюють поле «чи порекомендуєте ви нас друзям». Пропуск залежить від прихованої відповіді — класичний MNAR. Якщо проаналізувати лише заповнені поля, лояльність клієнтів вийде завищеною. Правильне рішення — врахувати сам факт мовчання як сигнал і повідомити про це у висновках.

Сценарій четвертий: зведений рейтинг. Редакція будує рейтинг міст за якістю життя, але два показники з десяти відсутні для частини міст. Механічне усереднення наявних показників дає містам з неповними даними нечесну перевагу або штраф. Методологічно грамотний вихід — зважування з урахуванням повноти даних або винесення таких міст в окрему категорію «недостатньо даних».

Як перевірити дані на пропуски: короткий алгоритм

Наведена нижче послідовність — універсальний мінімум перед будь-яким аналізом, рейтингом чи візуалізацією:

1. Порахуйте кількість і відсоток пропусків у кожній змінній окремо, а не лише загалом по таблиці.
2. Побудуйте карту пропусків: візуально або таблично подивіться, чи кластеризуються вони за часом, групами чи джерелами даних.
3. Перевірте гіпотезу про механізм: чи відрізняються записи з пропусками від повних за іншими відомими ознаками.
4. Переконайтеся, що технічні коди (нуль, «-99», «н/д») не маскуються під справжні значення.
5. Обирайте метод обробки, виходячи з типу пропусків і завдання, а не зі зручності інструмента.
6. Проведіть аналіз чутливості: порівняйте результати до й після обробки, щоб зрозуміти, наскільки висновки залежать від вашого рішення.
7. Зафіксуйте в методології, скільки даних було пропущено і що ви з ними зробили.

Цей порядок дій займає від півгодини до одного робочого дня залежно від набору даних, але саме він відділяє аналітику, якій можна довіряти, від чисел, зібраних навмання.

Поширені запитання

Чи можна просто замінити всі пропуски нулями?

Майже ніколи. Нуль — це конкретне значення, а не відсутність інформації. Така заміна спотворює середні, кореляції та рейтинги. Виняток — випадки, коли пропуск за логікою даних справді означає нуль, наприклад відсутність транзакції в обліку продажів.

Скільки пропусків вважається критичним?

Універсального порогу немає. Орієнтир у кілька відсотків випадкових пропусків зазвичай некритичний, а при 20–30% потрібні аргументовані методи обробки. Але важливіша не кількість, а структура: навіть 5% пропусків типу MNAR здатні зруйнувати висновки.

Що краще: видалити рядки чи заповнити пропуски?

Видалення простіше й безпечніше при малій кількості випадкових пропусків. Імпутація зберігає обсяг даних і коректніша при системних пропусках, але вимагає перевірки припущень. У відповідальних публікаціях часто комбінують: аналізують обидва варіанти й звіряють результати.

Чи потрібно показувати пропуски на інфографіці?

Так. Розрив на графіку або примітка про неповні дані — це не недолік роботи, а ознака чесної методології. Приховані пропуски створюють у читача хибну впевненість у точності картинки.

Що варто запам’ятати перед роботою з даними

Missing data — це не технічна дрібниця, а частина самих даних: пропуски майже завжди щось означають. Ключова теза, яку варто тримати в голові: спочатку з’ясуйте, чому даних немає, і лише потім вирішуйте, що з ними робити. Видалення, імпутація чи чесне документування — усе це робочі інструменти, але вони працюють лише тоді, коли обрані свідомо, з розумінням механізму пропусків. А для всіх, хто готує рейтинги та інфографіку, є ще одне просте правило: читач має право знати, наскільки повною була картина до того, як її перетворили на красиву діаграму.