Пропущенные и ошибочные данные в клинических исследованиях: влияние на получаемый результат и способы предупреждения

Введение

Под пропущенными, или неполными, данными (missing data) в самом общем смысле понимают отсутствие значений в наборе данных, которые должны были быть зарегистрированы в научном исследовании. Под ошибочными данными (incorrect data) понимают неверные данные, которые возникли либо при заполнении первичной документации, либо при введении информации в системы электронного накопления и обработки данных.

Понятно, что наличие как пропущенных, так и ошибочных данных может исказить результаты последующего анализа научного исследования. В клинических исследованиях (КИ) наличие пропущенных и ошибочных данных особенно опасно, т.к. при статистической обработке оно может исказить полученный результат и, соответственно, привести к ошибочным выводам.

Пропущенные данные

С одной стороны, значимость проблемы пропущенных данных в медицине обсуждается в течение нескольких десятков лет [1][2], с другой стороны, до сих пор большинство исследователей при проведении КИ игнорирует их наличие и соответственно идет (вольно или невольно) на искажение получаемого результата. Хорошо известно, что пропущенные данные встречаются в КИ любого типа: рандомизированных, эпидемиологических, клинических наблюдательных [3][4], однако, в последних эта проблема является наиболее острой, т.к. в них включается относительно небольшое число пациентов. Поэтому значимость каждого пациента может иметь большое значение.

Причины пропущенных данных могут быть различны, их подробное описание не входит в задачи данной публикации. Условно их подразделяют на полностью случайные, частично случайные, неслучайные [5][6]. Последние представляют наибольшую опасность для исследователя, т.к. приводят к так называемому смещению полученного результата [6][7]. Неслучайные пропущенные данные не всегда могут быть выявлены исследователем, этот факт в еще большей мере увеличивает риск их отрицательного влияния на получаемый результат. На рисунке 1 показано, как выглядят пропущенные данные в одном из регистров острого коронарного синдрома (ОКС) "СТОКС" (Ступинский регистр ОКС, зарегистрирован на сайте ClinicalTrials.gov NCT06845384) в таблице EXCEL (пропущенные данные выделены желтым цветом). Хорошо видно, что некоторые клетки после ввода информации так и остались пустыми. В некоторых клетках стоит цифра "9", обозначая отсутствие данных по определенному показателю. Нетрудно догадаться, что в ряде случаев имеют место случайно пропущенные данные, которые в принципе можно восполнить (см. ниже). В других случаях, например, когда больной умер, изучаемые показатели восполнить невозможно.

Известно, что ряд методов статистической обработки данных нельзя использовать, если набор данных содержит пустые ячейки. Однако далеко не все исследователи (в т.ч. профессиональные статистики) знают, что именно по этой причине некоторые крупные статистические программы (например, SAS, SPSS) изначально настроены на исключение лиц с пропущенными данными из анализа [7-10]. Нетрудно понять, что при обработке результатов КИ это может привести к потере важнейшей информации и существенно повлиять на достоверность полученного результата, о чем исследователь может даже не догадываться.

По правилам проведения любых исследований (не только в области медицины) исследователь заранее должен определить, что он будет делать с отсутствующими данными при вводе полученной информации, чтобы не оставлять пустых ячеек. Для дихотомических признаков, т.е. тех, которые могут принимать только два значения — "да" (обычно кодируется как "1") или "нет" (обычно кодируется как "0"), как правило, должен предусматриваться третий вариант ответа — "неизвестно" (обычно кодируется как "9"). К сожалению, это правило сплошь и рядом нарушается, пункт "неизвестно" часто вообще обходят стороной. Это приводит к заведомому искажению данных, т.к. вынуждает заполняющего карту исследователя вводить неверные данные (особенно если система не позволяет оставлять незаполненные клетки).

Стоит напомнить, что целый ряд методов статистического анализа, например, метод парных сравнений Стьюдента, бинарная логистическая регрессия (один из наиболее часто используемых методов анализа в КИ), в принципе не приемлют включение в анализ более чем двух значений одного признака, поэтому указанный выше способ (введение пункта "неизвестно") для этих методов абсолютно не подходит. При расчетах программы автоматически "выбрасывают" как клетки с пустыми значениями, так и клетки с данными "неизвестно". Любопытно, что многие исследователи об этом даже не догадываются, хотя при этом полученный результат может быть очень далек от истинного.

В то же время, некоторые методы статистического анализа допускают наличие неполных данных, что является очень важным при проведении проспективных исследований и их последующем анализе. Такое возможно, например, при оценке выживаемости больных. Хорошо известный метод регрессионного анализа Кокса (Cox regression model) вполне допускает, что данные об исходе для ряда пациентов будут неизвестны (так называемые цензурированные данные) [10-14].

Основные типы пропущенных данных в КИ

В КИ пропущенные данные можно условно разделить еще на две категории: когда полностью отсутствуют данные о конкретном пациенте (в т.ч. неизвестен его жизненный статус) и когда у конкретного пациента отсутствуют данные о некоторых показателях (например, нет данных об уровне холестерина).

"Потерянные" пациенты

"Потерянные", или выпавшие из-под наблюдения, пациенты играют особую роль в проспективных КИ. Потеря больных, особенно при длительных сроках наблюдения, — обычное и почти неизбежное явление [15]. В англоязычной литературе укрепился специальный термин — LTFU (lost to follow-up) [16], обозначающий выпавших из-под наблюдения больных. Число "потерянных" пациентов обычно (но далеко не всегда) прямо связано с длительностью наблюдения. "Потеря" больных объясняется как чисто медицинскими причинами (нежелание контактировать с врачом, отсутствие приверженности назначенному лечению и пр.), так и общими причинами (смена номера телефона, места жительства и т.д.). Важно, чтобы доля "потерянных" больных не превышала определенного процента от всех включенных больных (см. ниже).

Кроме того, необходимо убедиться, отличаются ли "потерянные" больные по своим исходным характеристикам от больных, жизненный статус которых известен. Если такое различие обнаружено, становится очевидным, что потеря больных является не случайной (см. выше), в таком случае анализ выживаемости может быть заведомо дефектным [17].

Несмотря на важность отмеченных выше закономерностей, далеко не все исследователи считают нужным сообщать о "потерянных" больных. Между тем, хорошо известно, что "теряются" обычно больные, отличающиеся от сохранивших контакт с исследователем больных [18]. В первую очередь, это лица с пониженным социальным статусом, пациенты, не склонные выполнять назначения врача [19][20], и т.д.

Клинические регистры, в которые происходит сплошное (а не селективное) включение больных, особенно чувствительны к "потерям" больных. Поиск "потерянных" больных нередко является сложной задачей. Так, например, в одном из международных рандомизированных контролируемых исследований с длительным периодом наблюдения не удавалось установить контакт по телефону с одной из наблюдавшихся больных. Настойчивые поиски, в т.ч. в Единой медицинской информационной системе (ЕМИАС), не приносили желаемого результата. Лишь при активном посещении сотрудниками поликлиники квартиры, в которой проживала больная, удалось установить факт ее смерти несколько месяцев назад.

Четких нормативов, какое количество потерянных больных допустимо в проспективных КИ, не существует. По мнению разных исследователей, эта доля колеблется от 5 до 15% [17]. Очевидно, что при значительных потерях анализ полученных результатов будет некорректным. Несмотря на это, некоторые исследователи считают возможным проводить анализ при значительно меньшем отклике, в итоге получая результат, далекий от реального [21].

Пропущенные данные у отдельных пациентов

Существует мнение, что в проспективных КИ пропущенных данных быть не может, однако это утверждение очень далеко от истины, особенно когда речь идет о наблюдательных КИ. Потерянные или пропущенные данные являются неизбежным спутником любого наблюдательного КИ. Как отмечалось выше, пропущенные данные обычно относят к трем видам: случайно пропущенные, частично случайно пропущенные и неслучайно пропущенные. Если первые два вида пропущенных данных в принципе можно восполнить путем тщательного поиска недостающей информации, расспроса пациентов, лечащих врачей, то третий вид пропущенных данных вообще невосполним. Например, в течение какого-то определенного времени в данном лечебном учреждении по определенной причине при ОКС не выполнялся анализ крови на высокочувствительный тропонин. Естественно, данные об этом показателе не могут быть восполнены никогда. Другой пример: мы никогда не сможем восполнить данные о приверженности к назначенному лечению умерших больных.

Ошибочные данные (incorrect data)

Борьба с ошибочными данными в первую очередь должна начинаться с контроля первичной медицинской документации [22]. Широкое внедрение метода электронных карт, как при проведении КИ, так и в практическом здравоохранении, существенно усложняет поставленную задачу, т.к. нередко такие данные сразу попадают в электронные базы данных, где их выявить гораздо сложнее. Существуют определенные алгоритмы предупреждения введения ошибочных данных (например, система не позволит ввести нереальные значения года рождения или резко отклоняющиеся от нормальных значения какого-либо биохимического показателя). Понятно, однако, что эти алгоритмы в принципе не могут предусмотреть всех вариантов ввода ошибочных данных (например, когда вместо данных одного пациента вводят данные другого).

Аналогичные алгоритмы существуют и при анализе результатов уже введенных данных. Истинность некоторых показателей и в этом случае может быть установлена только при непосредственной проверке уже введенных данных. Существует так называемая система выборочного аудита, когда проверяют достоверность всех уже введенных данных какого-то одного случайно выбранного пациента. К сожалению, при описании протоколов КИ и оценке их результатов большинство исследователей не считает нужным упоминать об использовании (или о неиспользовании) методов контроля за ошибочно введенными данными.

Подложные данные (fake data)

К сожалению, в публикациях, посвященных различным проблемам медицины, не обходится без так называемых подложных данных. Известные специалисты по доказательной медицине BW Mol и J Ioannidis в редакционной статье сообщают о том, что за последние несколько лет более чем в 800 статьях, представленных для публикации в крупные медицинские рецензируемые журналы, были выявлены те или иные признаки подлога. Из этих статей 80 были впоследствии отозваны из-за различных проблем с достоверностью опубликованных результатов [23]. Такие исследования стали называть "зомбированными" (zombie trials) [24]. Случаи отзыва уже опубликованных статей из-за сомнений в достоверности полученных в них результатов в российских медицинских журналах неизвестны.

Способы борьбы с пропущенными данными

Как бороться с "потерями" больных

Никаких способов замещения (см. ниже) "потерянных" больных в принципе не существует. Невозможно заниматься и их "предупреждением", т.к. такие попытки (например, с помощью ужесточения критериев включения) всегда приводят к формированию селективных групп больных, существенно отличающихся от реальной клинической практики [25].

Заранее можно информировать пациента (и получить у него информированное согласие) о возможных контактах после выписки из стационара. Такой шаг, безусловно, повысит отклик больных при проспективном наблюдении. Настойчивые поиски потерянных больных с использованием разных источников информации, способны улучшить результат. Например, в регистре ЛИС-3 (Люберецкое исследование смертности больных, перенесших острый инфаркт миокарда) первоначальный отклик при проспективном наблюдении больных, перенесших ОКС, составил всего 60,5% (по телефонному опросу). Поскольку такой отклик не может считаться достаточным для анализа, была сделана попытка выяснить жизненный статус не откликнувшихся больных с помощью различных баз данных, а также путем знакомства с документацией поликлиник, к которым были прикреплены "потерянные" больные. Эти меры позволили повысить отклик до 87,2% [26], после чего был проведен окончательный анализ полученных результатов.

Следует помнить, что далеко не все источники сведений о больных содержат клинически значимую информацию. Так, оценка посмертных диагнозов с помощью свидетельств о смерти, выданных отделами ЗАГС, может привести к совершенно неправильным выводам, поскольку в них указывается обычно лишь непосредственная причина смерти, и то не всегда правильная. Данная проблема была особенно актуальной в период минувшей пандемии новой коронавирусной инфекции (COVID-19 — COrona VIrus Disease 2019), когда многим пациентам, умершим от сердечно-сосудистых заболеваний, присваивали посмертный диагноз COVID-19.

Как бороться с пропущенными данными у отдельных больных

Для крупных баз данных и основанных на них регистрах используют различные способы замещения (imputation) [27][28]¹. Существует несколько способов такого замещения, использующихся в самых различных областях науки [29-31], описание которых не входит в задачи данной публикации. Несложно понять, что в клинических регистрах (т.е. тех, где имеется непосредственный контакт исследователя с больным), в которые включаются обычно несколько сотен больных, отсутствие сведений о каждом больном может привести к существенному смещению результатов, особенно в тех случаях, когда отсутствующие данные являются неслучайными [9][10]. Поэтому для небольших клинических регистров такие методы ни в коем случае нельзя назвать приемлемыми.

Наиболее реалистичным методом борьбы с пропущенными данными отдельных пациентов является попытка их восполнения [32]. Впервые такая попытка в российских регистрах была предпринята нами в регистре ТАРГЕТ-ВИП (Проспективный госпитальный регистр больных с предполагаемыми или подтвержденными коронавирусной инфекцией COVID-19 и внебольничной пневмонией), куда включались больные, госпитализированные с острой коронавирусной инфекцией [33]. Отсутствующие в историях болезни данные оперативно восполнялись клиническими ординаторами во время нахождения больных в стационаре, а после выписки из стационара — курирующими регистр врачами с помощью телефонного контакта. Понятно, что даже такая система не может восполнить всех отсутствующих данных, особенно тех, которые отсутствовали неслучайно, но уменьшить их количество может вполне.

Оценка упоминания о "потерянных" больных и пропущенных данных в российских регистрах ОКС

В настоящей работе была предпринята попытка изучить проблему "потерянных" больных и пропущенных данных на примере ОКС. ОКС является особым состоянием, при котором получить все данные о больном даже в проспективных исследованиях в принципе не представляется возможным. Объясняется это достаточно просто: тяжесть состояния многих больных при поступлении в стационар часто не позволяет получить важнейшую для врача информацию (время начала ангинозного приступа, лекарственный анамнез, наличие сопутствующих заболеваний и пр.), которая является необходимой для принятия врачебных решений. Тем не менее, мы регулярно видим, что сведения о невозможности сбора упомянутых данных игнорируются исследователями при интерпретации полученных результатов.

Поэтому задачей проводимого в данной работе анализа было оценить, насколько полно в отечественных регистрах ОКС отражена проблема пропущенных данных и соответственно, как это могло повлиять на сделанные в исследовании выводы.

В анализ были включены все отечественные исследования ОКС, отвечающие требованиям регистров [9][10]. Кроме того, в анализ включены два исследования, не отвечающие требованиям регистров, в которых могла содержаться важная информация о данных, полученных при поступлении больных ОКС в стационар и их лечении в стационаре, а также при их дальнейшем наблюдении, если КИ было проспективным. Полученные результаты представлены в таблице 1.

Необходимость упоминания о пропущенных данных и способах их замещения большинство исследователей полностью игнорирует [34-41] (таблица 1). В некоторых исследованиях [42] есть информация, что при вводе данных система не позволяла вводить "конфликтующие и подложные" данные, однако невозможно понять, как это могло быть реализовано на практике. В ряде исследований [21][43-45] отмечается, что больные с недостаточным или неполным объемом данных были просто исключены из анализа. Об опасности такой практики для сделанных в исследовании выводов упоминают многие исследователи [27][46].

Что касается "потерянных" при проспективном наблюдении больных, то в некоторых исследованиях [36][38] упоминание о них просто отсутствует. В тех же исследованиях, где такие цифры приводятся [21][37], доля "потерянных" больных может достигать 75% (!), что не позволяет рассматривать сделанные в них выводы как вытекающие из полученных результатов. Лишь в некоторых проспективных регистрах [34][41][45][47][48] доля "потерянных" больных не превышала установленных значений, поэтому результаты проведенного в них анализа можно признать корректными.

Как могут повлиять пропущенные данные на полученный результат при оценке течения ОКС

Прямыми примерами, демонстрирующими ответ на поставленный вопрос, мы пока не располагаем. Однако проводимый в настоящее время проспективный регистр ОКС "СТОКС" (Ступинский регистр ОКС, зарегистрирован на сайте ClinicalTrials.gov NCT06845384) показал, что среди больных ОКС, поступающих в региональный сосудистый центр, ~ у 15% больных данные о таком важнейшем показателе, как время возникновения ангинозной боли, вообще не могут быть получены даже при активном расспросе врача. Можно представить, как были искажены данные о таком показателе, как время, прошедшее от начала ангинозной боли до поступления больного в стационар, в тех регистрах, где о пропущенных данных не упоминалось.

Заключение

Пропущенные данные часто встречаются в КИ, посвященных изучению ОКС, они могут существенно повлиять на полученный результат. Однако большинство исследователей не считает нужным упоминать о пропущенных данных и способах их предупреждения. Лучшим способом восполнения пропущенных данных является ступенчатая система контроля за ними. Доля выпавших из-под наблюдения больных при проспективном наблюдении не должна превышать 5-15%, независимо от доли потерянных больных необходимо сравнивать их исходные клинико-демографические характеристики с теми больными, с которыми установлен контакт.

Отношения и деятельность: автор заявляет об отсутствии потенциального конфликта интересов, требующего раскрытия в данной статье.