Эффективность нейросетевого прогноза фатального события при использовании общепринятых факторов риска по данным тридцатилетнего проспективного наблюдения

Введение

В течение половины века концепция факторов риска (ФР) имеет основополагающее значение для клинической эпидемиологии, профилактической медицины и их практических приложений [1][2]. Уточнение прогноза нежелательных событий возможно как посредством обнаружения и изучения новых ФР [3][4], так и путем совершенствования анализа дожития с использованием известных традиционных ФР. Последний подход имеет ряд преимуществ, в частности обусловленных наличием накопленной за значительное время базы знаний.

Исследовали связи общепринятых ФР с вероятностью фатального исхода по данным длительного проспективного наблюдения в крупных популяционных исследованиях: российской части ис­следования Липидных клиник и исследовании по­пуляции США NHANES III (National Health and Nu­tri­ti­on Exa­mination Survey III). В серии предшествующих статей [5-7] на этом материале нами показано, что по данным об изученных ФР прогноз фатального события при сроках наблюдения до 40 лет с использованием искусственных нейронных сетей (ИНС) в принципе возможен. При этом связи ФР с исходом в значительной мере носят сложный и нелинейный характер, поскольку среди исследованных типов ИНС стабильно лучшие результаты показали многослойные персептроны с относительно большим количеством нейронов, успешно моделирующие сложные нелинейные зависимости [5]. Значимость практически всех изученных ФР у мужчин и женщин в нейросетевых моделях прогноза возрастает при увеличении времени наблюдения от 10 до 30 лет.

Цель — изучить максимально достижимую про­гностическую эффективность нейросетевых моделей для оценки вероятности фатального исхода при использовании доступных ФР при сроке проспективного наблюдения 30 лет.

Материал и методы

Российские данные получены в одномоментном популяционном исследовании 1975-1982гг в Институте профилактической кардиологии Всесоюзного кардиологического научного центра АМН СССР, в настоящее время Национальный медицинский исследовательский центр терапии и профилактической медицины Минздрава России (НМИЦ ТПМ) [8] с проспективным наблюдением за смертностью по состоянию на 2017г, продолжительность наблюдения до 42 лет. В анализ включены 13263 мужчины и 5691 женщина в возрасте 18-82 лет с непропущенными значениями всех изученных показателей, с общим количеством "человеко-лет" наблюдения 456269.

Для сравнения использовали общедоступные данные исследования неорганизованной популяции гражданского населения США NHANES III 1988-1994гг с про­спективным наблюдением за смертностью до 2019г¹ про­должительностью до 31 года. Описание исследования доступно на сайте The National Center for Health Statistics (NCHS)². В настоящий анализ включены результаты обследования лиц белой расы в возрасте 18-90 лет (3606 мужчин и 2199 женщин, всего 120791 "человеко-лет" наблюдения).

Анализировали пол, возраст и величины показателей, характеризующих ряд ФР хронических неинфекционных заболеваний: артериальной гипертензии и гипотензии, частоты сердечных сокращений, концентраций в сыворотке крови общего холестерина (ХС), ХС липопротеинов высокой плотности (ЛВП), триглицеридов, индекса массы тела, статусов курения и образования.

Для оценки нарушений регуляции артериального давления (АД) использовали три количественные переменные: систолическое, диастолическое АД (САД, ДАД) и рассчитанную по формуле Хикэма величину среднего динамического АД. Использовали также две номинативные переменные: 1) индикатор артериальной гипертензии (номинативная переменная с двумя значениями) — если САД и (или) ДАД в момент обследования >139 и (или) 89 мм рт.ст., соответственно; 2) индикатор артериальной гипотензии (разработанный нами ранее критерий прогностически неблагоприятной артериальной гипотензии, номинативная переменная с двумя значениями) — если величина среднего динамического АД меньше пограничной величины, которая в российской популяции составляет 70 мм рт.ст. для мужчин и 68 мм рт.ст. для женщин, в популяции США соответствующие величины 76 и 72 мм рт.ст. [9].

Характеризующая статус курения номинативная переменная имела два значения — никогда не курил или бросил курить/курит в настоящее время. Характеризующая статус образования номинативная переменная имела два значения — образование не выше среднего/выше среднего.

В предшествующей публикации [6] обоснован выбор 30-летнего срока наблюдения как наиболее информативного из имеющихся в нашем распоряжении для российской когорты. Повторение такого анализа для когорты США дало схожий результат, поэтому далее будем рассматривать именно 30-летнее наблюдение.

Смерть от всех причин при сроке наблюдения 30 лет использовали в качестве конечной точки.

Исследование выполнено в соответствии с принципами Хельсинкской декларации.

Статистический анализ. Использовали свободно распространяемое программное обеспечение и пробные версии продуктов компаний IBM Corp. и StatSoft, Inc.

Строили нейросетевые модели зависимости вероятности фатального события (смерти от всех причин) от ФР, использовали полносвязные ИНС с прямым распространением сигнала [10].

Модели представляли собой ИНС-классификаторы типа 3-слойный персептрон с одним промежуточным слоем. В качестве входных элементов ИНС использовали характеризующие ФР показатели, включавшие 12 переменных, из них 8 количественных (возраст, САД, ДАД, частота сердечных сокращений, индекса массы тела, концентрации в сыворотке крови ХС общего и ХС ЛВП, триглицеридов) и 4 номинативных (статусы курения, образования, индикаторы артериальной гипертензии и артериальной гипотензии). Выходной элемент ИНС представлял собой псевдовероятность отнесения данного наблюдения к одному из двух классов: 1) умер от любой причины в течение 30 лет наблюдения, 2) жив либо сведения отсутствуют.

Модели зависимости вероятности фатального исхода от совокупности ФР строили раздельно для мужчин и женщин Российской Федерации (РФ), мужчин и женщин США, для срока наблюдения 30 лет, всего 4 объекта анализа. Для каждого из объектов обучали 1000 ИНС типа 3-слойный персептрон, среди которых отбирали 500 лучших ИНС.

Для каждой когорты ИНС обучали дважды. Первый раз — все доступные наблюдения включали в обу­чающую выборку, результаты представлены в 1 строке рисунка (1А-1Г). Второй раз обучение ИНС производилось на 70% наблюдений, 15 и 15% наблюдений использовали в качестве верифицирующей и тестовой подвыборок, для каждой ИНС разбивка на три указанные подвыборки производилась заново случайным образом. Верифицирующая подвыборка использовалась для проверки результатов обучения, тестовая в процессе обучения не участвовала, она использовалась однократно после завершения обучения для оценки экстраполирующей возможности окончательного варианта обученной ИНС (строка 2 рисунка, 2А-2Г).

Для оценки прогностической эффективности моделей и их сравнения для каждой ИНС строили ROC-кривую (Receiver Operator Characteristic), по совокупности этих кривых для 500 лучших ИНС рассчитывали площади под ROC-кривыми (AUC ROC) и стандартное отклонение средней величины AUC ROC.

Результаты

Описательные статистики, характеризующие включенные в модели переменные, представлены в предшествующей публикации [11].

Прогностическую эффективность модели оценивали по ROC-кривой. Для каждого объекта анализа строили 1000 моделей с автоматическим отбором 500 лучших (с наименьшими ошибками), для каждого варианта модели строили ROC-кривую. Так получали совокупность (облако) ROC-кривых.

На рисунке представлены облака ROC-кривых при обучении моделей на всех имеющихся наблюдениях в каждой из 4-х когорт (строка 1, А-Г). ROC-кривые характеризуют модели прогноза для когорт мужчин РФ (А), женщин РФ (Б), мужчин США (В) и женщин США (Г). Модели используют, по существу, все доступные независимые (входные) переменные: возраст, САД, ДАД, частота сердечных сокращений, концентрации ХС общего и ХС ЛВП, триглицеридов, индекса массы тела, а также номинативные переменные с двумя значениями каждая, характеризующие статусы курения, образования, наличие артериальной гипертензии и артериальной гипотензии. Вклад отдельных переменных был описан ранее [7]. Не использовались количественные переменные, которые однозначно рассчитываются из САД и ДАД, ХС общего и ХС ЛВП. Из характеризующих наличие артериальной гипертензии и артериальной гипотензии переменных с учетом результатов опубликованных ранее работ использованы описанные выше варианты индикаторов артериальной гипертензии и гипотензии [7][9].

Помимо обучения ИНС на всех доступных наблюдениях было проведено обучение аналогичных моделей на 70% наблюдений, отобранных случайным образом. Еще 15% наблюдений использовали для верифицирующей подвыборки для контроля процесса обучения. Последние 15% наблюдений использовали для тестовой подвыборки, никак не участвовавшей в процессе обучения ИНС, облака ROC-кривых для этих наблюдений представлены в строке 2 рисунка. Из сравнения со строкой 1 видно, что средние AUC ROC несколько уменьшились, но это не носит принципиального характера.

Обсуждение

Представленные в строке 1 рисунка ROC-кривые отражают максимально достижимую прогностическую эффективность изучаемых нейросетевых моделей, поскольку модели обучали на всех доступных наблюдениях и результаты оценивали на этой же выборке. Следует отметить, что прогностическая точность моделей весьма высокая — усредненные AUC ROC для когорт РФ и США превышают 0,82 и 0,93, соответственно (максимальные доли правильных предсказаний >74 и 89%, соответственно).

При использовании нейросетевых методов важную роль приобретает эффект переобучения, когда ИНС в процессе обучения подстраивается к конкретным наблюдениям, из которых состоит обучающая выборка. В результате для других наблюдений, не участвовавших в процессе обучения, точность такой ИНС снижается, иногда катастрофически. Это явление наблюдается и при использовании обычного многомерного регрессионного анализа (чрезмерная подгонка модели к данным), но оно отчасти сглажено за счет ограниченных возможностей регрессионных техник.

Для потенциально более мощных нейросетевых моделей данная проблема становится более актуальной. Поэтому при обучении моделей, предназначенных для реальных калькуляторов риска, следует позаботиться об улучшении их экстраполяционных возможностей. Для ИНС обычно применяют случайное разделение имеющихся наблюдений (примеров) на 3 подвыборки — обучающую, верифицирующую и тестовую [10]. Результаты в последней наиболее приближены к достижимым на новых неизвестных наблюдениях, что обычно сочетается со снижением точности прогноза в сравнении с обучением на всех наблюдениях. Мы использовали соотношение числа наблюдений в обучающей, верифицирующей и тестовой подвыборках как 70, 15 и 15%, соответственно, при построении каждой новой ИНС перемешивание происходило заново случайным образом. Для каждой когорты ИНС обучали на подвыборке из 70% наблюдений, а ROC-кривые строили применительно к тестовой подвыборке.

ROC-кривые для таких моделей применительно к неиспользовавшейся при обучении ИНС тестовой подвыборке представлены в строке 2 рисунка. Как и следовало ожидать, в тестовой подвыборке площади под ROC-кривыми уменьшились в сравнении со строкой 1 рисунка, но не критично, результаты остаются весьма хорошими. Именно на эти показатели эффективности прогнозных моделей следует ориентироваться для новых, не участвовавших в обучении, наблюдений.

Ограничения исследования. Связи ФР с исходами могут различаться в зависимости от времени проведения и дизайна проспективного исследования. При эмуляции ИНС с использованием разного программного обеспечения вполне вероятны несколько различающиеся результаты. Максимально осторожные выводы можно сформулировать следующим образом — полученные в наших вычислительных экспериментах показатели эффективности нейросетевого прогноза рассматриваются как в принципе достижимые.

Заключение

Нейросетевые модели прогноза вероятности фатального исхода по данным 30-летнего проспективного наблюдения продемонстрировали весьма высокую прогностическую эффективность. Есть основания полагать, что достижение таких результатов в значительной степени обусловлено преимуществами ИНС, в т.ч. присущей им изначально нелинейностью.

Продемонстрированная стабильность и непротиворечивость результатов в обучающей и тестовой подвыборках в когортах как РФ, так и США, служит веским доводом в пользу адекватности использованного нами подхода к построению прогностических моделей.

Обращают на себя внимание более сильные связи ФР с вероятностью фатального исхода в когортах США в сравнении с РФ. Это приблизительно соответствует максимальным долям правильных предсказаний 83-85% в США и 73-77% в РФ.

Благодарности. Сопоставление с данными о популяции США стало возможным благодаря свободному доступу к данным исследований серии NHANES, предоставленному the National Center for Health Statistics (NCHS) США. Ответственность за результаты анализа, интерпретации и выводы лежит на авторах, ответственность NCHS ограничивается первичными данными.

Отношения и деятельность. Работа выполнена в рамках Государственного задания "Разработка экспертной системы оценки "успешного старения" населения РФ, с учетом психологического и физического состояния здоровья в качестве инструмента прогнозирования популяционного и индивидуального риска", регистрационный номер: 124013100888-0.