Как проблемы с исследовательской выборкой могут превратить страшный вирус в незлобивый комочек с шипиками

+7 926 604 54 63 address
 Вид на Санта-Клару.
Вид на Санта-Клару.

Недавно мы опубликовали материал, в котором описывали эпидемиологические исследование, проведённое в местности Санта-Клара Кремниевой долины. Стэнфордские (Stanford University) учёные, исходя из того, что они нашли с помощью антительного теста 50 бессимптомных носителей нового коронавируса среди 3330 «случайно выбранных» местных волонтёров, утверждают, что показатель летальности может быть сильно преувеличен, а носителей в среднем по популяции может оказаться значительно больше, чем выявленных случаев — на 50—85%. Почти сразу за статьёй, которая опубликована на сайте препринтов и, следовательно, не проходила проверку экспертной панели журнала, последовала небезосновательная критика. Приведём её здесь в кратком изложении.

I. Показатель ложноположительных результатов тестирования, скорее всего, очень высокий. Испытание антительного теста, купленного у компании Premier Biotech, на качество, показало 2 ложноположительных результата на 401 тест (результаты сравнивались с результатами ПЦР-тестирования). Но если следовать процедурам математической статистики, 2 на 401 — это недостаточная точность.

Как понять, имея такое значение точности, сколько из 50 полученных в исследовании положительных исходов на самом деле являются ложноположительными? Можно просто прикинуть, составив задачку на пропорции: если 2 теста из 401 показали ложноположительные результаты, то на 3330 испытуемых придётся 17 таких результатов. По таким расчётам получается, что среди 50 положительных исходов стэнфордского исследования как минимум ⅓ — ложноположительные.

Но это — совсем наивная оценка, и, если углубиться в вычисления, то оказывается, что это значение может быть и выше.

Давайте на секундочку представим, что предварительных испытаний точности было проведено 2 или даже 5. Если бы они были проведены, мы бы получили какой-то разброс значений типа 0 из 401, 5 из 401, 6 из 401, 1 из 401 и так далее. То есть, у значения 2 из 401 должна быть какая-то погрешность, определяемая доверительным интервалом. Как её рассчитать?

Здесь нам понадобится немного аппарата математической статистики. Скажем, что число испытаний n = 401, и у каждого n есть определенная вероятность исхода, как у подбрасываемой монетки — шанс выпасть орлом или решкой. Вероятность того или иного исхода (n, p) описывается биномиальным распределением. Для простоты можно аппроксимировать это распределение нормальным распределением (хотя, точнее было бы аппроксимировать его распределением Пуассона).

Здесь σ — стандартное отклонение, p — функция вероятности, n — число опытов, μ — наивно оцененное значение вероятности. В двух нижних строках мы вычисляем верхнюю и нижнюю границу доверительного интервала. Верхняя граница, если 0,012 перевести в проценты, будет 1,2%, а нижняя будет 0, так как у нас не может быть отрицательного количества случаев, в которых мы получили ложноположительный результат.

Путём нехитрых вычислений мы получаем, что нижняя граница интервала погрешности — 0% а верхняя — 1,2%. Возвращаясь к нашему вопросу о ложноположительных исходах, 1,2% от 3330 — это 40. То есть, в худшем случае у нас из 50 положительных исходов действительно положительными могли оказаться только 10. Перефразируя, 80% от всех положительных результатов могли быть ложноположительными! Такая погрешность уже кажется совсем недопустимой для качественного исследования.

Кстати, такой показатель ложноположительных исходов не противоречит результатам другого исследования, согласно которым точность только 3 из 14 доступных на рынке антительных тестов соответствовала золотому стандарту. (Ни один из них пока не был одобрен FDA).

II. Выборка была обогащена людьми с подозрением на коронавирус. Участников исследования набирали через фейсбук. Учитывая, что для многих переболевших в лёгкой форме людей и для контактировавших с больными тестирование было почти недоступно, они могли записаться в волонтёры именно с целью проверить, переболели они COVID-19 или нет. Нужно всего 50 людей, движимых такой мотивацией, чтобы набрать 50 положительных исходов. Причём, узнав об этом исследовании, люди могли попытаться рассказать о нём всем своим знакомым, которые, как им кажется, могли быть заинтересованы в тестировании. Свидетельства наличия такого поведения можно встретить в твиттере.

«Моя подруга записалась на Стэнфордское исследование, потому что она много путешествует и думала, что уже переболела вирусом. Она разрекламировала исследование в Фейсбуке, пытаясь рекрутировать людей, которым кажется, что они тоже переболели вирусом. Она пыталась привлечь и меня».

Нескольких таких «суперраспространителей» могло быть достаточно, чтобы получить 50 положительных результатов из 3330.

Авторы исследования утверждают, что ссылка на форму записи в волонтеры в каждом объявлении была уникальная, по ней нельзя было записаться дважды. Но этому противоречат, например, циркулировавшие внутри китайской общины Кремниевой долины сообщения в WhatsApp и других социальных сетях.

«Запись в волонтёры была доступна всем жителям Санта-Клары; можно было просто самому записаться, и ссылку распространяли в социальных сетях. Записаться могли максимум 2 человека из одной семьи».

Есть ещё одно соображение. В Нью-Йорке и других регионах и странах вирус уже стал причиной многотысячного прироста в месячном количестве смертей. Предположим, что у вируса действительно низкий показатель летальности и высокое число носителей. Чтобы спровоцировать столько смертей за такой короткий срок, заразность этого патогена должна зашкаливать. А если так, то количество заразившихся и умерших должно было возрастать молниеносно, но так же быстро должна была наступить стадия «коллективного иммунитета», и произойти мгновенный спад в смертности. Если эпидемиологическая картина в самом деле такая, вирус просто через какое-то время исчезнет, так как ему будет некого больше заражать. Например, эпидемия свиного гриппа (H1N1) чуть более чем за 12 месяцев затронула 11—21% населения Земли, и больше у нас не наблюдается вспышек заболеваемости свиным гриппом. Действительно ли идёт речь о такой картине или нет, мы увидим только через некоторое время, когда последует или не последует новая волна пандемии.

В заключение можно сказать, что учёным, проводившим этот эксперимент, стоило бы провести «второй раунд», в котором были бы учтены узкие места, сделавшие изначальное исследование не вполне достоверным. Также остаётся надеяться на то, что вскоре станет доступно больше достаточно точных антительных тестов, так как от этого зависит возвращение мира к нормальной экономической деятельности.

.
Комментарии