А это достоверно?

Факты и цифры действительно показывают то, на что претендуют?

У статистики есть ореол авторитетного источника, и люди легко поддаются его влиянию. Она выглядит как «доказательство», даже когда на самом деле ничего не доказывает.

Достоверна или нет?

Специалисты в области статистики должны знать, что факты и цифры, полученные в результате исследования, научной работы, опроса или еще чего-то — «достоверны». Другими словами, создают ли они полезную информацию, которой можно пользоваться, или данный результат мог быть получен случайно или из-за ошибки в выборке? В целом, считается, что в научной работе получен достоверный результат, если вероятность (р), что результат случаен или ошибочен, менее чем 1 к 20. Это выражается следующим образом:

р < 0,05

Вероятность 1 означает, что нечто абсолютно верно: с вероятностью 1 можно утверждать, что если вы читаете эту книгу, то вы живы. Нулевая вероятность означает, что нечто определенно не произойдет. Вероятность того, что ваша копия книги напечатана на воде, равна 0.

Порог p < 0,05 часто используют как условную границу статистической значимости, однако p-значение не показывает вероятность того, что нулевая гипотеза истинна. Оно показывает, насколько необычны полученные или ещё более крайние данные при условии, что выбранная нулевая гипотеза и модель верны. Сам по себе порог 0,05 не доказывает важность результата и не служит правилом для удаления выбросов.

Кривая на картинке снизу демонстрирует нормальное распределение. Центральные 95% распределения иногда связаны с построением доверительных интервалов, но это не означает, что все значения внутри автоматически «надёжны», а находящиеся снаружи ошибочны. В некоторых областях применяют гораздо более строгие критерии статистической значимости; например, при объявлении открытия новых частиц в физике обычно требуется уровень около пяти стандартных отклонений.

Нет результата? Или результат не достоверен?

Если исследование придет к выводу, что «статистически достоверный» результат отсутствует, это не обязательно значит, что отсутствует сам результат. Необходимо оценить размер выборки и организацию исследования.

Маломасштабное исследование может пропустить незначительный результат. Промежуток времени мог быть слишком коротким, или размер выборки слишком мал. Это надо принимать во внимание при испытаниях лекарств, например. Исследование, включающее только 20 испытуемых, не сможет показать эффект, оказываемый только на 2% — либо оно не покажет ничего, либо такой эффект проявится у 1 (или более) из 20, и мы получим 5% или более.

Корреляция и обусловленность

В новостных статьях обычно связывают поведение и события, утверждая, что одно вызывает другое. Мы можем, например, прочитать, что человек в мотоциклетном шлеме с меньшей вероятностью получит серьезную травму головы в случае аварии. Вывод: мотоциклетный шлем защищает. И, скорее всего, так оно и есть. Но также возможно продемонстрировать две последовательности цифр и утверждать, что есть связь, которая вряд ли существует или может отличаться от заявленной. Например, и покупка газет, и уровень убийств упали за последние 5 лет. Здесь существует корреляция — графики похожи. А представив цифры рядом, можно утверждать, что два явления связаны — вселяет ли покупка газеты в людей желание убивать? Наверное, нет. Здесь есть корреляция, но нет обусловленности: одно не является причиной другого.

Зимой увеличивается количество проданных санок, а продажи мороженого падают. Здесь есть связь, но не прямая: оба явления связаны с зимой, но не друг с другом. Остерегайтесь статистических графиков и таблиц, которые вроде бы подтверждают связь двух феноменов — связь, может, и есть, но могут присутствовать и другие факторы, известные как побочные переменные, которые связаны с обоими. В примере с санками и мороженым зима — это побочная переменная. Но и побочные переменные не всегда существуют — в некоторых случаях это просто совпадение.