Визуализация матрицы путаницы без путаницы

Я твердо убежден, что визуальная интерпретация концепций имеет более длительный период сохранения, чем традиционный подход. Уверяю вас, когда вы закончите читать этот блог, вы получите кристально ясное понимание ошибок типа I и типа II. Начнем с преамбулы о проверке гипотез:

Что такое проверка гипотез и зачем она нам нужна?

Любое существующее убеждение / позиция по умолчанию / статус-кво / общее утверждение, относящееся к параметру населения, которое кто-то пытается повторно подтвердить / опровергнуть на основе принципов логической статистики, называется проверкой гипотез.

Он состоит из двух компонентов:

· Нулевая гипотеза (H0) - существующее мнение / позиция по умолчанию / статус-кво / общее утверждение о параметре населения

· Альтернативная гипотеза (Ха) - нечто противоречащее нулевой гипотезе.

Поскольку такие компании, как Pfizer & Moderna, уже раскрыли результаты своих испытаний вакцины COVID на третьей фазе, мы воспользуемся этим примером только для понимания концепции ошибок типа I и типа II. Обе компании заявляют об эффективности своих вакцин выше 90%, что невероятно. Давайте посмотрим, как мы можем использовать этот пример для визуализации различных терминов, связанных с матрицей неточностей.

Мы начнем с определения нашей нулевой и альтернативной гипотезы об эффективности вакцины COVID, предполагая измерение произвольного показателя, отражающего эффективность вакцины (чем выше значение этого показателя, тем выше эффективность вакцины):

· Нулевая гипотеза (H0) - нет разницы (𝛿 = 0) в значении показателя до и после вакцинации.

· Альтернативная гипотеза (Ha) - разница 𝛿 (›0) в значении показателя до и после вакцинации

Здесь и далее визуализации будут преобладать:

Приведенный выше график представляет собой распределение, которое предполагает, что нулевая гипотеза верна, и нет никаких различий в показателе до и после вакцинации. Значение 𝛿, отличное от среднего значения 0, отражает вариацию в выборке (из-за случайных / случайных причин).

Обычная практика статистиков - поддерживать этот уровень значимости (α) на уровне 5% или 0,05 (с точки зрения вероятности), это не что иное, как «Ошибка типа I» (неправильное отклонение истинной нулевой гипотезы).

Область слева от критического значения (красная линия) обозначена (1-α), также известная как «уровень достоверности» (правильный отказ от альтернативной ложной гипотезы) . В текущем случае это будет 95% или 0,95 (с точки зрения вероятности).

График выше (зеленый) - это распределение, предполагающее, что альтернативная гипотеза верна, и есть разница 𝛿 (›0), указанная в метрике до и после вакцинации. И снова значения, отличные от среднего значения 𝛿, отражают вариацию в выборке (из-за случайных / случайных причин).

Сосредоточьтесь на зеленой заштрихованной области, это показывает, что на самом деле альтернативная гипотеза верна, но опять же из-за крайности представления выборки слева от критического значения (предварительно определенная красная линия) она отклоняется по ошибке. Это не что иное, как «Ошибка типа II» (неверное отклонение истинной альтернативной гипотезы).

Значение области, заштрихованной зеленым цветом (ошибка типа II), обозначается β.

Область справа от критического значения (красная линия) обозначена (1-β), также известная как 'Мощность' (правильный отказ от ложной нулевой гипотезы) .

К настоящему времени мы уже описали все, что необходимо для построения матрицы путаницы, пора предоставить ее структуру:

Основная путаница возникает, когда эти ячейки обозначаются разными терминами, то есть истинно отрицательным, ложноположительным, ложноотрицательным и истинно положительным. Позвольте мне поделиться с вами легким для запоминания методом:

Ссылаясь на рисунок выше, «0» в столбце присваивается текст - «Негатив», а «1» в столбце назначается текст - «Положительный». Теперь, если число в столбце совпадает с числом в строке, мы используем префикс «Истина» или «Ложь».

Глядя на верхнюю левую ячейку матрицы, поскольку число «0» совпадает с номером строки, мы будем использовать префикс «True», за которым следует уже выделенный суффикс «Negative». Так что это становится «истинно отрицательным». Аналогичным образом мы можем вывести эти члены для всех оставшихся ячеек матрицы.

Следующим шагом является получение показателей производительности из матрицы недоразумений, а именно: «Точность», «Чувствительность (отзыв)», «Специфичность», «Точность» и «F1-оценка». Дальнейшее обсуждение этого будет продолжено в следующих блогах.

На этом я завершаю этот блог. Надеюсь, что к настоящему времени вы выработали достойное понимание ошибок типа I и типа II наряду с базовой терминологией, связанной с матрицей неточностей. Кроме того, приведенный выше пример представляет собой односторонний тест, тогда как существует также двусторонний тест, объяснение которого также находится в аналогичных строках. Я буду / буду публиковать больше блогов того же домена в будущем в упрощенной и легко интерпретируемой форме. Будь осторожен!

Спасибо!!!