Метрики качества позволяют оценивать способность моделей машинного обучения восстанавливать закономерности из данных. В этом видео посмотрим, что из себя представляет PR-кривая и метрика PR-auc.
Метрики помогают понять, когда модель начинает переобучаться, про это явление можете посмотреть в видео ([ Ссылка ])
Курсы на платформе Stepik:
1. Библиотеки Python для Data Science [ Ссылка ]
2. Введение в нейронные сети (Keras/Tensorflow) [ Ссылка ]
Остальные метрики классификации:
1. Accuracy - [ Ссылка ]
2. Precision. Recall. Confusion Matrix - [ Ссылка ]
3. F-score - [ Ссылка ]
4. Micro, Macro, Weighted усреднения - [ Ссылка ]
Ноутбук из видео: [ Ссылка ]
0:00 Ранее пройденные метрики
0:21 Датасет на сегодня
1:17 Обучение модели
1:21 Предсказания модели классификации
1:26 Метод predict для предсказания метки класса
1:36 Метод predict_proba для предсказания вероятностей по классам
2:13 Отсечка для вероятности (threshold)
2:23 Отсечка для вероятности в predict равна 0.5
3:16 Визуализация предсказанной вероятности быть первым классом
3:41 Визуализация отсечки 0.5
4:26 Матрица ошибок для отсечки 0.5
4:41 Изменения отсечки по вероятности до 0.6 для увеличения точности (precision)
5:07 Матрица ошибок для отсечки 0.6
5:17 Изменения отсечки по вероятности до 0 для увеличения полноты (recall)
5:44 Резюме изменения отсечки по вероятности
5:50 Общие сведения о PR-кривой (PR-curve)
6:27 Подсчет PR-кривой
6:41 Идеальная отсечка для бинарной классификации
7:05 Первая точка PR-кривой. Отсечка по вероятности равна 1
7:25 Визуализация предсказаний с отсечкой 1
7:30 Подсчет precision для отсечки 1
7:44 Подсчет recall для отсечки 1
7:59 Первая точка на PR-кривой
8:10 Вторая точка PR-кривой. Отсечка по вероятности равна 0.968
8:28 Визуализация предсказаний с отсечкой 0.968
8:32 Подсчет precision для отсечки 0.968
8:39 Подсчет recall для отсечки 0.968
8:43 Вторая точка на PR-кривой
8:50 Третья точка PR-кривой. Отсечка по вероятности равна 0.966
9:07 Визуализация предсказаний с отсечкой 0.966
9:10 Подсчет precision для отсечки 0.966
9:17 Подсчет recall для отсечки 0.966
9:23 Третья точка на PR-кривой
9:28 Четвертая точка PR-кривой. Отсечка по вероятности равна 0.84
9:45 Визуализация предсказаний с отсечкой 0.84
9:49 Подсчет precision для отсечки 0.84
9:17 Подсчет recall для отсечки 0.84
9:55 Четвертая точка на PR-кривой
10:02 Пятая точка PR-кривой. Отсечка по вероятности равна 0.54
10:18 Визуализация предсказаний с отсечкой 0.54
10:40 Подсчет precision для отсечки 0.84
10:53 Подсчет recall для отсечки 0.84
10:59 Пятая точка на PR-кривой
11:08 Шестая точка PR-кривой. Отсечка по вероятности равна 0
11:23 Визуализация предсказаний с отсечкой 0
11:40 Подсчет precision для отсечки 0
11:57 Подсчет recall для отсечки 0
12:07 Шестая точка на PR-кривой
12:14 Построение PR-кривой через sklearn
12:24 Метрика PR-AUC (Area Under Curve)
12:48 Резюме
12:55 PR-кривая (PR-curve)
13:28 PR-AUC
