Запишетесь на полный курс Машинного обучения на Python по адресу support@ittensive.com
Критерий для выбора лучшей из нескольких статистических моделей, построенных на одном и том же наборе данных и использующих логарифмическую функцию правдоподобия. Предложен Хироцугу Акаикэ в 1974 году. Критерий является не статистическим, а информационным, поскольку основан на оценке потери информации при уменьшении числа параметров модели. Критерий позволяет найти компромисс между сложностью модели (числом параметров) и ее точностью. В общем случае AIC вычисляется по формуле:
AIC = 2k − 2ln(L),
где k — число параметров модели, L — максимизированное значение функции правдоподобия модели.
Лучшей признается та модель, для которой значение AIC минимально.
AIC тесно связан с байесовским информационным критерием BIC, но, в отличие от него, содержит функцию штрафа, линейно зависящую от числа параметров.
Если модель использует метод наименьших квадратов, то критерий может быть вычислен следующим образом:
AIC = ln(RSS/(n-2)) + 2k,
где RSS — сумма квадратов остатков модели, полученная при оценке коэффициентов модели методом наименьших квадратов, n — объем обучающей выборки, k — число параметров.
BIС отличается только свободным членом:
BIC = ln(RSS/(n-2)) + kln(n)
Из выражения видно, что при фиксированном размере выборки рост критерия обусловлен в основном увеличением числа параметров модели, а не ее ошибкой. Т.е. за увеличение числа параметров модель «штрафуется» сильнее, чем за долю необъясненной дисперсии ошибки. Таким образом, задача заключается в том, чтобы выбрать модель с минимальным числом параметров, которые объясняют наибольшую долю дисперсии ошибки.
На практике это делается следующим образом. Берется «нулевая модель», которая содержит только свободный член, и для нее вычисляется значение критерия. Затем в нулевую модель поочередно добавляются параметры, и каждый раз AIC вычисляется вновь. Выбирается модель, для которой значение критерия окажется минимальным.
