Цели регрессионного анализа

1. Определение степени детерминированности вариации критериальной (зависимой) переменной предикторами (независимыми переменными)

2. Предсказание значения зависимой переменной с помощью независимой(-ых)

3. Определение вклада отдельных независимых переменных в вариацию зависимой

Регрессионный анализ нельзя использовать для определения наличия связи между переменными, поскольку наличие такой связи и есть предпосылка для применения анализа.

Математическое определение регрессии

Строго регрессионную зависимость можно определить следующим образом. Пусть Y, X ₁, X ₂,..., X_p — случайные величины с заданным совместным распределением вероятностей. Если для каждого набора значений X ₁ = x ₁, X ₂ = x ₂,..., X_p = x_p определено условное математическое ожидание

y (x ₁, x ₂,..., x_p) = E (Y | X ₁ = x ₁, X ₂ = x ₂,..., X_p = x_p) (уравнение линейной регрессии в общем виде),

то функция y (x ₁, x ₂,..., x_p) называется регрессией величины Y по величинам X ₁, X ₂,..., X_p, а её график — линией регрессии Y по X ₁, X ₂,..., X_p, или уравнением регрессии.

Зависимость Y от X ₁, X ₂,..., X_p проявляется в изменении средних значений Y при изменении X ₁, X ₂,..., X_p. Хотя при каждом фиксированном наборе значений X ₁ = x ₁, X ₂ = x ₂,..., X_p = x_p величина Y остаётся случайной величиной с определённым рассеянием.

Для выяснения вопроса, насколько точно регрессионный анализ оценивает изменение Y при изменении X ₁, X ₂,..., X_p, используется средняя величина дисперсии Y при разных наборах значений X ₁, X ₂,..., X_p (фактически речь идет о мере рассеяния зависимой переменной вокруг линии регрессии).

Метод наименьших квадратов (расчёт коэффициентов)

На практике линия регрессии чаще всего ищется в виде линейной функции Y = b ₀ + b ₁ X ₁ + b ₂ X ₂ +... + b_NX_N (линейная регрессия), наилучшим образом приближающей искомую кривую. Делается это с помощью метода наименьших квадратов, когда минимизируется сумма квадратов отклонений реально наблюдаемых Y от их оценок (имеются в виду оценки с помощью прямой линии, претендующей на то, чтобы представлять искомую регрессионную зависимость):

(M — объём выборки). Этот подход основан на том известном факте, что фигурирующая в приведённом выражении сумма принимает минимальное значение именно для того случая, когда Y = y (x ₁, x ₂,... x_N).

Для решения задачи регрессионного анализа методом наименьших квадратов вводится понятие функции невязки:

Условие минимума функции невязки:

Полученная система является системой N + 1 линейных уравнений с N + 1 неизвестными b ₀... b_N

Если представить свободные члены левой части уравнений матрицей

а коэффициенты при неизвестных в правой части матрицей

то получаем матричное уравнение: , которое легко решается методом Гаусса. Полученная матрица будет матрицей, содержащей коэффициенты уравнения линии регрессии:

Для получения наилучших оценок необходимо выполнение предпосылок МНК (условий Гаусса−Маркова). В англоязычной литературе такие оценки называются BLUE (Best Linear Unbiased Estimators) − наилучшие линейные несмещенные оценки.

 

 

21. Зако́н больши́х чи́сел

в теории вероятностей утверждает, что эмпирическое среднее (среднее арифметическое) достаточно большой конечной выборки из фиксированного распределения близко к теоретическому среднему (математическому ожиданию) этого распределения. В зависимости от вида сходимости различают слабый закон больших чисел, когда имеет место сходимость по вероятности, и усиленный закон больших чисел, когда имеет место сходимость почти всюду.

Всегда найдётся такое количество испытаний, при котором с любой заданной наперёд вероятностью относительная частота появления некоторого события будет сколь угодно мало отличаться от его вероятности.

Общий смысл закона больших чисел — совместное действие большого числа случайных факторов приводит к результату, почти не зависящему от случая.

На этом свойстве основаны методы оценки вероятности на основе анализа конечной выборки. Наглядным примером является прогноз результатов выборов на основе опроса выборки избирателей.