ТЕМА 3. Неравенство Рао-Крамера. Эффективные оценки

Для характеристики отклонения оценки от оцениваемого параметра вводится следующая величина.

Определение. Пусть - оценка параметра . Вариация данной оценки обозначается и определяется равенством .

Теорема. Вариация несмещенной оценки совпадает с ее дисперсией.

Доказательство.

Пусть - несмещенная оценка параметра . Следовательно, выполняется равенство . Имеем: , что и требовалось доказать.

Ясно, что чем меньше вариация оценки, тем лучше она оценивает данный параметр. Оказывается, существует нижний предел вариации оценки. Прежде чем доказать соответствующее утверждение, дадим необходимые определения.

Определение. Пусть распределение генеральной совокупности зависит от неизвестного параметра , - выборка.

Тогда функция правдоподобия обозначается и определяется равенством , где , если генеральная совокупность имеет дискретное распределение, и , если имеет абсолютно-непрерывное распределение с плотностью .

Теорема. Пусть - несмещенная оценка параметра , и функция правдоподобия дифференцируема по параметру . Тогда справедливо неравенство , называемое неравенством Рао-Крамера.

Доказательство.

Доказательство проведем для случая, когда генеральная совокупность имеет абсолютно-непрерывное распределение с плотностью . Тогда функция правдоподобия является плотностью распределения случайного вектора и математическое ожидание оценки вычисляется по формуле . Поскольку является несмещенной оценкой параметра , имеем: . Дифференцируя данное равенство по параметру , получаем (*). Так как - плотность распределения случайного вектора , то верно равенство . Дифференцируя данное равенство по параметру , получаем . Умножим обе части получившегося равенства на , имеем: (**). Вычитая из (*) (**), получаем . Данное равенство можно преобразовать следующим образом: ,

.

(***).

Для любых случайных величин и выполняется следующее неравенство

, называемое неравенством Шварца, причем равенство в неравенстве Шварца достигается тогда и только тогда, когда с вероятностью 1. Полагая в (***) , , получаем:

(****).

Но . Следовательно, верно соотношение

, и доказательство теоремы завершено.

Определение. Несмещенная оценка параметра называется эффективной, если для нее достигается равенство в неравенстве Рао-Крамера, то есть ее вариация минимальна.

Следствие (Критерий эффективности оценки).

Для того, чтобы несмещенная оценка параметра была эффективной, необходимо и достаточно выполнение равенства

.

Доказательство.

Несмещенная оценка параметра является эффективной тогда и только тогда, когда для нее достигается равенство в неравенстве Рао-Крамера, равносильном неравенству (****). Но равенство в неравенстве Шварца достигается тогда и только тогда, когда с вероятностью 1. Положив , получаем: , что и требовалось доказать.

Рассмотрим примеры применения полученного критерия.

Пример 1. Пусть генеральная совокупность имеет нормальное распределение с неизвестным математическим ожиданием и известной дисперсией , то есть выполняется равенство . Тогда для функции правдоподобия справедлива цепочка равенств:

.

Логарифмируя данную функцию, получаем:

.

Вычисляя , имеем:

.

Таким образом, для оценки выполнен критерий эффективности, и в данном случае эмпирическое среднее является эффективной оценкой математического ожидания генеральной совокупности.

Пример 2. Пусть генеральная совокупность имеет распределение Коши с неизвестным параметром , то есть верно равенство . Тогда имеем:

,

,

.

Видно, что в данном случае нельзя представить в виде , и эффективной оценки параметра не существует.

 

Контрольные вопросы.

1) Чем отличается вариационный ряд от выборки?

2) Чем отличается гистограмма от полигона?

3) Как вычисляется длина интервала при группировке данных?

4) Что представляют собой числа , в интервальном ряду?

5) Как из интервального ряда можно получить вариационный ряд?

6) Как определяется оценка параметра ?

7) Какая оценка называется несмещенной?

8) Какая оценка называется асимптотически несмещенной?

9) Как определяется эмпирическое среднее?

10) Как определяется эмпирическая дисперсия?

11) Какими свойствами обладает эмпирическое среднее?

12) Какими свойствами обладает эмпирическая дисперсия?

13) Как определяется исправленная эмпирическая дисперсия?

14) Какая оценка называется состоятельной?

15) Как определяется вариация оценки?

16) Каким свойством обладает вариация несмещенной оценки?

17) Как определяется функция правдоподобия для дискретного распределения?

18) Как определяется функция правдоподобия для абсолютно-непрерывного распределения?

19) Как формулируется неравенство Рао-Крамера?

20) Какая оценка называется эффективной?

21) Как формулируется критерий эффективности оценки?