Какая оценка параметра называется состоятельной, несмещенной, эффективной?

1) Состоятельная оценка

Состоятельная оценка в математической статистике -- это точечная оценка, сходящаяся по вероятности к оцениваемому параметру.

Определения

· Пусть -- выборка из распределения, зависящего от параметра. Тогда оценка называется состоятельной, если

по вероятности при.

В противном случае оценка называется несостоятельной.

· Оценка называется сильно состоятельной, если

почти наверное при.

Свойства

· Из свойств сходимостей случайных величин имеем, что сильно состоятельная оценка всегда состоятельна. Обратное, вообще говоря, неверно.

• · Выборочное среднее является состоятельной оценкой математического ожидания X i .
• · Периодограмма является несмещённой, но несостоятельной оценкой спектральной плотности.
• 2) Несмещённая оценка

Несмещённая оценка в математической статистике -- это точечная оценка, математическое ожидание которой равно оцениваемому параметру.

Определение

Пусть -- выборка из распределения, зависящего от параметра. Тогда оценка называется несмещённой, если

В противном случае оценка называется смещённой, и случайная величина называется её смещением.

· Выборочное среднее

является несмещённой оценкой математического ожидания X i , так как если

· Пусть случайные величины X i имеют конечную дисперсию DX i = ? 2 . Построим оценки

Выборочная дисперсия,

Исправленная выборочная дисперсия.

Тогда является смещённой, а S 2 несмещённой оценками параметра? 2 .

3) Эффективная оценка

Текущая версия (не проверялась)

Определение

Оценка параметра называется эффективной оценкой в классе, если для любой другой оценки выполняется неравенство для любого.

Особую роль в математической статистике играют несмещенные оценки. Если несмещенная оценка является эффективной оценкой в классе несмещенных, то такую статистику принято называть просто эффективной.

Эффективная оценка в классе, где -- некоторая функция, существует и единственна с точностью до значений на множестве, вероятность попасть в которое равна нулю ().

Оценка параметра называется эффективной, если для неё неравенство Крамера -- Рао обращается в равенство. Таким образом, неравенство может быть использовано для доказательства того, что дисперсия данной оценки наименьшая из возможных, то есть что данная оценка в некотором смысле лучше всех остальных.

В математической статистике неравенством Крамемра -- Рамо (в честь Гаральда Крамера и К.Р. Рао) называется неравенство, которое при некоторых условиях на статистическую модель даёт нижнюю границу для дисперсии оценки неизвестного параметра, выражая её через информацию Фишера.

Одним из основных требований при построении оценок является получение оценок с минимальной дисперсией или минимальным рассеянием (если они существуют). В связи с этим в математической статистике введено понятие эффективных оценок ,

Применительно к смещенным оценкам параметра сигнала оценка называется эффективной, если среднее значение квадрата отклонения оценки от истинного значения оцениваемого параметра I не превышает среднее значение квадрата отклонения любой другой оценки у, т. е. выполняется неравенство

Для несмещенной оценки рассеяние оценки совпадает с ее дисперсией следовательно, эффективная несмещенная оценка определяется как оценка с минимальной дисперсией.

С. Рао и Крамер независимо друг от друга получили выражения для нижних границ условных дисперсий и рассеяний оценок, которые являются дисперсиями и рассеяниями эффективных оценок при условии, что таковые существуют для данных параметров.

Приведем вывод этого выражения, полагая, что необходимые допущения справедливы.

Оценку параметра у представим в сокращенной записи где X - многомерная выборка из реализации на интервале времени

Усредним выражение

по всевозможным значениям многомерной выборки X, которая описывается условной плотностью вероятности Учитывая известное соотношение для производной натурального логарифма после усреднения получаем

В силу свойства нормировки плотности вероятности последнее слагаемое в (1.3.3) равно нулю. Интеграл от первого слагаемого представляет среднее значение оценки

С учетом последнего усредненное значение можно записать в виде

Левая часть этого выражения представляет собой среднее значение произведения двух случайных величин с конечными значениями первых двух моментов. При этих условиях для случайных величин справедливо известное из математической статистики неравенство Буняковского - Шварца

которое переходит в равенство, если случайные величины связаны детерминированной зависимостью . С учетом (1.3.6) из выражения (1.3.5) можно получить

Для несмещенных оценок и оценок с постоянным смещением дисперсия оценки удовлетворяет неравенству Рао-Крамера

Необходимо отметить, что во всех соотношениях усреднение производится по многомерной выборке наблюдаемых данных X (при непрерывной обработке - по всевозможным реализациям а

произшодные берутся в точке истинного значения оцениваемого параметра.

Знак равенства в выражениях (1,3.7) и (1-3.8) достигается только для эффективных оценок.

Применительно к выражению (1.3.7) рассмотрим условия, при которых неравенство обращается в равенство, т. е. оценка параметра является эффективной смещенной оценкойю Согласно (1.3.6) для этого необходимо, чтобы коэффициент взаимной корреляции между был равен единице, т. е. чтобы эти случайные функции были связаны детерминированной линейной зависимостью.

Действительно, представим производную логарифма функции правдоподобия в виде

где функция, которая не зависит от оценки у и выборки наблюдаемых данных, но может зависеть от оцениваемого параметра При подстановке (1.3.5) и (1.3.9) в неравенство (1.3.7) оно переходит в равенство. Однако представление производной логарифма функции правдоподобия в виде (1.3.9) возможно, если для оценки у выполняется условие достаточности (1.2.9), из которого следует, что

и, следовательно, если производная логарифма отношения правдоподобия линейно зависит от достаточной оценки, то коэффициент пропорциональности не зависит от выборки

Таким образом, для существования смещенной эффективной оценки необходимо выполнение двух условий: оценка должна быть достаточной (1.2.9) и должно выполняться соотношение (1.3.9). Аналогичные ограничения налагаются на существование эффективных несмещенных оценок, при которых в выражении (1.3.8) знак неравенства переходит в равенство.

Полученное выше выражение для нижней границы дисперсии смещенной оценки справедливо и для нижней границы рассеяния смещенной оценки, так как т. е.

Последнее неравенство переходит в равенство, если кроме условия достаточности оценки справедливо соотношение

где имеет тот же смысл, что и в выражении (1.3.9).

Формула (1.3.10) выводится аналогично (1.3.7), если в исходном выражении (1.3.2) вместо рассматривать

Из характера условий (1.2.9) и (1.3.9) видно, что эффективные оценки существуют только в весьма специфических случаях. Также следует отметить, что эффективная оценка обязательно принадлежит к классу достаточных оценок, в то время как достаточная оценка не обязательно будет эффективной.

Анализ выражения для дисперсии эффективной смешенной оценки 1.3.7) показывает, что могут существовать смещенные оценки, которые обеспечивают меньшую дисперсию оценки, чем несмещенные. Для этого необходимо, чтобы производная от смещения имела отрицательное значение и по абсолютной величине в точке истинного значения параметра была близка к единице.

Поскольку в большинстве случаев интерес представляет средний квадрат результирующей ошибки оценки (рассеяние), имеет смысл говорить и о среднем квадрате ошибки оценки, который для любой оценки ограничен снизу:

При этом для эффективных оценок имеет место знак равенства.

Нетрудно показать, что соотношения (1.3.10) и (1.3.12) совпадают, если выполняются соответственно условия (1.3.11) и (1.3.9). Действительно, подставив в числитель и знаменатель (1.3.10) значения, выраженные через функции получим (1.3.12).

Используя рассмотренные выше свойства эффективных оценок уточним их определение. Будем называть оценку у эффективной, если для нее либо выполняются условия (1.2.9) и (1.3.11), либо при заданном смещении она обладает дисперсией

или рассеянием

либо при нулевом смещении эта оценка имеет дисперсию

Отметим, что характеристики эффективной оценки (1.3.13) - (1.3.15) могут быть вычислены и для тех параметров, для которых эффективной оценки не существует. В этом случае величины (1.3.13) -(1.3.15) определяют нижнюю границу (недостижимую) для соответствующих характеристик оценки.

Для сравнения реальных оценок с эффективными в математической статистике введено понятие относительной эффективности оценок, представляющее отношение среднего квадрата отклонения эффективной оценки относительно истинного значения параметра к среднему квадрату отклонения реальной оценки относительно истинного значения параметра:

Здесь у - реальная оценка, эффективность которой равна эффективная оценка.

Из определения дисперсии эффективной оценки (1.3.1) видно, что относительная эффективность оценки изменяется в пределах

Кроме понятия эффективных оценок существует понятие асимптотически эффективных оценок. При этом предполагается, что для достаточно большого времени наблюдения или неограниченного увеличения отношения сигнал/помеха предельное значение относительной эффективности реальной оценки равно единице. Это означает, что при асимптотически эффективной оценке дисперсия оценки для заданного смещения определяется выражением (1.3.13), а при отсутствии смещения - выражением (1.3.15).

вероятностей, обладающая тем свойством, что при увеличении числа наблюдений вероятность отклонений оценки от оцениваемого параметра на величину, превосходящую некоторое заданное число, стремится к нулю. Точнее: пусть X 1 , X 2 ,......, X n - независимые результаты наблюдений, распределение которых зависит от неизвестного параметра θ, и при каждом n функция T n = T n (X 1 ,..., X n ) является оценкой θ, построенной по первым n наблюдениям, тогда последовательность оценок {Tn } называется состоятельной, если при n → ∞ для каждого произвольного числа ε > 0 и любого допустимого значения θ

(т. е. T n сходится к θ по вероятности). Например, любая несмещенная оценка (См. Несмещённая оценка) T n параметра θ (или оценка с ETn → 0), дисперсия которой стремится к нулю с ростом n, является С. о. параметра θ в силу неравенства Чебышева

Так, выборочное среднее

Состоятельность, являющаяся желательной характеристикой всякой статистической оценки, имеет отношение лишь к асимптотическим свойствам оценки и слабо характеризует качество оценки при конечном объёме выборки в практических задачах. Существуют критерии, позволяющие выбрать из числа всевозможных С. о. некоторого параметра ту, которая обладает нужными качествами. См. Статистические оценки .

Понятие С. о. впервые было предложено английским математиком Р. Фишером (1922).

Лит.: Крамер Г., Математические методы статистики, пер. с англ.. М., 1975; Рао С. Р., Линейные статистические методы и их применения, пер. с англ.. М., 1968.

А. В. Прохоров.

Большая советская энциклопедия. - М.: Советская энциклопедия . 1969-1978 .

Смотреть что такое "Состоятельная оценка" в других словарях:

В математической статистике это точечная оценка, сходящаяся по вероятности к оцениваемому параметру. Содержание 1 Определения 2 Свойства 3 … Википедия

Сокращенный вариант термина лсостоятельная последовательность оценок … Математическая энциклопедия

- … Википедия

Функция от случайных величин, применяемая для оценки неизвестных параметров теоретич. распределения вероятностей. Методы теории О. с. служат основой современной теории ошибок; обычно в качестве неизвестных параметров выступают измеряемые физич.… … Математическая энциклопедия

ОЦЕНКА СОСТОЯТЕЛЬНАЯ - СТАТИСТИЧЕСКОЕ ОЦЕНИВАНИЕ … Социология: Энциклопедия

Понятие, расширяющее идею эффективной оценки на случай больших выборок. Однозначного определения А. э. о. не имеет. Напр., в классич. варианте речь идет об асимптотич. эффективности оценки в подходящим образом выделенном классе оценок. Именно,… … Математическая энциклопедия

Суперэффективяая оценка, общепринятое сокращение термина сверхэффективная (суперэффективная) последовательность оценок, употребляемого по отношению к состоятельной последовательности асимптотически нормальных оценок неизвестного параметра, к рая … Математическая энциклопедия

- (пробит модель, англ. probit) применяемая в различных областях (эконометрика, токсикология и др.) статистическая (нелинейная) модель и метод анализа зависимости качественных (в первую очередь бинарных) переменных от множества… … Википедия

Выборочное (эмпирическое) среднее это приближение теоретического среднего распределения, основанное на выборке из него. Определение Пусть выборка из распределения вероятности, определённая на некотором вероятностном пространстве.… … Википедия

Статистические оценки это статистики, которые используются для оценивания неизвестных параметров распределений случайной величины. Например, если это независимые случайные величины, с заданным нормальным распределением, то будет… … Википедия

Книги

• Простая, положительно полуопределенная оценка асимптотической матрицы ковариаций, состоятельная при наличии гетероскедастичности и автокорреляции , Whitney Newey. Работа Уитни Ньюи (Whitney K. Newey) и Кеннета Веста (Kenneth D. West) является одной из самых цитируемых и широко известных статей в экономике благодаря своей обширной области применения.…

• Пусть texvc не найден; См. math/README - справку по настройке.): X_1,\ldots, X_n,\ldots - выборка для распределения , зависящего от параметра Невозможно разобрать выражение (Выполняемый файл texvc не найден; См. math/README - справку по настройке.): \theta \in \Theta . Тогда оценка Невозможно разобрать выражение (Выполняемый файл texvc не найден; См. math/README - справку по настройке.): \hat{\theta} \equiv \hat{\theta}(X_1,\ldots,X_n) называется состоятельной, если

Невозможно разобрать выражение (Выполняемый файл texvc по вероятности при Невозможно разобрать выражение (Выполняемый файл texvc .

В противном случае оценка называется несостоятельной.

• Оценка Невозможно разобрать выражение (Выполняемый файл texvc не найден; См. math/README - справку по настройке.): \hat{\theta} называется си́льно состоя́тельной , если

Невозможно разобрать выражение (Выполняемый файл texvc не найден; См. math/README - справку по настройке.): \hat{\theta} \to \theta,\quad \forall \theta\in \Theta почти наверное при Невозможно разобрать выражение (Выполняемый файл texvc не найден; См. math/README - справку по настройке.): n \to \infty .

На практике «увидеть» сходимость «почти наверное» не представляется возможным, поскольку выборки конечны. Таким образом, для прикладной статистики достаточно требовать состоятельности оценки. Более того, оценки, которые были бы состоятельными, но не сильно состоятельными, «в жизни» встречаются очень редко. Закон больших чисел для одинаково распределённых и независимых величин с конечным первым моментом выполнен и в усиленном варианте, всякие крайние порядковые статистики тоже сходятся в силу монотонности не только по вероятности, но и почти наверное.

Признак

• Если оценка сходится к истинному значению параметра "в среднем квадратичном" или если оценка асимптотически несмещенная и её дисперсия стремится к нулю, то такая оценка будет состоятельной.

Свойства

• Из свойств сходимостей случайных величин имеем, что сильно состоятельная оценка всегда состоятельна. Обратное, вообще говоря, неверно.
• Поскольку дисперсия состоятельных оценок стремится к нулю, часто со скоростью порядка 1/n, то состоятельные оценки сравниваются между собой асимптотической дисперсией случайной величины Невозможно разобрать выражение (Выполняемый файл texvc не найден; См. math/README - справку по настройке.): \sqrt {n} (\hat{\theta}-\theta) (асимптотическое математическое ожидание этой величины равно нулю).

Связанные понятия

• Оценка называется суперсостоятельной , если дисперсия случайной величины Невозможно разобрать выражение (Выполняемый файл texvc не найден; См. math/README - справку по настройке.): n (\hat{\theta}-\theta) стремится к конечной величине. То есть скорость сходимости оценки к истинному значению существенно выше чем у состоятельной оценки. Суперсостоятельными, например, оказываются оценки параметров регрессии коинтегрированных временных рядов.

Примеры

• Выборочное среднее Невозможно разобрать выражение (Выполняемый файл texvc не найден; См. math/README - справку по настройке.): \bar{X} = \frac{1}{n} \sum\limits_{i=1}^n X_i является сильно состоятельной оценкой математического ожидания Невозможно разобрать выражение (Выполняемый файл texvc не найден; См. math/README - справку по настройке.): X_i .
• Периодограмма является несмещённой , но несостоятельной оценкой спектральной плотности .

См. также

Напишите отзыв о статье "Состоятельная оценка"

Отрывок, характеризующий Состоятельная оценка

Искренний, глубоко-печальный рассказ Изидоры омертвил болью наши детские сердца, даже не давая время очнуться... Казалось, не было предела бесчеловечным мукам, причиняемым чёрствыми душами уродливых палачей этой удивительной и мужественной женщине!.. Мне было искренне боязно и тревожно, только лишь думая о том, что же ждало нас по окончании её потрясающего рассказа!..
Я посмотрела на Стеллу – моя воинственная подружка испуганно жалась к Анне, не сводя с Изидоры потрясённо- округлившихся глаз... Видимо, даже её – такую храбрую и не сдающуюся – ошеломила людская жестокость.
Да, наверняка, мы со Стеллой видели больше, чем другие дети в свои 5-10 лет. Мы уже знали, что такое потеря, знали, что означает боль... Но нам ещё предстояло очень многое пережить, чтобы понять хоть малую часть того, что чувствовала сейчас Изидора!.. И я лишь надеялась, что мне никогда не придётся такого на себе по-настоящему испытать...
Я зачарованно смотрела на эту прекрасную, смелую, удивительно одарённую женщину, не в силах скрыть навернувшихся на глаза горестных слёз... Как же «люди» смели зваться ЛЮДЬМИ, творя с ней такое?!. Как Земля вообще терпела такую преступную мерзость, разрешая топтать себя, не разверзнув при этом своих глубин?!.
Изидора всё ещё находилась от нас далеко, в своих глубоко-ранящих воспоминаниях, и мне честно совсем не хотелось, чтобы она продолжала рассказывать дальше... Её история терзала мою детскую душу, заставляя сто раз умирать от возмущения и боли. Я не была к этому готова. Не знала, как защититься от такого зверства... И казалось, если сейчас же не прекратится вся эта раздирающая сердце повесть – я просто умру, не дождавшись её конца. Это было слишком жестоко и не поддавалось моему нормальному детскому пониманию...
Но Изидора, как ни в чём не бывало, продолжала рассказывать дальше, и нам ничего не оставалось, как только окунутся с ней снова в её исковерканную, но такую высокую и чистую, не дожитую земную ЖИЗНЬ...
Проснулась я на следующее утро очень поздно. Видимо тот покой, что подарил мне своим прикосновением Север, согрел моё истерзанное сердце, позволяя чуточку расслабиться, чтобы новый день я могла встретить с гордо поднятой головой, что бы этот день мне ни принёс... Анна всё ещё не отвечала – видимо Караффа твёрдо решил не позволять нам общаться, пока я не сломаюсь, или пока у него не появится в этом какая-то большая нужда.
Изолированная от моей милой девочки, но, зная, что она находится рядом, я пыталась придумать разные-преразные способы общения с ней, хотя в душе прекрасно знала – ничего не удастся найти. Караффа имел свой надёжный план, который не собирался менять, согласуя с моим желанием. Скорее уж наоборот – чем больше мне хотелось увидеть Анну, тем дольше он собирался её держать взаперти, не разрешая встречу. Анна изменилась, став очень уверенной и сильной, что меня чуточку пугало, так как, зная её упёртый отцовский характер, я могла только представить, как далеко она могла в своём упорстве пойти... Мне так хотелось, чтобы она жила!.. Чтобы палач Караффы не посягал на её хрупкую, не успевшую даже полностью распуститься, жизнь!.. Чтобы у моей девочки всё ещё было только впереди...

Выборочные характеристики. Состоятельные,

В начале курса были рассмотрены такие понятия как классическая и статистическая вероятности.

Если классическая вероятность - это теоретическая характеристика, которую можно определить, не прибегая к опыту, то статистическая вероятность может быть определена только по результатам эксперимента. При большем числе опытов величина W(A) может служить оценкой для вероятности P(A). Достаточно вспомнить классические опыты Бюффона и Пирсона. Подобные аналогии можно продолжить и далее. Например, для теоретической характеристики М(x) таковой аналогией будет - среднее арифметическое:

= i f i / n ,

для дисперсии D(x) эмпирическим аналогом будет статистическая дисперсия:

S 2 (x) = (x i - ) 2 f i / n .

Эмпирические характеристики , S 2 (x) , W(A) являются оценками параметров М(x) , D(x) , P(A) . В тех случаях, когда эмпирические характеристики определяются на основе большого числа опытов, использование их в качестве теоретических параметров не приведет к существенным ошибкам в исследовании, однако в тех случаях, когда число опытов ограничено, ошибка при замене будет существенна. Поэтому к эмпирическим характеристикам, являющимися оценками теоретических параметров предъявляются 3 требования:

оценки должны быть состоятельными, несмещенными и эффективными.

Оценка называется состоятельной, если вероятность отклонения ее от оцениваемого параметра на величину меньшую как угодно малого положительного числа стремится к единице при неограниченном увеличении числа наблюдений n , т.е.

P(| - | < ) = 1

где - некоторый параметр генеральной совокупности,

/ - оценка этого параметра. Большинство оценок различных чис­ловых параметров отвечают этим требованиям. Однако одного этого требования бывает недостаточно. Необходимо, чтобы они еще были и несмещенными.

Оценка называется несмещенной, если математическое ожидание этой оценки равно оцениваемому параметру:

М ( / ) = .

Примером состоятельной и несмещенной оценки систематического ожидания является средняя арифметическая:

М () = .

Примером состоятельной и смещенной оценки является

дисперсия:

М (S 2 (x) ) = [ (n – 1)/ n] D(x).

Поэтому, чтобы получить несмещенную оценку теоретической дисперсии D(x) надо эмпирическую дисперсию S 2 (x) умножить на n/(n – 1) , т.е.

S 2 (x) = (x i - ) 2 f i / n n /(n – 1) = (x i - ) 2 f i /(n – 1) .

Практически эту поправку вносят при вычислении оценки дисперсии в тех случаях, когда n < 30 .

Состоятельных несмещенных оценок может быть несколько. Например, для оценки центра рассеивания нормального распределения наряду со средней арифметической , может быть взята медиана . Медиана так же, как и является несмещенной состоятельной оценкой центра группирования. Из двух состоятельных несмещенных оценок для одного и того же параметра естественно отдать пред­почтение той, у которой дисперсия меньше.

Такая оценка, у которой дисперсия будет наименьшей относительно оцениваемого параметра, называется эффективной . Например, из двух оценок центра рассеивания нормального распределения М(x) эффективной оценкой является , а не , так как дисперсия меньше дисперсии . Сравнительная эффективность этих оценок при большой выборке приближенно равна: D() / D= 2/ = 0,6366.

Практически это означает, что центр распределения генеральной совокупности (назовем его 0) определяется по с той же точностью при n наблюдениях, как и при 0,6366 n наблюдениях по средней арифметической .

4.4. Свойства выборочных средних и дисперсий.

1. Если объем выборки достаточно велик, то на основе закона больших чисел с вероятностью близкой к единице, можно утверждать, что средняя арифметическая и дисперсия S 2 будут как угодно мало отличаться от М(x) и D(x ), т.е.

М(x) , S 2 (x) D(x ), и дисперсией D() , каков бы не был объем выборок n, лишь бы число выборок было достаточно велико.

4. Когда дисперсия D(x ), генеральной совокупности неизвестна, тогда для больших значений n с большей вероятностью малой ошибки можно дисперсию выборочных средних вычислить приближенно по равенству:

D() = S 2 (x) / n,

где S 2 (x) = (x i - ) 2 f i / n - дисперсия большой выборки.

← Вернуться