5. Основные проблемы прикладной статистики - описание данных, оценивание и проверка гипотез
Состоятельность, несмещенность и эффективность оценок
Как сравнивать методы оценивания между собой? Сравнение проводят на основе таких показателей качества методов оценивания, как состоятельность, несмещенность, эффективность и др.
Рассмотрим оценку θ n числового параметра θ, определенную при n = 1, 2, … Оценка θ n называется состоятельной , если она сходится по вероятности к значению оцениваемого параметра θ при безграничном возрастании объема выборки. Выразим сказанное более подробно. Статистика θ n является состоятельной оценкой параметра θ тогда и только тогда, когда для любого положительного числа ε справедливо предельное соотношение
Пример 3. Из закона больших чисел следует, что θ n = является состоятельной оценкой θ = М(Х) (в приведенной выше теореме Чебышёва предполагалось существование дисперсии D (X ); однако, как доказал А.Я. Хинчин , достаточно выполнения более слабого условия – существования математического ожидания М(Х) ).
Пример 4. Все указанные выше оценки параметров нормального распределения являются состоятельными.
Вообще, все (за редчайшими исключениями) оценки параметров, используемые в вероятностно-статистических методах принятия решений, являются состоятельными.
Пример 5 . Так, согласно теореме В.И. Гливенко, эмпирическая функция распределения F n (x ) является состоятельной оценкой функции распределения результатов наблюдений F (x ).
При разработке новых методов оценивания следует в первую очередь проверять состоятельность предлагаемых методов.
Второе важное свойство оценок – несмещенность . Несмещенная оценка θ n – это оценка параметра θ, математическое ожидание которой равно значению оцениваемого параметра: М (θ n ) = θ.
Пример 6. Из приведенных выше результатов следует, что и являются несмещенными оценками параметров m и σ 2 нормального распределения. Поскольку М() = М(m ** ) = m , то выборочная медиана и полусумма крайних членов вариационного ряда m ** - также несмещенные оценки математического ожидания m нормального распределения. Однако
поэтому оценки s 2 и (σ 2 )** не являются состоятельными оценками дисперсии σ 2 нормального распределения.
Оценки, для которых соотношение М (θ n ) = θ неверно, называются смещенными. При этом разность между математическим ожиданием оценки θ n и оцениваемым параметром θ, т.е. М (θ n ) – θ, называется смещением оценки.
Пример 7. Для оценки s 2 , как следует из сказанного выше, смещение равно
М (s 2) - σ 2 = - σ 2 /n .
Смещение оценки s 2 стремится к 0 при n → ∞.
Оценка, для которой смещение стремится к 0, когда объем выборки стремится к бесконечности, называется асимптотически несмещенной . В примере 7 показано, что оценка s 2 является асимптотически несмещенной.
Практически все оценки параметров, используемые в вероятностно-статистических методах принятия решений, являются либо несмещенными, либо асимптотически несмещенными. Для несмещенных оценок показателем точности оценки служит дисперсия – чем дисперсия меньше, тем оценка лучше. Для смещенных оценок показателем точности служит математическое ожидание квадрата оценки М (θ n – θ) 2 . Как следует из основных свойств математического ожидания и дисперсии,
т.е. математическое ожидание квадрата ошибки складывается из дисперсии оценки и квадрата ее смещения.
Для подавляющего большинства оценок параметров, используемых в вероятностно-статистических методах принятия решений, дисперсия имеет порядок 1/n , а смещение – не более чем 1/n , где n – объем выборки. Для таких оценок при больших n второе слагаемое в правой части (3) пренебрежимо мало по сравнению с первым, и для них справедливо приближенное равенство
где с – число, определяемое методом вычисления оценок θ n и истинным значением оцениваемого параметра θ.
С дисперсией оценки связано третье важное свойство метода оценивания – эффективность . Эффективная оценка – это несмещенная оценка, имеющая наименьшую дисперсию из всех возможных несмещенных оценок данного параметра.
Доказано , что и являются эффективными оценками параметров m и σ 2 нормального распределения. В то же время для выборочной медианы справедливо предельное соотношение
Другими словами, эффективность выборочной медианы, т.е. отношение дисперсии эффективной оценки параметра m к дисперсии несмещенной оценки этого параметра при больших n близка к 0,637. Именно из-за сравнительно низкой эффективности выборочной медианы в качестве оценки математического ожидания нормального распределения обычно используют выборочное среднее арифметическое.
Понятие эффективности вводится для несмещенных оценок, для которых М (θ n ) = θ для всех возможных значений параметра θ. Если не требовать несмещенности, то можно указать оценки, при некоторых θ имеющие меньшую дисперсию и средний квадрат ошибки, чем эффективные.
Пример 8. Рассмотрим «оценку» математического ожидания m 1 ≡ 0. Тогда D (m 1 ) = 0, т.е. всегда меньше дисперсии D () эффективной оценки . Математическое ожидание среднего квадрата ошибки d n (m 1 ) = m 2 , т.е. при имеем d n (m 1 ) < d n (). Ясно, однако, что статистику m 1 ≡ 0 бессмысленно рассматривать в качестве оценки математического ожидания m .
Пример 9. Более интересный пример рассмотрен американским математиком Дж. Ходжесом:
Ясно, что T n – состоятельная, асимптотически несмещенная оценка математического ожидания m , при этом, как нетрудно вычислить,
Последняя формула показывает, что при m ≠ 0 оценка T n не хуже (при сравнении по среднему квадрату ошибки d n ), а при m = 0 – в четыре раза лучше.
Подавляющее большинство оценок θ n , используемых в вероятностно-статистических методах, являются асимптотически нормальными, т.е. для них справедливы предельные соотношения:
для любого х , где Ф(х) – функция стандартного нормального распределения с математическим ожиданием 0 и дисперсией 1. Это означает, что для больших объемов выборок (практически - несколько десятков или сотен наблюдений) распределения оценок полностью описываются их математическими ожиданиями и дисперсиями, а качество оценок – значениями средних квадратов ошибок d n (θ n ).
| Предыдущая |
Распределение случайной величины (распределение генеральной совокупности) характеризуется обычно рядом числовых характеристик:
- для нормального распределения N(a, σ) - это математическое ожидание a и среднее квадратическое отклонение σ ;
- для равномерного распределения R(a,b) - это границы интервала , в котором наблюдаются значения этой случайной величины.
Когда оценка определяется одним числом, она называется точечной оценкой
. Точечная оценка, как функция от выборки, является случайной величиной и меняется от выборки к выборке при повторном эксперименте.
К точечным оценкам предъявляют требования, которым они должны удовлетворять, чтобы хоть в каком-то смысле быть «доброкачественными». Это несмещённость
, эффективность
и состоятельность
.
Интервальные оценки определяются двумя числами – концами интервала, который накрывает оцениваемый параметр. В отличие от точечных оценок, которые не дают представления о том, как далеко от них может находиться оцениваемый параметр, интервальные оценки позволяют установить точность и надёжность оценок.
В качестве точечных оценок математического ожидания, дисперсии и среднего квадратического отклонения используют выборочные характеристики соответственно выборочное среднее, выборочная дисперсия и выборочное среднее квадратическое отклонение.
Свойство несмещенности оценки
.
Желательным требованием к оценке является отсутствие систематической ошибки, т.е. при многократном использовании вместо параметра θ его оценки среднее значение ошибки приближения равно нулю - это свойство несмещенности оценки
.
Определение . Оценка называется несмещенной , если ее математическое ожидание равно истинному значению оцениваемого параметра:
Выборочное среднее арифметическое является несмещенной оценкой математического ожидания, а выборочная дисперсия 
- смещенная оценка генеральной дисперсии D
. Несмещенной оценкой генеральной дисперсии является оценка
Свойство состоятельности оценки
.
Второе требование к оценке - ее состоятельность - означает улучшение оценки с увеличением объема выборки.
Определение
. Оценка 
называется состоятельной
, если она сходится по вероятности к оцениваемому параметру θ при n→∞.
Сходимость по вероятности означает, что при большом объеме выборки вероятность больших отклонений оценки от истинного значения мала.
Свойство эффективной оценки
.
Третье требование позволяет выбрать лучшую оценку из нескольких оценок одного и того же параметра.
Определение . Несмещенная оценка является эффективной , если она имеет наименьшую среди всех несмещенных оценок дисперсию.
Это означает, что эффективная оценка обладает минимальным рассеиванием относительно истинного значения параметра. Заметим, что эффективная оценка существует не всегда, но из двух оценок обычно можно выбрать более эффективную, т.е. с меньшей дисперсией. Например, для неизвестного параметра a нормальной генеральной совокупности N(a,σ) в качестве несмещенной оценки можно взять и выборочное среднее арифметическое, и выборочную медиану. Но дисперсия выборочной медианы примерно в 1.6 раза больше, чем дисперсия среднего арифметического. Поэтому более эффективной оценкой является выборочное среднее арифметическое.
Пример №1
. Найдите несмещенную оценку дисперсии измерений некоторой случайной величины одним прибором (без систематических ошибок), результаты измерения которой (в мм): 13,15,17.
Решение. Таблица для расчета показателей.
| x | |x - x ср | | (x - x ср) 2 |
| 13 | 2 | 4 |
| 15 | 0 | 0 |
| 17 | 2 | 4 |
| 45 | 4 | 8 |
Простая средняя арифметическая (несмещенная оценка математического ожидания)
Дисперсия - характеризует меру разброса около ее среднего значения (мера рассеивания, т.е. отклонения от среднего - смещенная оценка).
Несмещенная оценка дисперсии - состоятельная оценка дисперсии (исправленная дисперсия).
Пример №2
. Найдите несмещенную оценку математического ожидания измерений некоторой случайной величины одним прибором (без систематических ошибок), результаты измерения которой (в мм): 4,5,8,9,11.
Решение. m = (4+5+8+9+11)/5 = 7.4
Пример №3
. Найдите исправленную дисперсию S 2 для выборки объема n=10, если выборочная диспресия равна D = 180.
Решение. S 2 = n*D/(n-1) = 10*180/(10-1) = 200
) задач математической статистики .
Предположим, что имеется параметрическое семейство распределений вероятностей (для простоты будем рассматривать распределение случайных величин и случай одного параметра). Здесь - числовой параметр, значение которого неизвестно. Требуется оценить его по имеющейся выборке значений, порожденной данным распределением.
Различают два основных типа оценок: точечные оценки и доверительные интервалы .
Точечное оценивание
Точечное оценивание - это вид статистического оценивания, при котором значение неизвестного параметра приближается отдельным числом. То есть необходимо указать функцию от выборки (статистику)
,значение которой будет рассматриваться в качестве приближения к неизвестному истинному значению .
К общим методам построения точечных оценок параметров относятся: метод максимального правдоподобия , метод моментов , метод квантилей .
Ниже приводятся некоторые свойства, которыми могут обладать или не обладать точечные оценки.
Состоятельность
Одно из самых очевидных требований к точечной оценке заключается в том, чтобы можно было ожидать достаточно хорошего приближения к истинному значению параметра при достаточно больших значениях объема выборки . Это означает, что оценка должна сходиться к истинному значению при . Это свойство оценки и называется состоятельностью . Поскольку речь идет о случайных величинах, для которых имеются разные виды сходимости, то и данное свойство может быть точно сформулировано по-разному:
Когда употребляют просто термин состоятельность , то обычно имеется в виду слабая состоятельность, т.е. сходимость по вероятности.
Условие состоятельности является практически обязательным для всех используемых на практике оценок. Несостоятельные оценки используются крайне редко.
Несмещенность и асимптотическая несмещенность
Оценка параметра называется несмещенной , если ее математическое ожидание равно истинному значению оцениваемого параметра:
.Более слабым условием является асимптотическая несмещенность , которая означает, что математическое ожидание оценки сходится к истинному значению параметра с ростом объема выборки:
.Несмещенность является рекомендуемым свойством оценок. Однако не следует слишком переоценивать его значимость. Чаще всего несмещенные оценки параметров существуют и тогда стараются рассматривать только их. Однако могут быть такие статистические задачи, в которых несмещенных оценок не существует. Наиболее известным примером является следующий: рассмотрим распределение Пуассона с параметром и поставим задачу оценки параметра . Можно доказать, что для этой задачи не существует несмещенной оценки.
Сравнение оценок и эффективность
Для сравнения между собой различных оценок одного и того же параметра применяют следующий метод: выбирают некоторую функцию риска , которая измеряет отклонение оценки от истинного значения параметра, и лучшей считают ту, для которой эта функция принимает меньшее значение.
Чаще всего в качестве функции риска рассматривают математическое ожидание квадрата отклонения оценки от истинного значения
Для несмещенных оценок это есть просто дисперсия .
Существует нижняя граница на данную функцию риска, называемая неравенство Крамера-Рао .
(Несмещенные) оценки, для которых достигается эта нижняя граница (т.е. имеющие минимально возможную дисперсию), называются эффективными . Однако существование эффективной оценки есть довольно сильное требование на задачу, которое имеет место далеко не всегда.
Более слабым является условие асимптотической эффективности , которое означает, что отношение дисперсии несмещенной оценки к нижней границе Крамера-Рао стремится к единице при .
Заметим, что при достаточно широких предположениях относительно исследуемого распределения, метод максимального правдоподобия дает асимптотически эффективную оценку параметра, а если существует эффективная оценка - тогда он дает эффективную оценку.
Достаточные статистики
Статистика назвается достаточной для параметра , если условное распределение выборки при условии того, что , не зависит от параметра для всех .
Важность понятия достаточной статистики обуславливается следующим утверждением . Если - достаточная статистика, а - несмещенная оценка параметра , тогда условное математическое ожидание является также несмещенной оценкой параметра , причем ее дисперсия меньше или равна дисперсии исходной оценки .
Напомним, что условное математическое ожидание есть случайная величина, являющаяся функцией от . Таким образом, в классе несмещенных оценок достаточно рассматривать только такие, которые являются функциями от достаточной статистики (при условии, что такая существует для данной задачи).
(Несмещенная) эффективная оценка параметра всегда является достаточной статистикой.
Можно сказать, что достаточная статистика содержит в себе всю информацию об оцениваемом параметре, которая содержится в выборке .
Выборочные характеристики. Состоятельные,
В начале курса были рассмотрены такие понятия как классическая и статистическая вероятности.
Если классическая вероятность - это теоретическая характеристика, которую можно определить, не прибегая к опыту, то статистическая вероятность может быть определена только по результатам эксперимента. При большем числе опытов величина W(A) может служить оценкой для вероятности P(A). Достаточно вспомнить классические опыты Бюффона и Пирсона. Подобные аналогии можно продолжить и далее. Например, для теоретической характеристики М(x) таковой аналогией будет - среднее арифметическое:
= i f i / n ,
для дисперсии D(x) эмпирическим аналогом будет статистическая дисперсия:
S 2 (x) = (x i - ) 2 f i / n .
Эмпирические характеристики , S 2 (x) , W(A) являются оценками параметров М(x) , D(x) , P(A) . В тех случаях, когда эмпирические характеристики определяются на основе большого числа опытов, использование их в качестве теоретических параметров не приведет к существенным ошибкам в исследовании, однако в тех случаях, когда число опытов ограничено, ошибка при замене будет существенна. Поэтому к эмпирическим характеристикам, являющимися оценками теоретических параметров предъявляются 3 требования:
оценки должны быть состоятельными, несмещенными и эффективными.
Оценка называется состоятельной, если вероятность отклонения ее от оцениваемого параметра на величину меньшую как угодно малого положительного числа стремится к единице при неограниченном увеличении числа наблюдений n , т.е.
P(| - | < ) = 1
где - некоторый параметр генеральной совокупности,
/ - оценка этого параметра. Большинство оценок различных числовых параметров отвечают этим требованиям. Однако одного этого требования бывает недостаточно. Необходимо, чтобы они еще были и несмещенными.
Оценка называется несмещенной, если математическое ожидание этой оценки равно оцениваемому параметру:
М ( / ) = .
Примером состоятельной и несмещенной оценки систематического ожидания является средняя арифметическая:
М () = .
Примером состоятельной и смещенной оценки является
дисперсия:
М (S 2 (x) ) = [ (n – 1)/ n] D(x).
Поэтому, чтобы получить несмещенную оценку теоретической дисперсии D(x) надо эмпирическую дисперсию S 2 (x) умножить на n/(n – 1) , т.е.
S 2 (x) = (x i - ) 2 f i / n n /(n – 1) = (x i - ) 2 f i /(n – 1) .
Практически эту поправку вносят при вычислении оценки дисперсии в тех случаях, когда n < 30 .
Состоятельных несмещенных оценок может быть несколько. Например, для оценки центра рассеивания нормального распределения наряду со средней арифметической , может быть взята медиана . Медиана так же, как и является несмещенной состоятельной оценкой центра группирования. Из двух состоятельных несмещенных оценок для одного и того же параметра естественно отдать предпочтение той, у которой дисперсия меньше.
Такая оценка, у которой дисперсия будет наименьшей относительно оцениваемого параметра, называется эффективной . Например, из двух оценок центра рассеивания нормального распределения М(x) эффективной оценкой является , а не , так как дисперсия меньше дисперсии . Сравнительная эффективность этих оценок при большой выборке приближенно равна: D() / D= 2/ = 0,6366.
Практически это означает, что центр распределения генеральной совокупности (назовем его 0) определяется по с той же точностью при n наблюдениях, как и при 0,6366 n наблюдениях по средней арифметической .
4.4. Свойства выборочных средних и дисперсий.
1. Если объем выборки достаточно велик, то на основе закона больших чисел с вероятностью близкой к единице, можно утверждать, что средняя арифметическая и дисперсия S 2 будут как угодно мало отличаться от М(x) и D(x ), т.е.
М(x) , S 2 (x) D(x ), и дисперсией D() , каков бы не был объем выборок n, лишь бы число выборок было достаточно велико.
4. Когда дисперсия D(x ), генеральной совокупности неизвестна, тогда для больших значений n с большей вероятностью малой ошибки можно дисперсию выборочных средних вычислить приближенно по равенству:
D() = S 2 (x) / n,
где S 2 (x) = (x i - ) 2 f i / n - дисперсия большой выборки.
Определение. Случайная величина называется оценкой неизвестного параметра , если значение этой случайной величины, найденное по результатам серии из измерений, может быть принято за приближенное значение этого параметра т.е. если справедливо равенство .
Пример. Если в качестве неизвестного параметра рассматривается вероятность наступления некоторого события , то оценкой этого параметра служит частость наступлений события в независимых испытаниях (см. статистическое определение вероятности и теорему Бернулли).
Пример. Пусть случайные величины имеют одинаковое математическое ожидание, т.е. . Тогда оценкой значения общего математического ожидания таких случайных величин служит среднее арифметическое этих случайных величин. Важным частным случаем рассмотренной ситуации является следующий
Пример . Оценкой некоторого параметра служит среднее арифметическое результатов независимых измерений этого параметра (см. теорему Чебышёва).
При непосредственном использовании приближенного равенства говорят о точечном оценивании неизвестного параметра.
Возможно также интервальное оценивание неизвестного параметра. Для того, чтобы объяснить, в чем оно состоит, введем в рассмотрение следующие понятия.
Определение. Для произвольного интервал называется доверительным интервалом ;сама величина называется в этом случае предельной ошибкой выборки .
Определение. Вероятность того, что неизвестное значение оцениваемого параметра накрывается доверительным интервалом, называется доверительной вероятностью.
Таким образом, если – оценкапараметра , то
– доверительная вероятность (мы предполагаем, что оценка является непрерывной случайной величиной).
Интервальное оценивание состоит, например, в вычислении доверительной вероятности для заданной предельной ошибки выборки.
Решение задачи интервального оценивания связано с определением характера закона распределения используемой оценки .
Рассмотрим теперь некоторые свойства оценок.
Определение. Оценка параметра называется несмещенной , если математическое ожидание этой оценки равно оцениваемому параметру, т.е.
Определение. Оценка параметра называется состоятельной , если для произвольного выполняется следующее предельное соотношение
Другими словами, оценка параметра состоятельна, если эта оценка сходится по вероятности к данному параметру. (Напомним, что примеры сходимости такого рода дают теоремы Бернулли и Чебышёва, см. § 6.2.)
Определение. Несмещенная оценка некоторого параметра называется эффективной , если она обладает наименьшей дисперсией среди всех несмещенных оценок, найденных по выборке заданного объема.
Пример. Частость наступления некоторого события является несмещенной, состоятельной и эффективной оценкой вероятности этого события. Заметим, что свойства несмещенности и состоятельности частости были фактически рассмотрены нами ранее в несколько ином контексте. Действительно, несмещенность частости – равенство – является одним из свойств биномиально распределенной случайной величины (см. § 3.3). Состоятельность частости утверждается теоремой Бернулли (см. § 6.2).
Пример . Среднее арифметическое некоторого числа независимых и одинаково распределенных случайных величин является несмещенной и состоятельной оценкой общего математического ожидания этих случайных величин. Действительно, несмещенность – есть свойство 5 математического ожидания (см. § 3.3). Состоятельность утверждается теоремой Чебышёва (см. § 6.2).
Похожие статьи
