Идентификация закона распределения случайной величины

Случайная величина. В инженерной практике необходимо исследовать не только детерминированные, но и стохастические процессы. Практически все процессы в технологических и технических объектах выполняются в непрерывно меняющихся непредвиденным образом условиях. В связи с этим приходится анализировать случайные величины в этих объектах.

Под случайной величиной понимают величину, принимающую в результате испытания значение, которое принципиально нельзя предсказать исходя из условий опыта. Случайная величина обладает целым набором допустимых значений, но в результате каждого отдельного опыта принимает лишь какое-то одно из них. Она может принимать различные значения даже при неизменном комплексе основных факторов.

Различают дискретные и непрерывные случайные величины. Возможные значения дискретных случайных величин можно заранее перечислить. Значения непрерывной случайной величины не могут быть заранее перечислены, они непрерывно заполняют некоторый промежуток. Чтобы полностью охарактеризовать случайную величину, необходимо не только указывать, какие значения она может принимать но и как часто.

Законы распределения случайной величины. При решении многих прикладных задач необходимые вероятностные характеристики соответствующих случайных величин неизвестны исследователю и должны определяться по экспериментальным данным. Такое статистическое описание результатов наблюдений, построение и проверка различных математических моделей, использующих понятие вероятности, составляет основное содержание математической статистики.

Фундаментальными понятиями статистической теории являются понятия вероятности и распределения вероятности случайной величины.

Пусть дискретная случайная величина может принимать в результате опыта значения . Отношение числа опытов , в результате которых случайная величина приняла значение , к общему числу производимых опытов называется частотой проявления события (частотное определение вероятности). Частота сама является случайной величиной и меняется в зависимости от количества произведенных опытов. Но при большом числе опытов она имеет тенденцию стабилизироваться около некоторого значения , называемого вероятностью события (статистическое определение вероятности):

(5.124)

Сумма вероятностей всех возможных значений случайной величины равна единице

так как тот факт, что случайная величина примет в результате опыта одно из своих значений, есть достоверное событие. Эта суммарная вероятность распределена определенным образом между отдельными значениями.

Дискретную случайную величину можно полностью задать вероятностным рядом, указав вероятность для каждого значения :

				...
				...

Всякое соотношение, устанавливающее связь между возможными значениями случайной величины и соответствующими им вероятностями, называется законом распределения. Вероятностный ряд является одним из видов законов распределения случайной величины.

Распределение непрерывной случайной величины нельзя задавать при помощи вероятностей отдельных значений. Число значений так велико, что для большинства из них вероятность принять эти значения равна нулю, т.е. событие может произойти, а вероятность его равна нулю. Для непрерывных случайных величин изучается вероятность того, что в результате опыта значение случайной величины попадет в некоторую заданную область.

Аналитическими выражениями законов распределения случайной величины являются функции распределения вероятностей - интегральная и дифференциальная.

Интегральная функция распределения случайной величины показывает вероятность того, что случайная величина не превышает некоторого заданного или текущего значения , т.е.

. (5.126)

Следовательно, вероятность того, что значение случайной величины заключено между и , равна разности значений функции распределения, вычисленных в двух этих точках:

. (5.127)

Аналогично,

. (5.128)

Интегральная функция распределения случайной величины обладает следующими свойствами:

1) ;

2) ;

3) для всех ;

4) если .

В виде функции распределения можно задать распределение как непрерывной, так и дискретной случайной величины. Как видно из определения, есть неубывающая функция . Ордината кривой , соответствующая точке , представляет собой вероятность того, что случайная величина при испытании окажется меньше .

Интегральная функция распределения дискретной случайной величины всегда есть разрывная ступенчатая функция, скачки которой происходят в точках, соответствующих возможным значениям случайной величины, и равны вероятностям этих значений. Сумма всех скачков равна единице.

Возможные виды интегральных функций распределения изображены на рис. 2.12 для непрерывной (а) и дискретной (б) случайной величины:

Рис 2.12.

Если функция дифференцируема для всех значений случайной величины , то закон распределения вероятностей может быть выражен в аналитической форме также с помощью дифференциальной функции распределения вероятностей:

(5.129)

Таким образом, значение функции приближено равно отношению вероятности попадания случайной величины в интервал к длине этого интервала, когда - бесконечно малая величина. Поэтому функцию называют также функцией плотности распределения вероятностей (или короче - функцией плотности вероятности).

Отметим основные свойства функции :

1) ;

2) ;

3) ;

4)

( - переменная интегрирования).

С помощью дифференциальной функции распределения вычисляется вероятность нахождения случайной величины в любой области из множества ее возможных значений. Например,

; (5.130)

; (5.131)

. (5.132)

Для непрерывной случайной величины вероятность можно определить как относительную долю площади под кривой плотности распределения вероятностей . Так, например, вероятность того, что случайная величина примет значение, меньшее , равна относительной доле площади под кривой слева от точки (рис. 2.13,а); вероятность того, что эта величина примет значение, большее , равна относительной доле площади под кривой справа от точки (рис. 2.13,б); вероятность того что она примет значение, заключенное между значениями и равна относительной доле площади под кривой между точками и (рис. 2.13,в).

Рис. 2.13.

Теоретическое и эмпирическое распределение. Распределение вероятностей называется теоретическим. Оно может быть установлено для соответствующей случайной величины из анализа генеральной совокупности.

Под генеральной совокупностью понимают все допустимые значения случайной величины. Содержательный смысл этого понятия состоит в том, что предполагается существование некоторых вполне определенных свойств, неслучайных закономерностей присущих данной совокупности, тех свойств, которые и должны быть выяснены исследователем. Фактически эти свойства являются объективным отображением вероятностных свойств изучаемого объекта, которые могут быть охарактеризованы с помощью соответствующих законов распределения вероятностей или связанных с ними числовых параметров. Считается, что указанные свойства не изменяются во времени и присущие генеральной совокупности неслучайные закономерности сохраняют постоянным свой характер, т.е. являются устойчивыми.

На практике исследователь всегда располагает лишь ограниченным числом значений случайной величины, представляющим собой некоторую выборку из генеральной совокупности.

Выборка это конечный набор значений случайной величины, полученный в результате наблюдений. Число элементов выборки называется ее объемом. Если, например, - наблюдаемые значения случайной величины (возможно, и совпадающие), то объем данной выборки равен .

Выборка называется репрезентативной (представительной), если она достаточно полно характеризует генеральную совокупность. Для обеспечения репрезентативности выборки чаще всего используется случайный выбор элементов (рандомизация). При таком выборе предполагается, что каждая возможная выборка фиксированного объема имеет одну и ту же вероятность выбора, а последовательные наблюдения взаимно независимы.

Смысл статистических методов заключается в том, что по выборке ограниченного объема , т.е. по некоторой части генеральной совокупности, высказывать обоснованное суждение о ее свойствах в целом. Подобное суждение может быть получено путем построения эмпирических (выборочных) аналогов вероятностных характеристик исследуемой величины, иначе говоря, путем оценивания параметров (характеристик) генеральной совокупности с помощью некоторых подходящих функций от результатов наблюдений - оценок.

При многократном извлечении выборок одного и того же объема и последующем нахождении множества оценок одного и того же параметра получаются различные числовые значения этих оценок, изменяющиеся от одной выборке к другой случайным образом. Иными словами любая оценка произвольного параметра есть случайная величина. В этом ее принципиальное отличие от самого оцениваемого параметра , являющегося неслучайным.

Оценка параметра называется состоятельной, если при неограниченном увеличении объема выборки значение с полной мерой достоверности (с вероятностью единица) стремится к своему теоретическому значению . Состоятельность оценки гарантирует исследователю увеличение точности оценивания с ростом и то, что хотя бы в пределе при он может получить точное значение .

Оценка называется несмещенной, если для любого ( - математическое ожидание ). Несмещенность означает отсутствие систематической погрешности при оценивании параметра .

Предположим, что в результате эксперимента получена выборка значений случайной величины . Пусть - некоторая точка оси . Обозначим через число (частота) выборочных значений, расположенных левее на этой же оси. Отношение представляет собой относительную частоту наблюдаемых в выборке значений случайной величины , меньших . Эта частота есть функция от . Обозначим ее :

. (5.133)

Функция распределения , получаемая по выборке, называется эмпирической или выборочной функцией распределения (в отличии от распределения генеральной совокупности, или теоретического распределения). Она устанавливает распределение относительных частот, т.е. определяет для каждого значения относительную частоту события .

Для каждой выборки эмпирическая функция распределения будет своей, но все эмпирические функции распределения одной и той же случайной величины будут иметь нечто общее, что является информацией о функции распределения этой случайной величины.

Доказано, что с вероятностью 1 при максимальная разность между функциями распределения случайной величины и стремится к нулю (теорема Гливенко):

; (5.134)

Практически это означает, что при достаточно большой выборке функцию распределения генеральной совокупности приблизительно можно заменить функцией распределения выборки.

Эмпирическая функция распределения обладает следующими свойствами:

1) , т.е. значения эмпирической функции принадлежат отрезку [0;1];

2) ,если , т.е. неубывающая функция;

3) если - наименьшее, а - наибольшее значение случайной величины , то при и при .

График эмпирической функции распределения имеет вид, приведенный на рис. 2.12,б.

Полигоном эмпирического распределения называют ломаную, отрезки которой соединяют точки , где - элементы выборки, а - соответствующие им частоты, или точки , где - относительные частоты, соответствующие .

При обработке выборок больших объемов весь отрезок, в котором заключены все наблюдаемые значения случайной величины , разбивают на ряд интервалов длины и находят - число элементов выборки, попавших в -ый интервал.

Гистограммой эмпирического распределения называют ступенчатую фигуру, состоящую из прямоугольников, основаниями которых служат интервалы длины , а высоты равны отношению (плотность частоты). Площадь -го прямоугольника равна . Площадь гистограммы частот равна сумме всех частот, т.е. объему выборки .

Если учитываются не абсолютные частоты , а относительные , тогда гистограмма эмпирического распределения представляет собой ступенчатую фигуру, состоящую из прямоугольников, основаниями которых служат интервалы длины , а высоты равны отношению (плотность относительной частоты). Площадь -го прямоугольника равна . Площадь гистограммы относительных частот равна сумме всех относительных частот, т.е. единице.

На рис 2.14 приведен возможный вид гистограммы эмпирического распределения случайной величины.

Рис. 2.14

Числовые характеристики случайной величины. Интегральная и дифференциальная функции распределения являются исчерпывающими вероятностными характеристиками случайной величины. Однако в прикладных задачах некоторые основные свойства случайных величин могут быть определены более просто с помощью определенных числовых параметров. Наибольшую роль среди них на практике играют два параметра, характеризующие центр рассеяния (центр распределения) случайной величины и степень ее рассеяния вокруг этого центра. Наиболее распространенной характеристикой центра распределения является математическое ожидание случайной величины ,часто называемое также генеральным средним значением или начальным моментом первого порядка.

Для дискретных случайных величин

, (5.135)

где - элементы генеральной совокупности;

- соответствующие им вероятности.

Для непрерывных случайных величин математическое ожидание выражается интегралом:

. (5.136)

Степень рассеяния случайной величины относительно может быть охарактеризована с помощью генеральной дисперсии . есть математическое ожидание квадрата отклонения случайной величины от ее математического ожидания, т.е.

. (5.137)

Для дискретной случайной величины

, (5.138)

для непрерывной

. (5.139)

Дисперсия называется также вторым центральным моментом случайной величины (первый центральный момент всегда равен 0).Другие обозначения для дисперсии .

Если все с большей степени концентрируются вблизи ,то значения уменьшаются. Если же имеются весьма удаленные от значения случайной величины и для них не слишком мала, то дисперсия увеличивается.

Квадратный корень из дисперсии называется средним квадратическим отклонением (или стандартом) :

. (5.140)

Определение оценок математического ожидания ,дисперсии и среднего квадратического отклонения по выборке объема производят по формулам:

; (5.141)

; (5.142)

. (5.143)

Отметим, что множитель (вместо ) в формуле (5.142) вводится для получения несмещенной оценки дисперсии.

Оценка результатов наблюдений случайной величины. Рассмотрим некоторые методы статистических оценок. Важнейшая задача математической статистики, решение которой позволило бы, в принципе, решить и все остальные задачи - это нахождение функции распределения наблюдаемой случайной величины.

Пусть имеется экспериментальная выборка большого объема случайной величины . Проверяется гипотеза о том, что функция распределения случайной величины есть . Надо установить вид этого теоретического распределения и его адекватность.

Решение поставленной задачи включает следующие этапы:

1) построение эмпирической кривой (гистограммы) распределения случайной величины по заданной выборке и выбор типа теоретического распределения (выдвижение рабочей гипотезы);

2) определение параметров теоретического распределения;

3) проверка адекватности теоретического распределения (подтверждение рабочей гипотезы);

4) уточнение теоретического закона распределения, если первоначальная рабочая гипотеза отвергается.

Построение эмпирической кривой (гистограммы) распределения. Гистограмма является эмпирическим аналогом функции плотности распределения .

При обработке выборок больших объемов используют метод "сгруппированных данных". Выборка объема преобразуется в статистический ряд. Для этого весь диапазон изменения случайной величины в выборке делится на интервалов. Число интервалов можно выбирать по полуэмпирической формуле (правило Штюргеса):

, (5.144)

где найденное значение округляют до ближайшего целого числа.

Длина интервала равна

. (5.145)

Подсчитывают число элементов выборки , попавших в каждый интервал. Величина, равная

(5.146)

определяет относительную частоту попадания случайной величины в -ый интервал.

Середина -го интервала определяется формулой

. (5.147)

Полученный статистический ряд можно записывать в виде табл. 2.2.

Таблица 2.2.

Статистический ряд

Номер интер-вала	Интервал
.		.	.	.
.		.	.	.
.		.	.	.
k

По данным табл. 2.2. строят гистограмму эмпирического распределения, представляющую собой ступенчатую кривую, значение которой на -ом интервале постоянно и равно или , или с учетом условия равно (рис. 2.14).

Кривую эмпирического распределения можно аппроксимировать различной теоретической кривой распределения - законом Пуассона, Вейбула, биномиальным, показательным, логарифмическим, нормальным и др. По виду гистограммы предполагают, что случайная величина распределена по тому или иному закону (выдвигают рабочую гипотезу).

Определение параметров теоретического распределения. Окончательное уточнение неизвестной функции распределения сводится к определению некоторых числовых параметров распределения. По выборке могут быть рассчитаны выборочные статистические характеристики (выборочное среднее, дисперсия и т.д.),которые являются оценками соответствующих генеральных параметров. Оценки, получаемые по выборке,сами являются случайными величинами. К оценке обычно предъявляются требования состоятельности и несмещенности.

Для получения оценок используют различные методы. Широко применяется метод максимального правдоподобия. Оценки, получаемые при помощи этого метода отвечают изложенным требованиям.

Сущность метода максимального правдоподобия заключается в нахождении таких оценок неизвестных параметров, для которых функция правдоподобия при случайной выборке объема будет иметь максимальное значение. Пусть известен общий вид плотности вероятности теоретического распределения; - неизвестный параметр, входящий в выражение закона распределения. Экспериментально получена выборка значений случайной величины .

Функция

(5.148)

называется функцией правдоподобия, где - оценка параметра .

В качестве оценки для следует взять то значение , для которого функция имеет наибольшее возможное значение. Необходимое условие экстремума этой функции дает уравнение

, (5.149)

из которого определяют искомое значение .Если максимумов несколько, необходимо выбрать среди них наибольший.

Достаточным условием максимума является выполнение неравенства

. (5.150)

В общем случае требуется оценить одновременно несколько параметров распределения. В этом случае формулировка принципа максимального правдоподобия сохраняется: надо найти такую совокупность допустимых значений параметров функции распределения , которая обращает функцию правдоподобия

(5.151)

в максимум. Необходимое условие экстремума функции дает система уравнений

, (5.152)

а неотрицательная определенность матрицы

, (5.153)

в стационарной точке является достаточным условием того, чтобы этот локальный экстремум был максимумом функции правдоподобия.

Из системы уравнений (5.152) находят оценки .

Найдем методом максимального правдоподобия оценку для параметра показательного распределения с плотностью

(5.154)

по выборке .

Для этого распределения функция правдоподобия имеет вид

. (5.155)

;

, (5.156)

где - среднее выборки.

Пусть распределение случайной величины подчинено нормальному закону

, (5.157)

где - параметры распределения.

Функция правдоподобия

. (5.158)

Необходимые условия экстремума :

(5.159)

Упуская промежуточные математические операции, из системы (2.159) находим:

, (5.160)

. (5.161)

Оценка получается несколько смещенной. Для получения несмещенной оценки умножаем на . Несмещенная оценка дисперсии при этом имеет вид

. (5.162)

Уменьшение знаменателя в (5.162) на единицу непосредственно связано с тем, что величина относительно которой берутся отклонения, сама зависит от элементов выборки. Каждая величина, зависящая от элементов выборки и входящая в формулу выборочной дисперсии, называется связью. Знаменатель выборочной дисперсии всегда равен разности между объемом выборки и числом связей , наложенных на эту выборку. Эта разность

(5.163)

называется числом степеней свободы выборки.

В практических вычислениях для дисперсии удобна формула

, (5.164)

легко вытекающая из формулы (5.162). Преимущество формулы (5.164) в том, что в ней нет операций вычитания близких чисел, как в формуле (5.162), что приводит к потере точности.

Как правило, число наблюдений велико. Поэтому для упрощения расчетов удобно использовать не соотношения (5.160) и (5.162), а менее трудоемкие формулы, позволяющие оценить и по сгруппированным данным:

, (5.165)

. (5.166)

Проверка адекватности теоретического распределения. Проверку рабочей гипотезы о законе распределения случайной величины по выборке проводят при помощи критериев согласия. Критерием согласия называется критерий гипотезы о том, что генеральная совокупность имеет распределение предполагаемого типа (например, нормальное распределение).Критерии согласия позволяют определить вероятность того, что при гипотетическом законе распределения наблюдающееся в рассматриваемой выборке отклонение вызывается случайными причинами, а не ошибкой в гипотезе. Если эта вероятность велика, то отклонение от гипотетического закона распределения следует признать случайным и считать, что гипотеза о предполагаемом законе распределения не опровергается.

Вероятностный характер критериев не позволяет однозначно принять или опровергнуть проверяемую гипотезу. Критерий позволяет утверждать, что гипотеза не противоречит опытным данным, если вероятность наблюдаемого отклонения от гипотетического закона велика, или что гипотеза не согласуется с опытными данными, если эта вероятность мала.

Среди различных критериев согласия наиболее употребителен универсальный критерий согласия (Пирсона).

Проверку гипотезы о виде функции распределения с помощью этого критерия производят следующим образом:

1. По выборке строят гистограмму. Если в каком -либо -м интервале число наблюдений окажется меньше пяти,то его объединяют с соседним интервалом (или интервалами) так, чтобы число наблюдений в таком объединенном интервале оказалось большим или равном пяти (должно быть ).

Пусть -окончательное число интервалов группированная после объединения, тогда очевидно, что

, . (5.167)

2. Задаются видом гипотетической функции распределения и для каждого из параметров этого распределения находят оценки, причем эти оценки можно определить как по исходным, так и по сгруппированным данным.

3. Определяют теоретическую вероятность попадания в каждый из интервалов случайной величины с заданным распределением, параметры которого или известны, или оценены в п.2.

вычисляют по формуле

; (5.168)

, (2.169)

где - выбранный теоретический закон распределения;

- абсолютная частота попадания величины в