Показательное распределение (непрерывное)

Экспоненциальное или показательное распределение — абсолютно непрерывное распределение, моделирующее время между двумя последовательными свершениями одного и того же события.

Плотность распределения:

λ>0

Равномерное распределение (непрерывное)

Равномерный закон распределения используется при анализе ошибок округления при проведении числовых расчётов (например, ошибка округления числа до целого распределена равномерно на отрезке [-0,5; 0,5]), в ряде задач массового обслуживания, при статистическом моделировании наблюдений, подчинённых заданному распределению.

Плотность распределения

Нормальное распределение или распределение Гаусса (непрерывное)

Нормальное распределение, также называемое распределением Гаусса, – распределение вероятностей, которое играет важнейшую роль во многих областях знаний, особенно в физике. Физическая величина подчиняется нормальному распределению, когда она подвержена влиянию огромного числа случайных помех. Ясно, что такая ситуация крайне распространена, поэтому можно сказать, что из всех распределений в природе чаще всего встречается именно нормальное распределение — отсюда и произошло одно из его названий.

Плотность распределения:

Нормальный закон распределения случайной величины с параметрами называется стандартным или нормированным, а соответствующая нормальная кривая - стандартной или нормированной.

Лапласа формула

Вероятность попадания нормально распределенной случайной величины х в заданный интервал (α,β)

Вероятность отклонения нормально распределенной случайной величины на величину от математического ожидания х(по модулю).

http://www.matburo.ru/tv_spr_sub.php?p=3

Статистическая гипотеза (statistical hypothesys) — это определённое предположение о распределении вероятностей, лежащем в основе наблюдаемой выборки данных.

Проверка статистической гипотезы (testing statistical hypotheses) — это процесс принятия решения о том, противоречит ли рассматриваемая статистическая гипотеза наблюдаемой выборке данных.

Статистический тест или статистический критерий — строгое математическое правило, по которому принимается или отвергается статистическая гипотеза.

Методика проверки статистических гипотез

Пусть задана случайная выборка x^m = (x_1,\ldots,x_m) — последовательность m объектов из множества X. Предполагается, что на множестве X существует некоторая неизвестная вероятностная мера \mathbb{P}.

Методика состоит в следующем.

Формулируется нулевая гипотеза H_0 о распределении вероятностей на множестве X. Гипотеза формулируется исходя из требований прикладной задачи. Чаще всего рассматриваются две гипотезы — основная или нулевая H_0 и альтернативная H_1. Иногда альтернатива не формулируется в явном виде; тогда предполагается, что H_1 означает «не H_0». Иногда рассматривается сразу несколько альтернатив. В математической статистике хорошо изучено несколько десятков «наиболее часто встречающихся» типов гипотез, и известны ещё сотни специальных вариантов и разновидностей. Примеры приводятся ниже.

Задаётся некоторая статистика (функция выборки) T:\: X^m \to \mathbb{R}, для которой в условиях справедливости гипотезы H_0 выводится функция распределения F(T) и/или плотность распределения p(T). Вопрос о том, какую статистику надо взять для проверки той или иной гипотезы, часто не имеет однозначного ответа. Есть целый ряд требований, которым должна удовлетворять «хорошая» статистика T. Вывод функции распределения F(T) при заданных H_0 и T является строгой математической задачей, которая решается методами теории вероятностей; в справочниках приводятся готовые формулы для F(T); в статистических пакетах имеются готовые вычислительные процедуры.

Фиксируется уровень значимости — допустимая для данной задачи вероятность ошибки первого рода, то есть того, что гипотеза на самом деле верна, но будет отвергнута процедурой проверки. Это должно быть достаточно малое число \alpha \in [0,1]. На практике часто полагают \alpha=0.05.

На множестве допустимых значений статистики T выделяется критическое множество \Omega_\alpha наименее вероятных значений статистики T, такое, что \mathbb{P}\{T\in\Omega_\alpha\left|H_0\right.\} = \alpha. Вычисление границ критического множества как функции от уровня значимости \alpha является строгой математической задачей, которая в большинстве практических случаев имеет готовое простое решение.

Собственно статистический тест (статистический критерий) заключается в проверке условия:

если T(X^m)\in\Omega_\alpha, то делается вывод «данные противоречат нулевой гипотезе при уровне значимости \alpha». Гипотеза отвергается.

если T(X^m)\notin\Omega_\alpha, то делается вывод «данные не противоречат нулевой гипотезе при уровне значимости \alpha». Гипотеза принимается.

Итак, статистический критерий определяется статистикой T и критическим множеством \Omega_\alpha, которое зависит от уровня значимости \alpha.

Замечание. Если данные не противоречат нулевой гипотезе, это ещё не значит, что гипотеза верна. Тому есть две причины.

По мере увеличения длины выборки нулевая гипотеза может сначала приниматься, но потом выявятся более тонкие несоответствия данных гипотезе, и она будет отвергнута. То есть многое зависит от объёма данных; если данных не хватает, можно принять даже самую неправдоподобную гипотезу.

Выбранная статистика T может отражать не всю информацию, содержащуюся в гипотезе H_0. В таком случае увеличивается вероятность ошибки второго рода — нулевая гипотеза может быть принята, хотя на самом деле она не верна. Допустим, например, что H_0 = «распределение нормально»; T(X^m) = «коэффициент асимметрии»; тогда выборка с любым симметричным распределением будет признана нормальной. Чтобы избегать таких ошибок, следует пользоваться более мощными критериями.

Альтернативная методика на основе достигаемого уровня значимости

Широкое распространение методики фиксированного уровня значимости было вызвано сложностью вычисления многих статистических критериев в докомпьютерную эпоху. Чаще всего использовались таблицы, в которых для некоторых априорных уровней значимости были выписаны критические значения. В настоящее время результаты проверки гипотез чаще представляют с помощью достигаемого уровня значимости.

Достигаемый уровень значимости (пи-величина, англ. p-value) — это наименьшая величина уровня значимости, при которой нулевая гипотеза отвергается для данного значения статистики критерия T:

p(T) = \min \{ \alpha:\: T\in\Omega_\alpha \},

где \Omega_\alpha — критическая область критерия.

Другая интерпретация: достигаемый уровень значимости p(T) — это вероятность при справедливости нулевой гипотезы получить значение статистики, такое же или ещё более экстремальное, чем T.

Если достигаемый уровень значимости достаточно мал (близок к нулю), то нулевая гипотеза отвергается. В частности, его можно сравнивать с фиксированным уровнем значимости; тогда альтернативная методика будет эквивалентна классической.

Типы критической области

Обозначим через t_\alpha значение, которое находится из уравнения F(t_\alpha) = \alpha, где F(t) = \mathbb{P}\left\{ T<t \right\} — функция распределения статистики T. Если функция распределения непрерывная строго монотонная, то t_\alpha есть обратная к ней функция:

t_\alpha = F^{-1}(\alpha).

Значение t_\alpha называется также \alpha-квантилем распределения F(t).

На практике, как правило, используются статистики T с унимодальной (имеющей форму пика) плотностью распределения. Критические области (наименее вероятные значения статистики) соответствуют «хвостам» этого распределения. Поэтому чаще всего возникают критические области одного из трёх типов:

Левосторонняя критическая область:

определяется интервалом \Omega_\alpha = (-\infty,\, t_\alpha).

пи-величина: p(T) = F(T).

Правосторонняя критическая область:

определяется интервалом \Omega_\alpha = (t_{1-\alpha},\,+\infty).

пи-величина: p(T) = 1-F(T).

Двусторонняя критическая область:

определяется двумя интервалами \Omega_\alpha = (-\infty,\, t_{\alpha/2}) \cup (t_{1-\alpha/2},\,+\infty);

пи-величина: p(T) = \min \left\{ 2F(T),\; 2(1-F(T)) \right\}.

http://www.machinelearning.ru/wiki/index.php?title=Проверка_статистических_гипотез#.D0.9C.D0.B5.D1.82.D0.BE.D0.B4.D0.B8.D0.BA.D0.B0_.D0.BF.D1.80.D0.BE.D0.B2.D0.B5.D1.80.D0.BA.D0.B8_.D1.81.D1.82.D0.B0.D1.82.D0.B8.D1.81.D1.82.D0.B8.D1.87.D0.B5.D1.81.D0.BA.D0.B8.D1.85_.D0.B3.D0.B8.D0.BF.D0.BE.D1.82.D0.B5.D0.B7

http://www.exponenta.ru/educat/systemat/semeriy/lab2/theory.asp

Статистической оценкой неизвестного параметра теоретического распределения называют функцию от наблюдаемых случайных величин. Статистическая оценка неизвестного параметра генеральной совокупности одним числом называется точечной. Рассмотрим следующие точечные оценки: смещенные и несмещенные, эффективные и состоятельные.

Для того чтобы статистические оценки давали хорошие приближения оцениваемых параметров, они должны удовлетворять определенным требованиям. Укажем эти требования. Пусть Θ∗Θ∗ есть статистическая оценка неизвестного параметра ΘΘ теоретического распределения. Допустим, что по выборке объема nn найдена оценка Θ∗1Θ1∗. Повторим опыт, т. е. извлечем из генеральной совокупности другую выборку того же объема и по ее данным найдем оценку Θ∗2Θ2∗ и т. д. Получим числа Θ∗1,Θ∗2,…,Θ∗kΘ1∗,Θ2∗,…,Θk∗, которые будут различаться. Таким образом, оценку Θ∗Θ∗ можно рассматривать как случайную величину, а числа Θ∗1,Θ∗2,…,Θ∗kΘ1∗,Θ2∗,…,Θk∗ — как возможные ее значения.

Если оценка Θ∗Θ∗ дает приближенное значение ΘΘ с избытком, то найденное по данным выборок число Θ (k=1,2,…,n)Θ (k=1,2,…,n) будет больше истинного значения ΘΘ. Следовательно, и математическое ожидание (среднее значение) случайной величины Θ∗Θ∗ будет превышать ΘΘ, то есть M(Θ∗)>ΘM(Θ∗)>Θ. Если ΘΘ дает приближенное значение ΘΘ с недостатком, то M(Θ∗)<ΘM(Θ∗)<Θ.

Использование статистической оценки, математическое ожидание которой не равно оцениваемому параметру, приводит к систематическим ошибкам. Поэтому нужно потребовать, чтобы математическое ожидание оценки ΘΘ было равно оцениваемому параметру. Соблюдение требования M(Θ∗)=ΘM(Θ∗)=Θ устраняет систематические ошибки.

Несмещенной называют статистическую оценку Θ∗Θ∗, математическое ожидание которой равно оцениваемому параметру ΘΘ, то есть M(Θ∗)=ΘM(Θ∗)=Θ.

Смещенной называют статистическую оценку Θ∗Θ∗, математическое ожидание которой не равно оцениваемому параметру.

Однако ошибочно считать, что несмещенная оценка всегда дает хорошее приближение оцениваемого параметра. Действительно, возможные значения Θ∗Θ∗ могут быть сильно рассеяны вокруг своего среднего значения, т. е. дисперсия величины Θ∗Θ∗ может быть значительной. В этом случае найденная по данным одной выборки оценка, например Θ∗Θ∗, может оказаться удаленной от своего среднего значения Θ∗¯¯¯¯¯¯Θ∗¯, а значит, и от самого оцениваемого параметра ΘΘ. Приняв Θ∗1Θ1∗ в качестве приближенного значения ΘΘ, мы допустили бы ошибку. Если потребовать, чтобы дисперсия величины Θ∗Θ∗ была малой, то возможность допустить ошибку будет исключена. Поэтому к статистической оценке предъявляются требования эффективности.

Эффективной называют статистическую оценку, которая (при заданном объеме выборки nn) имеет наименьшую возможную дисперсию. При рассмотрении выборок большого объема к статистическим оценкам предъявляется требование состоятельности.

Состоятельной называют статистическую оценку, которая при n→∞n→∞ стремится по вероятности к оцениваемому параметру. Например, если дисперсия несмещенной оценки при n→∞n→∞ стремится к нулю, то такая оценка оказывается также состоятельной.

Рассмотрим вопрос о том, какие выборочные характеристики лучше всего в смысле несмещённости, эффективности и состоятельности оценивают генеральную среднюю и дисперсию.

Пусть изучается дискретная генеральная совокупность относительно количественного признака. Генеральной средней называется среднее арифметическое значений признака генеральной совокупности. Она вычисляется по формуле

x¯¯¯g=1N∑i=1Nxix¯g=1N∑i=1Nxi или x¯¯¯g=1N∑i=1kximix¯g=1N∑i=1kximi

где xixi — значения признака генеральной совокупности объема NN; mimi — соответствующие частоты, причем

∑i=1kmi=N.∑i=1kmi=N.

Пусть из генеральной совокупности в результате независимых наблюдений над количественным признаком извлечена выборка объема nn со значениями признака x1,x2,…,xnx1,x2,…,xn. Выборочной средней называется среднее арифметическое значений признака выборочной совокупности и вычисляется по формуле

x¯¯¯v=1n∑i=1nxix¯v=1n∑i=1nxi или x¯¯¯v=1n∑i=1kximix¯v=1n∑i=1kximi

где xixi — значения, признака в выборочной совокупности объема nn; mimi — соответствующие частоты, причем

∑i=1kmi=n.∑i=1kmi=n.

Если генеральная средняя неизвестна и требуется оценить ее по данным выборки, то в качестве оценки генеральной средней принимают выборочную среднюю, которая является несмещенной и состоятельной оценкой. Отсюда следует, что если по нескольким выборкам достаточно большого объема из одной и той же генеральной совокупности будут найдены выборочные средние, то они будут приближенно равны между собой. В этом состоит свойство устойчивости выборочных средних.

Если дисперсии двух совокупностей одинаковы, то близость выборочных средних к генеральным не зависит от отношения объема выборки к объему генеральной совокупности. Она зависит- от объема выборки: чем больше объем выборки, тем меньше выборочная средняя отличается от генеральной.

Для того чтобы охарактеризовать рассеяние значений количественного признака X генеральной совокупности вокруг своего среднего значения, вводят сводную характеристику — генеральную дисперсию. Генеральной дисперсией DgDg называется среднее арифметическое квадратов отклонений значений признака генеральной совокупности от их среднего значения x¯¯¯gx¯g, которое вычисляется по формуле

Dg=1N∑i=1N(xi−x¯¯¯g)2Dg=1N∑i=1N(xi−x¯g)2 или Dg=1N∑i=1k(xi−x¯¯¯g)2miDg=1N∑i=1k(xi−x¯g)2mi

Для того чтобы охарактеризовать рассеяние наблюденных значений количественного признака выборки вокруг своего среднего значения хв, вводят сводную характеристику — выборочную дисперсию. Выборочной дисперсией DvDv называется среднее арифметическое квадратов отклонений наблюденных значений признака от их среднего значения x¯¯¯vx¯v, которое вычисляется по формуле

Dv=1n∑i=1n(xi−x¯¯¯v)2Dv=1n∑i=1n(xi−x¯v)2 или Dv=1n∑i=1k(xi−x¯¯¯v)2miDv=1n∑i=1k(xi−x¯v)2mi

Кроме дисперсии для характеристики рассеяния значений признака генеральной (выборочной) совокупности вокруг своего среднего значения используют сводную характеристику — среднее квадратическое отклонение. Генеральным средним квадратическим отклонением называют квадратный корень из генеральной дисперсии: σg=Dg−−−√σg=Dg. Выборочным средним квадратическим отклонением называют квадратный корень из выборочной дисперсии: σv=Dv−−−√σv=Dv.

Пусть из генеральной совокупности в результате nn независимых наблюдений над количественным признаком XX извлечена выборка объема nn. Требуется по данным выборки оценить неизвестную генеральную дисперсию DgDg. Если в качестве оценки генеральной дисперсии принять выборочную дисперсию, то эта оценка приведет к систематическим ошибкам, давая заниженное значение генеральной дисперсии. Объясняется это тем, что выборочная дисперсия является смещенной оценкой DgDg. Другими словами, математическое ожидание выборочной дисперсии не равно оцениваемой генеральной дисперсии, а равно M(Dv)=n−1nDgM(Dv)=n−1nDg.

Легко исправить выборочную дисперсию так, чтобы ее математическое ожидание было равно генеральной дисперсии. Для этого нужно умножить DvDv на дробь nn−1nn−1. В результате получим исправленную дисперсию s2s2, которая будет несмещенной оценкой генеральной дисперсии:

s2=1n−1∑i=1k(xi−x¯¯¯v)2mis2=1n−1∑i=1k(xi−x¯v)2mi

Интервальные оценки

Наряду с точечным оцениванием, статистическая теория оценивания параметров занимается вопросами интервального оценивания. Задачу интервального оценивания можно сформулировать так: по данным выборки построить числовой интервал, относительно которого с заранее выбранной вероятностью можно сказать, что внутри него находится оцениваемый параметр. Интервальное оценивание особенно необходимо при малом количестве наблюдений, когда точечная оценка малонадежна.

Доверительным интервалом (Θ~(1)n;Θ~(2)n)(Θ~n(1);Θ~n(2)) для параметра ΘΘ называется такой интервал, относительно которого с заранее выбранной вероятностью p=1−αp=1−α, близкой к единице, можно утверждать, что он содержит неизвестное значение параметра ΘΘ, то есть P{Θ~(1)n<Θ<Θ~(2)n}=1−αP{Θ~n(1)<Θ<Θ~n(2)}=1−α. Чем меньше для выбранной вероятности число \vlineΘ~(1)n−Θ~(2)n\vline\vlineΘ~n(1)−Θ~n(2)\vline, тем точнее оценка неизвестного параметра ΘΘ. И, наоборот, если это число велико, то оценка, проведенная с помощью данного интервала, малопригодна для практики. Так как концы доверительного интервала зависят от элементов выборки, то значения Θ~(1)nΘ~n(1) и Θ~(2)nΘ~n(2) могут изменяться от выборки к выборке. Вероятность p=1−αp=1−α принято называть доверительной (надежностью). Обычно надежность оценки задается наперед, причем в качестве pp берут число, близкое к единице. Выбор доверительной вероятности не является математической задачей, а определяется конкретной решаемой проблемой. Наиболее часто задают надежность, равную 0,95; 0,99; 0,999.

Доверительный интервал для генеральной средней при известном значении среднего квадратического отклонения и при условии, что случайная величина (количественный признак XX) распределена нормально, задается выражением

P{x¯¯¯v−tσn√<x¯¯¯g<x¯¯¯v+tσn√}=2Φ(t)=p,P{x¯v−tσn<x¯g<x¯v+tσn}=2Φ(t)=p,

где pp — наперед заданное число, близкое к единице, а значения функции Φ(t)Φ(t) приведены в таблице прил. 2.

Смысл этого соотношения заключается в следующем: с надежностью pp можно утверждать, что доверительный интервал (x¯¯¯v−tσn√;x¯¯¯v+tσn√)(x¯v−tσn;x¯v+tσn) покрывает неизвестный параметр x¯¯¯gx¯g, точность оценки δ=tσn√δ=tσn. Число tt определяется из равенства 2Φ(t)=p2Φ(t)=p, или Φ=p2Φ=p2. По прил. 2 находят аргумент tt, которому соответствует значение функции Лапласа, равное p2p2.

http://mathhelpplanet.com/static.php?p=statisticheskie-gipotezy-i-otsenki-parametrov-generalnoi-sovokupnosti

http://michael983.narod.ru/t/8.htm

Генеральная совокупность

Предположим, исследуется некий признак. Например, параметр h11 в партии

выпущенных фирмой транзисторов. Пусть в партии имеется N транзисторов, и

все без исключения транзисторы подвергаются испытаниям. Тогда совокупность всех без исключения N результатов испытаний называется генеральной

совокупностью. Число N называется объемом генеральной совокупности. Только

в этом случае мы получим исчерпывающую информацию.

Выборочная совокупность

На практике сплошных обследований обычно не делают. Чаще всего

выбирают какую-то часть ( или несколько частей). Отсюда появляется термин

"выборочная совокупность". Выборочная совокупность с объемом выборки n

( n < N ), дает информацию об исследуемом признаке с некоторой погрешностью.

Результат тем точнее, чем меньше n отличается от N. Такой метод обследования

называется выборочным, и его обоснованием служит теорема Чебышёва.

Простой статистический ряд

Представляет собой первичные статистические данные в виде таблицы:

№ 1 2 3 … n

xi x1 x2 x3 … xn

Примерами простого статистического ряда могут служить таблицы 1 и 3

расчетно-графического задания. Простой статистический ряд, если n

достаточно велико, является громоздким и неудобным для обработки.

Статистическая совокупность

Если простой статистический ряд достаточно большой (например, около 1000

значений), его преобразуют в статистическую совокупность. Для этого всю

область значений, в пределах которой лежат результаты испытаний, разбивают на

k интервалов (разрядов, групп ). Разбиение делают произвольно, преследуя цель

упростить обработку. Затем подсчитываются частоты, с которыми случайная

величина попадает в выбранные интервалы.

Таблица 1

Интервал x1 x2 x2 x3 … xk xk+1

Частота n1 n2 … nk

Относительная

частота n1/n n2/n … nk/

http://www.kpi.kharkov.ua/archive/articles/re/Конспект%20лекций%20по%20курсу%20«Теория%20вероятности%20и%20математическая%20статистика»/Лкц%2014-02.pdf

Вероятностные основы теории информации. Понятие энтропии. Энтропия случайной величины.

Условная и средняя энтропия. Информация и ее измерение

http://www.academia-moscow.ru/ftp_share/_books/fragments/fragment_20420.pdf

http://www.ssau.ru/files/education/uch_posob/Теория%20информации-Фурсов%20ВА.pdf

Энтропи́я (от др.-греч. ἐντροπία — поворот, превращение) — широко используемый в естественных и точных науках термин. Впервые введён в рамках термодинамики как функция состояния термодинамической системы, определяющая меру необратимого рассеивания энергии. В статистической физике энтропия является мерой вероятности осуществления какого-либо макроскопического состояния. Кроме физики, термин широко употребляется в математике: теории информации и математической статистике. Энтропия может интерпретироваться как мера неопределённости (неупорядоченности) некоторой системы (например, какого-либо опыта (испытания), который может иметь разные исходы, а значит, и количество информации[1][2]). Другой интерпретацией этого понятия является информационная ёмкость системы. С данной интерпретацией связан тот факт, что создатель понятия энтропии в теории информации Клод Шеннон сначала хотел назвать эту величину информацией. В широком смысле, в каком слово часто употребляется в быту, энтропия означает меру неупорядоченности системы; чем меньше элементы системы подчинены какому-либо порядку, тем выше энтропия.

Дифференциальная энтропия — средняя информация непрерывного источника. Определяется как

бит

где — плотность распределения сигнала непрерывного источника как случайной величины.

Условная дифференциальная энтропия для величины при заданной величине определяется следующей формулой:

бит

Безусловная и условная дифференциальные энтропии могут быть как положительными, так и отрицательными величинами, а также могут быть равны бесконечности.

Для дифференциальной энтропии справедливы равенства, аналогичные для энтропии дискретного источника:

(для независимых источников — равенство)

Дифференциальная энтропия распределений с определенной фиксированной дисперсией максимальна в случае гауссова распределения плотности вероятности сигнала непрерывного источника как случайной величины и равна

бит

Для равномерного распределения:

бит

Для распределения Лапласа

бит

При попытке оценить неопределенность непрерывной случайной величины (с непрерывным множеством возможных состояний) – появляются особенности.

• «Непрерывность» имеет смысл только для количеств, то есть объект с непрерывным множеством возможных состояний – это количественная случайная величина.
• Распределение вероятности по состояниям характеризуется в этом случае плотностью вероятности p(x). Плотность вероятности величина размерная. Размерность обратная размерности случайной величины X, так как вероятность p(x)·dxбезразмерна.

Переход к безразмерной случайной величине X, проведем путем деления размерной случайной величины X* на единицу ее измерения X₀. Тогда и плотность вероятности будет безразмерной. Разобьем всю область (– ; + ) возможных значений случайной величины X на интервалы, разделенные отстоящими на равных расстояниях Δx друг от друга интервалами (x_-1; x₀;...x_k;...).

Всякий раз, когда реализуется значение x О (x_k; x_k + Δx) будем считать, что реализовалось значение x_k величины X.

Рис. 2.3

Таким образом перешли к дискретной случайной величине, которая характеризуется распределением вероятностей. Вероятность наступления какого-либо состояния равна

Очевидно, что при Δx ® 0 квантованная величина X_д будет все более и более полно отражать все свойства непрерывной величины X. С другой стороны, к величине X_д (дискретной) можно применить понятие энтропии

Устремим Δx ® 0. При достаточно малых Δx примем . Поэтому

Таким образом предел энтропии H(X_д) за счет второго члена (–log Δx) стремится к бесконечности при Δx ® 0. Убедившись в том, что непрерывные случайные величины не допускают введения конечной абсолютной меры неопределенности, введем относительную меру. В качестве стандарта для сравнения можно брать неопределенность какого-либо простого распределения, например – равномерного в интервале шириной e. Разделим интервал e также на участки Δx и подсчитаем

Будем характеризовать неопределенность непрерывной случайной величины X числом, к которому стремится разность энтропий квантованных величин X_д (случайной величины X любого распределения) и X_д;равн(случайной величины, распределенной по равномерному закону на интервале e):

.

Эта разность конечна.

Если взять за стандарт неопределенность случайной величины, равномерно распределенной в единичном интервале, то есть принять (e = 1), то

Число H_e=1(X) обычно и называют относительной энтропией непрерывной случайной величины. http://peredacha-informacii.ru/ По численному значению относительной энтропии различные источники сообщения можно сравнить между собой.

Относительная энтропия характеризуется теми же свойствами, что и энтропия дискретного источника:

1. Не зависит от конкретного содержания случайной величины.

2. Энтропия объединения двух независимых источников выражается формулой:

3. Энтропия объединения двух статистически зависимых источников:

,

где

.

4. H_e(X; Y) ≤ H_e(X) + H_e(Y).

5. Всякое сглаживание функций распределения p(X) ведет к росту H_e(X).

Рис. 2.4

H_ε1(X) < H_ε2(X).

Исключение составляет лишь то, что H_e(X) может принимать отрицательные значения, так как H_e(X) – это разность энтропий, а случайная величина X может быть распределена на небольшом интервале меньшем, чем (e = 1).

Примеры.

Подсчитайте относительную энтропию непрерывного источника, имеющего следующий закон распределения плотности вероятности случайной величины X:

1.

Рис. 2.5

H_e(x) = 0.

2.

Рис. 2.6

H_e(x) = –1;

.

3.

Рис. 2.7

H_e(x) = 1;

.

4.

Рис. 2.8

Пусть m_x = 0; s_x = 0.1; 0.2; 0.3; 0.4; 0.5;... Найти H_e(X).

Таблица 2.11