-
Вероятностные модели и парадокс Бертрана
Вероятностная модель - математическая модель реального явления, содержащего элементы случайности.
Стохастическая – ситуация, удовлетворяющая свойствам 1-3
Св-ва:
-
Наличие случайности (неопределенности)
-
Воспроизводимость (с учетом случайности)
-
Устойчивость частот A – событие
Вероятностное пространство — это тройка , где
-
— это произвольное множество, элементы которого называются элементарными событиями, исходами или точками;
-
F — сигма-алгебра подмножеств , называемых (случайными) событиями;
-
— вероятностная мера или вероятность.
-
— вероятностная мера или вероятность, если выполняются три условия:
-
-
-
Сигма – аддитивность:
Семейство F подмножеств множества Ω называется σ-алгеброй, если оно удовлетворяет следующим свойствам:
-
F содержит Ω.
-
Если то и его дополнение .
-
Объединение счётного подсемейства из F также в F.
Борелевская σ-алгебра - σ-алгебра, порожденная всеми [a, b).
Случайная величина X(w) , w Ω – числовая функция, определенная на :
P(X B) – распределение сл. вел. X.
- функция распределения сл. вел. X.
Св-ва функции распределения:
-
-
F(x) не убывает
-
,
-
F(x) непрерывна слева.
Парадокс Бертрана:
какова вероятность того, что длина наугад выбранной хорды больше длины вписанной окружности?
-
Математическая модель центра случайной величины.
Математическое ожидание случайной величины:
Опр. , - q-квантиль распределения, если
Если F непрерывна, то
Медиана – квантиль с q = ½
Мода – это:
В абс. непрер. случае:
В дискретном:
-
Математическая модель разброса случайной величины.
- среднеквадратичное отклонение.
- «инженерная метрика»
Интерквартильный размах , где Xq – q-квантиль
-
Случайные величины. Зависимость событий и случайных величин.
Опр. События A и B F независимы, если P(AB) = P(A)P(B)
Опр. независимы в совокупности, если
Опр. - сл. вел. независимы, если
ковариация:
св-ва ковариации:
линейна отн. аргумента, симметрична, не зависит от сдвига аргумента, =0 если независимы.
корреляция:
5. Виды сходимости случайных величин
Везде X1, X2, X3 … сходятся к X
-
Сходимость почти всюду (почти наверное):
-
Сходимость по вероятности:
-
Сходимость в среднем порядка r: сходится, если
-
Сходимость по распределению: в точках непрерывности F
-
Слабая сходимость: - непрерывная, ограниченная:
В
1
4
заимосвязь между сходимостями
Из первого следует второе (обратное неверно)
И
2
з третьего следует второе (обратное неверно)
И
3
5
з второго следует четвертое (обратное неверно)
Четвертое и пятое эквивалентны
Остальные взаимосвязи не оговорены
Центральная предельная теорема
Пусть X1, X2, X3… - норсв
Существует мат. ожидание EXi = а – конечно, дисперсия DXi =
Тогда равномерно по х
Справа стоит стандартное нормальное распределение
Оценка скорости сходимости в ЦПТ
Неравенство Берри-Эссеена:
,
где С0 – константа (0.4 0 3 = E|Xi - a|^3
6. Закон больших чисел
Пусть X1, X2, X3… - норсв
Существует мат. ожидание Xi = а
Тогда
Оценка скорости сходимости ЗБЧ
цель: r(n): Yn/r(n) имеет конечный предел, не равный нулю
из ЦПТ: r(n) = n^(-1/2)
7. Распределение Пуассона
X – случайная величина, имеет распределение Пуассона с параметром лямбда, если она принимает целочисленные неотрицаельные значения и , лямбда > 0
Дисперсия, мат.ожидание = лямбда
Информационная энтропия
Фактически, Пуассоновское распределение – предельное для биномиального
Теорема Пуассона
Xi из следующего распределения: 1 с некоторой вероятносью p и 0 с вероятностью (1-p)
Пусть в системе серий n стремится к бесконечности, стремится к нулю, n стремится к лямбда
Тогда , Sn = X1 + X2 + … + Xn
Обобщение теоремы Пуассона
Пусть выполнено
Тогда , Sn = X1 + X2 + … + Xn
8. Устойчивые распределения
Функция распределения G(x) называется устойчивой, если для ее характеристической функции g(t) выполнено
или
G(a1*x+b1)*G(a2*x+b2) = G(a*x+b) (для любых a1,a2>0, b1,b2 из R, существуют a>0 и b из R)
Теорема Леви
Пусть X1, X2 … - норсв
Тогда F(x) может быть предельной для сумм вида (X1+X2+…+Xn - an)/bn при некоторых an и bn > 0 тогда и только тогда, когда F(x) – устойчива
// an и bn – имеются в виду индексы n у a и b
Безгранично делимая характеристическая функция
f(t) – характеристическая функция – безгранично делима, если для любого n существует fn(t) – характеристические функции, такие что f(t) = (fn(t))^n
при этом если X из распределения с хар. функцией f(t), то X представима как сумма Xi (которые из распределения такого, что ему соответствует fn(t))
Теорема Хинчина
Пусть выполнено
Тогда F(x) может быть предельной для сумм вида Xn,1 + Xn,2 + … + Xn,mn при n стремящемся к бесконечности тогда и только тогда, когда F(x) соответствует безгранично делимая характеристическая функция.
9. Информация и энтропия. Их свойства.
Определение 1
Пусть A – событие, P(A) > 0. Тогда информацией (по Шеннону), содержащейся в А, называется величина
Определение 2
Пусть A,B – события, P(A) > 0, P(B) > 0. Тогда информацией (по Шеннону),
содержащейся в B относительно А, называется величина
Свойства информации:
1) Чем меньше P(A), тем больше I(A).
2) Если А, В – независимые с.в., I(A|B) = 0.
3) Если А, В – независимые с.в., I(A|B) = I(A)+ I(В).
Определение 3
Пусть E – эксперимент с исходами и соответствующими им вероятностями
Пусть Q(E) – количество информации, полученной в ходе эксперимента - случайная величина со значениями I(), принимаемыми с вероятностями p.
Тогда энтропией E называется величина
Свойства энтропии:
-
Энтропия неотрицательна, энтропия равна 0 т.и.т.т., когда один из исходов эксперимента имеет вероятность 1.
-
Максимальной энтропией среди экспериментов с n исходами обладает такой,
в котором исходы равновероятны.
3) E – эксперимент с исходами
E получается из Е объединением двух исходов с номерами i и j.
E - эксперимент с двумя исходами которым соответствуют вероятности
.
Тогда H(E) = H(E) + (p+p)*H(E).
4)Н(Е) не зависит от A, а зависит только от p.
5)H(E) – непрерывная функция p.
Теорема Фадеева
Если функционал H(p1,..pn) удовл. 1)-5) =>
10. Дифферинциальная энтропия. Свойства некоторых распределений.
Пусть теперь - случайная величина.
1) С.в. дискретна, имеет конечное число значений с соответствующими вероятностями.
Тогда энтропия равна
2) С.в. дискретна, имеет бесконечное число значений.
Тогда выражение для энтропии аналогично, но ряд бесконечен.
3) С.в. абсолютно непрерывна.
Тогда энтропия равна
Где p – плотность распределения с.в. Определенная таким образом энтропия называется
дифференциальной энтропией.
Теорема
1) Пусть имеет равномерное распределение ~R[-a;a]
Тогда H() >= H() для любой с.в. , распределенной на [-a ;a] : P(||
2) Пусть имеет показательное распределение ~P()
Тогда H() >= H() для любой с.в. : P(>=0) = 1, M = 1/, >0
3) Пусть имеет нормальное распределение ~N(a, )
Тогда H() >= H() для любой с.в. : M = a, D = .
11. Определение пуассоновского процесса.
Определение 1
Семейство случайных величин X(t, ), определенное на одном базовом пространстве () ,tTR называется случайным процессом.
Определение 2
При фиксированном X(t, ) – траектория случайного процесса.
X(t) -> S – множество всех траекторий случайного процесса. На S можно определить борелевскую сигма - алгебру , порожденную множеством всех открытых подмножеств S. Прообраз любого B - событие (X(t): -> S).
Определение 3
Распределением случайного процесса называется мера P, заданная следующим образом:
Определение 4
Процесс X(t) – процесс с независимым приращением, если
X (t), X (t)- X (t),…, X (t)- X (t) – независимы в совокупности.
Определение 5
Процесс X(t) – однородный, если распределение X(t+h) - X(t) совпадает с распределением X(s+h) - X(s) для t, s, h: t, t+h, s, s+h T.
Определение 6
Процесс X(t) – пуассоновский, если
-
X(t) имеет независимое приращение
-
X(t) однородный
-
X(0) = 0 почти наверное
-
При h>0, h->0
P(X(h) = 0) = 1- h +o(h)
P(X(h) = 1) = h +o(h)
P(X(h) >= 2) = o(h)
>0
Для пуассоновского процесса
X(t) ~ П(t)
MX(t) = DX(t) = t
12. Информационные свойства Пуассоновского процесса
Пусть τ[1] … τ[n] – моменты скачков Пуассоновского процесса
Распределение длин скачков τ[j] – τ[j-1] обладает свойством отсутствия памяти => оно показательно
Зафиксируем [a; b] на временной оси. Пусть в [a; b] попало n скачков Пуассоновского процесса. Каково их распределение?
Теор. Условное распределение τ[1] … τ[n] при условии, что X(b) – X(a) = n, совпадает с распределение вариационного ряда, построенного по выборке из равномерного распределения на [a; b].
Плотность вариационного ряда, построенного по выборке из равномерного распределения на [a,b] есть
Теор. => Ф(х), где Ф(х) – функция распределения стандартного N(0,1), причём сходимость равномерна по х, при , т.е.
, С0 – константа Берри- Эссеена
13. Случайные суммы, основные свойства, пуассоновские случайные суммы
x1, x2, …– н.о.р.с.в.
N – целая неотрицательная случайная величина.
xi, N – определены на одном ВП.
Случайная сумма Sn = x1 + x2 + … + xN
Свойства:
1) pn = P(N=n); F*n(x)= n-кратная свертка F (ф.р. xi); F*0 – ф.р. с единичным скачком в нуле.
-
если p0 > 0 => FSN не является абсолютно непрерывной
-
P0=0 => существует , f*n(x)= n-кратная свертка f (плотн. xi);
-
; (s) – производящая функция N; f(t) – характ. функция xi
-
ESN = EN * Ex1; DSN = DN * (Ex1)2 + EN * Dx1
N ~ П() => SN есть пуассоновская случайная сумма
Теорема
1) - характеристическая функция SN; => SN безгранично делима.
2) ESN = Ex1; DSN = (Ex12), EN = DN =
14. Геометрические случайные суммы, теорема Реньи, связь между геометрическими и пуассоновскими случайными суммами
N, x1,x2,.. – н.с.в., x1,x2,.. – н.о.р.с.в.
N ~ Geom (p) =>– Геометрическая Случайная Сумма
; ; N(s) = ; n=0,1,..
Теорема Реньи
Пусть N ~ Geom(p);
стандартный показательный закон.
равномерно по x
Если , то
Теорема (связь)
Всякая геом. случайная сумма является пуассоновской случайной суммой, причем если
где M ~ Geom(p), то
N ~ П();
имеет х.ф. равную
, где имеют характеристич. функцию f(t), L имеет распределение логарифмического ряда, то есть
Следствие
Пусть SN – пуасс. случайная сумма, N ~ П();
xi~f(t); Пусть является характеристической функцией
=> SN – геометрическая случайная сумма, причем ; ; ~g(t) – хар.функция
15. Теорема переноса. Аналог теоремы Пуассона для случайных сумм.
Схема серий (последовательность последовательностей) {Xn,j} при фиксированном n Xn,j – последовательность н.о.р.с.в.
Теорема переноса
{Xn,j} Схема серий.
Nn – положит. целочисленная случайная величина, не зависящая от Xn,i
mk – неограниченно возрастающая последовательность натуральных чисел
Если
- по распределению и
, то , где
– х.ф., соотв. , h(t) – хар. функция, соответствующая H(x)
Теорема Пуассона для случайных сумм
-семейство последовательностей случайных величин.
Np – положительн. целочисл. случ. величина
Тогда - обобщ. пуасс. случ. величина (смешанн. Пуассон.)
16.Смеси вероятностных распределений, идентифицируемость, примеры
Пусть Q(y) – вероятностная мера на (Y,), то есть (Y, , Q) – вероятностное пространство. Тогда - смесь распределения F(x,y) по y относительно Q(y). При Y(y)=y H(x)=EF(x, y). Если существует плотность f(x,y), то - плотность H(x)
Пример.
Q- дискретная, принимающая значения (y1, …) с вероятностями (p1,…)
, -компоненты смеси, - веса компонент
.
Определение
- параметр масштаба
- сдвиг масштабная смесь.
, x и (u,v) – стохастически независимы.
Определение
пусть F(x,y) при всяком y – ф.р. при всяком х измерима по y
Q-семейство случайных величин
- семейство смесей
Семейство W называется идентифицируемым, если из ,
где , Q следует
18. Обобщенный процесс Кокса. ЦПТ и ЗБЧ для обобщенных процессов Кокса.
- н.о.р.с.в.
E = a, D =
- стандартный Пуассоновский процесс
процесс с неубывающими непрерывными справа траекториями
п.в.,
Определение1: дважды стохастический Пуассоновский процесс Процесс Кокса, управляющий процесс
Определение2: – обобщенный процесс Кокса
Далее будем предполагать, что E = 0, D =
Теорема1: Пусть , , d(t) – неограниченно возрастающая положительная функция. Для того, чтобы (- одномерное распределение нормированного процесса Кокса) необходимо и достаточно - случайной величины такой, что: 1)P(z (масштабная смесь нормальных законов)
2) (это означает, что при некоторой нормировке у есть предел, может быть случайный.
– функция распределения строго устойчивого закона
– соотв. характеристическая функция, где -показатель распределения, - параметр, 0
t = 1,2,.. – дискретное время
- н.о.р.с.в, >= 0 (неубывающие траектории) и - однородный процесс с независимыми приращениями ( - приращение процесса)
Пусть , E = 0, D =
Теорема3: (Вроде как ЦПТ для обобщенных процессов Кокса)
при некотором выборе нормировочных значений т.и т.т., когда
Lim при
Смысл: Тяжелые хвосты процессов Кокса обусловлены «плохим» поведением управляющего процесса. При этом распределения слагаемых могут иметь сколь угодно легкие хвосты
Теорема4: (ЗБЧ для обобщенных процессов Кокса с ненулевым средним)
Пусть , ,
т.и т.т., когда - случайная величина, такая что
Z= a*u (так определяется); Смысл: предел не случаен u не случайно
19. Островершинность масштабных смесей нормальных законов
∫(0 до ∞) Φ(x/y)d(P(Y 0
(мат.ож) Φ(x/y) – плотность (мат.ож)[(1/y)*φ(x/y)] = ∫(0 до ∞) (1/y)*φ(x/y)dP(Y
Y – дискретна ∑(k)P(Y=yk) Φ(x/ yk) плостности
∑(k)(P(Y= yk)/ yk)* φ(x/ yk)
Пусть E(z)n
æ(z) – коэфф. эксцесса (показывает островершинность рапр.)
Если Z ~ Φ(x) => æ(Z) = 3
Пусть f(t) = exp{-t2/2} – хар. ф. норм. станд. распр. => Надо взять 4 произв. и посчитать ее в 0 => æ
Лемма
Пусть (мат.ож.)Х = 0, P(Y>0) = 1, (мат.ож)Х4 4
Тогда æ(XY) >= æ(X), æ(XY) = æ(X) P(Y=const) = 1
Утв.
Пусть Х ~ N(0,1), P(u>0) = 1, Z = X√u
Тогда для люб. æ >= 0 P(Z>X) >= 1 - Φ((√2π)XpZ(0)).
Про метрику Леви
Метрика Леви L(F, G) = L(G, F) = inf( h: G(x-h)-h
для любого x из R
Геометрический смысл: максимальная длина стороны квадрата (со
сторонами, параллельными осям), который можно вписать между графиками
F и G
|