Вероятностные модели и парадокс Бертрана Вероятностная модель

1. 
   Вероятностные модели и парадокс Бертрана
   

Св-ва:

1. 
   Наличие случайности (неопределенности)
   
2. 
   Воспроизводимость (с учетом случайности)
   
3. 
   Устойчивость частот A – событие
   

• 
  — это произвольное множество, элементы которого называются элементарными событиями, исходами или точками;
  
• 
  F — сигма-алгебра подмножеств , называемых (случайными) событиями;
  
• 
  — вероятностная мера или вероятность.
  

• 
  — вероятностная мера или вероятность, если выполняются три условия:
  

1. 
   
   
2. 
   
   
3. 
   Сигма – аддитивность:
   
   

1. 
   F содержит Ω.
   
2. 
   Если то и его дополнение .
   
3. 
   Объединение счётного подсемейства из F также в F.
   

P(X B) – распределение сл. вел. X.

1. 
   
   
2. 
   F(x) не убывает
   
3. 
   ,
   
4. 
   F(x) непрерывна слева.
   

какова вероятность того, что длина наугад выбранной хорды больше длины вписанной окружности?

2. 
   Математическая модель центра случайной величины.
   

Если F непрерывна, то

В абс. непрер. случае:

В дискретном:

3. 
   Математическая модель разброса случайной величины.
   

Интерквартильный размах , где X_q – q-квантиль

4. 
   Случайные величины. Зависимость событий и случайных величин.
   

св-ва ковариации:

линейна отн. аргумента, симметрична, не зависит от сдвига аргумента, =0 если независимы.

корреляция:





5. Виды сходимости случайных величин

Везде X1, X2, X3 … сходятся к X

1. 
   Сходимость почти всюду (почти наверное):
   
2. 
   Сходимость по вероятности:
   
3. 
   Сходимость в среднем порядка r: сходится, если
   
4. 
   Сходимость по распределению: в точках непрерывности F
   
5. 
   Слабая сходимость: - непрерывная, ограниченная:
   

Из первого следует второе (обратное неверно)

И
2
з третьего следует второе (обратное неверно)

И
3

Четвертое и пятое эквивалентны

Пусть X1, X2, X3… - норсв

Существует мат. ожидание EXi = а – конечно, дисперсия DXi =

Тогда равномерно по х

Справа стоит стандартное нормальное распределение
Оценка скорости сходимости в ЦПТ

Неравенство Берри-Эссеена:

где С₀ – константа (0.4 0 3 = E|Xi - a|^3

Пусть X1, X2, X3… - норсв

Существует мат. ожидание Xi = а

Тогда

цель: r(n): Yn/r(n) имеет конечный предел, не равный нулю

из ЦПТ: r(n) = n^(-1/2)

7. Распределение Пуассона

X – случайная величина, имеет распределение Пуассона с параметром лямбда, если она принимает целочисленные неотрицаельные значения и , лямбда > 0

Дисперсия, мат.ожидание = лямбда

Информационная энтропия

Фактически, Пуассоновское распределение – предельное для биномиального
Теорема Пуассона

Xi из следующего распределения: 1 с некоторой вероятносью p и 0 с вероятностью (1-p)

Пусть в системе серий n стремится к бесконечности, стремится к нулю, n стремится к лямбда

Тогда , Sn = X1 + X2 + … + Xn

Пусть выполнено

Тогда , Sn = X1 + X2 + … + Xn

8. Устойчивые распределения

Функция распределения G(x) называется устойчивой, если для ее характеристической функции g(t) выполнено

или

Пусть X1, X2 … - норсв

Тогда F(x) может быть предельной для сумм вида (X1+X2+…+Xn - an)/bn при некоторых an и bn > 0 тогда и только тогда, когда F(x) – устойчива

// an и bn – имеются в виду индексы n у a и b

f(t) – характеристическая функция – безгранично делима, если для любого n существует fn(t) – характеристические функции, такие что f(t) = (fn(t))^n

при этом если X из распределения с хар. функцией f(t), то X представима как сумма Xi (которые из распределения такого, что ему соответствует fn(t))
Теорема Хинчина

Пусть выполнено

Тогда F(x) может быть предельной для сумм вида Xn,1 + Xn,2 + … + Xn,mn при n стремящемся к бесконечности тогда и только тогда, когда F(x) соответствует безгранично делимая характеристическая функция.

9. Информация и энтропия. Их свойства.
Определение 1
Пусть A – событие, P(A) > 0. Тогда информацией (по Шеннону), содержащейся в А, называется величина

Определение 2

Пусть A,B – события, P(A) > 0, P(B) > 0. Тогда информацией (по Шеннону),

содержащейся в B относительно А, называется величина


Свойства информации:
1) Чем меньше P(A), тем больше I(A).

2) Если А, В – независимые с.в., I(A|B) = 0.

3) Если А, В – независимые с.в., I(A|B) = I(A)+ I(В).
Определение 3
Пусть E – эксперимент с исходами и соответствующими им вероятностями

Пусть Q(E) – количество информации, полученной в ходе эксперимента - случайная величина со значениями I(), принимаемыми с вероятностями p.

Тогда энтропией E называется величина


Свойства энтропии:

1. 
   Энтропия неотрицательна, энтропия равна 0 т.и.т.т., когда один из исходов эксперимента имеет вероятность 1.
   
2. 
   Максимальной энтропией среди экспериментов с n исходами обладает такой,
   

3) E – эксперимент с исходами

E получается из Е объединением двух исходов с номерами i и j.

E - эксперимент с двумя исходами которым соответствуют вероятности

.

Тогда H(E) = H(E) + (p+p)*H(E).

4)Н(Е) не зависит от A, а зависит только от p.

5)H(E) – непрерывная функция p.

Если функционал H(p₁,..p_n) удовл. 1)-5) =>

1) С.в. дискретна, имеет конечное число значений с соответствующими вероятностями.

Тогда энтропия равна

2) С.в. дискретна, имеет бесконечное число значений.

Тогда выражение для энтропии аналогично, но ряд бесконечен.

3) С.в. абсолютно непрерывна.

Тогда энтропия равна

Где p – плотность распределения с.в. Определенная таким образом энтропия называется

дифференциальной энтропией.
Теорема
1) Пусть имеет равномерное распределение ~R[-a;a]

Тогда H() >= H() для любой с.в. , распределенной на [-a ;a] : P(||

2) Пусть имеет показательное распределение ~P()

Тогда H() >= H() для любой с.в. : P(>=0) = 1, M = 1/, >0

3) Пусть имеет нормальное распределение ~N(a, )

Тогда H() >= H() для любой с.в. : M = a, D = .

X(t) -> S – множество всех траекторий случайного процесса. На S можно определить борелевскую сигма - алгебру , порожденную множеством всех открытых подмножеств S. Прообраз любого B - событие (X(t): -> S).

Процесс X(t) – процесс с независимым приращением, если

X (t), X (t)- X (t),…, X (t)- X (t) – независимы в совокупности.
Определение 5
Процесс X(t) – однородный, если распределение X(t+h) - X(t) совпадает с распределением X(s+h) - X(s) для t, s, h: t, t+h, s, s+h T.
Определение 6
Процесс X(t) – пуассоновский, если

1. 
   X(t) имеет независимое приращение
   
2. 
   X(t) однородный
   
3. 
   X(0) = 0 почти наверное
   
4. 
   При h>0, h->0
   

P(X(h) = 1) = h +o(h)

P(X(h) >= 2) = o(h)

>0

Для пуассоновского процесса

X(t) ~ П(t)

MX(t) = DX(t) = t

Распределение длин скачков τ[j] – τ[j-1] обладает свойством отсутствия памяти => оно показательно

Зафиксируем [a; b] на временной оси. Пусть в [a; b] попало n скачков Пуассоновского процесса. Каково их распределение?
Теор. Условное распределение τ[1] … τ[n] при условии, что X(b) – X(a) = n, совпадает с распределение вариационного ряда, построенного по выборке из равномерного распределения на [a; b].
Плотность вариационного ряда, построенного по выборке из равномерного распределения на [a,b] есть
Теор. => Ф(х), где Ф(х) – функция распределения стандартного N(0,1), причём сходимость равномерна по х, при , т.е.

, С₀ – константа Берри- Эссеена

13. Случайные суммы, основные свойства, пуассоновские случайные суммы

N – целая неотрицательная случайная величина.

xi, N – определены на одном ВП.

Случайная сумма Sn = x₁ + x₂ + … + x_N

Свойства:

1) p_n = P(N=n); F^*n(x)= n-кратная свертка F (ф.р. xi); F^*0 – ф.р. с единичным скачком в нуле.

2. 
   если p₀ > 0 => F_SN не является абсолютно непрерывной
   
3. 
   P₀=0 => существует , f^*n(x)= n-кратная свертка f (плотн. x_i);
   
4. 
   ; (s) – производящая функция N; f(t) – характ. функция x_i
   
5. 
   E_SN = EN * Ex1; D_SN = DN * (Ex₁)² + EN * Dx₁
   

N ~ П() => S_N есть пуассоновская случайная сумма

14. Геометрические случайные суммы, теорема Реньи, связь между геометрическими и пуассоновскими случайными суммами

N ~ Geom (p) =>– Геометрическая Случайная Сумма

Теорема Реньи

Если , то

Всякая геом. случайная сумма является пуассоновской случайной суммой, причем если

Следствие

x_i~f(t); Пусть является характеристической функцией

=> S_N – геометрическая случайная сумма, причем ; ; ~g(t) – хар.функция

15. Теорема переноса. Аналог теоремы Пуассона для случайных сумм.

Теорема переноса

N_n – положит. целочисленная случайная величина, не зависящая от X_n,i

m_k – неограниченно возрастающая последовательность натуральных чисел

Если

- по распределению и

, то , где

– х.ф., соотв. , h(t) – хар. функция, соответствующая H(x)

Теорема Пуассона для случайных сумм

16.Смеси вероятностных распределений, идентифицируемость, примеры

Q- дискретная, принимающая значения (y₁, …) с вероятностями (p₁,…)

Определение

пусть F(x,y) при всяком y – ф.р. при всяком х измерима по y

Q-семейство случайных величин

- семейство смесей

Семейство W называется идентифицируемым, если из ,

где , Q следует


18. Обобщенный процесс Кокса. ЦПТ и ЗБЧ для обобщенных процессов Кокса.



- н.о.р.с.в.

E = a, D =

Далее будем предполагать, что E = 0, D =

2) (это означает, что при некоторой нормировке у есть предел, может быть случайный.

Пусть , E = 0, D =

Lim при

Смысл: Тяжелые хвосты процессов Кокса обусловлены «плохим» поведением управляющего процесса. При этом распределения слагаемых могут иметь сколь угодно легкие хвосты
Теорема4: (ЗБЧ для обобщенных процессов Кокса с ненулевым средним)

Пусть , ,

Z= a*u (так определяется); Смысл: предел не случаен  u не случайно

(мат.ож) Φ(x/y) – плотность (мат.ож)[(1/y)*φ(x/y)] = ∫(0 до ∞) (1/y)*φ(x/y)dP(Y

Y – дискретна ∑(k)P(Y=y_k) Φ(x/ y_k) плостности

∑(k)(P(Y= y_k)/ y_k)* φ(x/ y_k)

Пусть E(z)ⁿ

æ(z) – коэфф. эксцесса (показывает островершинность рапр.)

Если Z ~ Φ(x) => æ(Z) = 3

Пусть f(t) = exp{-t²/2} – хар. ф. норм. станд. распр. => Надо взять 4 произв. и посчитать ее в 0 => æ
Лемма

Пусть (мат.ож.)Х = 0, P(Y>0) = 1, (мат.ож)Х⁴ 4

Тогда æ(XY) >= æ(X), æ(XY) = æ(X)  P(Y=const) = 1
Утв.

Пусть Х ~ N(0,1), P(u>0) = 1, Z = X√u