Для установки нажмите кнопочку Установить расширение. И это всё.
Исходный код расширения WIKI 2 регулярно проверяется специалистами Mozilla Foundation, Google и Apple. Вы также можете это сделать в любой момент.
Как перевоплотить Википедию
Хотите, чтобы Википедия всегда выглядела так профессионально и современно? Мы создали расширение для браузера. Оно совершенствует любую страницу энциклопедии, которую вы посетите, с помощью магических технологий WIKI 2.
Попробуйте — вы его можете удалить в любой момент.
Установить за 5 сек.
Да-да, но позже
4,5
Келли Слэйтон
Мои поздравления с отличным проектом... что за великолепная идея!
Александр Григорьевский
Я использую WIKI 2 каждый день и почти забыл как выглядит оригинальная Википедия.
Закон больших чисел (ЗБЧ) в теории вероятностей — принцип, описывающий результат выполнения одного и того же эксперимента много раз. Согласно закону, среднее значение конечной выборки из фиксированного распределения близко к математическому ожиданию этого распределения.
Другими словами, чем больше объём выборки, тем чаще проводятся измерения какого-либо параметра, тем выше вероятность, что результаты окажутся близки к ожидаемым.
Закон больших чисел важен, поскольку он гарантирует устойчивость для средних значений некоторых случайных событий при достаточно длинной серии экспериментов.
Важно помнить, что закон применим только тогда, когда рассматривается большое количество испытаний.
Энциклопедичный YouTube
1/5
Просмотров:
36 167
3 253
2 307
11 516
1 258
Закон больших чисел
11 класс, 25 урок, Гауссова кривая. Закон больших чисел
07 - Теория вероятностей. Закон больших чисел
Теория вероятностей #21: неравенство Чебышева, теорема Чебышева, теорема Маркова
Теория вероятностей 10. Усиленные законы больших чисел
Субтитры
Давайте разберем закон больших чисел, который является, пожалуй, самым интуитивным законом в математике и теории вероятностей.
И поскольку он применим ко многим вещам, его иногда используют и понимают неправильно.
Давайте я вначале для точности дам ему определение, а потом уже мы поговорим об интуиции.
Возьмем случайную величину, например Х.
Допустим, мы знаем ее математическое ожидание или среднее для совокупности.
Закон больших чисел просто говорит, что, если мы возьмем пример n-ого количества наблюдений случайной величины и выведем среднее число всех этих наблюдений…
Давайте возьмем переменную.
Назовем ее Х с нижним индексом n и с чертой наверху.
Это среднее арифметическое n-ого количества наблюдений нашей случайной величины.
Вот мое первое наблюдение.
Я провожу эксперимент один раз и делаю это наблюдение, затем я провожу его еще раз и делаю вот это наблюдение, я провожу его снова и получаю вот это.
Я провожу этот эксперимент n-ое количество раз, а затем делю на количество моих наблюдений.
Вот мое выборочное среднее значение.
Вот среднее значение всех наблюдений, которые я сделала.
Закон больших чисел говорит нам, что мое выборочное среднее будет приближаться к математическому ожиданию случайной величины.
Либо я могу также написать, что мое выборочное среднее будет приближаться к среднему по совокупности для n-ого количества, стремящегося к бесконечности.
Я не буду четко разделять понятия «приближение» и «сходимость», но надеюсь, вы интуитивно понимаете, что, если я возьму довольно большую выборку здесь, то
я получу математическое ожидание для совокупности в целом.
Думаю, большинство из вас интуитивно понимает, что, если я сделаю достаточное количество испытаний с большой выборкой примеров,
в конце концов, испытания дадут мне ожидаемые мною значения, принимая во внимание математическое ожидание, вероятность и все такое прочее.
Но, я думаю, часто бывает непонятно, почему так происходит.
И прежде, чем я начну объяснять, почему это так, давайте я приведу конкретный пример.
Закон больших чисел говорит нам, что...
Допустим, у нас есть случайная величина Х.
Она равна количеству орлов при 100 подбрасываниях правильной монеты.
Прежде всего, мы знаем математическое ожидание этой случайной величины.
Это количество подбрасываний монеты или испытаний, умноженное на шансы успеха любого испытания.
Значит, это равно 50-ти.
То есть, закон больших чисел говорит, что, если мы возьмем выборку, или если я приведу к среднему значению эти испытания, я получу...
В первый раз, когда я провожу испытание, я подбрасываю монету 100 раз или возьму ящик с сотней монет, тряхну его,
а потом сосчитаю, сколько у меня выпадет орлов, и получу, допустим, число 55.
Это будет Х1.
Затем я снова встряхну ящик и получу число 65.
Затем еще раз – и получу 45.
И я проделываю это n-ое количество раз, а затем делю это на количество испытаний.
Закон больших чисел говорит нам, что это среднее (среднее значение всех моих наблюдений)
будет стремиться к 50-ти в то время, как n будет стремиться к бесконечности.
Теперь я бы хотела немного поговорить о том, почему так происходит.
Многие считают, что если после 100 испытаний, у меня результат выше среднего,
то по законам вероятности у меня должно выпасть больше или меньше орлов для того, чтобы, так сказать, компенсировать разницу.
Это не совсем то, что произойдет.
Это часто называют «заблуждением азартного игрока».
Давайте я покажу различие.
Я буду использовать следующий пример.
Давайте я изображу график.
Поменяем цвет.
Это n, моя ось Х – это n.
Это количество испытаний, которые я проведу.
А моя ось Y будет выборочным средним.
Мы знаем, что математическое ожидание этой произвольной переменной равно 50-ти.
Давайте я это нарисую.
Это 50.
Вернемся к нашему примеру.
Если n равно…
Во время моего первого испытания я получила 55, это мое среднее значение.
У меня только одна точка ввода данных.
Затем, после двух испытаний, я получаю 65.
Значит, мое среднее значение будет 65+55, деленное на 2.
Это 60.
И мое среднее значение немного возросло.
Затем я получила 45, что вновь снизило мое среднее арифметическое.
Я не буду наносить на графике 45.
Теперь мне нужно привести все это к среднему значению.
Чему равно 45+65?
Давайте я вычислю это значение, чтобы обозначить точку.
Это 165 делить на 3.
Это 53.
Нет, 55.
Значит, среднее значение снова опускается до 55-ти.
Мы можем продолжить эти испытания.
После того, как мы проделали три испытания и получили это среднее, многие люди думают, что боги вероятности сделают так,
что у нас выпадет меньше орлов в будущем, что в следующих нескольких испытаниях результаты будут ниже, чтобы уменьшить среднее значение.
Но это не всегда так.
В дальнейшем вероятность всегда остается такой же.
Вероятность того, что у меня выпадет орел, всегда будет 50-ти %.
Не то, что у меня изначально выпадает определенное количество орлов, большее, чем я ожидаю, а дальше внезапно должны выпасть решки.
Это «заблуждение игрока».
Если у вас выпадает несоразмерно большое количество орлов, это не значит, что в определенный момент у вас начнет выпадать несоразмерно большое количество решек.
Это не совсем так.
Закон больших чисел говорит нам, что это не имеет значения.
Допустим, после определенного конечного количества испытаний, ваше среднее...
Вероятность этого достаточно мала, но, тем не менее... Допустим, ваше среднее достигло этой отметки – 70-ти.
Вы думаете: «Ого, мы основательно отошли от математического ожидания».
Но закон больших чисел говорит, что ему все равно, сколько испытаний мы провели.
У нас все равно осталось бесконечное количество испытаний впереди.
Математическое ожидание этого бесконечного количества испытаний, особенно в подобной ситуации, будет следующим.
Когда вы приходите к конечному числу, которое выражает какое-нибудь большое значение,
бесконечное число, которое сойдется с ним, снова приведет к математическому ожиданию.
Это, конечно, очень свободное толкование, но это то, что говорит нам закон больших чисел.
Это важно.
Он не говорит нам, что, если у нас выпало много орлов, то каким-то образом вероятность выпадения решки увеличится, чтобы это компенсировать.
Этот закон говорит нам, что неважно, каков результат при конечном количестве испытаний, если у вас еще осталось бесконечное количество испытаний впереди.
И если вы сделаете достаточное их количество, вы вернетесь снова к математическому ожиданию.
Это важный момент. Подумайте о нем.
Но это не используется ежедневно на практике с лотереями и в казино, хотя известно, что, если вы сделаете достаточное количество испытаний ...
Мы даже можем это посчитать... чему равна вероятность того, что мы серьезно отклонимся от нормы?
Но казино и лотереи каждый день работают по тому принципу, что если взять достаточное количество людей,
естественно, за короткий срок, с небольшой выборкой, то несколько человек сорвут куш.
Но за большой срок казино всегда останется в выигрыше из-за параметров игр, в которые они приглашают вас играть.
Это важный принцип вероятности, который является интуитивным.
Хотя иногда, когда вам его формально объясняют со случайными величинами, все это выглядит немного запутанно.
Все, что этот закон говорит, – это что чем больше выборок, тем больше среднее арифметическое этих выборок будет стремиться к истинному среднему.
А если быть более конкретной, то среднее арифметическое вашей выборки сойдется с математическим ожиданием случайной величины.
Вот и все.
До встречи в следующем видео!
Например, рассмотрим бросок шестигранной игральной кости, на которой с равной вероятностью может выпасть одно из чисел 1, 2, 3, 4, 5 или 6. Следовательно, математическое ожидание одного броска равно
Согласно закону больших чисел, при большом количестве бросков их среднее значение, вероятно, будет близким к 3,5, при этом точность будет возрастать по мере увеличения числа бросков.
Из закона больших чисел следует, что эмпирическая вероятность успеха в серии испытаний Бернулли сходится к теоретической вероятности. Для случайной величины Бернулли математическое ожидание представляет собой теоретическую вероятность успеха, а среднее значение таких переменных (если они независимы и одинаково распределены) является относительной частотой.
Например, бросок правильной монеты — это испытание Бернулли. При одном броске теоретическая вероятность выпадения «орла» равна . Поэтому, согласно закону больших чисел, доля «орлов» при большом количестве испытаний «должна быть» примерно . В частности, доля «орлов» после бросков сходится к , при .
Хотя доля орлов (и решек) стремится к , почти наверняка модуль разности количества орлов и решек станет большим, когда число бросков будет неограниченно возрастать. То есть при увеличении числа бросков вероятность того, что модуль разницы будет невелик, идёт к нулю, а отношение модуля разницы к общему числу бросков почти наверное стремится к нулю:
История
Итальянский математик Джероламо Кардано (1501—1576) был страстным любителем азартных игр. «Побочным продуктом» его любви к игре в кости стала книга «Об азартных играх» (итал.De Ludo alea, 1563), содержащая формулировку закона больших чисел. В ней Кардано заявил, что точность эмпирической статистики, как правило, улучшается с количеством испытаний.
В 1713 году Якоб Бернулли изложил правила подсчёта вероятности для сложных событий и дал первый вариант «закона больших чисел», разъясняющего, почему частота события в серии испытаний не меняется хаотично, а в некотором смысле стремится к своему предельному теоретическому значению (то есть вероятности).
Следует также отметить работы С. Д. Пуассона (1781—1840), доказавшего более общую, чем у Якоба Бернулли, форму закона больших чисел.
П. Л. Чебышёв получил общую формулировку закона больших чисел: если математические ожидания серии случайных величин и квадраты этих математических ожиданий ограничены в совокупности, то среднее арифметическое этих величин с ростом сходится по вероятности к среднему арифметическому для их математических ожиданий.
А. А. Марков доказал вариант закона больших чисел для некоторых распространённых типов зависимых величин.
В XX веке исследования Чебышёва и Маркова продолжили А. Я. Хинчин и А. Н. Колмогоров. Они показали, что если случайные величины не только независимы, но и одинаково распределены, то существование у них математического ожидания является необходимым и достаточным условием для применимости закона больших чисел.
Варианты
Рассмотрим последовательность независимых в совокупности случайных величин , интегрируемых по Лебегу, которые имеют одинаковые распределения, следовательно, и одинаковые математические ожидания .
Обозначим через среднее арифметическое рассматриваемых случайных величин:
Независимость в совокупности случайных величин может быть заменена попарной независимостью в обоих вариантах закона[1].
Ниже описаны два различных варианта закона больших чисел. Их называют усиленным законом больших чисел и слабым законом больших чисел. Разница между усиленной и слабой формой связана с выбором способа сходимости.
Слабый закон
Слабый закон больших чисел (теорема Бернулли, сформулирована Я. Бернулли, опубликована в 1713 году[2]) гласит, что среднее значение выборки сходится по вероятности к математическому ожиданию[3]:
при
То есть выполняется
Интерпретируя данный результат, получаем, что слабый закон утверждает, что для любых ненулевых указанных границ, независимо от того, насколько они малы, при достаточно большой выборке вероятность того, что среднее значение выборки будет близко к математическому ожиданию, очень высока в пределах этих границ.
Как говорилось ранее, слабый закон применим в случае независимых одинаково распределённых случайных величин, имеющих математическое ожидание. Однако он может применяться и в некоторых других случаях. Например, дисперсия может быть разной для каждой случайной величины в выборке, а математическое ожидание оставаться константой. Если дисперсии ограничены, то закон также применим, как показал Чебышёв ещё в 1867 году. Доказательство Чебышёва работает до тех пор, пока дисперсия среднего числа первых значений не стремится к нулю при [4].
Усиленный закон
Усиленный закон больших чисел утверждает, что при определённых условиях с вероятностью единица происходит неограниченное сближение средних арифметических последовательности случайных величин с некоторыми постоянными величинами.
Пусть — последовательность случайных величин и .
Говорят, что последовательность удовлетворяет усиленному закону больших чисел, если существует такая последовательность , что вероятность соотношения: , при равна 1.
Другая формулировка, равносильная предыдущей, такова: последовательность удовлетворяет усиленному закону больших чисел, если вероятность одновременного выполнения всех неравенств
стремится к 1 при .
Таким образом, здесь рассматривается поведение всей последовательности сумм в целом, в то время как в обычном законе больших чисел речь идёт лишь об отдельных суммах.
Если последовательность удовлетворяет усиленному закону больших чисел, то она удовлетворяет и обычному закону больших чисел с теми же самыми , то есть , при , .
Обратное может быть неверно. Например, если случайные величины независимы и принимают при два значения с вероятностью каждое, то для них выполняется обычный закон больших чисел с , но ни при каких не выполняется усиленный закон больших чисел.
Теорема Колмогорова
В случае независимых слагаемых наиболее известными являются условия приложимости усиленного закона больших чисел, установленные А. Н. Колмогоровым: достаточное — для величин с конечными дисперсиями, и необходимое и достаточное — для одинаково распределённых величин (заключающееся в существовании математического ожидания величин ). Теорема Колмогорова для случайных величин с конечными дисперсиями утверждает, что из условия
(1)
вытекает приложимость к последовательности усиленного закона больших чисел с . В терминах дисперсий условие (1) оказывается наилучшим в том смысле, что для любой последовательности положительных чисел с расходящимся рядом можно построить последовательность независимых случайных величин с , не удовлетворяющую усиленному закону больших чисел.[5]
Различия между слабым законом и усиленным законом
Слабый закон утверждает, что для заданного большого среднее значение , вероятно, будет близко к . Таким образом, может происходить бесконечно много раз, хотя и сколь угодно редко. (Для всех не обязательно выполняется ).
Усиленный закон показывает, что почти наверное не произойдёт. Это означает, что с вероятностью 1 мы имеем, что выполняется неравенство для достаточно больших .[6]
Ниже приведены три примера симметричных распределений, в каждом примере математического ожидания эти распределения не имеют, усиленный закон больших чисел (сходимость почти всюду) не имеет места, но слабый закон выполнен: среднее случайных величин сходится по вероятности к константе, центру симметрии их распределения.[7][8][9]
Пусть — экспоненциально распределённая случайная величина с параметром 1. Случайная величина не имеет математического ожидания, задаваемого интегралом Лебега, но используя условную сходимость и интерпретацию интеграла как интеграла Дирихле, являющегося несобственныминтегралом Римана, можно сказать:
Пусть — геометрическое распределение с вероятностью . Случайная величина не имеет математического ожидания в обычном смысле, поскольку бесконечный ряд не является абсолютно сходящимся, но используя условную сходимость можно сказать:
Если функция распределения случайной величины равна
то она не имеет математического ожидания, но слабый закон выполняется.[10][11]
Равномерный закон больших чисел
Пусть — некоторая функция, которая определена и непрерывна по переменной . Тогда для любого фиксированного последовательность будет последовательностью независимых и одинаково распределённых случайных величин, такой, что выборочное среднее этой последовательности сходится по вероятности к .
Равномерный закон больших чисел описывает условия, при которых сходимость равномерна по .
непрерывна при каждом для почти всех и измеримой функции от в каждом ,
существует доминирующая функция такая, что и для всех ,
тогда непрерывна в и
Борелевский закон больших чисел
Борелевский закон больших чисел, названный в честь Эмиля Бореля, гласит, что если эксперимент повторяется много раз независимо при одинаковых условиях, то доля раз, когда любое указанное событие происходит, приблизительно равна вероятности появления события в каком-либо конкретном испытании; чем больше число повторений, тем лучше приближение. Точнее, если обозначает событие, о котором идёт речь, — вероятность его появления, а — число раз, когда встречается в первых испытаниях, тогда с вероятностью 1[14]
Пусть — случайная величина с конечным математическим ожиданием и конечной ненулевой дисперсией . Тогда для любого действительного числа выполняется
Доказательство слабого закона
Рассмотрим бесконечную последовательность независимых и одинаково распределённых случайных величин с конечным математическим ожиданием . Нас интересует сходимость по вероятности
Теорема
при
Доказательство с использованием неравенства Чебышёва, предполагающего конечную дисперсию
Предположение о конечной дисперсии не является обязательным. Большая или бесконечная дисперсия замедляет сходимость, но ЗБЧ выполняется в любом случае.
Это доказательство использует предположение о конечной дисперсии (для всех ). Независимость случайных величин не предполагает корреляции между ними, мы имеем
Математическое ожидание последовательности представляет собой среднее значение выборочного среднего:
Используя неравенство Чебышёва для , получаем
Это неравенство используем для получения следующего:
При выражение стремится к 1.
Теперь по определению сходимости по вероятности мы получим:
при .
Доказательство с использованием сходимости характеристических функций
↑Etemadi, N. Z. (1981). «An elementary proof of the strong law of large numbers». Wahrscheinlichkeitstheorie verw Gebiete. 55 (1): 119—122. doi:10.1007/BF01013465.
↑Jennrich, Robert I. (1969). «Asymptotic Properties of Non-Linear Least Squares Estimators». The Annals of Mathematical Statistics. 40 (2): 633—643. doi:10.1214/aoms/1177697731.