Бутстрэп ( англ. bootstrap ) в статистике — практический компьютерный метод исследования распределения статистик вероятностных распределений , основанный на многократной генерации выборок методом Монте-Карло на базе имеющейся выборки . Позволяет просто и быстро оценивать самые разные статистики ( доверительные интервалы , дисперсию , корреляцию и так далее) для сложных моделей.

Понятие введено в 1977 году Брэдли Эфроном (первая публикация относится к 1979 году ). Суть метода состоит в том, чтобы по имеющейся выборке построить эмпирическое распределение . Используя это распределение как теоретическое распределение вероятностей, можно с помощью датчика псевдослучайных чисел сгенерировать практически неограниченное количество псевдовыборок произвольного размера, например, того же, как у исходной. На множестве псевдовыборок можно оценить не только анализируемые статистические характеристики, но и изучить их вероятностные распределения. Таким образом, например, оказывается возможным оценить дисперсию или квантили любой статистики независимо от её сложности. Данный метод является методом непараметрической статистики .

Наряду с методами «складного ножа» , перекрёстной проверки и ( англ. ) составляет класс методов ( англ. ).

Этимология

Слово происходит от выражения: «To pull oneself over a fence by one’s bootstraps.» (дословно — «перебраться через ограду, потянув за ремешки на ботинках» (см. фото справа). Для русскоязычных людей ближе будет история барона Мюнхгаузена , который, потянув себя за волосы, вытащил себя и свою лошадь из болота.

Сам англицизм «бутстрап» используется во многих областях знаний, где нужно передать смысл того, что вы получаете что-то «бесплатно» или магическим образом из ничего получаете нечто стоящее. В области статистики ближайший по этимологии аналог термина — «самовытягивание».

Вводный пример

Пусть имеется два наблюдения:

${\displaystyle (x_{1},y_{1})=(1,1),\ (x_{2},y_{2})=(2,3)}$

Предположим, что нам необходимо оценить параметр в регрессии y на x :

${\displaystyle y_{i}=\theta x_{i}+\epsilon _{i}}$

Оценка параметра, полученная методом наименьших квадратов , будет равна

${\displaystyle {\hat {\theta }}={\frac {x_{1}y_{1}+x_{2}y_{2}}{x_{1}^{2}+x_{2}^{2}}}={\frac {1\times 1+2\times 3}{1^{2}+2^{2}}}={\frac {7}{5}}}$

Эмпирическая функция распределения при этом равна

${\displaystyle (x,y)'={\begin{cases}(1,1)',\quad p=1/2\\(2,3)',\quad p=1/2\\\end{cases}}}$

При этом данные из двух наблюдений относительно эмпирического распределения будут распределены так:

${\displaystyle (x_{1},y_{1})',(x_{2},y_{2})'={\begin{cases}(1,1)',(1,1)',\quad p=1/4\\(1,1)',(2,3)',\quad p=1/4\\(2,3)',(1,1)',\quad p=1/4\\(2,3)',(2,3)',\quad p=1/4\\\end{cases}}}$

Это и есть бутстрэповское распределение. Далее можем найти распределение МНК-оценки:

${\displaystyle {\hat {\theta }}_{2}^{*}={\begin{cases}1,\quad \quad p=1/4\\7/5,\quad p=1/2\\3/2,\quad p=1/4\\\end{cases}}}$

Применение

Бутстрэп используется для корректировки смещения, тестирования гипотез, построения доверительных интервалов.

Бутстрэповский доверительный интервал: алгоритм

Пусть дана выборка ${\displaystyle (z_{1};z_{2};\dots ;z_{n})}$ из генеральной совокупности , и требуется оценить параметр ${\displaystyle \theta }$ . Необходимо выбрать количество ${\displaystyle B}$ псевдовыборок, которые будут формироваться из элементов исходной выборки с возвращением. Для каждой из псевдовыборок ${\displaystyle (z_{1}^{*};z_{2}^{*};\dots ;z_{n}^{*})_{b},b=1,2,\dots ,B}$ вычисляется псевдостатистика ${\displaystyle {\hat {\theta }}_{b}^{*}}$ .

Псевдостатистики ${\displaystyle {\hat {\theta }}_{1}^{*},{\hat {\theta }}_{2}^{*},\dots ,{\hat {\theta }}_{B}^{*}}$ сортируются от меньшей к большей. Квантилями ${\displaystyle q_{\alpha _{1}}^{*},q_{1-\alpha _{2}}^{*}}$ принимаются значения ${\displaystyle {\hat {\theta }}_{[B\alpha _{1}]}^{*},{\hat {\theta }}_{[B(1-\alpha _{2})+1]}^{*}}$ . С их помощью строится доверительный интервал.

Примечания

Литература

• Станислав Анатольев . Эконометрика для продолжающих. Курс лекций. — 2002.
• Bradley Efron . (англ.) // Annals of Statistics. — 1979. — Vol. 7 , no. 1 . — P. 1—26 . — ISSN . — doi : .

Ссылки

• (недоступная ссылка с 13-05-2013 [3916 дней] — ) : Tutorial from a signal processing perspective
• (недоступная ссылка с 13-05-2013 [3916 дней] — ) by Yihui Xie using the R