В непараметрической статистике существует метод для робастного множества точек ( простая линейная регрессия ), в котором выбирается медиана наклонов всех прямых, проходящих через пары точек выборки на плоскости. Метод называется оценочной функцией Тейла — Сена , оценочной функцией Сена коэффициента наклона , выбором наклона , методом одной медианы , методом Кендалла робастного приближения прямой и робастной прямой Кендалла — Тейла . Метод назван именами Анри Тейла и Пранаба К. Сена, опубликовавшими статьи об этом методе в 1950 и 1968 соответственно, а также именем Мориса Кендалла .

Эта оценочная функция может быть эффективно вычислена и она нечувствительна к выбросам . Она может быть существенно более точна, чем неробастный метод наименьших квадратов для несимметричных и гетероскедастичных данных и хорошо конкурирует с неробастным методом наименьших квадратов даже для нормально распределенных данных в терминах статистической мощности . Метод признан «наиболее популярной непараметрической техникой оценки линейного тренда» .

Определение

Как определил Тейл , оценочная функция Тейла — Сена множества точек на плоскости ( x _i , y _i ) — это медиана m коэффициентов наклона ( y _j − y _i )/( x _j − x _i ) по всем парам точек выборки. Сен расширил это определение для обработки случая, когда две точки имеют одинаковые координаты x . По определению Сена медиана коэффициентов наклона берётся только по парам точек, имеющих различные координаты x .

Когда наклон m вычислен, можно определить прямую из точек выборки путём выбора точки b пересечения оси y , равной медиане значений y _i − mx _i . Как заметил Сен, это оценочная функция, которая делает сравнения x _i с остатком i -го наблюдения приблизительно равным нулю .

Доверительный интервал для оценки угла наклона может быть определён как интервал, содержащий средние 95 % значений коэффициентов наклона прямых, проходящих через пары точек , и может быть быстро оценён семплированием пар и определением 95%-го интервала семплированных коэффициентов наклона. Согласно численному моделированию, выборка примерно 600 пар точек достаточна для определения точного доверительного интервала .

Вариации

Вариантом оценочной функции Тейла — Сена по Сигелу определяет для каждой точки выборки ( x _i , y _i ) медиану m _i коэффициентов наклона ( y _j − y _i )/( x _j − x _i ) прямых, проходящих через эту точку, а затем вычисляется общая оценочная функция как медиана этих медиан.

Другой вариант выбирает пары точек выборки по рангу их x -координат (точке с наименьшей координатой выбирается в пару первая точка выше координаты медианы и т. д.), затем вычисляются коэффициенты наклона прямых, определяемых этими парами точек .

Изучаются также варианты оценочной функции Тейла — Сена, базирующиеся на , основанные на принципе, что пары выборок, x -координаты которых отличаются больше, более вероятно имеют более точный наклон, а потому должны иметь больший вес

Для сезонных данных может быть уместным сглаживать сезонные переменные в данных путём отбора пар точек выборки, которые принадлежат одному месяцу или тому же сезону года, а уж затем вычислять медиану коэффициентов наклона прямых, определённых этими ограниченными парами .

Статистические свойства

Оценочная функция Тейла — Сена является несмещённой оценкой истинного наклона в простой линейной регрессии . Для многих распределений неслучайной ошибки эта оценочная функция имеет высокую относительно метода наименьших квадратов . Оценочные функции с низкой эффективностью требуют больше независимых наблюдений, чтобы достичь той же дисперсии, что и при эффективных несмещённых оценочных функциях.

Оценочная функция Тейла — Сена более робастна , чем оценочная функция метода наименьших квадратов, поскольку она существенно более устойчива к выбросам . Она имеет порог ${\displaystyle 1-{\frac {1}{\sqrt {2}}}\approx 29.3\%}$ , что означает, что она может допустить искажение до 29,3 % входных данных без уменьшения точности . Однако порог уменьшается для многомерных обобщений метода . Более высокий порог, 50 %, имеется у другого робастного алгоритма линейной оценки, повторной медианной оценочной функции Сигела .

Оценочная функция Тейла — Сена является при любом линейном преобразовании её переменных отклика, что означает, что преобразование данных с последующим построением оценивающей прямой и построение прямой с последующим преобразованием данных приводит к одинаковым результатам . Однако оценочная функция не является эквивариантной при одновременном аффинном преобразовании как предикторных переменных, так и переменных отклика .

Алгоритмы

Медиана коэффициента наклона множества n точек выборки может быть вычислена точно путём вычисления всех O ( n ² ) прямых через пары точек и применения алгоритма линейного времени для выбора медианы . Альтернативно, значение может быть оценено путём выборки пар точек. Задача эквивалентна, согласно проективной двойственности , задаче нахождения точки пересечения конфигурации прямых , которой принадлежит медиана x координат среди всех таких точек пересечения.

Задача выбора коэффициента наклона точно, но эффективнее, чем грубый квадратичный перебор, интенсивно изучалась в вычислительной геометрии . Известны некоторые другие методы точного вычисления оценочной функции Тейла — Сена за время O ( n log n ) либо детерминированно , либо с использованием вероятностных алгоритмов . Повторная медианная оценка Сигела может быть также построена эффективно за то же время . В моделях вычислений, в которых входные координаты являются целыми числами и битовые операции над целыми числами берут постоянное время, задача может быть решена даже быстрее, с математическим ожиданием времени вычисления ${\displaystyle O(n{\sqrt {\log n}})}$ .

Оценочная функция коэффициента наклона с примерным рангом медианы, имеющая тот же порог, что и оценочная функция Тейла — Сена, может быть получена в поточной модели данных (в которой точки выборки обрабатываются алгоритмом одна за другой, и алгоритм не имеет достаточной памяти для постоянного хранения всего множества данных), используя алгоритм, основанный на .

Приложения

Оценочная функция Тейла — Сена была использована в астрономии ввиду возможности работать с цензурированными моделями регрессии . Фернандес и Леблан предложили использовать её в биофизике дистанционного зондирования, такого как оценка листовой поверхности путём измерения отражения, ввиду «простоты вычисления, аналитической оценки доверительного интервала, робастности по отношению к выбросам, проверяемые допущения относительно погрешности и … ограниченной априори информации относительно ошибок измерения». Для измерения сезонных данных окружающей среды, таких как качество воды , был предложен сезонный вариант оценочной функции Тейла — Сена как более предпочтительный по сравнению с методом наименьших квадратов, поскольку он даёт более высокую точность в случае асимметричных данных . В информатике метод Тейла — Сена использовался для оценки тренда . Другое применение теста Тейла — Сена наблюдается в метеорологии и климатологии , где используется для оценки устойчивых тенденций направления и скорости ветров.

См. также

• , другая проблема, использующая оценивание тренда наклона

Примечания

Литература

Ссылки

• от 21 декабря 2016 на Wayback Machine бесплатная программа на Visual Basic для оценки Тейла — Сена, выпущенная Геологической службой США