Оптический поток — в узком смысле это метод представления информации о движении суть которого заключается в отображении (на визуальном графике или в виде математической модели) видимого движения объектов, поверхностей или краев сцены, получаемого в результате перемещения наблюдателя (глаз или камеры) относительно сцены. В более общем смысле под термином "оптический поток" может пониматься полная информация о движении объектов сцены относительно наблюдателя представленная в любом виде.

Алгоритмы , основанные на оптическом потоке, такие как регистрация движения, сегментация объектов, кодирование движений и подсчет диспаритета в стерео, используют это движение объектов, поверхностей и краев.

Оценка оптического потока

Последовательности упорядоченных изображений позволяют оценивать движение либо как мгновенную скорость изображения, либо как дискретное смещение .Fleet и Weiss составили учебный курс по градиентному методу оценки оптического потока .

Анализ методов вычисления оптического потока проведен в работе John L. Barron, David J. Fleet и Steven Beauchemin. Они рассматривают методы как с точки зрения точности, так и с точки зрения плотности получаемого векторного поля.

Методы, основанные на оптическом потоке, вычисляют движение между двумя кадрами, взятыми в момент времени ${\displaystyle t}$ и ${\displaystyle t+\delta t}$ , в каждом пикселе . Эти методы называются дифференциальными, так как они основаны на приближении сигнала отрезком ряда Тейлора ; таким образом, они используют частные производные по времени и пространственным координатам.

В случае размерности 2D+ t (случаи большей размерности аналогичны) пиксель в позиции ${\displaystyle (x,y,t)}$ с интенсивностью ${\displaystyle I(x,y,t)}$ за один кадр будет перемещен на ${\displaystyle \delta x}$ , ${\displaystyle \delta y}$ и ${\displaystyle \delta t}$ , и можно записать следующее уравнение:

${\displaystyle I(x,y,t)\approx I(x+\delta x,y+\delta y,t+\delta t)}$

Считая, что перемещение мало, и используя ряд Тейлора, получаем:

${\displaystyle I(x+\delta x,y+\delta y,t+\delta t)\approx I(x,y,t)+{\frac {\partial I}{\partial x}}\delta x+{\frac {\partial I}{\partial y}}\delta y+{\frac {\partial I}{\partial t}}\delta t}$ .

Из этих равенств следует:

${\displaystyle {\frac {\partial I}{\partial x}}\delta x+{\frac {\partial I}{\partial y}}\delta y+{\frac {\partial I}{\partial t}}\delta t=0}$

или

${\displaystyle {\frac {\partial I}{\partial x}}{\frac {\delta x}{\delta t}}+{\frac {\partial I}{\partial y}}{\frac {\delta y}{\delta t}}+{\frac {\partial I}{\partial t}}{\frac {\delta t}{\delta t}}=0}$

отсюда получается, что

${\displaystyle {\frac {\partial I}{\partial x}}V_{x}+{\frac {\partial I}{\partial y}}V_{y}+{\frac {\partial I}{\partial t}}=0}$

где

${\displaystyle V_{x},V_{y}}$ — компоненты скорости оптического потока в ${\displaystyle I(x,y,t)}$ ,

${\displaystyle {\frac {\partial I}{\partial x}}}$ , ${\displaystyle {\frac {\partial I}{\partial y}}}$ , ${\displaystyle {\frac {\partial I}{\partial t}}}$ — производные изображения в ${\displaystyle (x,y,t)}$ в соответствующих направлениях.

Таким образом:

${\displaystyle I_{x}V_{x}+I_{y}V_{y}=-I_{t}}$

или

${\displaystyle \nabla I^{T}\cdot {\vec {V}}=-I_{t}}$

Полученное уравнение содержит две неизвестных и не может быть однозначно разрешено. Данное обстоятельство известно как проблема апертуры . Задачу решает наложение дополнительных ограничений — регуляризация .

Методы определения оптического потока

• — инверсия нормализованного перекрестного спектра.
• Блочные методы — минимизация суммы квадратов или суммы модулей разностей
• Дифференциальные методы оценки оптического потока, основанные на частных производных сигнала:
  • Алгоритм Лукаса — Канаде — рассматриваются части изображения и аффинная модель движения
  • — минимизация функционала, описывающего отклонение от предположения о постоянстве яркости и гладкость получаемого векторного поля.
  • — основан на модели движения границ объектов в последовательности изображений
  • Общие вариационные методы — модификации метода Horn-Schunck, использующие другие ограничения на данные и другие ограничения на гладкость.
• Дискретные методы оптимизации — поисковое пространство квантуется, затем каждому пикселю изображения ставится в соответствие метка таким образом, чтобы расстояние между последовательными кадрами было минимальным. Оптимальное решение часто ищется с помощью алгоритмов нахождения минимального разреза и максимального потока в графе, линейного программирования или .

Использование оптического потока

В разделе не хватает ссылок на источники (см. рекомендации по поиску ). Информация должна быть проверяема , иначе она может быть удалена. Вы можете статью, добавив ссылки на авторитетные источники в виде сносок . ( 13 сентября 2010 )

Исследования оптического потока широко ведутся в областях сжатия видео и анализа движений. Алгоритмы оптического потока не только определяют поле потока, но и используют оптический поток при анализе трехмерной сущности и структуры сцены, а также 3D-движения объектов и наблюдателя относительно сцены.

Оптический поток используется в робототехнике при распознавании объектов, слежении за объектами, определении движения и при навигации робота.

Кроме того, оптический поток используется для изучения структуры объектов. Поскольку определение движения и создание карт структуры окружающей среды являются неотъемлемой частью животного (человеческого) зрения, то реализация этой врожденной способности средствами компьютера является неотъемлемой частью компьютерного зрения.

Представьте видеоролик из пяти кадров, в котором шар движется из нижнего левого угла в правый верхний. Методы нахождения движения могут определить, что на двумерной плоскости шар движется вверх и вправо и векторы, описывающие это движение, могут быть получены из последовательности кадров. При сжатии видео это правильное описание последовательности кадров. Однако в области компьютерного зрения без дополнительной информации нельзя сказать, движется ли шар вправо, а наблюдатель стоит на месте, или шар покоится, а наблюдатель движется влево.

Модели оптического потока в психологии

Джеймс Гибсон рассматривал модели оптического потока (оптические инварианты) в качестве стимула высшего порядка. Модели оптического потока в теории Гибсона представляют собой сложные конфигурации оптической информации, регистрируемой зрительными рецепторами. В оптическом потоке представлена вся необходимая для нашего восприятия информация об окружающем мире, происходящих в нем событиях, в том числе информация о движении (включая параллакс движения и оптический градиент расширения). Таким образом, оптический поток исключает из психологии восприятия необходимость использовать какую-либо еще внешнюю информацию .

Идея использования оптического потока для объяснения процесса формирования перцептивного образа пришла к Гибсону во время Второй мировой войны в ходе работы по созданию специальных тренажеров и учебного фильма для подготовки пилотов американских ВВС.

См. также

• Визуальная одометрия

Примечания

Ссылки

• от 5 ноября 2010 на Wayback Machine
• от 30 августа 2010 на Wayback Machine
• от 27 июля 2019 на Wayback Machine
• от 18 июля 2010 на Wayback Machine
• GPU implementation of a Lucas-Kanade based optical flow
• от 17 августа 2011 на Wayback Machine