Обзор некоторых современных алгоритмов optical flow Илья Цветков Video Group CS MSU Graphics & Media Lab
Содержание Введение Классические методы Билатеральная фильтрация Сегментация Временная корреляция Заключение 2 CS MSU Graphics & Media Lab (Video Group)
Постановка задачи Даны два последовательных изображения: Необходимо найти векторное поле u ( x ) , задающее соответствие точек изображений, например: 3 CS MSU Graphics & Media Lab (Video Group)
Исходные изображения Последовательность « Mequon » S. Baker et al. A database and evaluation methodology for optical flow . 4 CS MSU Graphics & Media Lab (Video Group) ICCV, 2007. http://vision.middlebury.edu/flow/
Пример optical flow Последовательность « Mequon » S. Baker et al. A database and evaluation methodology for optical flow . 5 CS MSU Graphics & Media Lab (Video Group) ICCV, 2007. http://vision.middlebury.edu/flow/
Содержание Введение Классические методы Билатеральная фильтрация Сегментация Временная корреляция Заключение 6 CS MSU Graphics & Media Lab (Video Group)
Локальные методы Gradient constraint equation: Локальный метод Lucas & Kanade: Вектор смещения ищется в каждой точке независимо. J. Barron et al. Performance of optical flow techniques. 7 CS MSU Graphics & Media Lab (Video Group) International Journal of Computer Vision, 1994.
Исходные изображения Последовательность « Army » S. Baker et al. A database and evaluation methodology for optical flow . 8 CS MSU Graphics & Media Lab (Video Group) ICCV, 2007. http://vision.middlebury.edu/flow/
Ground truth Последовательность « Army » S. Baker et al. A database and evaluation methodology for optical flow . 9 CS MSU Graphics & Media Lab (Video Group) ICCV, 2007. http://vision.middlebury.edu/flow/
Результат метода L&K Последовательность « Army » S. Baker et al. A database and evaluation methodology for optical flow . 10 CS MSU Graphics & Media Lab (Video Group) ICCV, 2007. http://vision.middlebury.edu/flow/
Глобальные методы Глобальный метод Hork & Schunck: Сглаживает поле независимо от структуры движения. J. Barron et al. Performance of optical flow techniques. 11 CS MSU Graphics & Media Lab (Video Group) International Journal of Computer Vision, 1994.
Ground truth Последовательность « Army » S. Baker et al. A database and evaluation methodology for optical flow . 12 CS MSU Graphics & Media Lab (Video Group) ICCV, 2007. http://vision.middlebury.edu/flow/
Результат метода H&S Последовательность « Army » S. Baker et al. A database and evaluation methodology for optical flow . 13 CS MSU Graphics & Media Lab (Video Group) ICCV, 2007. http://vision.middlebury.edu/flow/
Исходные изображения Последовательность « Wooden » S. Baker et al. A database and evaluation methodology for optical flow . 14 CS MSU Graphics & Media Lab (Video Group) ICCV, 2007. http://vision.middlebury.edu/flow/
Ground truth Последовательность « Wooden » S. Baker et al. A database and evaluation methodology for optical flow . 15 CS MSU Graphics & Media Lab (Video Group) ICCV, 2007. http://vision.middlebury.edu/flow/
Результат метода H&S Последовательность « Wooden » S. Baker et al. A database and evaluation methodology for optical flow . 16 CS MSU Graphics & Media Lab (Video Group) ICCV, 2007. http://vision.middlebury.edu/flow/
Объективное сравнение Средняя угловая ошибка ( average angular error) Average endpoint error S. Baker et al. A database and evaluation methodology for optical flow . 17 CS MSU Graphics & Media Lab (Video Group) ICCV, 2007. http://vision.middlebury.edu/flow/
Сравнение качества ААЕ Army Mequon Schefflera Wooden Yosemite Teddy Lucas & Kanade 13,9 24,1 20,9 22,2 6,41 25,6 Horn & Schunck 8,0 9,1 14,2 12,4 4,01 9,2 AEPE Army Mequon Schefflera Wooden Yosemite Teddy Lucas & Kanade 0,39 1,67 1,50 1,57 0,30 3,80 Horn & Schunck 0,22 0,61 1,01 0,78 0,16 1,51 S. Baker et al. A database and evaluation methodology for optical flow . 18 CS MSU Graphics & Media Lab (Video Group) ICCV, 2007. http://vision.middlebury.edu/flow/
Исходные изображения Последовательность « Yosemite » S. Baker et al. A database and evaluation methodology for optical flow . 19 CS MSU Graphics & Media Lab (Video Group) ICCV, 2007. http://vision.middlebury.edu/flow/
Ground truth Последовательность « Yosemite » S. Baker et al. A database and evaluation methodology for optical flow . 20 CS MSU Graphics & Media Lab (Video Group) ICCV, 2007. http://vision.middlebury.edu/flow/
Результат метода L&K Последовательность « Yosemite » S. Baker et al. A database and evaluation methodology for optical flow . 21 CS MSU Graphics & Media Lab (Video Group) ICCV, 2007. http://vision.middlebury.edu/flow/
Результат метода H&S Последовательность « Yosemite » S. Baker et al. A database and evaluation methodology for optical flow . 22 CS MSU Graphics & Media Lab (Video Group) ICCV, 2007. http://vision.middlebury.edu/flow/
Требования к optical flow Определение сильного движения Устойчивость к изменениям яркости Корректная обработка разрывов Отдельная обработка областей наложения объектов Устойчивость к шуму Стабильность во времени 23 CS MSU Graphics & Media Lab (Video Group)
Содержание Введение Классические методы Билатеральная фильтрация Сегментация Временная корреляция Заключение 24 CS MSU Graphics & Media Lab (Video Group)
Основные идеи Анизотропное сглаживание поля Особая обработка областей наложения объектов Применение билатерального фильтра для сглаживания поля J. Xiao et al. Bilateral filtering -based optical flow estimation with occlusion 25 CS MSU Graphics & Media Lab (Video Group) detection. ECCV, 2006.
Основа метода Глобальный метод с анизотропным сглаживанием : Собственные значения : J. Xiao et al. Bilateral filtering -based optical flow estimation with occlusion 26 CS MSU Graphics & Media Lab (Video Group) detection. ECCV, 2006.
Минимизация Итеративная минимизация : Разбиение на два шага : Альтернативное представление второго шага : J. Xiao et al. Bilateral filtering -based optical flow estimation with occlusion 27 CS MSU Graphics & Media Lab (Video Group) detection. ECCV, 2006.
Анизотропное сглаживание J. Xiao et al. Bilateral filtering -based optical flow estimation with occlusion 28 CS MSU Graphics & Media Lab (Video Group) detection. ECCV, 2006.
Определение наложений объектов Функция - индикатор наложения объектов : Гладкий аналог : J. Xiao et al. Bilateral filtering -based optical flow estimation with occlusion 29 CS MSU Graphics & Media Lab (Video Group) detection. ECCV, 2006.
Обработка наложений Особая обработка областей наложения : Условие гладкости одинаково для всех областей : J. Xiao et al. Bilateral filtering -based optical flow estimation with occlusion 30 CS MSU Graphics & Media Lab (Video Group) detection. ECCV, 2006.
Билатеральная фильтрация поля Билатеральный фильтр : Исходное размытие : Применение билатерального фильтра : J. Xiao et al. Bilateral filtering -based optical flow estimation with occlusion 31 CS MSU Graphics & Media Lab (Video Group) detection. ECCV, 2006.
Билатеральная фильтрация поля J. Xiao et al. Bilateral filtering -based optical flow estimation with occlusion 32 CS MSU Graphics & Media Lab (Video Group) detection. ECCV, 2006.
Recommend
More recommend
