Оптимизация создания ground truth data компенсатора тряски ADAS

АDAS - система дополненной реальности для помощи водителю на дороге, в которой используются различные сенсоры для моделирования окружающего мира, в том числе камера. В рамках данной работы предполагается исключительно обработка видео с камеры, данные с других сенсоров не используются. Среди функций ADAS предупреждение о покидании полосы, предупреждение о столкновении, дополненная навигация и прочие.

Для тестирования оценки качества работы Adas необходимо иметь ground truth data (идеальный выход алгоритмов) полос движения, автомобилей, пешеходов и прочее, в том числе тряски камеры. Однако, ручная разметка ground truth data - очень долгий процесс, а в случае с тряской камеры обеспечить точность посредством исключительно ручной разметки невозможно. Есть методы расчета движения камеры от кадра к кадру с использованием оптического потока. В случае с установленной на машине камерой возникает проблема: из-за быстрого движения камеры оптический поток неверно находит соответствие точек, из-за этого движение вперед при использовании алгоритма восстановления движения камеры интерпретируется как наклон камеры. Нужно провести исследование, предложить и реализовать метод, исправляющий эту ошибку, возможно, в автоматизированном режиме, то есть с вмешательством пользователя. Возможные направления исследования: тряска по absdiff; автоматизированная разметка соответствия точек с дальнейшим пересчетом модели движения (например, одинаковые столбы при движении вперед легко перепутать, как и штрихи прерывистой разметки. Пользователь указывает соответствие для одного объекта на двух последовательных кадрах, после этого система должна пересчитать остальные соответствия); исследования векторов признаков точки, инвариантных относительно масштабирования.