[ 포스텍 인공지능연구원 연구인턴 ] 블랙박스 영상 내 흔들림 탐지

2. CNN Feature Map + MSE

현재 가지고 있는 데이터는 다양한 형태의 충돌 장면을 담은 블랙박스 영상으로 낮밤,

차종, 충돌정도, 충돌상황 등 상황이 다양했다. 이에 사수 연구원님의 Approach에도

MSE를 활용하여 t번째 프레임과 t+1번째 프레임의 차이가 커지는 순간을 충돌로

판단하는 방법론이 대부분이었다. 여기에 전처리를 어떻게 하는냐의 차이. 가장 성능이

좋은 알고리즘이 Canny Edge Detection을 활용한 방법론이었고, 나는 CNN을 통해

얻은 Feature Map에 이를 적용하면 어떨까 싶어 시도하기로 했다. 문제정의부터 - !

 

문제정의

1. '흔들림'을 판단하는 영상학적 근거가 무엇일까
   
   • 이전 프레임과의 차이를 봐야하는 것은 변함이 없을것.
   • 다만, 몇개의 프레임을 기준으로 그 차이를 측정할 지 테스트 필요

-> CNN Feature Map + Mean Squared Error

 

 

VGG19 네트워크의 첫 번째 Convolution Layer를 거쳐 생성된 60개의 특징맵 중

일부 사진이다. 이중에 육안으로 흔들림 탐지가 잘 되는 Feature Map 인덱스를 찾아

영상 내 모든 프레임의 해당 인덱스에 해당하는 Feature Map을 뽑아 MSE 비교 후

플롯을 그려봤다.

 

# 62번째 Feature Map

 

실제 충돌 프레임이 1700 부근이고, MSE가 상승하는 것을 확인할 수 있다.

하지만 차량이 들어오는 400 프레임 대와 차량 전조등이 꺼지면서 그림자가 사라지는

1000 프레임 초반 그리고 운전자가 등장하는 2000 프레임 초반의 MSE가 더 크다.

어찌보면 당연하다. 야간 영상이기에 어두웠던 부분에 흰색 차량이 들어오면 가장 크게

변화하는 픽셀값은 0 근접치에서 255 근접치로 뛸 것이고 MSE는 곱절로 커질 것이다.

문제가 되었던 변화들을 최소화하는 Feature Map이 있지 않을까 추가로 실험했다.

 

# 15번째 Feature Map

 

 

아까보단 괜찮다. 시간적인 개념 즉, 프레임 Sequence를 기준으로 하여 탐지할까

생각했었다. 이후 다른 Feature Map 실험 역시 실패 - !

---

3. Motion Blur Detection

쉬어가는 타임. 충돌이 있으면 생기는 Motion Blur가 존재하고 이로 인해 해당

프레임의 Blurry 수치는 낮을테니 (낮을수록 Blur) 이를 기준 삼아 흔들림을 탐지하면

되지 않을까 라는 매우매우 단순하고 직관적인 생각.

-> 실패 ! 뺑소니 사건 대부분은 운전자가 판단해도 경미하다고 봤을 때 주로 발생한다.

     Motion Blur가 일어날 정도로 부딪히고 도주하진 않는다는 뜻.

 

---

4 & 5. Best Feature Map + Sobel Y Filter

어쨌든 프레임 사이의 차이를 탐지해야 하지 않을까라는 생각에 전처리를 다양하게

시도해보기로 했다. 사수 연구원님의 Edge Detection 결과가 좋으니 이전에 

시도했던 가장 성능이 좋았던 Feature Map에 Sobel Y Filter를 적용하기로 했다.

이유는 흔들림은 어차피 랜덤한 방향으로 차이가 생기니까 차량이 이동하거나

사람이 움직이거나 하는 일상적인 수평한 움직임으로 생기는 차이를 최소화 할 수

있다고 생각했기 때문이다.

 

문제정의

1. 빛 문제를 아예 해결할 수는 없다.
2. 차량이 들어오는 부분에서 생기는 변화를 최소화하자.
3. 동시에 흔들림으로 인해 생기는 변화는 여전히 많을 수 있게

-> 수평 Edge만 따서 원하지 않는 MSE 값을 줄이자.

 

 

가우시안 블러로 노이즈 제거 후 Sobel Y 필터로 수평 Edge만 살렸더니 나쁘지

않은 결과가 나왔다. 하지만 여전히 사고 시점인 1700 프레임 전후의 피크 양상이

뚜렷하지 않았다.

-> 그냥 원본 영상에서 가우시안 블러만 처리해서 수평 Edge 따면 어떨까?

 

 

전체 영상에 대해 실험하면 오래 걸려서 사고 부분만 클립을 따서 실험했는데 사고

프레임이 60 - 70 프레임이었고, 큰 차이는 아니지만 탐지는 성공했다. 그렇게

부푼 기대를 안고 전체 영상에 대한 실험을 진행했다..ㅎ

 

 

이렇게 5가지 방법이 모두 실패하고 드디어 성공한 6번째 방법론 !

내용도, 실험도 많아서 거기에 최종 결과까지 냈기에 다음 글에 써야겠다 ~

예쁜 포항 하늘과 이런저런 사진들로 마무리.