[논문 리뷰] Deep Residual Learning for Image Detection (2) - Related Work; Residual Representations & Shortcut Connections

이전 글

[논문 리뷰] Deep Residual Learning for Image Recognition (1) -Abstract, Introduction

[논문 리뷰] Deep Residual Learning for Image Recognition (1) -Abstract, Introduction

---

Related Work

1. Residual Representations

• 이미지 인식에서, VLAD는 Dictionary에 대한 잔차 벡터로 인코딩 한 표현이고, Fisher Vector는 VLAD의 확률적 표현의 공식화
• 둘 모두 이미지 인식 및 분류에서 좋은 성능을 보임
• 벡터 양자화의 경우, 잔차 벡터를 인코딩 하는 것이 기존 벡터를 인코딩 하는 것보다 효과적임
  • 벡터 양자화? Feature Vector X를 Class Vector Y로 mapping하는 것

• Low-Level의 비전과 컴퓨터 그래픽에서는, 편미분 방정식을 풀기 위해 멀티그리드 방법을 사용
• 멀티그리드 방법은 시스템을 여러 규모의 하위 문제로 재구성하는 것
• 멀티그리드의 대안으로 두 scale간의 잔차 벡터를 가리키는 변수에 의존하는 방식이 존재 ➡︎ 계층 기반 Pre-conditioning
• 이 방식이 해의 잔차 특성에 대해 다루지 않는 기존의 방식보다 더 빠르게 수렴
• 좋은 reformulation과 pre-conditioning은 최적화를 단순화 시킬 수 있음을 확인

2. Shortcut Connections

• 많은 이론과 연구들이 shortcut connection을 이용
• 초기에는 입력을 출력으로 바로 연결시키는 linear layer를 이용 (MLPs)
• 몇몇 중간층은 vanishing/exploding gradients를 다루기 위해 보조 분류기에 연결됨
• 또 다른 연구에서는 Layer response, Gradients, Propagated error를 Centering 하기 위해 이용

• Highway network에서도 shorcut connection를 사용
• Parameter-free인 residual networks와는 다르게 데이터에 의존적이고 parameter를 가지고 있는 shortcut을 이용
• Highway network에서 shortcut이 0에 가까워지면, non-residual network를 사용하는 것과 같지만 Residual network는 X
• + Highway network는 깊이가 극단적으로 증가할 때 accuracy가 증가하는 것을 증명하지 않음