고정 헤더 영역
상세 컨텐츠
본문
작성자 : 17기 문성빈
0. Contribution
3D Vision 분야의 가장 기반이 되는 논문은 바로 “Point Net”이다. 이 논문 발표 이후 point cloud를 이용한 3D Object Detection에 대한 논문들이 나오기 시작했다.
특히, 3D object detection의 방식은 1-stage, 2-stage로 나눠지거나 point-based method(point net++기반), grid-based method(voxel net기반)로 나누어져 발전해오고 있다.
이러한 흐름 속에서 SECOND는 grid-based방식을 발전시킨 논문이며, SECOND의 SP CONV방식은 computing cost를 매우 줄일 수 있는 방식이다. 이에 현재 grid-based method방식에서는 SP CONV가 적용된다.
1. Grid-based method
Grid-based method는 point cloud를 voxel로 나누어 voxel의 feature를 input으로 하여 3D CNN을 적용하는 방식이다. 즉, 3D space를 voxel이라는 단위체로 나누어 각 voxel의 feature를 extract하고 그러한 feature를 이용해 3D CNN을 적용하는 것이다. 하지만, point cloud는 매우 sparse하다.
이에 VoxelNet에서 불필요한 computing cost를 줄이기 위해서 sparse한 정보를 빽빽하게 하여 3D CNN을 적용한다.
2. SECOND
이는 VoxelNet의 구조와 매우 비슷한데, 달라진 점은 Sparse Conv Layers이다. 이는 VoxelNet에서는 Convolutional Middle Layer가 위치해 있다.
3. SP CONV
SP CONV는 Computing Cost를 줄이기 위한 방식으로, Input Data에서 0이 아닌 부분만 실제로 계산하도록 구현된 Layer이다. 이는 Voxel을 더욱 Sparse하게 만드는 효과가 있다. 이 방식을 이용하면, 불필요한 Computing Cost를 줄이면서도 성능을 유지할 수 있다. SECOND에서는 이 방식을 이용하여 더욱 효율적인 3D Object Detection을 구현하였다.
2D SP Conv
input중에서 (1, 2)좌표에만 정보가 존재한다고 하자.
5x5 input과 3x3 filter인 상황에 input의 정보가 매우 많이 비어있으므로 모두 Convolution 계산을 하면 매우 비효율적인 과정이다. 이에 SP Conv에는 Rule을 만들어 사용한다.
위의 경우에서 input (1, 2) * filter (0, 1) = output (0, 0)으로 계산되는데 이런 것이 하나의 규칙이다. 이러한 과정을 반복하면 (1, 2)에 관련된 rule은 총 6개가 존재하게 된다. 결국 원래는 81번의 계산에서 6번의 계산을 통해 feature를 추출할 수 있게 된다.
3D Rule Generation
Input index와 associated spatial index를 수집한다. Spatial index를 통해 output index와 output index와 관련된 spatial index를 구한다.
Table lookup을 위해 이전 결과에서 생성된 sparse data와 동일한 spatial dimension을 가지는 buffer를 생성한다.
Rule을 반복하며 각각 input index에 해당하는 output index를 얻기 위해 저장된 spatial index를 사용한다.
4. Loss
VoxelNet에서는 angle regression을 사용하는데, direction이 반대로 prediction되면 Box예측은 하지만 angle regression에서는 매우 큰 loss를 생성한다는 것이다.
이에 angle loss regression을 제안한다.
이는 adversarial example 문제를 해결하며, angle offset function을 고려하여 IoU를 자연스럽게 모델링한다.
5. Experiments
댓글 영역