본문 바로가기

Deep Learning

Condensenet: An efficient densenet using learned group convolutions Huang, Gao, et al. "Condensenet: An efficient densenet using learned group convolutions." Proceedings of the IEEE conference on computer vision and pattern recognition. 2018. Link Abstract 모바일기기에서 딥러닝 네트워크를 필요로 함에 따라, computational resource가 제한된 상황에서 좋은 성능을 내는 efficient network에 대해 많은 연구가 이루어지고 있다. 제안하는 CondenseNet은 DenseNet의 dense connectivity와 learned group convolution을 활용하여 parameter efficien.. Deep Learning/Efficient Network 2021. 2. 25.
Densely connected convolutional networks Huang, Gao, et al. "Densely connected convolutional networks." Proceedings of the IEEE conference on computer vision and pattern recognition. 2017. Link Abstract Image classification 분야에 Deep convolutional network가 사용되면서 더 깊고, 더 정확하고, 더 효율적인 성능을 위해 많은 네트워크 구조가 제안되었다. 하지만 ResNet 구조 이후부터는 network optimization 영역에서 네트워크를 수정하는 방법으로 그치고 네트워크 구조 측면에서의 novelty가 높은 논문은 거의 없었다. 이 논문은 쉬운 네트워크 구조로 다른 네트워크에.. Deep Learning/Efficient Network 2021. 2. 25.
QSGD: Communication-Efficient SGD via Gradient Quantization and Encoding Alistarh, Dan, et al. "QSGD: Communication-efficient SGD via gradient quantization and encoding." Advances in Neural Information Processing Systems. 2017. Link Abstract SGD의 병렬 구현은 뛰어난 확장성 덕분에 상당한 관심을 받고 있다. SGD 병렬화의 bottleneck은 gradient update를 하는데 필요한 통신비용이다. 이를 해결하기 위해, 각 노드가 quantized gradient를 전달하는 손실 압축 휴리스틱이 제안되었다. 이는 통신비용을 줄이는데있어 효과적이지만 수렴성이 보장되지는 않는다. 이 논문에서 수렴을 보장하면서 성능이 우수한 압축 스키마인 QS.. Deep Learning/Distributed Deep Learning 2020. 10. 12.
TernGrad: Ternary Gradients to Reduce Communication in Distributed Deep Learning Wen, Wei, et al. "Terngrad: Ternary gradients to reduce communication in distributed deep learning." Advances in neural information processing systems. 2017. Link Abstract 분산딥러닝에서 파라미터 동기화를 위한 커뮤니케이션으로 인해 병목현상이 주로 발생한다는 것은 잘 알려져있다. 이 논문에서는 통신비용을 줄이는 방법으로 gradient quantization을 사용하였다. Gradient를 3개의 level, {-1, 0, 1}로 quantize하여 통신 시간을 줄인다. 추가로, 수렴성을 높이기 위하여 layer-wise ternarizing과 gradient clippi.. Deep Learning/Distributed Deep Learning 2020. 6. 3.
More Effective Distributed ML via a Stale Synchronous Parallel Parameter Server Ho, Qirong, et al. "More effective distributed ml via a stale synchronous parallel parameter server." Advances in neural information processing systems. 2013. Link Abstract Stale Synchronous Parallel (SSP) model은 정확도를 보장하면서도 계산에 사용되는 시간의 비율을 늘림으로써 학습을 효율적으로 할 수 있도록 한다. 과거의 파라미터 버전을 사용하여 중앙 스토리지와 데이터 교환을 하지 않아도 된다. 다만 Stale 값의 수명에 제한을 둠으로써 정확도를 보장한다. 이 알고리즘은 완전한 동기식 알고리즘 또는 비동기식 알고리즘에 비해 빠른 학습을 보.. Deep Learning/Distributed Deep Learning 2020. 5. 28.
Large Scale Distributed Deep Networks Dean, Jeffrey, et al. "Large scale distributed deep networks." Advances in neural information processing systems. 2012. Link Abstract 저자는 DistBelif 프레임워크를 개발하여 수천개의 머신에 대해서 아주 큰 모델을 학습시킬 수 있도록 했다. 이를 구현하기 위한 두 개의 핵심 알고리즘은 다음과 같다. ㆍ˙Downpour SGD : 많은 수의 model replica에 대해 비동기식 SGD를 지원 ㆍ Sandblaster : L-BFGS를 포함한 다양한 distributed batch optimization 지원 실험 결과, DistBelif는 visual object recognition, Spe.. Deep Learning/Distributed Deep Learning 2020. 5. 24.

티스토리툴바