(서평 및 이론 정리) 그림으로 쉽게 이해하는 딥러닝의 최신 트렌드 (2)

그림으로 쉽게 이해하는 딥러닝의 최신 트렌드

 

(유용한 정보 정리 및 개인적인 의견 추가 내용)

 

 

1. 이진신경망 : 말 그대로 신경망을 0 또는 1로 사용하여 실수를 사용하는 것에 비해 크기, 계산량 등을 줄일 수 있다. 전력소모가 적으며 IoT 소형 장치에서 사용되기에 유리하다. 

- ( Binaried Neural Network : BNN) 이라고도 한다. 논문에서는 -1, 1로 가중치와 활성함수를 제한하며 deterministic, stochastic 방법으로 두 가지를 나눈다. 전자의 경우, 특정 조건에 대해 만족할 때 분류하는 것이며 후자의 경우는 확률론적인 방법을 사용한다. 

 

Paper :

[Deeplearning] Binarized Neural Networks: Training Neural Networks with Weights and Activations Constrained to +1 to -1 [1]

출처: https://dhhwang89.tistory.com/134 [Martin:티스토리]

 

 

 

 

 

2. Once For All 신경망 : 신경망 학습결과를 활용하기 위해서는 적절한 최적화 절차가 필요하다. 소규모 하드웨어의 경우, 하드웨어를 합축하여 사용하면 매우 유리하여 OFA가 이에 매우 적합하다. 인공신경망을 탄력적으로 최적화하기 위해 sub network로 분할, 미세 조정(fine tune)을 하여 목표에 도달할 수 있다. 

 

기존 효율적인 신경망 설계, 학습의 경우의 수는 주로 compact model , model compression의 방법이 있었다. 전자는 mobilenet, shufflenet 등이 있고 후자는  pruning, quantization, distillation 이 주로 사용된다. 

 

 

sub network를 활용한다면 재학습 없이 깊이, width , kernel size, resolution 등을 조절하여 선택이 가능하다. 거대한 신경망(OFA net)을 학습한 다음에 하위 네트워크를 위한 가중치를 뽑아 학습 또는 distillation을 해줄 수 있다. 그리고 이 가중치를 공유, 파인튜닝을 해주는 방식이다. 

 

 

 

 

 

https://xxxxxxxxxxxxxxxxx.tistory.com/entry/ICLR-2020-Once-for-All-Train-One-Network-and-Specialize-it-for-Efficient-Deployment

 

[ICLR 2020] Once for All: Train One Network and Specialize it for Efficient Deployment

https://chenny-cy.tistory.com/entry/Once-for-all-Train-One-Network-and-Specialize-It-for-Efficient-Deployment

[논문 리뷰] Once-for-all: Train One Network and Specialize It for Efficient Deployment

 

 

3. 인공신경망 지식 증류 :  이 방법의 특징으로는 학습되지 않은 데이터에 대한 예측도 어느정도 가능하다는 것에 있다. (distilling the knowledge in neural network) 

softmax 활성함수를 사용하는 것과 비슷한 느낌이다. 이분법적인 결과가 아닌, 미세하게라도 다른 수치가 나오는 신경망의 출력이 있다면 soft label이라는 정의를 채용, 1이 아닌 다른 높은 값을 학습, 이를 통해 overfitting 줄임

 

 

https://dsbook.tistory.com/324

NLP 논문리뷰 - Distilling the Knowledge in a Neural Network

 

4. 딥러닝 하드웨어의 성능 측정(MLPerf) -> Machine Learning Performance 의 줄인 말이다. 

성능을 측정하는 기준을 제시하며 신경망에 대한 측정 기준, 즉 하드웨어별로 성능 편차가 있는지 확인이 가능하다. 

 

 

 

 

 

추가 참고자료 : 

https://daddyrang.tistory.com/122

딥러닝 최신 용어정리 #9 심층압축 이진신경망 OnceForAll신경망 지식증류 앙상블 Ensemble MLPerf

 

https://dhhwang89.tistory.com/134

[Deeplearning] Binarized Neural Networks: Training Neural Networks with Weights and Activations Constrained to +1 to -1 [1]