(서평 및 이론 정리) 그림으로 쉽게 이해하는 딥러닝의 최신 트렌드

그림으로 쉽게 이해하는 딥러닝의 최신 트렌드

 

(유용한 정보 정리 및 개인적인 의견 추가 내용)

 

딥러닝의 효율을 향상시키는 다양한 기술

1) GPU 활용 : 딥러닝 수행시 가장 먼저 학습이 필요하다. 학습 단계에서 활용이 가능하며 CPU와 비교했을 때에는 가격 대비 좋은 성능을 가지고 있어서 많이 활용되고 있다. 그리고 딥러닝은 GPU에 특화된 알고리즘이기 때문에 여러 라이브러리들을 활용하여 적용이 쉬워졌다.

 

신경망별로 개별적으로 GPU를 할당할 수 있으며 또 다른 방법으로는 다수의 GPU를 사용하여 (범용목적) 학습시킬 수 있다.

 

2) 가속기 하드웨어 : 대표적으로는 FPGA가 있다. 구글의 TPU가 대표적이며 최근 다양한 분야에서 사용되고 있다.

 

3) 뉴로모픽 칩 : 인공신경망 자체를 하드웨어로 개발한 것

 

4) 심층 압축(Deep Compression) : 신경망을 양자화하여 정수로 사용하여 공유 가중치를 활용하는 방법이다. 이와 비슷한 개념으로는 허프만 코딩이 있으며 허프만 코딩은 빈도에 따라 양자화 정도를 바꾸는 방식이다.

https://towardsdatascience.com/deep-compression-7b771b3aa773

 

 

 

딥러닝 컴퓨팅 efficiency, 정확성에 대한 내용 정리

1) 부동 소수점을 조정하여 효율과 학습 효과 개선을 도모할 수 있다. 소수점 크기를 조절하며 학습, 연산 시의 효율과 자원 절약, 효율 극대화를 도출이 가능하다.

 

참고 ) https://ko.wikipedia.org/wiki/%EB%89%B4%EB%A1%9C%EB%AA%A8%ED%94%BD_%EC%97%94%EC%A7%80%EB%8B%88%EC%96%B4%EB%A7%81

 

뉴로모픽 엔지니어링(neuromorphic engineering, 뉴로모르픽 엔지니어링), 뉴로모픽 컴퓨팅(neuromorphic computing, 뉴로모르픽 컴퓨팅)[1] [2] [3]은 1980년대 말에 카버 미드(Carver Mead)가 개발한 개념의 하나로,[4] 신경계에 존재하는 신경생물학적 구조를 모방하기 위해 전자 아날로그 회로를 포함하는 초고밀도 집적 회로(VLSI) 시스템의 이용을 기술하고 있다.[5] 최근에 "뉴로모픽"이라는 용어는 아날로그, 디지털, 또 이 둘을 혼합한 VLSI, 그리고 신경계 모델을 구현하는 소프트웨어 시스템(지각, 운동 제어, 다감각 집적화를 위해)을 기술하기 위해 사용되고 있다. 하드웨어 수준의 뉴로모픽 컴퓨팅의 구현은 산화물 기반의 멤리스터 [6] 한계 스위치, 트랜지스터.[7]를 통해 실현할 수 있다.

뉴로모픽 엔지니어링의 주요 개념은 개개의 뉴런, 회로, 애플리케이션의 형태론, 전반적인 아키텍처가 어떻게 원하는 연산을 수행하는지, 정보 표현에 어떻게 영향을 주는지, 강인성이 어떻게 악영향에 대해 영향을 미치는지, 어떻게 학습과 개발이 통합되는지, 어떻게 국소적 변화에 대해 순응하는지, 어떻게 점진적 변화를 가능케 하는지를 이해하는 것이다.

뉴로모픽 엔지니어링은 물리적인 아키텍처와 설계 원칙이 생물학적 신경계에 기반을 두는 시각계, 머리눈 시스템, 청각 프로세서, 완전자동 로봇 등 인공신경계를 설계하기 위해 생물학, 물리학, 수학, 컴퓨터 과학, 전자공학의 영감을 받는 학제간 주제이다.[8]

각주[편집]

↑ Monroe, D. (2014). “Neuromorphic computing gets ready for the (really) big time”. 《en:Communications of the ACM》 57 (6): 13–15. doi:10.1145/2601069.

↑ Zhao, W. S.; Agnus, G.; Derycke, V.; Filoramo, A.; Bourgoin, J. -P.; Gamrat, C. (2010). “Nanotube devices based crossbar architecture: Toward neuromorphic computing”. 《Nanotechnology》 21 (17): 175202. Bibcode:2010Nanot..21q5202Z. doi:10.1088/0957-4484/21/17/175202. PMID 20368686.

↑ The Human Brain Project SP 9: Neuromorphic Computing Platform - 유튜브

↑ Mead, Carver. “carver mead website”. 《carvermead》.

↑ Mead, Carver (1990). “Neuromorphic electronic systems”. 《Proceedings of the IEEE》 78 (10): 1629–1636. doi:10.1109/5.58356.

↑ Maan, A. K.; Jayadevi, D. A.; James, A. P. (2016년 1월 1일). “A Survey of Memristive Threshold Logic Circuits”. 《IEEE Transactions on Neural Networks and Learning Systems》 PP (99): 1–13. arXiv:1604.07121. doi:10.1109/TNNLS.2016.2547842. ISSN 2162-237X.

↑ Zhou, You; Ramanathan, S. (2015년 8월 1일). “Mott Memory and Neuromorphic Devices”. 《Proceedings of the IEEE》 103 (8): 1289–1310. doi:10.1109/JPROC.2015.2431914. ISSN 0018-9219.

↑ Boddhu, S. K.; Gallagher, J. C. (2012). “Qualitative Functional Decomposition Analysis of Evolved Neuromorphic Flight Controllers”. 《Applied Computational Intelligence and Soft Computing》 2012: 1–21. doi:10.1155/2012/705483.

 

 

 

 

출처 : 그림으로 쉽게 이해하는 딥러닝의 최신 트렌드, 저자 : 추형석 / 위즈플래닛

 

https://www.sciencedirect.com/science/article/abs/pii/S2352648321000490

Privacy computing using deep compression learning techniques for neural decoding