data_engineering_story data_engineering_story

하이퍼파라미터 최적화(HPD, Hyperparameter Optimization) 접근법 개요- 자동머신러닝의 가장 기본적인 작업은 하이퍼파라미터를 자동으로 설정해 성과를 최적화하는 것임- 일반적인 머신러닝 라이브러리에 의해 제공되는 기본 설정보다는 조정된 하이퍼파라미터가 성과가 더 좋다는 것이 인정되고 있음 [100,116,130, 149]  [100] MANTOVANI, Rafael G., et al. Hyper-parameter tuning of a decision tree induction algorithm. In: 2016 5th Brazilian Conference on Intelligent Systems (BRACIS). IEEE, 2016. p. 37-42. [116] OLSON, Rand..

불멸의 제조업(MK에디션)  책 리뷰: "제조업의 변화와 미래를 그리다" 현대 사회에서 제조업은 국가 안보와 밀접하게 연관되어 있으며, 국가 경제의 핵심 요소로 꼽힙니다. 이러한 중요성은 팬데믹과 경제 위기와 같은 시련 속에서도 드러났는데, 제조 강국들은 비교적 더 적은 피해를 입고 빠른 회복력을 보였습니다.  독일은 중소기업 육성을 위한 미텔슈탄트(Mittelstand)와 스마트 숙련공 양성을 위한 아우스빌둥(Ausbildung) 정책 등을 통해 제조업에 지속적인 투자를 이어가고 있습니다. 일본은 세계 제조업 경쟁력 지수에서 여전히 높은 순위를 유지하며 혁신적인 환경을 구축하고 있습니다.또한, EU는 클라우딩 컴퓨팅, 빅데이터, 산업인터넷, 로봇 등과 같은 첨단 기술을 활용하여 제조업을 육성하는 전략을..

(스마트북스) 김덕진 IT커뮤니케이션연구소 소장 지음 미국 타임지에서는 AI 패권경쟁이 시작되었다고 선언할 만큼 엔비디아의 GPU 대란부터 시작해서 각국에서 치열하게 AI를 활용한 다양한 분야에서의 연구를 활발히 진행하고 있는 추세이다. openAI의 chat gpt 출시 이후로 그 어느 플랫폼보다 빠른 사용자수를 확보하고 있으며 엔비디아의 CEO 젠슨황조차도 AI계의 아이폰이 나올 차례라고 언급할 정도라면 AI 분야에서 패권을 차지할 새로운 기회가 왔다고 볼 수도 있다. 이 책을 읽는, 또는 읽을 것을 고민하고 있는 독자로서는 다른 세상의 얘기 같지만 사용자의 측면에서는 또 다를 수도 있다는 것을 이 책을 읽을수록 느끼게 되었다. 그런 측면에서 이 책은 이론적인 내용보다는 사용자 관점에서 어떻게 하면 ..

Brain View 인간의 소비심리를 지배하는 뇌과학의 비밀 - 한스 게오르크 호이젤 지음 , 강영옥 외 옮김 어렸을 때 한 방송프로그램에서 영상을 시청하며 중간 중간 사람이 인식할 수 없는 속도로 빠르게 사진 프레임을 넣어 영상 시청 후 심리검사, 테스트를 진행한 것을 본 적이 있다. 그 결과는 놀라웠다. 그 사진과 관련된 연상을 떠올린 사람들이 대다수 있었기 때문이다. 이처럼 매체를 통해 사람, 소비자의 뇌를 지배할 수 있다는 반증이 된 샘이다. 이는 뇌과학적으로 소비심리학에 대해 연구로 밝혀진 내용이다. 이 책을 읽으며 잊혀졌던 이 기억이 떠올랐고 책의 몰입도가 더 높아졌다. 나 스스로도 자각하지 못 한 소비 심리학에 대해 더 궁금증이 생겼기 때문이다. 이 책의 대부분 내용은 Limbic map이라..

확장성 지향 분산 머신러닝 기법 규모가 큰 딥러닝 모델에 대응하기 위한 방법 데이터 병렬처리 : 데이터 병렬처리는 여러 조각으로 (Shard, 샤드)으로 나뉜 훈련 데이터를 다른 여러 컴퓨팅 장치를 써서 동일한 모델의 여러 복제본을 통해 모델 정보를 주기적으로 주고받으며 처리하는 것을 의미함 (참고 : jia et al 2019, Das, 2019, Wang, 2016) 이 방식은 데이터의 증가에 따른 확장성이 가능하지만 모델의 복제본을 단일 장치에 두어야 하므로 메모리공간을 많이 차지하는 ML모델을 처리하기 어려움 일반적인 데이터 병럴 처리 기반 분산 훈련 방식에 대해 동기식, 비동기식의 접근방법이 있음 동기식 : 컴퓨팅 개체들이 동일한 복제본 모델을 훈련 데이터의 각기 다른 조각에 대해 동기화하면서 ..

그림으로 쉽게 이해하는 딥러닝의 최신 트렌드 (유용한 정보 정리 및 개인적인 의견 추가 내용) 1. 이진신경망 : 말 그대로 신경망을 0 또는 1로 사용하여 실수를 사용하는 것에 비해 크기, 계산량 등을 줄일 수 있다. 전력소모가 적으며 IoT 소형 장치에서 사용되기에 유리하다. - ( Binaried Neural Network : BNN) 이라고도 한다. 논문에서는 -1, 1로 가중치와 활성함수를 제한하며 deterministic, stochastic 방법으로 두 가지를 나눈다. 전자의 경우, 특정 조건에 대해 만족할 때 분류하는 것이며 후자의 경우는 확률론적인 방법을 사용한다. Paper : [Deeplearning] Binarized Neural Networks: Training Neural Net..

그림으로 쉽게 이해하는 딥러닝의 최신 트렌드 (유용한 정보 정리 및 개인적인 의견 추가 내용) 딥러닝의 효율을 향상시키는 다양한 기술 1) GPU 활용 : 딥러닝 수행시 가장 먼저 학습이 필요하다. 학습 단계에서 활용이 가능하며 CPU와 비교했을 때에는 가격 대비 좋은 성능을 가지고 있어서 많이 활용되고 있다. 그리고 딥러닝은 GPU에 특화된 알고리즘이기 때문에 여러 라이브러리들을 활용하여 적용이 쉬워졌다. 신경망별로 개별적으로 GPU를 할당할 수 있으며 또 다른 방법으로는 다수의 GPU를 사용하여 (범용목적) 학습시킬 수 있다. 2) 가속기 하드웨어 : 대표적으로는 FPGA가 있다. 구글의 TPU가 대표적이며 최근 다양한 분야에서 사용되고 있다. 3) 뉴로모픽 칩 : 인공신경망 자체를 하드웨어로 개발한..

저자 : 치앙 양, 양 리우, 용청, 예 캉, 텐젠 첸, 한유 지음 이태휘 옮김 에이콘 로컬 데이터를 비공개로 유지하면서 데이터만을 공유하며 학습되는 머신러닝에 대한 관심도가 높아지며 이 책을 구매하게 되었다. 전통적인 머신러닝의 경우에는 DB를 하나로 하여 학습에 활용하기 때문에 정보보호에 어려움이 있었다. 유럽 연합의 일반 데이터 보호규정(GDPR)이 나오는 등의 기업들에게 개인정보 보호법에 따라 취급이 점점 더 어려워지고 있는 추세이다. 책의 저자는 홍콩 과기대 컴공과 석좌교수로 위뱅크 AI 부서장(최고 책임자)로 역임하고 있으며 화려한 이력을 가지고 있다. 이 외의 공저자들 역시 홍콩, 싱가포르 출신으로 미국 등에서 석학 학위를 받은 해당 분야에서 혁신을 이끈 이들이 많다. 주로 다루는 내용은 분..