data_engineering_story data_engineering_story

아래 소스코드는 IS 구현 코드로 참고 링크를 참조.r_batch = model.predict(preprocess_input(x_batch)) # r has the probabilities for all classes•r = r_batch if r is None else np.concatenate([r, r_batch], axis=0)•p_y = np.mean(r, axis=0) # p(y)•e = r*np.log(r/p_y) # p(y|x)log(P(y|x)/P(y))•e = np.sum(e, axis=1) # KL(x) = Σ_y p(y|x)log(P(y|x)/P(y))•e = np.mean(e, axis=0)•return np.exp(e) # Inception score 1. IS(Inception..

최근 딥러닝 분야에서 떠오르는 새로운 이미지 생성 모델, 바로 확산 모델입니다. 기존의 생성 모델들과는 차별화된 방식으로 이미지를 생성하며, 놀라운 결과물을 보여주고 있습니다. 이 글에서는 확산 모델이 무엇인지, 어떻게 작동하는지, 그리고 기존 모델들과 비교했을 때 어떤 장점을 가지고 있는지 자세히 살펴보겠습니다.확산 모델이란?확산 모델은 데이터에 노이즈를 점점 더 추가하는 과정을 거쳐 새로운 데이터를 생성하는 모델입니다. 마치 화려했던 풍경화에 점점 더 안개가 낀 것처럼 이미지가 점점 더 모호해지는 과정을 상상해보세요. 확산 모델은 이와 반대로 안개가 걷히는 것처럼 노이즈를 조금씩 제거하면서 새로운 이미지를 만들어냅니다.좀 더 격식을 갖춰 설명하자면, 확산 모델은 다음과 같은 두 단계로 구성됩니다.Fo..

프롬프트 엔지니어링은 자연어 처리 모델을 특정 작업에 맞게 조작하는 기법을 의미합니다. 오늘은 몇 가지 흥미로운 기법들을 살펴보고자 합니다. 1. Few Shot 기법 Few Shot 기법은 AI 모델이 적은 양의 예제로도 학습할 수 있도록 하는 방법입니다. 하지만 수학 문제와 같은 추론 작업에 적용할 때는 한계가 있습니다. 이런 경우 사고의 연쇄(CoT) 기법을 활용하여 한계를 극복할 수 있습니다. 2. 역할지정기법 모델에게 특정 역할을 부여하는 것은 모델의 효율성을 높일 수 있는 방법 중 하나입니다. 페르소나를 설정하고 모델에게 역할을 부여하면 모델이 작업에 더 적극적으로 참여할 수 있습니다. 3. 마크다운 활용 기법 마크다운은 서식을 지정하기 위한 간단한 언어로, 이를 이용하여 모델의 출력물을 제어..

그래프 기반 머신러닝은 데이터를 그래프 구조로 표현하고, 이를 활용하여 머신러닝 모델을 구축하는 방법을 의미합니다. 이러한 방법은 다양한 분야에서 활용되며, 특히 복잡한 상호작용과 관계를 나타내기에 용이합니다. 여러 연구자들이 그래프 기반 머신러닝에 대한 다양한 접근 방식을 연구하고 있습니다. Zhang et al., 2018의 논문: 이 논문은 그래프 기반 머신러닝에 대한 중요한 개념을 소개하고 있습니다. 논문에서는 그래프 기반 학습을 통해 데이터의 특징을 추출하고 예측 모델을 개선하는 방법에 대해 다룹니다. 그래프 커널 기반 접근 방식 (Kriege et al., 2020): 그래프 커널은 그래프의 유사성을 측정하는 데 사용되는 도구입니다. 이 방식은 그래프 간의 유사성을 평가하여 데이터를 비교하고 ..

1. 차분 프라이버시 머신러닝 - 민감한 데이터를 안전하게 분석하고자 하는 목적이 있음 - PPML에 적용이 가능하며 주요 원리는 적대자가 데이터베이스에서 개별 정보를 질의하려 할 때 질의 결과로부터 개별 정보 수준의 민감한 차이를 구별하지 못하도록 혼동시키는 것임 - 통계 정보의 공개 수준 조절 가능 - 차분 프라이버시 기법은 여러 가지로 분류가 가능하며 크게 두 가지 방법이 있음 - 함수의 민감도에 따라 노이즈를 추가하는 방법과 이산 값들 중에서 지수 분포에 따라 노이즈를 선택하는 방식 두 가지 - 또한 교란 방식에 따라서도 분류가 가능함 - 입력교란은 훈련데이터에 노이즈를 추가하는 것이며 목적교란은 학습 알고리즘 목적 함수에 노이즈를 추가하는 것임 - 알고리즘 교란 : 반복적인 알고리즘의 그레디언트..

데이터가 중요해지고 있는 시점, 데이터가 현재의 석유라고 불리울 만큼 다양하게 활용이 가능하며 여러 부가가치를 창출할 수 있는 원천이 되고 있다. 그만큼 정보보호에서의 관심도 높아지고 있다. 정보보호, 보안에서의 세 가지 위협요소 무결성 공격(integrity attack) : 거짓음성, 즉 정상으로 판단 가용성 공격(availability attack) : 판단에 대한 오류 발생(모든 판단에 대한 결과 무용) 기밀성 공격(confidentiality attck) : 민감한 정보 유출 발생 1) 재구성 공격: 정보 위협 모델 중 하나는 모델 훈련 방식을 통해 원시정보를 유추할 수 있는 것에 대한 내용이다. 이를 방지하기 위해서는 정보 재구성에 대한 예방을 위한 모델을 사용해야 한다. 2) 모델 전도 공격..

1. 배경 - 2018, EU 일반데이터보호규정 GDPR(General Data Protection Regulation) 채택 - 2020, 미국 캘리포니아의 캘리포니아 소비자 개인정보 보호법(CCPA, California Consumer Privacy Act) 시행 - 2017, 중국 사이버 보안법, 민법총칙을 통한 데이터 수집과 거래에 엄격한 통제 시작 - 엄격한 개인벙보 보호법과 데이터의 파편화, 격리 문제를 해결할 방법을 찾기 시작함 - 사용자의 프라이버시 보호, 데이터의 기밀 유지 보장 필요 - 구글의 B2C 연합학습은 안전한 분산학습 환경을 보이며 프라이버시 보호, 엣지와 중앙 서버간의 정보 전송 속도 개선의 효과 보임 - 연합학습 시스템에는 중앙의 코디네이터 컴퓨터가 들어갈 수도 있고 그렇지..

DQN의 장점은 샘플간의 상관관계를 없앨 수 있다는 것과 딥살사와 같은 온폴리쉬 알고리즘이 아니기 때문에 에이전트가 안 좋은 상황에 빠졌을 때 그 학습을 피할 수 있다. double DQN (DDQN)의 주된 착안점은 dQN이 각 상태에서 잠재적 액션의 Q값을 종종 과대평가한다는 사실이었다. 최적화되지 못한 액션이 최적화된 액션보다 주기적으로 높은 Q값을 가지게 된다면 에이전트가 이상적인 정책을 학습하기 어렵다. 학습단계에서 타깃 Q값을 계산할 때 Q값들에서 최댓값을 구하는 대신, model의 네트워크를 이용해 액션을 선택하고 해당 액션에 대한 Q 타깃 값을 생성, 액션과 타깃 Q값을 분리하면 추정값이 크게 나오는 일을 상당 부분 줄일 수 있고 더 빠르고 안정적으로 학습할 수 있다. new Q-value..