Azure 데이터 팩토리 관련 내용

Azure Data Factory는 Azure의 분석 솔루션이다. data integration service로써 기본적으로 데이터 파이프라인에 기반한 데이터 워크플로우(파이프라인) 스케줄링, 생성을 통해 모니터링 솔루션과 효율적인 운영을 돕는다. 

 

비용관련 : 100GB data movement would cost you less than $0.40 (that is correct, 40 cents).

 

- 아래와 같이 SSIS(SQL Server Integration Services) packages 와 같은 기술에 의존하는 데이터 웨어하우스 솔루션 구축이 가능하며 이 패키지는 ETL/ELT pipeline 위에서 데이터에 접근한다.

 

오늘날 대부분의 비즈니스 모델은 클라우드 기반으로 변화하고 있다. 마찬가지로 이와 관련된 산업과 관련해서 Azure는 아래의 서비스들을 제공한다. 

•     Infrastructure as a service (IaaS )
•     Platform as a service (PaaS)
•     Software as a service (SaaS)

 

스토리지, 컴퓨팅 리소스 제공 등의 카테고리별로 Azure에서는 아래의 서비스들을 구분할 수 있다.

 

•     Azure SQL Data Warehouse, a cloud-based massively parallel-processing-enabled enterprise data warehouse

•     Azure Blob Storage, a massively scalable object storage for unstructured data that can be used to search for hidden insights through Big Data analytics

•     Azure Data Lake Store, a massively scalable data store (for unstructured, semistructured, and structured data) built to the open HDFS standard

•     Azure Data Lake Analytics, a distributed analytics service that makes it easy for Big Data analytics to support programs written in U-SQL, R, Python,  and .NET

 

•     Azure Analysis Services, enterprise-grade data modeling tool on Azure (based on SQL Server Analysis Service)

•     Azure HDInsight, a fully managed, full-spectrum open source analytics service for enterprises (Hadoop, Spark, 
Hive, LLAP, Storm, and more)

•     Azure Databricks, a Spark-based high-performance analytics platform optimized for Azure

 

•     Azure Machine Learning, an open and elastic AI development tool for finding patterns in existing  data and generating models for prediction

•     Azure Data Factory, a hybrid and scalable data integration (ETL) service for Big Data and advanced analytics solutions

•     Azure Cosmos DB, an elastic and independent scale throughput and storage tool; it also offers throughput, latency, availability, and consistency guarantees with comprehensive service level agreements (SLAs), something no other database service offers at the moment

 

 

 

 

 

 

 

출처 : 

[1] RAWAT, Sudhir; NARAIN, Abhishek. Understanding Azure Data Factory: Operationalizing Big Data and Advanced Analytics Solutions. Apress, 2018.