아마존웹서비스(Amazon Web Services, 이하 AWS)는 AWS 리인벤트(AWS re:Invent) 행사에서 고객이 서비스 간에 데이터를 이동하지 않고도 여러 데이터 저장소에서 데이터를 쉽게 연결하고 분석할 수 있게 해주는 두 가지 새로운 통합을 발표했다. 이를 통해 고객은 아마존 레드시프트(Amazon Redshift)를 사용해 거의 실시간으로 아마존 오로라(Amazon Aurora) 데이터를 분석할 수 있게 되어 서비스 간에 데이터를 추출, 변환, 로드(ETL)할 필요가 없다. 또한 고객은 이제 아마존 EMR(Amazon EMR), AWS 글루(AWS Glue), 아마존 세이지메이커(Amazon SageMaker) 등 AWS 분석 및 머신 러닝(ML) 서비스를 사용하여 아마존 레드시프트 데이터에서 아파치 스파크(Apache Spark) 애플리케이션을 쉽게 실행할 수 있다. 이러한 신규 기능을 함께 사용하면 고객은 AWS에서 제로 ETL의 미래를 향해 나아갈 수 있다. AWS를 사용하여 데이터의 가치를 창출하는 자세한 방법은 홈페이지(aws.amazon.com/data)에서 확인할 수 있다.

스와미 시바수브라마니안(Swami Sivasubramanian) AWS 데이터베이스, 분석, 머신러닝 부문 부사장은 “오늘날 고객이 관리하는 데이터의 방대함과 복잡성은 단일 기술이나 작은 툴 세트로는 데이터를 분석하고 탐색할 수 없음을 의미한다. 많은 고객이 데이터에서 가치를 추출하기 위해 여러 AWS 데이터베이스와 분석 서비스에 의존하고 있으며, 작업에 적합한 툴에 액세스할 수 있는 것이 성공에 중요하다”며 “오늘 발표된 새로운 기능은 고객이 AWS에서 제로 ETL의 미래를 향해 나아갈 수 있도록 서비스 간에 수동으로 데이터를 이동하거나 변환할 필요성을 줄여준다. 고객을 위해 ETL과 기타 데이터 이동 작업을 제거함으로써, AWS는 고객이 조직과 데이터의 규모와 복잡성에 관계없이 데이터 분석과 비즈니스에 대한 새로운 인사이트를 도출하는 데 집중할 수 있도록 지원한다”고 말했다.

데이터는 모든 애플리케이션, 프로세스, 비즈니스 의사 결정의 중심에 있으며 거의 모든 조직의 디지털 혁신의 기반이 된다. 그러나 실제 데이터 시스템은 여러 서비스와 온프레미스 시스템 간에 분산된 다양한 데이터로 인해 복잡하고 퍼져있다. 많은 조직이 데이터의 보고를 가지고 있으며 데이터에서 얻을 수 있는 가치를 극대화하기를 원한다.

AWS는 트랜잭션 데이터를 MySQL과 PostgreSQL 호환 관계형 데이터베이스에 저장하는 아마존 오로라 및 페타바이트 데이터에서 고성능 데이터 웨어하우징과 분석 워크로드를 실행하는 아마존 레드시프트 등 다양한 목적 기반 툴을 제공한다. 그러나 데이터의 가치를 진정으로 극대화하기 위해서는 고객이 원활하게 함께 작업할 수 있는 툴이 필요하다. 이것이 AWS가 아마존 오로라 ML 및 아마존 레드시프트 ML과 같은 제로 ETL 기능에 투자한 이유다. 이를 통해 고객은 서비스 간에 데이터를 이동하지 않고도 ML 기반 사용 사례에 아마존 세이지메이커를 활용할 수 있다. 또한 AWS는 아마존 키네시스(Amazon Kinesis), 아마존 MSK(Amazon MSK) 등 AWS 스트리밍 서비스에서 아마존 심플 스토리지 서비스(Amazon Simple Storage Service, Amazon S3)와 아마존 오픈서치 서비스(Amazon OpenSearch Service)와 같은 다양한 AWS 데이터 저장소로 원활한 데이터 수집을 제공하므로, 고객은 데이터를 사용할 수 있는 즉시 분석할 수 있다. 오늘 발표는 고객이 AWS의 여러 데이터 저장소에서 데이터에 액세스하고 데이터를 분석하는 작업을 더 빠르고 쉽고 비용 효율적으로 수행할 수 있도록 하는 AWS 데이터베이스와 분석 포트폴리오의 강력한 성능과 심층적인 통합을 기반으로 한다.

- 아마존 레드시프트와 아마존 오로라의 제로 ETL 통합으로 아마존 레드시프트를 사용해 아마존 오로라의 트랜잭션 데이터에 대한 페타바이트 규모 분석을 보다 쉽게 거의 실시간으로 실행 가능

구매, 예약, 금융 거래 등 트랜잭션 데이터에 대한 거의 실시간의 인사이트를 도출하기 위해 필요한 사항은 조직이 핵심 비즈니스 동인을 더 잘 이해하면서 판매를 늘리고 비용을 절감하며 경쟁 우위를 확보하기 위한 전략을 개발함에 따라 증가한다. 오늘날 많은 조직은 트랜잭션 데이터를 분석하기 위해 데이터를 저장하는 관계형 데이터베이스, 분석을 수행하는 데이터 웨어하우스, 관계형 데이터베이스와 데이터 웨어하우스 간의 ETL 데이터에 대한 데이터 파이프라인의 세 부분으로 구성된 솔루션에 의존한다. 데이터 파이프라인은 구축 비용이 많이 들고 관리가 까다로울 수 있으므로, 개발자는 맞춤형 코드를 작성하고 수요에 맞게 확장할 수 있도록 인프라를 지속적으로 관리해야 한다. 일부 기업은 이 프로세스만을 위한 팀을 유지하기도 한다. 또한 데이터를 분석할 준비가 되기까지 며칠이 걸릴 수 있으며, 간헐적인 데이터 전송 오류로 인해 시간에 민감한 인사이트에 대한 액세스가 더욱 지연되어 비즈니스 기회를 놓칠 수 있다.

아마존 레드시프트와 아마존 오로라의 제로 ETL 통합을 통해, 트랜잭션 데이터는 아마존 오로라에 기록되고 아마존 레드시프트에서 원활하게 사용할 수 있게 된 후 몇 초 후에 자동으로 지속적으로 복제된다. 아마존 레드시프트에서 데이터를 사용할 수 있게 되면, 고객은 데이터 분석을 즉시 시작하고 데이터 공유나 아마존 레드시프트 ML과 같은 고급 기능을 적용하여 총체적이고 예측 가능한 인사이트를 얻을 수 있다. 고객은 여러 아마존 오로라 데이터베이스 클러스터의 데이터를 동일한 아마존 레드시프트 인스턴스로 복제하여 여러 애플리케이션에서 인사이트를 얻을 수 있다. 이제 고객은 복잡한 데이터 파이프라인을 구축하거나 유지 관리할 필요 없이 아마존 오로라를 사용하여 트랜잭션 데이터베이스 니즈를 지원하고 아마존 레드시프트를 사용하여 분석을 강화할 수 있다.

- 아파치 스파크를 위한 아마존 레드시프트 통합으로 AWS 분석 및 ML 서비스를 사용해 아파치 스파크 애플리케이션을 아마존 레드시프트 데이터에서 보다 쉽게 구축 및 실행 가능

많은 개발자가 빅데이터 워크로드에 사용되는 오픈소스 프로세싱 프레임워크인 아파치 스파크를 사용하여 광범위한 분석 및 ML 애플리케이션을 지원한다. 현재 AWS는 아마존 EMR, AWS 글루, 아마존 세이지메이커에서 아파치 스파크와 완벽하게 호환되고 오픈소스보다 3배 더 빠른 AWS 최적화 런타임을 지원한다. 고객은 종종 이러한 서비스에서 직접 아마존 레드시프트 데이터를 분석하기를 원한다. 이를 위해서는 고객의 환경과 아마존 레드시프트 간에 데이터를 읽고 쓰는 데 도움이 되는 서드파티 커넥터를 찾고 테스트하고 인증하는 복잡하고 시간 소모적인 프로세스를 거쳐야 한다. 커넥터를 찾은 후에도 고객은 아마존 레드시프트에서 데이터를 읽고 쓰기 위해 아마존 S3와 같은 중간 데이터 스테이징 위치를 관리해야 한다. 이러한 모든 문제는 운영 복잡성을 증가시키고 고객이 아파치 스파크를 최대한 활용하기 어렵게 만든다.

아파치 스파크를 위한 아마존 레드시프트 통합으로 개발자는 AWS 지원 분석 및 ML 서비스를 사용하여 아파치 스파크 애플리케이션을 아마존 레드시프트의 데이터에서 보다 쉽게 구축하고 실행할 수 있다. 아파치 스파크를 위한 아마존 레드시프트 통합은 AWS에서 인증, 패키징 및 지원되므로 서드파티 커넥터와 관련된 번거롭고 오류가 발생하기 쉬운 프로세스가 제외된다. 개발자는 주요 언어 프레임워크(자바, 파이썬, R, 스칼라 등)를 사용하여 몇 초 내에 아파치 스파크 기반 애플리케이션에서 아마존 레드시프트 데이터에 대한 쿼리 실행을 시작할 수 있다. 중간 데이터 스테이징 위치는 자동으로 관리되므로 고객이 애플리케이션 코드에서 이를 구성하고 관리할 필요가 없다. 아파치 스파크를 위한 아마존 레드시프트 통합은 홈페이지 (aws.amazon.com/redshift/features/integration-for-apache-spark)에서 시작할 수 있다.

어도비(Adobe)는 개인, 중소기업에서 정부 조직, 글로벌 브랜드에 이르기까지 누구나 뛰어난 디지털 경험을 만들고 제공할 수 있도록 지원한다. 잭 럴(Jack Lull) 어도비 애크러뱃 사인(Adobe Acrobat Sign) 수석 사이언티스트는 "어도비의 사명은 디지털 경험을 통해 세상을 변화시키는 것이다. 이는 오늘날 세계에서 심층적이고 실시간으로 인사이트를 제공할 수 있는 분석 기능을 의미한다. 아마존 오로라 고객으로서 우리는 아마존 레드시프트와의 제로 ETL 통합을 위한 아마존 오로라 지원을 환영한다. 이는 늘어나는 애크러뱃 사인 고객의 사용량 증가에 맞춰 우리 팀에 지속적인 유지관리 부담을 주지 않으면서 새로운 인사이트와 더 빠른 분석 성능을 제공할 것으로 기대한다”고 말했다.

인포(Infor)는 비즈니스 클라우드 소프트웨어와 산업별 전사적 자원 계획 솔루션 분야의 글로벌 리더다. 짐 플러드(Jim Plourde) 인포 클라우드 서비스 수석 부사장은 “인포는 AWS를 사용하여 고객의 비즈니스 혁신과 혁신 가속화를 돕는 최신 도구를 구축, 배포한다. 여기에는 고객의 산업 클라우드 데이터를 위한 새로운 관리형 데이터 웨어하우스 서비스가 포함되며, 이는 고객이 고도화된 분석과 ML을 통해 더 빠른 결정을 내리는 데 도움이 될 것”이라며 “아마존 오로라의 아마존 레드시프트와의 제로 ETL 통합 지원으로 아마존 오로라의 트랜잭션 데이터를 아마존 레드시프트에서 거의 실시간으로 사용할 수 있게 되어 운영 부담이 줄어들 것으로 기대한다. 이제 관계형 데이터베이스 관리 시스템으로서 아마존 오로라의 성능을 활용하는 동시에, 새로운 관리형 데이터 웨어하우스 서비스를 위해 아마존 레드시프트의 분석, ML 기능을 쉽게 활용할 수 있다”고 말했다.

GE 에어로스페이스(GE Aerospace)는 상용 및 군용 항공기용 제트 엔진, 부품, 시스템을 공급하는 글로벌 기업이다. 이 회사는 제1차 세계 대전부터 제트 엔진을 설계, 개발, 제조해 왔다. 알퀸 웨이두스(Alcuin Weidus) GE 에어로스페이스 선임 수석 데이터 아키텍트는 "아마존 레드시프트는 조직 전체적으로 데이터에 대한 액세스와 이용 가능성을 극대화하려는 우리 전략의 핵심"이라며 “데이터 사이언티스트, 엔지니어, 개발자는 아파치 스파크를 활용하여 데이터 제품을 구축하고 아마존 EMR, AWS 글루, AWS에서 호스팅되는 서드파티 ML 플랫폼에서 분석 워크로드를 실행한다. 우리는 아파치 스파크를 위한 아마존 레드시프트 통합이 개발자의 빌드 프로세스를 간소화하고 애플리케이션의 성능과 보안을 강화하는 데 도움이 될 것으로 기대한다”고 말했다.

골드만삭스그룹(Goldman Sachs Group, Inc.)은 투자은행, 증권, 투자 관리, 소비자 금융 전반에 걸친 광범위한 금융 서비스를 기업, 금융 조직, 정부, 개인에 제공하는 선도적인 글로벌 금융기업이다. 니마 라파엘(Neema Raphael) 골드만삭스 최고데이터책임자는 “우리의 목표는 골드만삭스의 모든 사용자에게 데이터에 대한 셀프 서비스 액세스를 제공하는 것이다. 우리는 오픈소스 데이터 관리 및 거버넌스 플랫폼인 레전드(Legend)를 통해 사용자가 데이터 중심 애플리케이션을 개발하고 금융 서비스 산업 전반에서 협력하면서 데이터 기반 인사이트를 얻을 수 있도록 지원한다. 아파치 스파크를 위한 아마존 레드시프트 통합을 통해 우리 데이터 플랫폼 팀은 최소한의 수동 절차로 아마존 레드시프트 데이터에 액세스할 수 있다. 이는 제로 코드 ETL을 가능하게 해 엔지니어는 완전하고 시의적절한 정보를 수집하며 워크플로를 완성하는 데 더 집중할 수 있다. 이제 사용자가 아마존 레드시프트에서 최신 데이터에 쉽게 액세스할 수 있으므로 애플리케이션의 성능이 개선되고 보안이 향상될 것으로 기대한다”고 말했다.

Copyright ⓒ Acrofan All Right Reserved.