Alibaba Cloud Storage Solution 소개

1. 배경설명

인프라 세계에서는 이전보다 더욱 빠른 속도로 데이터가 생산되고 회전되고 있다. 이런 추세를 현장에서는 데이터의 “5V – Velocity, Volume, Value, Variety and Veracity--추세”라 부르고 있다.

개인들은 이전보다 10배 더 빠르게 온라인 상에서 데이터를 생성하고 있는데 특히 스마트폰, PC 등의 기계를 통해 50배 더 빠르게 데이터를 만들어 내고 있다. 이런 추세로 인해 2022년에는 이미 퍼블릭 클라우드 스토리지가 온/오프라인 전체 엔터프라이즈 데이터센터 스토리지 사용량을 초과하였다.

데이터가 많아지면 데이터가 몸을 담고 있는 스토리지 시스템도 해당 워크로드를 소화하기 위해 계속 진화를 한다. 이미, RESTful API를 사용하는 오브젝트 스토리지의 위상이 높아졌으며, 데이터 처리속도를 가속화하기 위하여 NANDFlash로 대표되는 SSD가 클라우드 시장에서도 HDD를 완벽하게 대체해 나가고 있다. 또한 Local NVMe disk를 넘어서 NVMe over Fabric기술도 빠르게 발전하고 있다. 스토리지 시스템이 클라우드에 이식이 되면서 SDS(Software-Defined Distributed Service)가 주류가 되었으며, 고성능 스토리지 네트워킹 기술이 호황을 누리고 있다.

2. 알리바바클라우드 스토리지 서비스 발전 역사

알리바바클라우드는 2009년에 팀을 구성하여 Pangu1.0을 공식 출시한 이후로 스토리지 서비스를 지속적으로 강화해왔다. 그룹 내부서비스를 통해 역량을 쌓아온 OSS(Object Storage Service)를 상용화하였으며, 2015년에 들어서는 NAS와 SLS(Log Service)를 상용화 하였다. 또한, Pangu 2.0이 출시되고 단일 클러스터에 100,000개 이상의 서버가 배포되기에 이르렀다. 2018년에는 ESSD(Elastic SSD) 고성능 클라우드 디스크의 대규모 상용화에 성공하였으며, OSS의 가용성 SLA를 99.995%까지 끌어올리며 세계 1위를 기록했다. Pangu는 명실상부 2021년 인터넷에서 세계 최고의 과학 기술 성과를 이룩하였고, Gartner의 솔루션 스코어카드 2021에서 스토리지 점수 부분 세계 1위를 차지하였다.

알리바바클라우드는 지금까지의 행보를 보면 알수 있듯이 세계에서 가장 완벽한 스토리지 제품 및 서비스를 구축/제공하는 것을 목표로 삼고 있다.

3. 핵심 제품 및 기술

3.1 Elastic Block Storage

3.1.1 제품 개요

EBS는 ECS에 짧은 Latency와 높은 성능/안정성을 제공하는 블록레벨 스토리지 서비스이다. 대용량 어플리케이션, 데이터베이스 등의 워크로드를 처리하기위한 밴드위스(수십 Gbps)와 IOPS(랜덤1백만) 제공하며, AZ간 복제, 스냅샷 등의 기능을 사용하여 데이터 보호에 대한 요구사항을 충족하고 있다.

3.1.2 제품 특징

EBS는 ECS와 같은 AZ에 생성하여, ECS의 시스템디스크 또는 데이터디스크로 사용할 수 있다. EBS를 비롯한 Block Storage는 기본으로는 공유 목적으로 사용하지 않으나, NVMe 프로토콜을 사용하면 Multi-attach 기능을 활성화하여 복수의 ECS를 마운트하여 동시 엑세스가 가능해 진다. 이는 Oracle RAC와 같은 데이터베이스 클라우드 마이그레이션 요구사항을 충족할 수 있다.

주로 사용되는 ESSD는 Performance Level에 따라서 ESSD PL0~PL3로 제공되며, PL3 티어의 경우에는 1백만 IOPS와 4GB/s 의 스루풋 제공으로 핵심 데이터베이스와 EDA등의 워크로드를 커버할 수 있다. 성능 요구사항이 변동성이 큰 고객들에게 코스트 옵티마이즈된 서비스를 제공하고자 ESSD Auto-PL 서비스를 출시하였다.

짧게 얘기를 하면, 워크로드가 높아져서 스토리지에 IOPS병목을 막기 위해 상위 티어로 ESSD를 자동 튜닝해주는 Burstable Disk라 보면된다. 배포 용량과 IOPS 할당을 디커플링 할 수 있으며, 워크로드에 맞게 최대 버스팅 한도 내에서 IOPS를 자동 버스팅 해준다. 고객에게는 버스팅 된만큼만 비용이 지불되는 구조이다. 워크로드에 대한 테스트가 충분히 되어서 MAX, MIN IOPS의 범주가 어느정도 정의 되어 있는 고객에게 최적의 상품이다.

3.2 Object Storage Service

3.2.1 제품 개요

OSS를 고객에게 소개할때 “단순한 스토리지 이상” 이라고 소개를 드린다. 일반적으로 활용되는 비디오, 이미지 등의 대용량 저장소를 넘어서, Serverless 웹페이지 등을 구현할때 사용할수 있으며, ECS,RDS등의 자원의 백업목적, CDN의 Origin서버 스토리지 등 활용도가 높다.

3.2.2 제품 특징

OSS는 사용처가 많기 대문에 알리바바클라우드의 다른 서비스들과 컴비네이션으로 구현이 되는 경우가 많으며, 기존에 DEV환경에서 도입/구축되었던 아키텍쳐를 PRD환경에서 성능 및 효율성을 개선하는 데에도 사용할 수 있다.

예를 들어, 초기 웹사이트의 아키텍쳐에서 정적 데이터(이미지, 비디오)와 동적데이터(웹 ,DB트랜잭션)가 분리가 되어 있지 않고 ECS에서 일괄 처리할 경우, 웹사이트 액세스가 많아지면 병목현상이 발생할 수 있다. 이런 구성에서 스태틱 데이터 저장소로 OSS를 분리하여 뺄 경우, 데이터 패스 공유로 인한 병목현상을 해결할 수 있으며, CDN을 이용한 캐싱 서비스를 추가하여 성능까지 끌어올릴 수 있다.

아래의 아키텍쳐는 알리바바 클라우드가 CDN 네트워크 서비스에서도 특히 아시아 권에서 강점이 있기 때문에 구현될 수 있는 아키텍쳐이다.

3.3 NAS Service

3.3.1 제품 개요

NAS는 높은 스루픗과 IOPS 파일 처리 성능을 보여주면서 수천개의 ECS 클라이언트에서 파일 공유 스토리지를 제공한다. EBS에 대비하여 탄력적인 용량확장 / 공유엑세스가 가능하며, OSS에 대비하여 높은 성능의 READ/WRITE 퍼포먼스를 보여준다.

3.3.2 제품 특징

NAS 서비스도 성능 요구 사항에 따라서 서비스 티어를 선택할 수 있다. 데이터베이스 레벨의 성능이 필요한 워크로드에는 고성능 NAS(20만IOPS)를, 그 이상의 수백만개의 작은 파일 입출력의 성능을 필요로하는 병렬컴퓨팅 시나리오에서는 CPFS 서비스를 선택한다.

3.4 Tablestore

3.4.1 제품 개요

Tablestore는 공유스토리지를 기반으로하는, 고성능, 저비용, 확장성이 좋은 Full Managed Structured 데이터 스토리지 플랫폼이다.

3.4.2 제품 특징

컬럼 기반의 구조화된 데이터를 대량으로 동시 읽기,쓰기 처리하기에 적합하며, 고객의 요구사항에 마추어 MYSQL 기반의 트랜잭션 시스템을 개선하는데에 활용할 수도 있다.

고객의 어플리케이션이 단순 Read/Write 트랜잭션을 대량으로 처리하는 시스템이라면 RDMS보다는 Tablestore가 더 적합한 솔루션이 될 수 있다. 또한, MySQL이 필수적으로 들어가야 하는 아키텍쳐에서는 Query성능을 끌어올리기 위해 중간에 Tablestore를 두는 방법을 고려해 볼 수도 있다.

3.5 로그 서비스(SLS)

3.5.1 제품 개요

로그서비스는 알리바바클라우드 서비스들의 원스탑 로그 플랫폼으로서, 데이터의 원스톱 수집, 처리, 분석, 시각화, 얼럿 등을 지원한다.

3.5.2 제품 특징

기존 고객의 대부분의 인프라는 자체적 로그 수집시스템을 사용하고 있으며, 오픈소스로는 널리 알려진 Elasticsearch, Logstash, Kibana 를 조합한 ELK 로 구축된 케이스가 많다. 서비스와 로그양이 증가함에 따라 ELK 클러스터를 지속적으로 확장하고 관리함에 따른 Operation & Management 코스트가 증가하게 된다. 또한, 오픈소스는 일반적으로 배포속도가 느리고 Aggregation 기능이 완벽히 지원되지 않음으로 인해 데이터에서 실시간으로 가치를 추출하고자 하는 고객의 요구사항을 만족시키기 어려울 수 있다.

하지만, 알리바바클라우드의 로그서비스에서 수집한 로그는 Flink / Spark와 같은 흐름/배치 데이터 분석 플랫폼과 완벽하게 호환이 되어 전송이 가능하기 때문에, 빠른 로그 분석을 통해 고객의 빠른 비지니스 의사결정 지원에 활용할 수 있다. 복잡한 오픈소스 관리에서 벗어나 알리바바클라우드의 로그 서비스를 사용하여 클릭 몇번으로 빠르게 프로페셔널한 로그 수집/분석 플랫폼을 구축하고 개발자들이 관리에서 자유로울 수 있다.

3.6 Hybrid Backup Recovery

3.6.1 제품 개요

HBR은 IDC의 데이터와 클라우드의 데이터를 통합하여 백업할 수 있는 스토리지 서비스이다. 해당 아키텍쳐상 다양한 기능을 사용할 수 있다.

통합 백업 관리 : 하이브리드 아키텍쳐에서 온프렘과 클라우드의 리소스의 백업데이터와 복구정책을 통합하여 관리. 온프렘/클라우드 VMWare, SQL 서버, SAP HANA 등의 다양한 Application, Database 백업 지원
VMWare VM마이그레이션 지원 : 로컬 IDC의 리소스를 HBR로 백업 및 동기화, 알리바바클라우드로 ECS리소스 생성시 복원소스로 사용
클라우드 티어링 : Hot 데이터는 로컬 IDC에 COLD데이터는 티어링하여 클라우드로 백업하여 비용 절감
De-duplication : VM 이미지, 파일 백업을 De-duplication 기능을 사용하여 리소스 절약
데이터 보호 : 백업락, 랜섬웨어 프로텍션 등의 데이터 보호 지원

4. 결론

지금까지 핵심이 되는 EBS, OSS부터 HBR까지 탐색을 해 보았다. 비지니스 요구사항에 맞지 않는 스토리지 솔루션을 사용할 경우 성능이 저하되고 비용이 낭비될 수 있을 뿐만 아니라, 회사의 데이터 백업/보호 정책을 놓치고 있을 수도 있다. 서비스 설계 단계에서부터 알리바바 클라우드의 Solution Architect와 함께하시면 VM 인스턴스와 함께 스토리지 서비스도 놓치지 않고 적합한 서비스를 선택할 수 있습니다.

Community