모든 시나리오에서 이기종 컴퓨팅 지원
Elastic GPU Service는 소프트웨어와 하드웨어를 결합하여 리소스를 유연하게 할당하고, 시스템을 탄력적으로 확장하며, 컴퓨팅 성능을 향상하고, AI 관련 비즈니스 비용을 절감하도록 지원하는 완전한 서비스 시스템을 제공합니다. 산업의 다양한 시나리오(예: 딥 러닝, 비디오 인코딩 및 디코딩, 동영상 처리, 과학 컴퓨팅, 그래픽 시각화, 클라우드 게임 등)에 적용될 수 있습니다.
Elastic GPU Service는 GPU 가속 컴퓨팅 기능 및 바로 사용할 수 있고 확장 가능한 GPU 컴퓨팅 리소스를 제공합니다. GPU는 수학 및 기하학 컴퓨팅, 특히 부동 소수점 및 병렬 컴퓨팅을 수행할 수 있는 고유한 이점이 있습니다. GPU는 CPU 대비 100배의 컴퓨팅 성능을 제공합니다.
다양한 컴퓨팅 기능
대규모 병렬 컴퓨팅에 사용할 수 있는 많은 수의 산술 논리 장치(ALU)가 있습니다. Elastic GPU Service는 최신 GPU 가속 칩을 사용하고 비즈니스 목적(예: AI, 그래픽, 트랜스코딩, 암호화 등)을 위한 다양한 그래픽 가속기 카드(예: FPGA, GPU, ASIC 등)를 제공합니다.
사용의 용이성
GPU 리소스는 지리적으로 분산된 위치에서 전 세계에 배포됩니다. 간단한 논리 제어 장치를 사용하면 비즈니스 요구 사항에 따라 시스템을 확장할 수 있습니다. Elastic GPU Service는 보조 툴(예: AIACC, FastGPU, cGPU 등)도 제공합니다.
고성능 네트워크
SHENLONG 아키텍처를 사용하여 서버 성능을 개선하고 I/O 레이턴시를 줄입니다. GPU는 최대 2,400만 pps, VPC를 통해 최대 64 Gbit/s의 대역폭 및 800G RDMA 네트워크를 지원합니다. 여러 스레드가 컴퓨팅 작업을 처리하기 위해 병렬로 실행되는 높은 처리량 시나리오에 적합합니다.
컴퓨팅 효율성 향상을 위한 GPU 소프트웨어
AIACC-Training
Alibaba Cloud AIACC-Training은 Alibaba Cloud 환경에 최적화된 AI 가속기입니다. AI 분산 훈련 및 네트워크 대역폭 사용률의 효율성을 대폭 향상할 수 있습니다. AIACC-Training은 다음과 같은 두 가지 세계 신기록을 달성했습니다.
DAWNBench ImageNet 대회(스탠퍼드 대학교 개최)에서 가장 빠른 훈련 속도
DAWNBench ImageNet 대회(스탠퍼드 대학교 개최)에서 가장 저럼한 훈련 비용
자세히 알아보기 >
특징
-
주요 프레임워크 지원분산 훈련 프레임워크: TensorFlow, PyTorch, MXNet, Caffe
-
50~300%의 성능 향상
대역폭 집약적 네트워크 모델
-
하나 이상의 다중 GPU 서버를 위한 고성능 통신
FP16 기울기 압축 및 혼합 정밀 압축 지원
-
MXNet을 위한 API 확장
InsightFace 유형의 데이터 병렬 처리 및 모델 병렬 처리 지원
-
RDMA 네트워크 심층 최적화
하이브리드 링크 통신(RDMA 및 VPC)
AIACC-Inference
Alibaba Cloud AIACC-Inference는 Alibaba Cloud 환경에 최적화된 AI 가속기입니다. GPU 사용률 및 추론 성능을 대폭 향상할 수 있습니다. AIACC-Inference는 다음과 같은 두 가지 세계 신기록을 달성했습니다.
DAWNBench ImageNet 대회(스탠퍼드 대학교 개최)에서 가장 짧은 추론 지연 시간
DAWNBench ImageNet 대회(스탠퍼드 대학교 개최)에서 가장 저럼한 추론 비용
자세히 알아보기 >
특징
-
여러 프레임워크 지원
Tensorflow, Pytorch, MXNet 및 기타 딥 러닝 프레임워크는 모델을 ONNX(Open Neural Network Exchange) 형식으로 내보내 추론 성능을 향상할 수 있습니다.
-
30%-400% 성능 향상
컴퓨팅 집약적 네트워크 모델
-
여러 모델 정밀도 지원
FP32 및 FP16의 모델 최적화
GPU 클러스터 배포 툴
Alibaba Cloud FastGPU는 GPU 클러스터의 빠른 배포 툴로, 몇 번의 클릭만으로 클라우드에 GPU 컴퓨팅 리소스를 배포할 수 있도록 지원합니다. FastGPU는 구성이 간단하며 어디서나 쉽게 사용할 수 있습니다. FastGPU는 GPU 클러스터의 빠른 배포를 위해 시간을 절약할 수 있고 비용 효율적이며 사용하기 쉬운 솔루션을 제공합니다.
자세히 알아보기 >
특징
-
신속한 배포
GPU 클러스터에서 오프라인 훈련 및 추론 스크립트의 빠른 배포를 위한 API 작업
-
손쉬운 관리
GPU 클러스터의 상태 및 라이프사이클 관리를 위한 CLI 툴 제공
-
효율성 및 시간 절약
Alibaba Cloud의 IAAS 레이어에서 컴퓨팅, 스토리지 및 네트워크에 대한 배포 작업을 수행할 필요가 없습니다. 클러스터 리소스를 얻을 때 적절한 환경을 자동으로 달성합니다.
컨테이너용 GPU 공유 소프트웨어
이를 통해 여러 격리된 컨테이너에 GPU 리소스를 분할 및 할당하여 여러 컨테이너가 단일 GPU를 사용할 수 있습니다. cGPU는 단일 GPU에서 여러 컨테이너를 실행하고 컨테이너 간에 GPU 애플리케이션을 격리할 수 있습니다. 이러한 방식으로 GPU 하드웨어 리소스 활용도를 높입니다.
자세히 알아보기 >
특징
-
GPU 분할
GPU 사용률 높이기 위해 GPU 리소스 분할
-
GPU 공유
여러 AI 애플리케이션 전반의 GPU 공유를 통한 비용 절감
-
유연성
컴퓨팅 성능 및 GPU 메모리를 유연하게 분할하여 애플리케이션 요구 사항 충족
Elastic GPU Service와 자체 관리 GPU 가속 서버 비교
| 항목 | Elastic GPU Service | 자체 관리 GPU 가속 서버 |
|---|---|---|
|
|
· 하나 이상의 GPU 가속 인스턴스 간편하게 생성 가능 · 인스턴스 유형 업그레이드 및 다운그레이드를 포함하여 다양한 수의 vCPU와 메모리 크기를 가진 인스턴스 유형 간의 온라인 변경 지원 · 조정 가능한 대역폭 제공 |
· 구독 기간 연장 필요 · 변경할 수 없는 구성 포함 · 조정할 수 없는 아웃바운드 대역폭의 일회성 구매 필요 |
|
|
· 온라인 관리를 위한 웹 기반 콘솔 제공 · 주요 운영 체제(예: 활성화된 정품 Windows 운영 체제) 내장 및 운영 체제 온라인 교체 가능 · 인스턴스 구입 시 GPU 드라이버 구입 및 설치 가능 |
· 온라인 관리 툴을 제공하지 않으며 수동 관리 및 유지 보수가 필요합니다. ・운영 체제를 직접 가져와 설치하고 직접 교체해야 합니다. ・운영 체제를 수동으로 준비하고 설치해야 합니다. |
|
|
· 각 데이터의 사본을 3개 저장, 하나의 복사본이 손상되어도 빠르게 데이터 복원 가능 · 하드웨어 장애 신속하게 자동 복구 가능 |
· 수동으로 재해 복구 환경을 구축하고 고가의 기존 저장 장치를 사용해야 합니다. · 손상된 데이터를 수동으로 수정해야 합니다. |
|
|
· 구독 및 종량제 청구 방법을 지원, 비즈니스 요구 사항에 따라 적절한 청구 방법을 선택 가능 · 대규모 초기 투자 없이 주문형 리소스 구매 가능 |
· 피크 시간의 구성 요구 사항을 충족하기 위해 선불로 비용을 지불하여 리소스를 구매해야 합니다. · 대규모 초기 투자가 필요하고 리소스 낭비가 발생합니다. |
시나리오
업계 최고의 솔루션 및 고성능
Alibaba Cloud Elastic GPU Service에서 제공하는 업계 최고의 솔루션을 통해 엔지니어링 시뮬레이션 및 분석의 고성능, 확장성 및 엔터프라이즈급 안정성을 실현할 수 있습니다. 메모리 크기가 큰 고성능 GPU 덕분에 컴퓨팅 성능을 활용하여 복잡한 시뮬레이션을 수행하고 어려운 문제를 해결할 수 있습니다.
장점
-
최적화된 솔루션
CFD 모델링 활용으로 해결 시간 대폭 단축
-
계산 전자기학의 전자 설계 가속화
전자기 성능을 시뮬레이션하고 전자기 복사, 간섭, 전송을 예측하여 고성능 전자 제품 및 구성 요소 설계
-
엔지니어링 시뮬레이션
생산성을 향상하고 IT 예산을 절약하는 클라우드의 가상화 애플리케이션
최고의 디스플레이를 위한 HD 동영상 처리
동영상 처리 작업 시 종종 문제(큰 데이터 볼륨 및 긴 처리 시간 등)가 발생합니다. GPU를 사용해 작업을 병렬 컴퓨팅하고 동영상 처리를 최적화할 수 있습니다. GPU는 주로 다양한 분야에서 사용됩니다(예: 대규모 고화질 동영상 트랜스코딩, 4K 및 8K 라이브 스트리밍, 여러 사용자의 화상 회의, 동영상 소스 수정 등).
장점
-
고성능
컴퓨팅 성능 향상을 위한 최적화
-
우수한 컴퓨팅 성능
멀티 프레임 데이터의 빠른 처리 및 많은 수의 컴퓨팅 작업을 처리할 수 있는 컴퓨팅 성능 지원
고성능 컴퓨팅
GPU는 대규모 병렬 컴퓨팅이 필요한 과학 컴퓨팅(예: 기상 예보, 탄화수소 탐사, 분자 동역학 연구 등)에서 중요한 역할을 합니다. GPU는 탄력적 컴퓨팅과 결합하여 대규모 부동 소수점 연산에 필요한 컴퓨팅 성능을 제공합니다. 이러한 컴퓨팅 성능은 온라인 및 오프라인에서 사용할 수 있습니다.
장점
-
Auto Scaling
ESS 및 SLB 통합으로 오토스케일링 구현
-
우수한 컴퓨팅 성능
최신 GPU 및 빠른 배포 방법 제공으로 과학 컴퓨팅의 대규모 컴퓨팅 요구 사항 충족
성공 사례
가장 큰 결정 요소는 인식 정확도였습니다. Vision AI 플랫폼은 검증 프로세스 초기부터 90% 이상의 정확도로 모자이크 처리를 위한 번호판을 인식했습니다.
추가 세부 조정 이후, 해당 시스템은 도입 시 95% 이상의 정확도로 인식 및 모자이크 처리를 자동으로 수행할 수 있었습니다.
- Chiaki Uchiyama, IDOM Co. Frima 부문 Frima 마케팅 부장
Ms-meta.HK는 Alibaba Cloud의 다양한 서비스를 활용하여 솔루션을 구현했습니다. 이러한 서비스(Alibaba Cloud의 현지 기술 전문가 및 전담 지원 팀 포함)를 통해 Ms-meta.HK는 메타버스 공개 서비스를 쉽게 출시할 수 있었습니다.
Ms-meta.HK는 홍콩에 본사를 둔 분산형 커뮤니티 기반 메타버스 프로젝트입니다. Ms-meta.HK는 메타버스에서 Alibaba Cloud의 클라우드 렌더링 및 트래픽 분산 기술을 적극적으로 활용합니다. Alibaba Cloud와의 협업을 통해 Ms-meta.HK는 메타버스의 가상 장면을 최적화하고 로딩 시간을 줄여 고객에게 더 나은 사용자 경험을 제공할 수 있습니다. 또한 Alibaba Cloud의 강력한 보안 제공 덕분에 공개적으로 노출된 서버를 보호할 수 있습니다. Ms-meta.HK는 Alibaba Cloud를 통해 메타버스 인프라 서비스를 더욱 최적화하고자 합니다.
핵심 비즈니스의 일환으로 ADVANCE는 Alibaba Cloud의 다양한 클라우드 네이티브 데이터 스토리지 및 관리 솔루션을 활용하여 AI 및 머신 러닝 알고리즘의 데이터 웨어하우스 및 데이터 분석 프로세스를 관리합니다. 예를 들어, ADVANCE는 메모리 내 캐싱 및 고속 접속을 위한 ApsaraDB for Redis, 유연한 반정형 데이터 스토리지를 위한 ApsaraDB for MongoDB, 데이터 집계, 처리, 다양한 데이터 소스 간의 거버넌스를 위한 DataWorks, 실시간 빅데이터 처리를 위한 Realtime Compute for Apache Flink를 이용합니다.
ADVANCE(Advance Intelligence Group)는 아시아 태평양 지역의 Al 기반 기술 회사이며 동남아시아(SEA) 시장, 특히 인도네시아의 최고의 기업으로 꼽힙니다.
ADVANCE는 고객에게 향상된 AI 서비스를 제공하기 위해 최선을 다하고 있습니다. Alibaba Cloud는 ADVANCE가 혁신적인 클라우드 인프라 서비스를 통해 성공을 달성할 수 있도록 계속해서 지원할 것입니다. AI와 클라우드 컴퓨팅의 결합은 고객에게 더 큰 효율성, 생산성, 디지털 보안과 함께 훨씬 더 많은 가치를 제공할 것입니다.
