Alibaba Cloud Generative AI Services 소개 및 Stable Diffusion 배포 가이드

본 블로그를 통해 알리바바 클라우드의 생성형 AI에 대한 개요와 Stable Diffusion 서비스를 배포하는 방법에 대해 알아볼 수 있습니다.

1. Generative AI 개요

1.1 Generative AI란?

Generative AI (Generative Artificial Intelligence) 는 기계 학습과 딥러닝 기술을 활용하여 인간과 유사한 창의성을 가진 인공지능을 만들어내는 기술입니다. 이 기술은 컴퓨터 프로그램이 새로운 내용을 생성하거나 기존 데이터에서 새로운 내용을 형성하는 데 사용됩니다. Generative AI는 이미지, 음악, 텍스트, 비디오 등 다양한 형태의 콘텐츠를 생성하고 수정할 수 있어서 예술, 디자인, 문학, 음악 등 다양한 분야에서 혁신적인 활용 가능성을 제시하고 있습니다.

1.2 Generative AI의 원리

Generative AI의 작동 원리는 주로 심층 신경망과 생성 모델에 기반합니다. 생성 모델은 훈련 데이터를 기반으로 새로운 콘텐츠를 생성하는 데 사용됩니다. 가장 유명한 생성 모델 중 하나는 GAN(Generative Adversarial Network)입니다.

GAN은 생성자(generator)와 판별자(discriminator)라는 두 개의 신경망으로 이루어져 있습니다. 생성자는 가짜 데이터를 생성하고, 판별자는 진짜와 가짜 데이터를 구분하는 역할을 합니다. 두 신경망은 경쟁적으로 학습하며, 점차적으로 더 실제와 같은 가짜 데이터를 생성할 수 있도록 발전합니다.

1.3 Generative AI의 활용 분야

예술과 디자인: Generative AI는 예술가와 디자이너를 위한 큰 도움이 됩니다. 그림, 조각, 음악, 시 등 다양한 예술 형태의 작품을 생성하거나 아이디어를 제안할 수 있습니다.
콘텐츠 생성: Generative AI는 콘텐츠 제작 업계에서 중요한 역할을 합니다. 기사, 소설, 뉴스 기사, 영화 스크립트, 게임 스토리 등을 생성하는 데 활용됩니다.
의료 분야: Generative AI는 의료 이미징과 진단, 약물 개발 등에 활용되어 환자 치료에 도움을 줄 수 있습니다.
자율 주행 차량: Generative AI는 자율 주행 차량의 환경 인식 및 의사 결정에 사용되어 도로 안전성을 향상시킵니다.

1.4 Generative AI의 도전과제

Generative AI는 몇 가지 도전과제를 가지고 있습니다.

데이터 품질 및 개인 정보 보호: Generative AI는 대량의 데이터가 필요하며, 데이터의 질과 개인 정보 보호 문제가 주요 고려 사항입니다.
윤리적 문제: 자동 생성된 콘텐츠가 잘못 사용될 수 있는 윤리적 문제도 존재합니다. 거짓 정보, 위조 문서 등의 문제가 발생할 수 있습니다.
모델의 편향: 훈련 데이터의 편향으로 인해 모델이 특정 그룹이나 의견을 과도하게 대표하는 경우가 있습니다.

1.5 결론

Generative AI는 혁신적인 기술로서 다양한 분야에서 활용되며 인간 수준의 창의성과 예술적 능력을 가진 AI 시스템을 구현하는 데 큰 잠재력을 가지고 있습니다. 그러나 데이터 품질, 윤리적 문제 및 모델의 편향과 같은 도전 과제를 극복하기 위해서는 조심스러운 접근과 윤리적 고려가 필요합니다. Generative AI의 발전은 미래의 기술과 예술을 형성하는 데 중요한 역할을 할 것으로 기대됩니다.

2. 알리바바 클라우드 Generative AI 관련 서비스들

Alibaba Cloud는 고성능 GPU 인스턴스, 원스톱 AI 개발 플랫폼, AI 모델 훈련을 위한 가속 기능을 갖춘 컴퓨팅 최적화 ECS 인스턴스 컬렉션을 포함하는 Generative AI 개발을 위한 풀 스택 솔루션을 제공합니다.

2.1 고성능 GPU 서비스

Alibaba Cloud는 다양한 시나리오에 맞는 고성능 컴퓨트 머신을 제공하고 있습니다. 사용자는 니즈에 따라 각 최적화된 GPU 모델을 선택하여 활용할 수 있습니다.

2.2 원스톱 AI 개발 플랫폼

Alibaba Cloud의 PAI (Platform for AI) 는 기업과 개발자를 위한 머신 러닝 또는 딥 러닝 엔지니어링 플랫폼입니다. 다양한 산업 시나리오에 적용할 수 있는 사용하기 쉽고/비용 효율적이며/고성능이고/확장하기 쉬운 플러그인을 제공합니다.

140개 이상의 최적화 알고리즘이 내장된 Platform for AI는 데이터 라벨링(PAI-iTAG), 모델 구축(PAI-Designer 및 PAI-DSW), 모델 교육(PAI-DLC) 및 추론 배포(PAI-EAS)를 포함하여 전체 프로세스 AI 엔지니어링 기능을 제공합니다.

2.3 AI 개발 가속기 (AI Acceleration)

AIACC는 GPU를 활용한 딥러닝 워크로드에서 추론 및 인지 학습을 가속화하기 위한 소프트웨어 아키텍쳐입니다.

AIACC는 GPU 클러스터에 몇 가지 configuration만 추가하면 바로 사용할 수 있을 정도로 쉬운 사용성을 가지고 있습니다. 특히 1장의 카드를 가진 Single instance가 아닌 여러장의 GPU를 활용한 인스턴스에서 비약적인 효과를 얻을 수 있습니다.

이 기능은 Stable Diffusion의 이미지 추론 시나리오에서 비약적인 효과를 발휘합니다. 내부 테스트에 의하면, AIACC를 활용하지 않은 단순 이미지 추론보다 약 2배 빠른 결과를 얻을 수 있었습니다.

3. Generative AI 서비스 배포 가이드 – Stable Diffusion

본 블로그에서는 다양한 Alibaba Cloud의 Generative AI 서비스 중, Compute Nest (GenAI PaaS 서비스)를 통한 Stable Diffusion 배포 가이드를 작성했습니다.

3.1 Compute Nest 서비스 확인

Alibaba Cloud Console에 접속해서 Compute Nest 서비스를 확인합니다.

이 서비스에는 LLM인 Llama2, Stable Diffusion 등의 GenAI 모델 배포를 할 수 있는 패키지 리스트를 제공합니다.

3.2 Stable Diffusion AIACC 선택 및 배포

이 서비스 중 Stable Diffusion AIACC 모델을 선택합니다.

위에서 언급했듯이 기존 Stable Diffusion 모델보다 AIACC알고리즘을 적용한 모델은 기존 Stable Diffusion 추론 속도 대비 평균적으로 약 2배 빠른 가속화 효과를 누릴 수 있습니다.

Service Instance Name : 서비스에서 활용할 인스턴스의 이름을 지정
Region : 서비스를 배포할 리전 선택
Pay type configuration : 서비스 배포 요금 방식 선택
Instance Type : Stable Diffusion의 추론을 수행할 인스턴스 타입을 선택
Instance Password : 배포될 인스턴스의 패스워드 입력
Login Information : Stable Diffusion 웹 콘솔에 로그인할 정보 입력
Infrastructure Configuration : 인스턴스에 적용할 VPC/VSwitch CIDR 설정

3.3 배포될 인스턴스 환경 확인

최종 배포 전, 설정될 환경들에 대해 확인합니다.

여기서 빨간 상자에 있는 링크를 확인해봅니다.

3.4 배포를 위한 API 확인

여기서는 각 CLI, Script, Java, Python, Go를 통한 Stable Diffusion 패키지를 배포할 수 있는 API를 확인할 수 있습니다. 우리의 서비스에서 실시간 배포가 필요할 경우, 이 API를 활용하여 유연한 서비스 이용이 가능합니다.

3.5 배포 완료 후 확인

배포 완료 후, 생성된 인스턴스를 확인해보면 Stable Diffusion 이용을 위한 서비스들의 상태를 확인할 수 있습니다. 여기서 우리는 Endpoint IP를 이용하여 Stable Diffusion 콘솔에 직접 접속할 수 있습니다.

3.6 Stable Diffusion 서비스 확인

설정한 로그인 ID/PW로 Stable Diffusion 콘솔에 접속할 수 있습니다.

여기에는 Alibaba Cloud에 의해 사전 설정된Checkpoint, LoRA를 확인할 수 있으며, 사용자의 의도에 따라 인스턴스에 접속하여 Checkpoint, LoRA를 직접 삽입할 수 있습니다.

배포된 Stable Diffusion을 통해 txt2img / img2img / 3D Model 등의 기능을 활용할 수 있습니다.

4. 마치며

지금까지 Alibaba Cloud의 Generative AI서비스에 대한 개요를 알아보았습니다.

Alibaba Cloud의 안정적이고, 비용 효율적이며, 높은 퍼포먼스를 가진 인프라를 활용하여 다가오는 AI 시대의 혁신을 앞당기고 싶으시다면 아래 메일 주소로 문의 주시기 바랍니다.

Mail : abckr@list.alibaba-inc.com

감사합니다.

Community