구글 클라우드 – GPU 인스턴스 생성하기

인스턴스 생성

GCP Console에서 Compute Engine → VM 인스턴스 → 인스턴스 만들기

설정

• 리전: us-central1 (가격 대비 성능이 좋음)

• 머신 구성:

  • 추론 작업: NVIDIA T4, L4.
  • 훈련 작업: NVIDIA A100, V100, H100 (H100 만 float8 지원)
  • NVIDIA V100 : 메모리 16GB 또는 32GB HBM2, 할당 불필요
  • NVIDIA A100 : 메모리 40GB 또는 80GB HBM2e, 할당 필요
  • NVIDIA H100 : 메모리 80GB HBM3, 할당 필요
  • 비디오 처리/게임: NVIDIA T4, L4.
  • 과학 계산/HPC: NVIDIA A100, H100, P100.

GPU 개수: 1
운영체제: Deep Learning on Linux
버전: Debian 11
크기: 200GB

확인

# NVIDIA 드라이버 및 CUDA 설치 확인
nvidia-smi

# Python 환경 설정
python3 -m venv env
source env/bin/activate

# 필요한 패키지 설치
# pip install torch transformers tokenizers tqdm

Spot VM 설정

최대 24시간까지만 사용 가능하지만, 가격이 절반이하이다.

"시작/중지/마이그레이션 정책" 섹션을 찾아서 펼치기
"Spot" 옵션 선택

이 VM의 할당량이 충분하지 않을 수 있음

처음 GPU 를 사용하게 되면 할당량을 요청해야 한다.

할당량 조정 거부됨

이메일로 결과가 날라오며, 거부되기도 한다.