LM Studio 에서 코딩 모델 사용하기 on Windows

LM Studio 을 개인적으로 이용시 무료지만, 상업적 이용시 라이센스가 필요합니다.

CUDA 설치

참조

NVIDIA GPU 가 없는 경우

CUDA 뿐만 아니라 인텔, AMD 등에서 생산한 GPU 도 드라이버만 잘 설치되어 있으면 약간은 속도향상이 있습니다.

LM Studio 설치

https://lmstudio.ai/ 에서 LM Studio 를 다운받아 설치합니다.

모델 설치

• LM Studio 실행

• 돋보기 아이콘 찾기

• coder 입력

  coder 가 코딩에 최적화된 모델입니다.

  

• 모델 테스트

  몇가지 코딩 지시를 해서 결과를 확인합니다.

  개인적으로는 Qwen2.5 Coder 14B Instruct 을 추천합니다.

GPU 사용 설정

GPU VRAM 이 모델 크기보다 큰 경우

모델 전체가 GPU VRAM 에 올라가서 실행됩니다.
(GPU Offload 을 0 으로 설정할 것)

GPU VRAM 이 모델 크기보다 작은 경우

CPU 및 RAM 만으로 작업이 이루어집니다.
(GPU Offload 을 0 으로 설정된 경우)

GPU Offload 을 0 보다 큰 값으로 하게 되면,
모델의 일부가 GPU 에 의해 연산이 이루어집니다.

이 경우, GPU-CPU 간 데이타 전송이 빈번히 이루어져서 속도 향상이 많지 않을 수 있습니다.