GPU Droplet에서 오픈 가중치 Nemotron 3 모델 실행 방법

소개

NVIDIA는 Nemotron 모델 가족의 최신 모델인 Nemotron 3를 발표했습니다. Nemotron 3 가족에는 Nano, Super, Ultra 등 세 가지 개별 모델이 있으며, 각각 300억, 490억, 2,530억 개의 파라미터를 가지며 최대 100만 토큰의 컨텍스트 길이를 지원합니다. Nano는 2025년 12월에 출시되었고, Super와 Ultra는 2026년 이후 출시될 예정입니다. 이 모델들은 NVIDIA의 오픈 모델 라이선스로 제공되어 상업적 사용과 수정이 가능하며 생성된 출력물에 대한 소유권과 완전한 제어권을 제공합니다. 모델의 가중치와 학습 데이터는 모두 Hugging Face에서 공개되어 있습니다. 이 튜토리얼에서는 이러한 모델들을 소개하고 현재 사용할 수 있는 Nano 모델을 Linux-Console.net GPU Droplet에서 배포하는 방법을 다룹니다.

핵심 내용

NVIDIA는 자사의 Nemotron 모델 라인업에 새로운 Nemotron 3를 발표했습니다. Nemotron 3는 세 가지 새로운 모델로 구성되어 있으며, Nano(30B), Super(49B), Ultra(253B)입니다.
2026년 1월 기준으로 가장 작은 모델인 나노만 현재 사용 가능합니다. 슈퍼와 울트라는 2026년 후반에 출시될 예정입니다.
모든 모델은 오픈 웨이트로 제공되어 상업적 사용 및 수정에 자유롭게 접근할 수 있습니다. 모델의 아키텍처는 모델 처리량을 늘리기 위해 새로운 효율성 개선을 적용하고 있습니다.

모델 개요

Nemotron 3 모델은 토큰 생성 속도, 즉 처리량을 높이기 위해 설계된 Mixture of Experts 하이브리드 Mamba-Transformer 아키텍처를 사용합니다. 이는 모델이 자기 주의(self-attention) 계층의 수를 줄이고 대신 Mamba-2(상태 공간 모델) 계층과 계산적으로 더 효율적이고 빠른 Mixture-of-Experts(MoE) 계층을 사용함을 의미합니다. 특히 더 긴 입력 시퀀스에서 이러한 계층은 처리 비용이 적고 속도가 빠릅니다. 이를 통해 Nemotron 3 모델은 더 적은 메모리와 자원을 사용하면서 긴 텍스트를 더 빠르게 처리할 수 있습니다. 필요한 곳에는 정확도를 최대한 유지하기 위해 일부 주의(attention) 계층이 포함되어 있습니다.

NVIDIA는 세 가지 모델 각각이 서로 다른 플랫폼에 최적화되어 있다고 설명합니다. Nano는 정확성을 희생하지 않으면서 특정 에이전트 작업에 대한 비용 효율성을 제공합니다. Super는 다중 에이전트 추론에서 높은 정확성을 제공합니다. Ultra는 추론 정확성을 극대화합니다.

Nano는 세 가지 중 가장 작으며 성능 면에서 Qwen3-30B와 GPT-OSS-20B와 비슷합니다. 2026년 1월 기준으로 세 가지 중 유일하게 사용 가능한 모델입니다.

Nano는 추론 작업과 비추론 작업 모두에 사용할 수 있으며, 채팅 템플릿의 플래그를 통해 추론 기능을 끌 수 있는 옵션이 있습니다. 구성에서 추론이 비활성화되면 응답의 정확도가 낮아집니다.

Nano는 23개의 Mamba-2 및 MoE 레이어와 6개의 어텐션 레이어로 구성된 하이브리드 Mixture-of-Experts(MoE) 아키텍처로, 각 MoE 레이어에는 128개의 전문가와 1개의 공유 전문가가 포함되어 있습니다. 토큰당 다섯 명의 전문가가 활성화되어 총 300억 파라미터 중 35억 개가 활성화됩니다.

Super와 Ultra는 모두 LatentMoE와 Multi-Token Prediction(MTP) 레이어를 사용하여 텍스트 생성 속도를 더욱 높입니다. MTP는 단일 토큰만 예측하는 대신 한 번의 순방향 패스로 여러 토큰을 동시에 예측할 수 있는 기능입니다. LatentMoE는 각 전문가가 처리해야 하는 입력 데이터 크기를 압축하여 토큰당 계산량을 줄이는 새로운 전문가 할당 방식입니다. 이들은 이러한 효율성 절감을 활용하여 각 토큰에 사용할 수 있는 전문가 수를 늘립니다.

NVIDIA의 이번 출시 백서에서, 그들은 Super를 협업 에이전트가 대규모 작업을 처리하는 IT 티켓 자동화와 같은 워크로드에 최적화되어 있다고 설명합니다. Ultra는 정확성과 추론 성능이 가장 중요한 경우에 선택하는 옵션입니다.

1단계 — GPU 드롭릿 생성

Linux-Console.net GPU Droplet에 Nemotron 3 Nano를 배포하려면 먼저, Linux-Console.net 계정에 로그인하고 GPU Droplet을 생성하세요.

이미지로 AI/ML 준비됨을 선택하고 NVIDIA H100을 선택하세요. SSH 키를 추가하거나 선택한 후 Linux-Console.net Droplet을 생성하세요.

2단계 — GPU 드롭릿 연결하기

Linux-Console.net Droplet가 생성되면 SSH(보안 셸)를 사용하여 서버 인스턴스에 접속합니다. 명령어 라인으로 이동하여 다음 명령어를 입력하되, 강조 표시된 your_server_ip 자리 표시자 값을 인스턴스의 공개 IPv4 주소로 바꿉니다. IP 주소는 GPU 인스턴스 대시보드의 연결 세부 정보 섹션에서 확인할 수 있습니다.

ssh root@your_server_ip

다음과 같은 메시지를 받을 수 있습니다:

The authenticity of host 'your_server_ip (your_server_ip)' can't be established.....Are you sure you want to continue connecting (yes/no/[fingerprint])?

그렇게 하려면 yes를 입력하고 ENTER를 누르세요.

3단계 — Python 및 vLLM 설치

다음으로, 여전히 리눅스 인스턴스에 있는지 확인하고 Python을 설치하세요.

sudo apt install python3 python3-pip

추가 공간이 사용될 것임을 알리고 계속할 것인지 묻는 메시지가 표시될 수 있습니다. 메시지가 표시되면 Y를 입력하고 ENTER를 누르세요.

만약 '구식 라이브러리를 사용하는 데몬(Daemons using outdated libraries)' 메시지가 나타나고 어떤 서비스를 재시작할지 묻는다면, ENTER를 누르면 됩니다.

Python 설치가 완료되면 vLLM을 설치하세요.

pip install vllm

이 패키지는 설치하는 데 시간이 조금 걸릴 수 있습니다. 설치가 완료되면 Hugging Face에서 맞춤 파서를 다운로드하세요.

wget https://huggingface.co/nvidia/NVIDIA-Nemotron-3-Nano-30B-A3B-BF16/resolve/main/nano_v3_reasoning_parser.py

커스텀 파서는 Nemotron-3 Nano v3의 추론 및 도구 호출 마크업을 해석하여 vLLM이 올바르게 응답을 제공하고 도구 호출을 라우팅할 수 있도록 합니다.

4단계 — 네모트론 모델 제공하기

Hugging Face의 모델 ID를 사용하여 제공하려는 모델을 정확히 지정하세요.

vllm serve --model nvidia/NVIDIA-Nemotron-3-Nano-30B-A3B-BF16 \
 --max-num-seqs 8 \
  --tensor-parallel-size 1 \
  --max-model-len 262144 \
  --port 8000 \
  --trust-remote-code \
  --reasoning-parser-plugin nano_v3_reasoning_parser.py \
  --reasoning-parser nano_v3

max-num-seqs는 동시에 처리할 수 있는 최대 출력 수입니다. 이 예시에서는 한 번에 최대 8개의 단일 출력 요청을 처리할 수 있습니다.

tensor-parallel-size는 텐서 병렬화를 통해 모델을 분산할 GPU의 수를 의미합니다. 1은 단일 GPU와 같습니다. max-model-len은 요청당 최대 토큰 수를 의미합니다. trust-remote-code는 Nemotron의 맞춤 채팅 템플릿과 파싱 로직에 필요합니다.

마지막으로, reasoning-parser-plugin과 reasoning-parser 매개변수는 사용자 정의 추론 파서를 로드하고 선택합니다.

모델이 로드되어 vLLM과 함께 인스턴스에서 제공되면, 로컬에서 또는 다른 서버에서 Python을 사용하여 엔드포인트에 추론 호출을 할 수 있습니다. example_vllm_request.py라는 이름의 Python 파일을 만들고 다음 코드를 실행하세요. your_server_ip를 GPU Droplet의 IP 주소로 바꾸세요.

import requests

url = "http://your_server_ip:8000/v1/completions"
data = {
    "model": "nvidia/NVIDIA-Nemotron-3-Nano-30B-A3B-BF16",
    "messages": [{"role": "user", "content": "What is the capital of France?"}],
    "max_tokens": 1000
}

response = requests.post(url, json=data)
message = response.json()['choices'][0]['message']['content']
print(message)

다음과 유사한 출력 결과를 보게 될 것입니다:

The capital of France is **Paris**.

전체 response.json() 객체를 출력하면 추론 토큰을 확인할 수 있습니다. 추론을 비활성화한 상태로 실행하고 싶다면 위의 데이터 객체에 chat_template_kwargs 매개변수를 추가하면 됩니다.

data = {
    "model": "nvidia/NVIDIA-Nemotron-3-Nano-30B-A3B-BF16",
    "messages": [{"role": "user", "content": "What is the capital of France?"}],
    "max_tokens": 1000,
    "chat_template_kwargs": {"enable_thinking": False},
}

자주 묻는 질문

Nemotron 3 Nano를 로컬에서 실행하기 위해 필요한 하드웨어 요구 사항과 GPU 메모리는 무엇인가요?

Nemotron 3 Nano는 A100 80GB나 H100과 같은 최소 60GB VRAM을 가진 GPU에서 BF16 정밀도로 실행할 수 있습니다. 양자화된 버전은 메모리가 적은 GPU에서도 실행 가능할 수 있습니다.

내 데이터를 사용하여 Nemotron 3 Nano를 직접 미세 조정할 수 있나요, 그리고 라이선스 관련 영향은 무엇인가요?

네, Nemotron 3 모델은 상업적 사용, 수정 및 세부 조정을 허용하는 NVIDIA의 오픈 모델 라이선스하에 출시됩니다. 생성된 출력물에 대한 완전한 소유권을 유지하며, 특정 사용 사례에 맞게 모델을 맞춤형 데이터셋으로 세부 조정할 수 있습니다.

Mixture-of-Experts(MoE) 아키텍처와 전통적인 트랜스포머 모델은 추론 비용 측면에서 어떤 차이가 있나요?

MoE 아키텍처는 토큰당 128명의 전문가 중 5명만 활성화하므로(300억 매개변수 중 35억), 전통적인 밀집 모델보다 추론이 훨씬 효율적입니다.

NVIDIA가 과거에 다른 LLM을 출시한 적이 있나요?

네, NVIDIA는 다른 Nemotron 모델 버전, Megatron, ASR 모델 등 다양한 오픈 모델과 데이터셋을 대량으로 공개했습니다.

결론

네모트론 3 패밀리는 비교적 효과적이고 효율적인 오픈 모델로, 빠른 추론 속도와 정확한 결과를 제공합니다. 가장 작은 버전인 나노(Nano)는 2026년 1월 현재 사용 가능하며, 나머지 두 가지 더 큰 버전은 앞으로 몇 달 내에 출시될 예정입니다.

이 튜토리얼에서는 Linux-Console.net GPU Droplet에 Nemotron 3 Nano를 배포했습니다. 다음으로, 높은 수준의 개인정보 보호와 제어가 필요한 데이터 민감 애플리케이션에 이를 사용하는 워크플로를 구축할 수 있습니다.

Linux-Console.net 커뮤니티와 함께 학습해 주셔서 감사합니다.