웹사이트 검색

QwenLong-L1.5: 장기 맥락 추론

대형 언어 모델(LLM)은 추론 능력이 빠르게 향상되고 있지만, 장기 문맥 추론은 여전히 가장 어려운 과제 중 하나로 남아 있습니다. 사전 학습을 통해 문맥 창이 수십만 토큰으로 확장되었지만, 방대한 문서를 대상으로 하는 추론을 위한 사후 학습 기법은 아직 미성숙한 상태입니다.

QwenLong-L1.5는 알리바바 통이 연구소에서 출시되었으며, 다음을 결합한 완전한 사후 학습 레시피로 이 격차를 해소합니다:

  • 장기 문맥 데이터 합성
  • 강화 학습은 긴 시퀀스를 위해 설계되었습니다
  • 모델의 물리적 컨텍스트 창을 넘어서는 메모리 관리 프레임워크

이 글에서는 다음 내용을 살펴보겠습니다:

  • QwenLong-L1.5의 차별점
  • 메모리 증강 추론 아키텍처
  • QwenLong-L1.5를 Linux-Console.net GPU Droplet에서 실행하는 방법
  • 장기 문맥 작업을 위한 실용적인 추론 코드

핵심 요점

  • QwenLong-L1.5는 장기 문맥 추론을 위해 특별히 설계되었습니다, 이는 대규모 문서나 장시간 대화를 처리할 때 기존 LLM이 직면하는 한계를 해결합니다.
  • QwenLong-L1.5는 강력한 추론 및 계획 능력을 갖춘 Qwen3-30B-A3B-Thinking 모델을 기반으로 합니다.
  • 단순한 학습 과제에 의존하는 대신, 실제 사용 사례를 더 잘 반영하는 구조화된 데이터 합성과 다중 단계 추론 과제를 사용합니다.
  • 이 모델은 매우 긴 시퀀스에서 강화 학습을 안정화하기 위해 적응적 엔트로피 제어 정책 최적화(AEPO)를 도입합니다.
  • 이 모델은 긴 시퀀스에 맞춘 강화 학습 기법으로 훈련되었으며, 안정성과 학습 효율성을 개선하는 적응형 엔트로피 제어 정책 최적화(AEPO)를 포함합니다.
  • 다단계 메모리 융합 프레임워크는 정보를 요약하고 저장하며 반복적으로 재사용함으로써 모델이 고유한 256K 토큰 창을 넘어 추론할 수 있도록 합니다.
  • 이러한 개선은 장기 문맥 작업을 향상시킬 뿐만 아니라 수학, 도구 사용, 대화의 일관성을 포함한 전반적인 추론 능력도 향상시킵니다.
  • 이 모델은 256K 토큰의 기본 컨텍스트 창을 가지고 있지만, 메모리 관리 프레임워크를 통해 사실상 무제한 길이의 정보를 효과적으로 논리적으로 처리할 수 있습니다.

QwenLong-L1.5란 무엇인가?

QwenLong-L1.5는 Qwen3-30B-A3B-Thinking을 기반으로 한 장기 컨텍스트 추론 모델입니다. 이 모델은 고급 사후 학습 기술을 통해 기본 모델을 확장하여 256K 토큰을 훨씬 초과하는 문서에 대한 추론을 가능하게 하고, 전 세계에 분산된 정보를 대상으로 한 다단계 추론을 지원하며, 매우 긴 입력 시퀀스에서도 안정적인 학습을 유지합니다.

장기 컨텍스트 사후 학습이 중요한 이유

대부분의 LLM이 실패하는 이유는 정보가 부족해서가 아니라 다음과 같은 이유 때문입니다:

  • 이전 사실을 잊다
  • 다단계 추론 실패
  • 장기 시퀀스 RL 동안 그래디언트 축소

QwenLong-L1.5의 핵심 혁신

장기 문맥 데이터 합성 파이프라인

QwenLong-L1.5는 장기 문맥 추론을 세 가지 주요 방식으로 향상시킵니다. 첫째, 단순히 '한 가지 사실 찾기'와 같은 기본 과제를 사용하는 대신, 문서를 작은 사실 단위로 나누고 모델이 여러 부분의 정보를 연결해야 하는 질문을 생성하여 더 똑똑한 학습 데이터를 만듭니다. 둘째, 매우 긴 입력을 다룰 때 학습을 안정적으로 유지하기 위해 특별히 설계된 강화 학습 기법을 사용하며, 여기에는 텍스트 길이가 증가함에 따라 모델이 학습하는 방식을 세밀하게 제어하는 AEPO라는 방법이 포함됩니다. 마지막으로, 일부 과제는 모델이 한 번에 읽을 수 있는 범위를 초과하기 때문에, 모델이 중요한 정보를 요약하고 저장하며 여러 단계에 걸쳐 재사용할 수 있는 메모리 시스템을 추가하여, 정상적인 문맥 범위를 넘어선 상황에서도 효과적으로 추론할 수 있게 합니다.

적응형 엔트로피 제어 정책 최적화 (AEPO)

긴 시퀀스에 대한 학습은 표준 RL에서 정책 붕괴를 초래합니다. QwenLong-L1.5는 다음과 같은 AEPO를 도입합니다:

  • 엔트로피 제약을 동적으로 조정
  • 그래디언트 폭발 방지
  • 증가하는 시퀀스 길이에 대한 커리큘럼 학습을 활성화합니다

컨텍스트 창을 넘어선 메모리 관리

QwenLong-L1.5는 본래 256K 토큰 컨텍스트 창을 훨씬 초과하는 정보를 기반으로 추론할 수 있도록 멀티 스테이지 메모리 융합 프레임워크를 도입합니다. 첫 번째 단계에서 모델은 사용 가능한 컨텍스트 내의 큰 텍스트 덩어리를 단일 패스로 추론하여 주요 신호와 중간 추론 결과를 추출합니다. 그런 다음 이러한 중요한 세부 사항은 요약되어 구조화된 메모리 표현으로 압축되며, 여기서 핵심 사실을 보존하면서 중복된 정보는 제거됩니다.

다음 단계에서, 이 메모리는 모델이 문서의 새로운 구간을 처리함에 따라 반복적으로 업데이트되어, 이전에 학습된 정보를 시간이 지나면서 정제하고 확장하거나 수정할 수 있게 합니다. 마지막으로, 융합 기반 강화 학습(RL) 접근법은 모델의 추론 과정을 메모리 업데이트와 정렬시켜, 저장된 메모리가 정확한 추론을 직접 지원하도록 보장하며, 메모리가 벗어나거나 무관해지는 것을 방지합니다. 이러한 단계들이 결합되어 QwenLong-L1.5는 방대한 문서 스트림을 읽고, 긴 텍스트 구간에서도 일관성을 유지하며, 단일 컨텍스트 창만으로는 불가능한 다단계 반복 추론 루프를 수행할 수 있게 합니다.

QwenLong-L1.5 성능

이 벤치마크 비교는 QwenLong-L1.5-30B-A3B가 기본 모델인 Qwen3-30B-A3B-Thinking보다 일관되게 더 우수한 성능을 보이며, Gemini-2.5-Pro, Gemini-2.5-Flash-Thinking, DeepSeek-R1, Qwen3-Max-Thinking과 같은 선도적인 장문 처리 모델들과도 여전히 높은 경쟁력을 유지하고 있음을 보여줍니다. QwenLong-L1은 다중 문서 독해(MRCR), CorpusQA, 문서 수준 수학 추론(DocMath), LongBench 평가 등 다양한 장문 과제 전반에 걸쳐 우수한 성능을 발휘합니다. 5는 강력하고 균형 잡힌 성능을 보여줍니다. 여기서 주목할 점은 이 모델이 LongBench-V1, Frames, LongBench-V2와 같이 추론 중심 및 메모리 집약적 벤치마크에서 상당한 성능 향상을 달성하여 전체 평균 정확도에서 최고 또는 거의 최고 수준을 기록했다는 것입니다. 이러한 결과는 QwenLong-L1.5의 사후 학습 전략과 메모리 융합 프레임워크가 단일 벤치마크에 국한된 성과가 아니라 실제 장문 맥락 추론 작업에서 신뢰할 수 있는 향상으로 이어진다는 점을 보여줍니다.

왜 Linux-Console.net GPU에서 QwenLong-L1.5를 실행하나요?

Linux-Console.net GPU Droplets는 다음과 같은 이유로 장기 컨텍스트 추론에 이상적입니다:

  • H100 및 H200과 같은 고메모리 NVIDIA GPU
  • 예측 가능한 가격
  • 효율적이고 간편한 GPU 설정
  • 완전한 SSH 및 CUDA 제어

권장 GPU 구성

작업GPU
추론A100/H100
장기 맥락 추론H100 (권장)

1단계: Linux-Console.net GPU 드롭릿 만들기

모델을 실행하는 데 필요한 계산 자원을 제공하기 위해 Linux-Console.net에서 GPU 드롭렛을 생성하는 것부터 시작하세요.

선택:

  • 이미지: 우분투 22.04
  • GPU: H100 또는 A100
  • 80GB VRAM (긴 컨텍스트는 메모리를 많이 사용함)

리소스 섹션에 링크된 전체 가이드를 확인하여 Linux-Console.net에서 GPU 드롭렛을 만드는 방법을 알아보세요.

2단계: 환경 설정

GPU Droplet이 AI 작업을 실행하고 개발할 준비가 되도록 필요한 드라이버, 라이브러리 및 종속 항목을 설치하여 시스템 환경을 구성하세요.

# Update system
sudo apt update && sudo apt upgrade -y

# Install Python tools
sudo apt install -y python3-pip git
# Create virtual environment

python3 -m venv .venv
source .venv/bin/activate

3단계: 의존성 설치

모델을 실행하는 데 필요한 모든 소프트웨어 패키지, 프레임워크 및 라이브러리를 설치하십시오.

pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu121


# Verify Installation
python - <<EOF
import torch
print("Torch version:", torch.__version__)
print("CUDA available:", torch.cuda.is_available())
EOF

4단계: Hugging Face에 로그인하기

사전 학습된 모델을 다운로드하고 실행하는 데 필요한 모델, 데이터셋 및 토큰에 접근하려면 Hugging Face로 인증하세요.

pip install -U huggingface_hub
hf auth login

요청 시 Hugging Face 액세스 토큰을 붙여넣으세요 (생성 방법: Hugging Face → 설정 → 액세스 토큰)

4단계: Linux-Console.net GPU에서 QwenLong-L1.5 다운로드

QwenLong-L1.5 모델을 Linux-Console.net GPU Droplet에 로드하세요

hf download Tongyi-Zhiwen/QwenLong-L1.5-30B-A3B

5단계: verl 설치

# Install verl, we use the 0.4 version of verl
git clone --branch v0.4 https://github.com/volcengine/verl.git
cd verl
pip3 install -e .

6단계: 모델 사용 시작

QwenLong-L1.5 모델을 로드하고 장기 문맥 추론 기능을 활용하기 위해 추론이나 실험을 시작하세요.

# Load the model
from transformers import AutoModelForCausalLM, AutoTokenizer

model_name = "Tongyi-Zhiwen/QwenLong-L1.5-30B-A3B"

tokenizer = AutoTokenizer.from_pretrained(model_name)

model = AutoModelForCausalLM.from_pretrained(
    model_name,
    torch_dtype=torch.float16,
    device_map="auto"
)

GPU 메모리 전체에 가중치를 효율적으로 분배하려면 device_map="auto"를 사용하세요.

7단계: 장기 맥락 추론 예제

입력 시퀀스로 추론을 실행하여 QwenLong-L1.5가 실제로 장기 문맥과 다중 홉 추론을 어떻게 처리하는지 확인하세요.

인터넷에서 장편 소설 다운로드하기

import requests

url = "https://www.gutenberg.org/files/1342/1342-0.txt"
output_file = "novel.txt"

response = requests.get(url)
response.raise_for_status()

with open(output_file, "w", encoding="utf-8") as f:
    f.write(response.text)

print("Novel downloaded successfully.")

URL을 자신의 데이터 소스로 교체하세요.

소설 불러오기 및 전처리(선택적 단계)

def load_novel(path):
    with open(path, "r", encoding="utf-8") as f:
        text = f.read()

    # Optional cleanup
    start_marker = "*** START OF"
    end_marker = "*** END OF"

    if start_marker in text:
        text = text.split(start_marker)[-1]
    if end_marker in text:
        text = text.split(end_marker)[0]

    return text.strip()

novel_text = load_novel("novel.txt")
print(f"Novel length (characters): {len(novel_text)}")

장기 컨텍스트 프롬프트 만들기

question = (
    "Who is the main protagonist of the novel, "
    "and how does her personality evolve throughout the story?"
)
template = """
Please read the following novel and answer the question below.

<novel>
{novel}
</novel>

Question:
{question}

Format your response as:
"Therefore, the answer is (your answer here)"
"""

prompt = template.format(
    novel=novel_text,
    question=question
)

토크나이즈하고 추론 실행

긴 문맥 추론은 GPU를 많이 사용하므로, 충분한 GPU 메모리가 있는지 확인하세요.

messages = [
    {"role": "user", "content": prompt}
]

text = tokenizer.apply_chat_template(
    messages,
    tokenize=False,
    add_generation_prompt=True
)

inputs = tokenizer(
    [text],
    return_tensors="pt"
).to(model.device)
with torch.no_grad():
    outputs = model.generate(
        **inputs,
        max_new_tokens=2000,
        temperature=0.7,
        top_p=0.95
    )

추론 및 최종 답변 추출

output_ids = outputs[0][len(inputs.input_ids[0]):].tolist()

try:
    # token id for </think>
    end_think_idx = len(output_ids) - output_ids[::-1].index(151668)
except ValueError:
    end_think_idx = 0

thinking = tokenizer.decode(
    output_ids[:end_think_idx],
    skip_special_tokens=True
).strip()

final_answer = tokenizer.decode(
    output_ids[end_think_idx:],
    skip_special_tokens=True
).strip()

print("Reasoning:\n", thinking)
print("\nAnswer:\n", final_answer)

만약 소설이 256K 토큰에도 너무 클 경우, 이렇게 하세요:

  • 소설을 여러 부분(예: 장)으로 나누세요
  • 청크를 순차적으로 입력하세요
  • QwenLong-L1.5가 내부적으로 메모리를 업데이트하게 하세요
  • 모든 부분을 처리한 후에 질문하세요

실제 사례

방대한 양의 데이터를 이해하고 추론해야 하는 애플리케이션, 예를 들어 길이 긴 법률 또는 금융 문서를 평가하고, 연구 논문을 요약 및 종합하며, 장기간 상호작용에서 맥락을 유지해야 하는 대화형 에이전트를 구동하는 경우, QwenLong-L1.5에 적합합니다. 이는 여러 문서에서 데이터를 통합하여 정확하고 맥락에 맞는 응답을 제공하는 기업용 지식 지원 도우미를 만드는 데 적합하며, 여러 단계에 걸쳐 지침과 결과를 모니터링해야 하는 도구 사용형 AI 에이전트를 구현하는 데도 효과적입니다.

자주 묻는 질문

QwenLong-L1.5란 무엇인가요?

QwenLong-L1.5는 알리바바 통이 연구소에서 개발한 장기 컨텍스트 추론 모델로, Qwen3-30B-A3B-Thinking을 기반으로 구축되었으며, 메모리 관리와 강화 학습에 중점을 둔 사후 훈련 기법을 통해 성능이 향상되었습니다.

QwenLong-L1.5는 일반적인 LLM과 어떻게 다른가요?

매우 긴 입력을 처리하는 데 어려움을 겪는 일반적인 LLM과 달리, QwenLong-L1.5는 메모리 프레임워크와 특화된 학습 전략을 사용하여 물리적 컨텍스트 창을 초과하는 문서 전반에 걸쳐 추론할 수 있습니다.

QwenLong-L1.5의 최대 컨텍스트 길이는 얼마인가요?

이 모델은 256K 토큰의 기본 컨텍스트 창을 가지고 있지만, 메모리 관리 프레임워크 덕분에 이 한계를 훨씬 넘어서는 정보를 효과적으로 처리할 수 있습니다.

왜 QwenLong-L1.5에 Linux-Console.net GPU를 사용하나요?

Linux-Console.net GPU 드롭렛은 고성능 GPU, 예측 가능한 가격, 쉬운 설정을 제공하여 QwenLong-L1.5와 같은 대형 모델을 프로덕션이나 연구 환경에서 실행하는 데 이상적입니다.

QwenLong-L1.5를 일반적인 추론 작업에 사용할 수 있나요?

네. 장기 문맥 추론 능력의 향상은 수학, 도구 사용, 장문의 대화와 같은 일반 영역에서도 더 나은 성과로 이어집니다.

결론

QwenLong-L1.5가 보여주는 강력한 장기 문맥 추론은 단순히 문맥 창의 크기에만 의존하는 것이 아니라, 모델이 시간에 따라 정보를 추론하고 유지하며 업데이트하도록 얼마나 잘 학습되었는지에도 달려 있습니다. QwenLong-L1.5는 구조화된 데이터 합성, 특화된 강화 학습 기법, 다단계 메모리 관리 프레임워크를 결합하여 대규모 문서와 장기 상호작용이 필요한 복잡한 작업을 처리할 수 있습니다. Linux-Console.net GPU 드롭릿에 구현될 경우 문서 분석, 연구 종합, 기업 지식 지원과 같은 실용적 사용 분야에서 실현 가능하고 확장 가능한 솔루션이 됩니다. 모든 것을 고려할 때, QwenLong-L1.5는 장기 문맥 추론을 위한 강력하고 투명한 방법을 제공하며, 실제 환경에서 뛰어난 성능과 실용성을 보여줍니다.

참조

  • Tongyi-Zhiwen/QwenLong-L1.5-30B-A3B
  • QwenLong-L1.5: 장기 컨텍스트 추론 및 메모리 관리용 사후 훈련 레시피
  • Linux-Console.net 그라디언트™ AI GPU 드롭릿을 만드는 방법

Linux-Console.net 커뮤니티와 함께 학습해 주셔서 감사합니다.