웹사이트 검색

사용자 정의 데이터를 이용한 LoRA 기반 파라미터 효율적 파인튜닝

대형 언어 모델은 우리가 애플리케이션을 구축하고, 콘텐츠를 작성하며, 일상 업무를 자동화하는 방식을 변화시켰습니다. 그러나 가장 강력한 LLM조차도 일반 목적 시스템으로 훈련되어 있습니다. 이들은 자연스럽게 내부 문서, 브랜드 목소리 또는 회사 문서를 이해하지 못합니다. 프롬프트 엔지니어링이 어느 정도 도움을 줄 수 있지만, 시간이 지남에 따라 프롬프트가 길어지고, 취약하며, 일관성이 없어질 수 있습니다.

한 가지 방법은 자신의 데이터를 사용하여 직접 모델을 구축하는 것이고, 또 다른 지름길은 모델 미세 조정**입니다. 모델 미세 조정**은 모델이 예제를 기반으로 행동을 조정할 수 있게 함으로써 더 강력한 해결책을 제공합니다. 현대의 미세 조정 기술 중에서, LoRA는 LLM에게 새로운 것을 가르치는 가장 실용적이고 비용 효율적인 방법 중 하나로 떠올랐습니다.

이 글에서는 LoRA에 대해 설명하고, LoRA 파인튜닝이 실제로 무엇을 의미하는지 명확히 하며, 코드와 실제 사례 중심의 지침을 포함한 맞춤형 데이터를 사용한 완전한 구현 과정을 안내합니다.

핵심 요점

  • LoRA는 기본 모델을 고정하고 소수의 저순위 어댑터 가중치만 학습함으로써 파라미터 효율적인 미세 조정을 가능하게 하여 계산 및 메모리 요구 사항을 대폭 줄여줍니다.
  • 이 접근 방식은 대형 언어 모델의 일반적인 추론 능력을 유지하면서 모델의 행동, 톤, 구조를 특정 도메인에 맞게 변경합니다.
  • LoRA 미세 조정은 방대한 양의 새로운 사실 지식을 주입하기보다는 행동 및 과제 적응에 더 적합합니다.
  • 고품질의 잘 구조화된 데이터셋이 단순한 데이터셋 크기보다 LoRA 성능에 더 큰 영향을 미칩니다.
  • LoRA 어댑터는 경량이고 모듈식이어서 하나의 기본 모델로 여러 도메인별 동작을 유지할 수 있습니다.
  • LoRA는 RAG와 같은 검색 기반 기법과 잘 통합되어 학습된 행동과 동적인 지식 접근을 결합한 확장 가능한 시스템을 가능하게 합니다.
  • LoRA의 저렴한 비용과 빠른 반복 주기는 실험, 프로토타이핑 및 실제 배포에 특히 적합합니다.

LoRA를 더 깊이 이해하기

LoRA는 Low-Rank Adaptation의 약자로, 트랜스포머와 같은 대규모 신경망을 위해 설계된 파라미터 효율적 파인튜닝 방법입니다. 기존의 파인튜닝은 모든 모델 가중치를 업데이트해야 하므로, 수십억 개의 파라미터를 가진 모델을 다룰 때 계산 비용이 높고 메모리 사용이 많습니다. LoRA는 원래 모델 가중치를 완전히 고정하고, 모델의 동작을 조정하는 방법을 학습하는 소수의 새로운 학습 가능한 파라미터를 도입함으로써 이를 피합니다.

트랜스포머 모델 안에서, 학습 용량의 대부분은 특히 어텐션 레이어에서 큰 행렬 곱셈에서 나옵니다. LoRA는 이 큰 행렬들에 대한 업데이트를 두 개의 훨씬 작은 행렬을 사용해 근사함으로써 작동하며, 이 작은 행렬들의 곱이 해당 작업에 필요한 변화를 나타냅니다.

이러한 행렬이 저랭크이기 때문에 학습해야 할 파라미터의 수가 크게 줄어듭니다. 기본 모델은 변경되지 않아 일반적인 지식을 유지하는 반면, LoRA 레이어는 새로운 작업이나 도메인에 맞춰 전문화됩니다.

이미지 출처

LoRA의 가장 강력한 측면 중 하나는 이러한 적응이 모듈식이라는 점입니다. 하나의 기본 모델이 여러 LoRA 어댑터를 지원할 수 있으며, 각 어댑터는 다른 목적을 위해 훈련될 수 있고, 전체 모델을 다시 훈련하거나 재배포하지 않고도 언제든지 교체할 수 있습니다.

LoRA 세부 조정이 실제로 의미하는 것

LoRA 파인튜닝은 기본 언어 모델을 고정한 채로 LoRA 어댑터 레이어만 맞춤 데이터셋으로 학습하는 과정을 말합니다. 모델을 처음부터 모든 것을 가르치는 대신, 핵심 레이어에서 정보를 처리하는 방식을 조정하여 특정 행동을 유도하는 방식입니다. 이 접근법은 대량의 새로운 사실 지식을 주입하기보다는 글쓰기 스타일, 응답 구조, 어조 또는 도메인 이해를 수정하는 것이 목표일 때 특히 효과적입니다.

LoRA로 미세 조정을 할 때, 모델은 당신의 예제에서 패턴을 학습하고 이를 어댑터 가중치에 내재화합니다. 추론 중에는 모델이 원래의 지식과 학습된 적응을 결합하여, 일반적인 추론 능력을 유지하면서도 당신의 도메인에 자연스러운 출력 결과를 생성합니다.

이는 외부 문서를 실행 시점에 가져오는 RAG와 같은 검색 기반 접근 방식과 근본적으로 다릅니다. LoRA 미세 조정은 모델의 동작 방식을 변경하는 반면, RAG는 모델이 접근할 수 있는 내용을 변경합니다.

LoRA 맞춤 데이터 준비

LoRA 파인튜닝 모델의 품질은 주로 학습 데이터의 품질에 의해 결정됩니다. LoRA는 적은 수의 파라미터에 의존하기 때문에, 데이터의 불일치, 잡음, 잘 구조화되지 않은 예제에 특히 민감합니다. 가장 효과적인 데이터셋은 모델이 실제 환경에서 사용될 방식과 유사한 지침-응답 쌍이나 채팅 대화 형식으로 구성된 것들입니다.

각 예시는 모델이 학습하기 원하는 행동을 명확하게 보여주어야 합니다. 작업이 요약, 설명 또는 특정 분야의 글쓰기와 관련된 경우, 출력물은 톤, 길이, 구조에서 일관성을 가져야 합니다. 반복적이거나 모순되는 예시는 어댑터를 혼란스럽게 하고 일반화 능력을 저하시킬 수 있으므로 피해야 합니다.

커스텀 데이터셋에서 Qwen을 위한 LoRA 파인튜닝 실습 교육

이 섹션에서는 Qwen 지시 모델을 LoRA를 사용하여 미세 조정하여 Linux-Console.net에 특화된 지식을 가르칠 것입니다. 목표는 모델에게 Linux-Console.net에 대해 가르쳐서 전체 모델을 재학습하지 않고도 GPU Droplets, SSH 접근, VS Code 워크플로우와 관련된 고객 지원 스타일의 질문에 자신 있게 답할 수 있도록 하는 것입니다.

우리는 가벼운 JSON 데이터셋을 사용하고 LoRA를 이용해 소규모 파라미터만 학습하여, 단일 GPU 드롭렛에서도 효율적으로 이 접근법을 사용할 수 있습니다.

데이터셋 형식 정의

Qwen은 각 예제가 프롬프트와 그에 따른 예상 완성으로 구성되는 간단한 인과 언어 모델링 형식에서 잘 작동합니다. 각 학습 샘플에는 정확히 두 개의 키가 포함되어야 합니다: prompt와 completion.

다음은 digitalocean.json으로 저장된 맞춤 데이터셋의 예입니다:

{
  "prompt": "What is a Linux-Console.net GPU Droplet?",
  "completion": "A Linux-Console.net GPU Droplet is a cloud virtual machine equipped with NVIDIA GPUs, designed for compute-intensive workloads such as machine learning training, deep learning inference, and large-scale data processing."
}

또 다른 예시는 이렇게 보일 수 있습니다:

{
  "prompt": "Why can't I connect to my GPU Droplet using SSH?",
  "completion": "SSH connection issues usually occur due to incorrect usernames, missing SSH keys, or firewall rules blocking port 22. Verifying the Droplet status and SSH configuration typically resolves the issue."
}

이 형식은 모델이 사용자 질문에 자연스럽게 응답하는 방법을 학습할 수 있게 하며, 이는 고객 지원 스타일의 어시스턴트에 이상적입니다.

데이터셋 불러오기

데이터셋이 준비되면 Hugging Face datasets 라이브러리를 사용하여 불러옵니다.

from datasets import load_dataset

dataset = load_dataset(
    "json",
    data_files="digitalocean.json"
)

print(dataset["train"][0])

이 단계에서 각 항목은 여전히 원시 텍스트이며, 학습하기 전에 토큰화되어야 합니다.

토큰화 및 전처리

Qwen 모델은 모델이 시퀀스에서 다음 토큰을 예측하는 토큰화된 입력을 예상합니다. 이를 위해 프롬프트와 완성을 하나의 학습 문자열로 연결하고 동일한 토큰을 레이블로 사용합니다.

from transformers import AutoTokenizer

model_name = "Qwen/Qwen2.5-3B-Instruct"
tokenizer = AutoTokenizer.from_pretrained(model_name)

def preprocess(example):
    combined_text = example["prompt"] + "\n" + example["completion"]
    
    tokens = tokenizer(
        combined_text,
        max_length=256,
        padding="max_length",
        truncation=True
    )
    
    tokens["labels"] = tokens["input_ids"].copy()
    return tokens

tokenized_data = dataset.map(preprocess)

레이블을 입력 ID와 동일하게 설정함으로써, 우리는 모델을 인과 언어 모델링 설정에서 훈련시키며, 모델은 프롬프트를 주면 그에 대한 완성을 생성하는 법을 배우게 됩니다.

기본 Qwen 모델 불러오기

다음으로, GPU 메모리 사용량을 줄이기 위해 기본 Qwen 모델을 반정밀도로 로드합니다. 이는 단일 GPU 드롭렛에서 실행할 때 특히 중요합니다.

import torch
from transformers import AutoModelForCausalLM

model = AutoModelForCausalLM.from_pretrained(
    model_name,
    torch_dtype=torch.float16,
    device_map="auto"
)

이 시점에서 모델은 여전히 완전히 동결되어 있으며 Linux-Console.net 고유의 지식이나 맞춤 데이터에 맞게 조정되지 않았습니다.

LoRA 어댑터 연결

모든 모델 파라미터를 미세 조정하는 대신, 우리는 어텐션 레이어에 LoRA 어댑터를 부착합니다. 이 어댑터만이 학습 중에 학습 가능한 유일한 구성 요소가 될 것입니다.

from peft import LoraConfig, get_peft_model, TaskType

lora_config = LoraConfig(
    task_type=TaskType.CAUSAL_LM,
    r=8,
    lora_alpha=16,
    lora_dropout=0.05,
    target_modules=["q_proj", "k_proj", "v_proj"]
)

model = get_peft_model(model, lora_config)
model.print_trainable_parameters()

이 단계는 일반적으로 학습 가능한 매개변수의 수를 원래 모델 크기의 1% 이하로 줄입니다.

LoRA 어댑터 훈련

데이터셋이 준비되고 LoRA가 설정되었으면, 이제 학습을 진행할 수 있습니다. 아래 학습 구성은 의도적으로 단순하게 되어 있으며, 소규모에서 중간 규모 데이터셋에 잘 작동합니다.

from transformers import TrainingArguments, Trainer

training_args = TrainingArguments(
    output_dir="./qwen-do-lora",
    num_train_epochs=8,
    per_device_train_batch_size=2,
    gradient_accumulation_steps=8,
    learning_rate=2e-4,
    logging_steps=20,
    fp16=True,
    save_strategy="epoch",
    report_to="none"
)

trainer = Trainer(
    model=model,
    args=training_args,
    train_dataset=tokenized_data["train"]
)

trainer.train()

학습은 일반적으로 데이터셋 크기와 시퀀스 길이에 따라 다르지만, 16GB VRAM을 가진 GPU에서는 몇 분 내에 완료됩니다.

세밀 조정된 어댑터 저장

학습이 끝나면 LoRA 어댑터와 토크나이저만 저장합니다. 이렇게 하면 출력물이 가볍고 배포가 용이합니다.

model.save_pretrained("./qwen-do-lora")
tokenizer.save_pretrained("./qwen-do-lora")

기본 모델은 변하지 않으며 다른 어댑터에 재사용할 수 있습니다.

추론을 위해 미세 조정된 모델 불러오기

세부 조정된 모델을 사용하려면, 기본 모델을 다시 불러오고 학습된 LoRA 어댑터를 연결합니다.

from peft import PeftModel, PeftConfig

adapter_path = "./qwen-do-lora"

config = PeftConfig.from_pretrained(adapter_path)
base_model = AutoModelForCausalLM.from_pretrained(
    config.base_model_name_or_path,
    torch_dtype=torch.float16,
    device_map="auto"
)

model = PeftModel.from_pretrained(base_model, adapter_path)
tokenizer = AutoTokenizer.from_pretrained(adapter_path)

세부 조정된 모델에게 질문하기

이제 모델은 사전 학습 동안 명시적으로 훈련되지 않은 맞춤형 데이터셋을 기반으로 질문에 답할 수 있습니다.

inputs = tokenizer(
    "How does VS Code connect to a Linux-Console.net GPU Droplet?",
    return_tensors="pt"
).to(model.device)

outputs = model.generate(
    input_ids=inputs["input_ids"],
    attention_mask=inputs["attention_mask"],
    max_new_tokens=150
)

print(tokenizer.decode(outputs[0], skip_special_tokens=True))
VS Code connects to a Linux-Console.net GPU Droplet using SSH through the Remote SSH extension.
After installing the extension, you configure an SSH host that points to your Droplet’s public IP address and authentication key.
Once connected, VS Code runs commands directly on the remote machine, allowing you to edit files, run training scripts, and monitor GPU workloads as if the environment were local.

응답은 Linux-Console.net 데이터셋에서 배운 어조, 명확성, 기술적 초점을 반영할 것입니다.

LoRA 또는 저순위 적응 미세 조정은 데이터셋이 실제 사용과 동기화되어 있을 때 가장 잘 작동합니다. 학습 데이터가 너무 작거나, 일관성이 없거나, 잘못된 경우 모델이 과적합되거나 불안정한 출력을 생성할 수 있습니다. 학습 데이터의 품질이 모델이 무엇을 학습하고 얼마나 잘 작동하는지를 직접 결정합니다.

랭크, 학습률, 에포크 수를 조정하면 결과를 크게 향상시킬 수 있지만, 이러한 변경 사항은 항상 테스트 예제를 사용하여 검증해야 합니다. 많은 실무 시스템에서는 LoRA를 RAG와 결합하여 행동 적응과 최신 사실 정확성 간의 균형을 맞춥니다.

자주 묻는 질문

LoRA 파인튜닝은 전체 파인튜닝과 같은 건가요?

아니요, LoRA 파인튜닝은 전체 파인튜닝과 근본적으로 다릅니다. 전체 파인튜닝은 모든 모델 파라미터를 업데이트하는 방식으로 비용이 많이 들고 종종 불필요합니다. 반면에 LoRA 파인튜닝은 기본 모델을 동결시키고 소수의 추가 파라미터만 학습하기 때문에 더 빠르고, 저렴하며, 안정적이면서도 뛰어난 도메인 적응성을 달성할 수 있습니다.

LoRA 파인튜닝에는 얼마나 많은 데이터가 필요할까요?

LoRA는 상대적으로 작은 데이터셋, 종종 수백 개의 높은 품질의 예제만으로도 의미 있는 결과를 만들어낼 수 있습니다. 중요한 요소는 데이터의 양이 아니라 일관성과 관련성입니다. 실제 사용 패턴을 반영한 잘 선별된 예제들이 크고 잡음이 많은 데이터셋보다 훨씬 효과적입니다.

LoRA가 모델에 새로운 사실적 지식을 추가할 수 있나요?

LoRA는 새로운 사실 정보를 대량으로 주입하기에는 적합하지 않습니다. 주로 스타일, 톤, 작업 구조, 그리고 특정 도메인에 대한 추론을 가르치는 데 가장 적합합니다. 자주 변경되거나 방대한 사실 데이터셋의 경우, 검색 보강 생성(retrieval-augmented generation)이 더 나은 해결책입니다.

어떤 모델이 LoRA와 잘 작동하나요?

LoRA는 Qwen, LLaMA, Mistral, DeepSeek를 포함한 대부분의 트랜스포머 기반 인과 언어 모델에서 잘 작동합니다. 명확하게 정의된 어텐션 프로젝션 레이어를 가진 모델은 LoRA를 사용하여 적응하기 특히 쉬운데, 이러한 레이어가 저순위 어댑터의 일반적인 대상이기 때문입니다.

LoRA가 추론 속도에 영향을 미치나요?

LoRA는 추론 시 최소한의 오버헤드를 추가합니다. 어댑터가 작고 계산의 일부만 수정하기 때문에, 성능에 미치는 영향은 일반적으로 기반 모델과 비교해 무시할 수 있을 정도입니다. 많은 경우에 추론 속도는 거의 동일하게 유지됩니다.

하나의 기본 모델에 여러 LoRA 어댑터를 사용할 수 있나요?

네. LoRA의 강점 중 하나는 모듈화입니다. 서로 다른 도메인이나 작업을 위해 여러 어댑터를 유지하고 동일한 기본 모델 위에 동적으로 로드할 수 있어, 여러 전체 모델 체크포인트를 저장하거나 배포할 필요가 없습니다.

LoRA 파인튜닝이 잘 되었는지 어떻게 평가하나요?

평가는 일반적인 벤치마크보다는 특정 작업 결과물에 중점을 두어야 합니다. 미세 조정 전후의 응답을 비교하고, 보류된 예제에서 테스트하며, 행동 일관성을 검증하는 것이 원시 정확도 지표보다 더 유용한 경우가 많습니다.

LoRA가 생산 시스템에 적합한가요?

네, LoRA는 실제 생산 환경에서 사용하기에 적합합니다. 메모리 요구량이 적고, 학습 속도가 빠르며, 모듈식 배포 모델을 갖추고 있어 전체 미세 조정 모델에 비해 버전 관리, 모니터링, 업데이트가 더 용이합니다.

결론

LoRA 파인튜닝은 모델이 사용자 정의 데이터를 이해하도록 만드는 가장 쉽고 비용 효율적인 방법 중 하나입니다. 파인튜닝을 비용이 많이 들고 위험한 작업으로 보는 대신, LoRA는 이를 현대 개발 워크플로우에 자연스럽게 맞는 가볍고 반복 가능한 프로세스로 재정의합니다. 기본 모델을 그대로 유지하면서 필요한 부분만 학습함으로써, LoRA는 사용자 정의를 부담스럽지 않고 친근하게 느끼도록 합니다.

정말 눈에 띄는 점은 이 접근 방식이 얼마나 유연한가 하는 것입니다. 모든 사용 사례마다 새로운 모델이 필요하지 않습니다. 하나의 강력한 기본 모델이 작은 교체 가능한 어댑터를 통해 다양한 동작을 지원할 수 있습니다. 이는 시간이 지나면서 시스템을 발전시키고, 새로운 요구 사항에 대응하며, 비용을 관리하면서도 품질을 유지하는 것을 훨씬 쉽게 만듭니다.

근본적으로, LoRA는 모델에게 더 많은 데이터를 학습시키는 것보다는 올바른 방식으로 행동하도록 가르치는 것에 더 가깝습니다. 신중한 예시와 명확한 의도를 통해 모델이 당신의 분야 언어를 구사하고, 구조를 따르며, 실제 사용자들을 더 효과적으로 지원하도록 안내할 수 있습니다.

참조

  • LoRA를 사용하여 LLM을 미세 조정하는 방법
  • LLM 파인튜닝을 위한 LoRA를 처음부터 구현하기
  • LoRA(저랭크 적응)를 사용한 LLM 미세 조정을 위한 실용적인 팁
  • 맞춤 지식을 활용한 언어 모델 미세 조정
  • LoRA: 대규모 언어 모델의 저랭크 적응 설명
  • 예산으로 LLM 미세 조정하기: Linux-Console.net GPU 드롭릿 사용
  • LLM 파인튜닝: 도메인별 모델을 위한 가이드

Linux-Console.net 커뮤니티와 함께 학습해 주셔서 감사합니다.