웹사이트 검색

LTX-2, 마침내 Sora와 VEO를 따라잡는 오픈소스 오디오-비주얼 생성 기능 제공

지난 1년 동안 비디오 생성은 AI 기술의 가장 유망한 응용 분야 중 하나였습니다. OpenAI의 Sora, Google의 VEO, Kling AI 비디오가 소셜 미디어 전반에 확산됨에 따라, AI 비디오 생성은 현대 온라인 환경에서 사실상 피할 수 없는 현상이 되었습니다. 이는 장기적으로 많은 영향을 미칠 수 있지만, 이 기술의 유용성을 과소평가하거나 무시해서는 안 됩니다.

하지만 오픈 소스 기술은 이러한 독점 모델에 한동안 뒤처져 왔습니다. Wan2.2처럼 다양한 스타일로 품질 좋은 영상을 생성하고 프롬프트를 잘 따를 수는 있었지만, 오디오와 연동된 생성 기능은 부족했습니다. Wan의 Sound-to-Video 모델이 올바른 방향으로 한 걸음 나아가긴 했지만, 실제로 이러한 모델을 콘텐츠 제작과 같은 용도로 사용하기에는 난이도가 너무 높았습니다. 이러한 큰 제약 때문에 오픈 소스 기술은 더 넓은 비전문가 대상이나 기업 세계로 확장되지 못했습니다.

LTX-2로 모든 것이 바뀔 준비가 되어 있습니다. 오픈 소스 비디오 생성의 진정한 진보를 의미하는 LTX-2는 의심할 여지 없이 지금까지 오픈 소스로 공개된 가장 강력한 비디오 생성 기술입니다. 간단히 말해, "LTX-2는 단일 모델 내에서 동기화된 비디오와 오디오를 생성하도록 설계된 DiT 기반 오디오-비디오 기본 모델입니다." 이 강력한 조합과 소비자용 GPU에서도 실행할 수 있도록 효율적으로 설계된 모델 덕분에 LTX-2는 비디오 제작에 있어 강력한 도구가 됩니다.

이 튜토리얼에서는 LTX-2가 어떻게 작동하는지 아키텍처 파이프라인을 탐색하면서 살펴보고, 그 다음 ComfyUI를 사용하여 Linux-Console.net Gradient에서 LTX-2를 실행하는 방법을 보여드립니다.

주요 내용

  • LTX-2는 오디오와 비디오 모델링을 하나의 파이프라인으로 통합하여 비디오 생성에 진정한 진전을 이룬 기술입니다.
  • LTX-2는 NVIDIA GPU를 사용하여 Gradient AI에서 쉽게 실행할 수 있습니다
  • LTX-2는 현재 Hugging Face에서 무료로 사용할 수 있습니다

LTX-2: 작동 원리

LTX-2는 통합 비디오-오디오 생성 모델입니다. 기본적으로, 개별 비디오 및 오디오 스트림을 갖춘 비대칭 이중 스트림 트랜스포머로 구성되어 있으며, 이 스트림은 '시간적 위치 임베딩과 공유 타임스텝 조건화를 위한 교차 모달리티 AdaLN이 적용된 양방향 오디오-비디오 교차 주의층'과 결합되어 있습니다. 이러한 통합은 두 스트림을 보다 효율적으로 생성할 수 있도록 하며, 비디오 생성에는 오디오 생성보다 더 많은 용량을 할당할 수 있게 합니다.

위에 모델의 아키텍처를 볼 수 있습니다. 실제로 원본 비디오와 오디오 신호는 인과적 VAE를 통해 모달리티별 잠재 토큰으로 인코딩되며, 텍스트는 정교한 임베딩 파이프라인을 통해 처리됩니다. 이후 이중 스트림 확산 트랜스포머가 오디오와 비디오 잠재 표현을 함께 디노이징하며, 양방향 시청각 교차 주의와 텍스트 조건화를 활용하여 동기화된 시청각 출력을 생성합니다.

이를 가능하게 하기 위해, Lightricks 팀은 컴퓨터 비전과 오디오 생성 기술에서 여러 가지 발전을 이루었습니다. 특히, LTX-2의 논문은 이번 출시를 위해 이루어진 네 가지 주요 기여를 제시합니다:

-효율적인 비대칭 이중 스트림 아키텍처: 양방향 교차 주의(attention)와 교차 모달리티 AdaLN을 통해 공유된 타임스텝 조정을 지원하는 모달리티별 스트림을 갖춘 트랜스포머 기반 백본.

  • 사고 토큰을 활용한 텍스트 처리 블록: 그들은 또한 프롬프트 이해와 의미 안정성을 향상시키기 위해 다중 토큰 예측을 사용하는 새로운 텍스트 조건화 모듈을 개발했습니다.
  • 컴팩트 뉴럴 오디오 표현: 오디오를 처리하기 위해, 그들은 고해상도 1D 잠재 공간을 생성하는 효율적인 인과적 오디오 변분 오토인코더(VAE)를 개발했으며, 이는 확산 기반 학습 및 추론에 최적화되어 있습니다.
  • 모달리티 인식 무분류 지침: 교차 모달 가이드 스케일을 독립적으로 제어할 수 있게 해주는 새로운 이중 모드 구성 방식으로, 시청각 정렬을 크게 향상시킵니다.

이 모든 요소를 합치면 영상과 오디오 생성을 하나의 파이프라인으로 결합한 가장 효율적인 오픈 소스 비디오 모델이 됩니다.

데모: GPU 드롭렛에서 ComfyUI와 함께하는 LTX-2

이제 모델이 어떻게 작동하는지 살펴보았으므로 데모를 시작할 수 있습니다. 시작하려면 Linux-Console.net Gradient에 로그인하고 GPU Droplet을 생성하세요. LTX-2를 실행하려면 NVIDIA H100 또는 H200 GPU를 권장하지만, NVIDIA A6000에서도 충분히 실행 가능합니다. Droplet이 준비되면, 로컬 컴퓨터의 터미널에서 SSH를 통해 접속하세요.

GPU 드롭릿 설정하기

이 튜토리얼에 나와 있는 지침을 따라 GPU Droplet을 설정하세요. 이전에 설정한 적이 없다면 이 과정을 먼저 진행해야 합니다. 그런 다음 SSH를 사용하여 VS Code 또는 Cursor를 통해 로컬 머신에서 GPU Droplet에 접속합니다. 나중을 위해 터미널 창과 연결된 VS Code/Cursor 창을 모두 열어 두세요.

ComfyUI 설정 및 모델 다운로드

GPU Droplet에 연결된 터미널 창을 사용하여 원하는 디렉토리로 이동합니다. 그곳에 도착하면, 다음 코드를 붙여 넣어 GPU Droplet에 ComfyUI를 설치하고, LTX-2에 필요한 모델을 다운로드한 후 ComfyUI를 실행하고 VS Code/Cursor의 간단한 브라우저를 통해 접근하세요:

git clone https://github.com/Comfy-Org/ComfyUI
cd ComfyUI
python3 -m venv venv
source venv/bin/activate
pip install -r requirements.txt
cd models/text_encoders
wget https://huggingface.co/Comfy-Org/ltx-2/resolve/main/split_files/text_encoders/gemma_3_12B_it.safetensors
cd ../checkpoints
wget https://huggingface.co/Lightricks/LTX-2/resolve/main/ltx-2-19b-dev-fp8.safetensors
cd ../latent_upscale_models
wget https://huggingface.co/Lightricks/LTX-2/resolve/main/ltx-2-spatial-upscaler-x2-1.0.safetensors
cd ../loras
wget https://huggingface.co/Lightricks/LTX-2/resolve/main/ltx-2-19b-distilled-lora-384.safetensors
cd ../custom_nodes
git clone https://github.com/Lightricks/ComfyUI-LTXVideo
cd ComfyUI-LTXVideo/
pip install -r requirements.txt
cd ../..
python main.py

완료되면 출력된 URL(기본값은 http://127.0.0.1:8188)을 가져와서 VS Code/Cursor의 간단한 브라우저 기능을 사용해 로컬 컴퓨터의 브라우저에서 접속하세요.

LTX-2 실행

이제 LTX-2 워크플로우를 실행하려면, 창의 왼쪽에 있는 사이드바의 템플릿 아이콘으로 이동하면 됩니다. 아이콘을 클릭한 후 'LTX-2 텍스트 투 비디오' 템플릿을 검색하여 선택하세요. 이렇게 하면 설정이 완료됩니다. 이제 실행 버튼을 클릭하면, 기본적으로 비가 오는 이야기를 노래하는 인형을 담은 영상을 얻을 수 있습니다. 이 플랫폼에서는 영상을 공유할 수 없지만, 소리 없는 영상의 GIF는 여기에 있습니다.

여기서 우리는 출력 비디오를 수정하기 위해 프롬프트 창을 클릭하고, 비디오의 크기와 길이도 변경할 수 있습니다. 모든 아이디어를 자유롭게 시도해보는 것을 권장합니다. 이 모델은 소리가 있는 비디오를 만드는 데 뛰어나므로, '따옴표로 표시된' 대사, 소리 표시, 음악이 포함된 프롬프트를 반드시 포함하세요.

이미지에서 비디오로 생성하려면, 템플릿 선택 메뉴로 돌아가서 'LTX-2 이미지에서 비디오' 템플릿을 검색하세요. 그런 다음, 여러분이 만든 이미지나 실제로 찍은 이미지를 입력하고, 프롬프트를 사용해 애니메이션을 만들 수 있습니다. 예를 들어, 해변 장면의 정지 이미지를 폭풍치는 파도, 울부짖는 갈매기, 바람 부는 해변이 있는 전체 비디오 애니메이션으로 바꾸도록 지시할 수 있습니다. 다음은 그 예시입니다:

우리의 실험에서 분명히 나타난 바와 같이, 적어도 이번 LTX-2 첫 출시에서는 텍스트-투-비디오 기능이 이미지-투-비디오 기능을 훨씬 능가합니다. 다소 아쉬운 부분이지만, Lightricks의 LTX-2 팀이 약속한 바와 같이 앞으로의 모델 버전에서 이를 개선할 것으로 기대됩니다.

마무리 생각

LTX-2는 우리가 비디오 분야에서 다뤄본 모델 중 아마도 가장 인상적인 모델일 것입니다. VEO-3와 Sora 2보다 더, 우리는 오픈 소스 모델의 속도와 접근성에 놀라워하고 있습니다. 오늘 Gradient에서 이 모델을 꼭 사용해 보시길 권장합니다!

Linux-Console.net 커뮤니티와 함께 학습해 주셔서 감사합니다.