메인 콘텐츠로 건너뛰기

Documentation Index

Fetch the complete documentation index at: https://translations.mintlify.app/llms.txt

Use this file to discover all available pages before exploring further.

​
가격

가격은 추론, 학습, 스토리지 세 가지 항목으로 구성됩니다. 구체적인 요금은 요금 페이지에서 확인하세요.

​
추론

Serverless RL 추론 요청에 대한 요금은 W&B Inference 요금과 동일합니다. 자세한 내용은 모델별 비용을 참조하세요. 크레딧 구매, 계정 등급, 사용 한도에 대한 자세한 내용은 W&B Inference 문서를 참고하세요.

​
Training

각 training 단계에서 Serverless RL은 에이전트의 출력과 보상 함수로 계산된 해당 보상을 포함하는 trajectory 배치를 수집합니다. 이렇게 수집된 trajectory 배치는 해당 작업에 맞게 base model을 특화하는 LoRA adapter의 가중치를 업데이트하는 데 사용됩니다. 이 LoRA들을 업데이트하는 training job은 Serverless RL이 관리하는 전용 GPU 클러스터에서 실행됩니다. public preview 기간 동안 training은 무료입니다.

​
모델 스토리지

Serverless RL은 학습된 LoRA의 체크포인트를 저장하여, 언제든지 이를 평가하고, 서빙하거나, 학습을 이어서 진행할 수 있도록 합니다. 스토리지는 총 체크포인트 크기와 사용 중인 요금제를 기준으로 매월 과금됩니다. 모든 요금제에는 최소 5GB의 무료 스토리지가 포함되어 있으며, 이는 대략 LoRA 30개 정도를 저장할 수 있는 용량입니다. 공간을 절약하려면 성능이 낮은 LoRA를 삭제하는 것이 좋습니다. 자세한 방법은 ART SDK를 참조하세요.

​
제한사항

  • 추론 동시성 제한: 기본적으로 Serverless RL은 현재 사용자당 최대 2000개, 프로젝트당 최대 6000개의 동시 요청을 지원합니다. 동시성 한도를 초과하면 Inference API는 429 Concurrency limit reached for requests 응답을 반환합니다. 이 오류를 피하려면 학습 작업 또는 프로덕션 워크로드에서 한 번에 보내는 동시 요청 수를 줄이십시오. 더 높은 동시성 한도가 필요한 경우 support@wandb.com으로 문의하여 상향을 요청할 수 있습니다.
  • 지역 제한: Serverless RL은 지원되는 지역에서만 사용할 수 있습니다. 자세한 내용은 서비스 약관을 참조하십시오.