W&B Inference

W&B Weave와 OpenAI 호환 API를 통해 오픈소스 파운데이션 모델에 액세스하세요

W&B Inference를 사용하면 W&B Weave와 OpenAI 호환 API를 통해 최신 오픈소스 파운데이션 모델에 액세스할 수 있습니다. 다음과 같은 작업을 수행할 수 있습니다:

• 호스팅 제공업체에 계정을 만들거나 모델을 직접 호스팅하지 않고도 AI 애플리케이션과 에이전트를 구축할 수 있습니다.
• W&B Weave Playground에서 지원되는 모델을 사용해 볼 수 있습니다.

Weave를 사용하면 W&B Inference로 구동되는 애플리케이션을 추적, 평가, 모니터링하고 개선할 수 있습니다.

​

빠른 시작

다음은 Python을 사용한 간단한 예제입니다.

import openai

client = openai.OpenAI(
    # 커스텀 base URL은 W&B Inference를 가리킵니다
    base_url='https://api.inference.wandb.ai/v1',

    # https://wandb.ai/settings 에서 API key를 생성하세요
    api_key="<your-api-key>",

    # 선택 사항: 사용량 추적을 위한 팀 및 프로젝트
    project="<your-team>/<your-project>",
)

response = client.chat.completions.create(
    model="meta-llama/Llama-3.1-8B-Instruct",
    messages=[
        {"role": "system", "content": "You are a helpful assistant."},
        {"role": "user", "content": "Tell me a joke."}
    ],
)

print(response.choices[0].message.content)

​

다음 단계

1. 사용 가능한 모델과 사용량 정보 및 한도를 검토하세요.
2. 사전 준비 사항에 따라 계정을 설정하세요.
3. API 또는 UI를 통해 서비스를 사용하세요.
4. 사용 예제를 실행해 보세요.

​

사용량 세부 정보

요금, 사용 한도 및 크레딧에 대한 자세한 내용은 사용 정보 및 한도를 참조하세요.