OpenRouter

자동 Weave 통합이 포함된 여러 LLM용 OpenRouter 단일 인터페이스 사용

Openrouter.ai는 OpenAI GPT-4, Anthropic Claude, Google Gemini 같은 기저 모델은 물론 LLaMA-3, Mixtral 및 다양한 오픈 소스 모델을 함께 제공하는 여러 LLM용 통합 인터페이스입니다. 일부 모델은 무료로도 제공됩니다.

OpenRouter는 REST API와 OpenAI SDK 호환 인터페이스(문서)를 제공하며, Weave는 이를 자동으로 감지하고 통합합니다(자세한 내용은 OpenRouter 빠른 시작을 참고하세요).

OpenAI SDK 코드를 OpenRouter로 전환하려면, API key를 OpenRouter API key로 바꾸고, base_url을 https://openrouter.ai/api/v1로 변경한 다음, 모델을 OpenRouter에서 제공하는 chat 모델 중 하나로 설정하세요. weave.init()을 호출할 때는 트레이스를 위한 프로젝트 이름을 지정합니다. 지정하지 않으면 기본 엔터티가 사용됩니다. 기본 엔터티를 찾거나 업데이트하려면 W&B Models 문서의 User Settings를 참고하세요.

import os
import openai
import weave

weave.init('openrouter-weave')

system_content = "You are a travel agent. Be descriptive and helpful."
user_content = "Tell me about San Francisco"

client = openai.OpenAI(
    api_key=os.environ.get("OPENROUTER_API_KEY"),
    base_url="https://openrouter.ai/api/v1",
)
chat_completion = client.chat.completions.create(
    extra_headers={
    "HTTP-Referer": $YOUR_SITE_URL, # 선택 사항, openrouter.ai 순위에 앱을 포함하려면 사용합니다.
    "X-Title": $YOUR_APP_NAME, # 선택 사항. openrouter.ai 순위에 표시됩니다.
    },
    model="meta-llama/llama-3.1-8b-instruct:free",
    messages=[
        {"role": "system", "content": system_content},
        {"role": "user", "content": user_content},
    ],
    temperature=0.7,
    max_tokens=1024,
)
response = chat_completion.choices[0].message.content
print("Model response:\n", response)

이 예제는 시작을 위한 간단한 예제일 뿐입니다. 보다 복잡한 사용 사례에서 Weave를 사용자 정의 함수와 통합하는 방법에 대한 자세한 내용은 OpenAI 가이드를 참고하세요.