Together AI

Weave의 OpenAI SDK 호환성을 통해 Together AI의 오픈 소스 LLM을 추적하고 평가하여 모델 호출, 파인튜닝 워크플로, 호스팅 모델과 원활하게 통합할 수 있습니다.

Together AI는 오픈 소스 LLM에 중점을 두고, 고객이 자체 모델을 파인튜닝하고 호스팅할 수 있도록 지원하는 생성형 AI 모델 구축 및 파인튜닝 플랫폼입니다.

Weave의 together 파이썬 패키지 전체 지원은 현재 개발 중입니다

together 파이썬 패키지에 대한 Weave의 전체 지원은 아직 개발 중이지만, Together는 OpenAI SDK 호환성(문서)을 제공하며, Weave는 이를 자동으로 감지하여 통합합니다.

Together API를 사용하도록 전환하려면, API key를 Together API key로 바꾸고, base_url을 https://api.together.xyz/v1로 설정한 다음, 모델을 Together의 chat models 중 하나로 설정하면 됩니다.

import os
import openai
import weave

weave.init('together-weave')

system_content = "You are a travel agent. Be descriptive and helpful."
user_content = "Tell me about San Francisco"

client = openai.OpenAI(
    api_key=os.environ.get("TOGETHER_API_KEY"),
    base_url="https://api.together.xyz/v1",
)
chat_completion = client.chat.completions.create(
    model="mistralai/Mixtral-8x7B-Instruct-v0.1",
    messages=[
        {"role": "system", "content": system_content},
        {"role": "user", "content": user_content},
    ],
    temperature=0.7,
    max_tokens=1024,
)
response = chat_completion.choices[0].message.content
print("Together response:\n", response)

이 예시는 시작을 위한 간단한 예제에 불과합니다. 더 복잡한 사용 사례에서 Weave를 자체 함수와 통합하는 방법에 대한 자세한 내용은 OpenAI 가이드를 참고하세요.