Weave 프로젝트 관리

Weave 프로젝트를 사용하여 traces, prompts, evaluations, models, dashboards와 같은 관련 자산을 체계적으로 구성합니다.

Weave 프로젝트는 traces, evaluations, models, datasets 및 기타 Weave 자산을 포함한 관련 자산을 체계적으로 조직화합니다. 프로젝트는 팀 작업을 체계화하고, 협업과 공유를 간소화하며, 시간이 지나면서 LLM 애플리케이션의 진화 과정을 추적하는 데 도움을 줍니다.

​

프로젝트 리소스

프로젝트에는 다음과 같은 리소스가 저장됩니다:

Resource	Description
Traces	디버깅과 분석을 위해 입력, 출력, 지연 시간, 토큰 사용량을 캡처하는 개별 LLM 호출, 함수 실행 및 애플리케이션 플로우입니다. Traces를 참조하세요.
Evaluations	품질, 정확도 및 기타 지표를 측정하기 위해 스코어링 함수를 사용해 모델 성능을 데이터셋과 비교한 테스트 결과입니다. Evaluations를 참조하세요.
Monitors	프로덕션 환경에서 시간 경과에 따른 품질 지표를 추적하기 위해 LLM-as-a-judge 스코어러를 사용해 일부 함수 호출을 자동으로 스코어링하는 백그라운드 프로세스입니다. Monitors를 참조하세요.
Leaderboards	서로 다른 evaluation 실행에서의 모델 성능을 순위로 비교하여, 가장 성능이 우수한 구성을 식별하는 데 도움을 줍니다. Leaderboards를 참조하세요.
Threads	관련 호출들을 하나의 스레드 ID 아래에 묶어 전체 사용자 상호작용을 분석할 수 있게 하는 멀티턴 대화 및 세션 기반 워크플로우입니다. Threads를 참조하세요.
Assets	Assets 탭은 프로젝트 내 버전이 관리되는 객체를 저장하고 구성합니다: Models: 프롬프트, 매개변수, 구성 정보를 캡처하여 재현성과 비교를 위해 변경 사항을 자동으로 추적하는 버전 관리된 모델 정의입니다. Models를 참조하세요. Datasets: Weave 객체로 저장된 테스트 예제 컬렉션으로, 다운로드, 탐색 및 evaluation 실행에 사용할 수 있습니다. Datasets를 참조하세요. Prompts: 모델 구성에서 테스트하고 재사용할 수 있는 버전 관리된 시스템 프롬프트입니다. Prompts를 참조하세요. Scorers: 품질, 안전성 또는 커스텀 지표를 측정하기 위해 모델의 입력과 출력을 평가하는 함수입니다. Scorers를 참조하세요. Ops: 호출을 생성하고 함수 변경 이력을 유지하기 위해 @weave.op()으로 데코레이션되어 자동으로 버전 관리 및 추적되는 함수입니다. Ops를 참조하세요. 기타 객체 및 메타데이터: 프로젝트 내에 저장된 추가 Weave 객체, 사용자 정의 타입 및 관련 메타데이터입니다.

​

프로젝트 경로

Teams (엔터티라고도 함)는 W&B 조직 내 프로젝트를 소유하고 관리합니다. 팀 이름과 프로젝트 이름이 결합되어 W&B UI에서 프로젝트의 경로를 이룹니다. 이 경로는 코드에서 Weave 리소스를 해당 프로젝트와 연결할 때도 사용합니다.

예를 들어, 팀 이름이 my-team이고 프로젝트 이름이 my-project인 경우, 프로젝트의 경로는 다음과 같습니다:

my-team/my-project

코드에서 Weave를 초기화할 때 이 경로를 사용해 앱 데이터를 해당 프로젝트에 연결하세요.

weave.init('my-team/my-project')

​

프로젝트 생성 및 찾기

W&B UI를 사용하거나 코드에서 새 프로젝트 경로를 설정하여 Weave 프로젝트를 생성할 수 있습니다.

W&B UI

W&B UI를 사용하여 새 프로젝트를 생성하려면:

1. wandb.ai로 이동합니다.
2. New project를 선택합니다. 그러면 Create a new project 모달 대화 상자가 열립니다.
3. 모달에서 다음 필드를 설정합니다:
   • Team: 프로젝트와 연결할 기존 팀.
   • Name: 프로젝트 이름.
   • Project visibility: 프로젝트를 조회하고 편집할 수 있는 사용자 범위.
   • Description: (선택 사항) 프로젝트의 목적을 추적하고 정리하는 데 도움이 되는 짧은 설명.
4. 필요한 필드를 모두 설정한 후 Create project를 선택합니다. 그러면 프로젝트가 생성됩니다.

새로 생성한 프로젝트를 찾으려면 왼쪽 상단의 Weights & Biases 로고를 선택하여 Global navigation 메뉴를 엽니다. 이 메뉴에는 최근 사용한 프로젝트와 소속 팀이 표시되며, 컨텍스트를 빠르게 전환할 수 있습니다. 프로젝트를 선택하여 해당 프로젝트의 워크스페이스를 엽니다.

또는 오른쪽 상단에서 이름 아래에 있는 메뉴에서 Profile을 열 수 있습니다. Projects 탭에는 사용자의 모든 프로젝트가 표시됩니다.

새 프로젝트의 워크스페이스를 열면 UI에서 W&B Models와 W&B Weave 둘 다에 대한 퀵스타트를 제공합니다. 프로젝트의 툴바에도 각 제품을 위한 도구가 포함되어 있습니다. 코드에서 프로젝트에 Weave 데이터를 연결한 후에는 사이드 내비게이션에 Weave 도구만 표시되며 Weave 대시보드를 사용할 수 있게 됩니다.

Weave SDK

코드에서 직접 Weave 프로젝트를 생성하려면 weave.init()에 인수로 새 프로젝트 경로를 전달합니다:

import weave

weave.init('my-team/my-llm-app')

코드를 실행하면 Weave가 W&B 계정에 새 프로젝트를 생성하고, 해당 실행에서 생성된 관련 데이터를 프로젝트로 업로드합니다. Weave는 또한 해당 프로젝트를 W&B Models 프로젝트가 아닌 Weave 프로젝트로 설정하며, UI 사이드 내비게이션에는 Weave 도구만 표시됩니다.

​

UI에서 프로젝트 보기

Weave UI에서 프로젝트에 접근하려면:

1. wandb.ai로 이동합니다.
2. 왼쪽 상단의 Weights & Biases 로고를 클릭해 Global navigation menu를 연 다음, Projects 사이드바에서 프로젝트를 선택합니다. 그러면 프로젝트 개요 페이지가 열리며, 이미 해당 프로젝트에 traces를 로깅한 경우에는 Traces 페이지가 열립니다.
3. 개요 페이지에서 다음 작업을 수행할 수 있습니다:
   • 프로젝트에 로깅된 traces 개수, 프로젝트가 사용 중인 스토리지 용량 등 프로젝트 통계를 확인합니다.
   • 사이드바를 사용해 traces, evaluations 및 기타 리소스로 이동합니다.
   • 최근에 로깅된 traces, evaluations, models 및 datasets로 이동합니다.

​

프로젝트 삭제

W&B 계정에서 프로젝트를 삭제하려면 다음을 수행하세요:

1. wandb.ai로 이동합니다.
2. Projects 사이드바에서 프로젝트를 선택합니다. 그러면 프로젝트 개요 페이지 또는 해당 프로젝트에 트레이스를 이미 기록한 경우 Traces 페이지가 열립니다.
3. 사이드 내비게이션에서 Project () 버튼을 선택해, 아직 열려 있지 않다면 프로젝트 개요 페이지를 엽니다.
4. 점 세 개 아이콘 메뉴()를 선택한 다음 목록에서 Delete Project를 선택합니다. 그러면 Delete project 모달 대화상자가 열립니다.
5. 모달에서 확인 필드에 프로젝트 이름을 입력하고 Delete를 클릭합니다. 그러면 W&B 계정에서 프로젝트가 영구적으로 삭제됩니다.