메인 콘텐츠로 건너뛰기
Weave Evaluations을 사용할 때, 실험 결과를 리더보드 형태로 시각화하고 커스터마이즈할 수 있습니다. 저장한 리더보드 뷰는 동적으로 동작합니다:
  • 새로운 평가 실행이 추가될 때마다
  • 그리고 결과가 저장된 필터 조건과 일치할 때
리더보드는 수동으로 다시 구성할 필요 없이 자동으로 업데이트되어 이러한 실행과 결과를 포함합니다. 이를 통해 뷰를 실험과 함께 발전하는 지속적인 리더보드로 활용할 수 있습니다.

​
Leaderboard에서 Evaluation 결과 시각화하기

프로젝트에 Weave Evaluation 데이터가 있으면, evaluation 테이블을 사용해 필터링된 결과 하위 집합을 기반으로 Weave Leaderboard 뷰를 빠르게 생성할 수 있습니다. Weave Leaderboard를 생성하려면:
  1. wandb.ai로 이동합니다.
  2. Weave 사이드바 메뉴에서 Evaluations를 클릭합니다.
  3. 비교하려는 모델, 데이터셋, 또는 실행만 남도록 evaluation 테이블에 필터를 적용합니다.
  4. evaluation table toolbar에서 Visualize를 클릭합니다.
    Weave는 테이블에서 현재 필터링된 데이터만 사용해 자동으로 Leaderboard 패널을 생성합니다.
  5. Leaderboard 패널 헤더에서 Configure를 클릭하여 Edit Leaderboard 패널을 엽니다.
    Edit Leaderboard 패널에서는 모델, 데이터셋, 스코어러, 메트릭이 표시되는 방식을 세밀하게 제어할 수 있습니다.
다음 이미지는 필터링된 evaluation 테이블이 Leaderboard로 시각화되는 방식과, 생성된 Leaderboard를 구성할 수 있는 위치를 보여줍니다.
필터가 적용된 evaluation 테이블, 테이블 툴바의 Visualize 버튼, 그리고 오른쪽 패널 헤더에 Configure 버튼이 있는 결과 Leaderboard 패널을 보여주는 Evaluations 페이지.

​
Leaderboard 요소의 표시 및 사용자 지정 이름 구성

아래는 네 개의 구성 탭(Models, Datasets, Scorers, Metrics)이 있는 Edit Leaderboard 패널의 예시입니다.
오른쪽에 Edit Leaderboard 패널이 열려 있고, Leaderboard를 구성하는 데 사용되는 Models, Datasets, Scorers, Metrics 탭이 표시된 Evaluations 페이지.
Edit Leaderboard 패널에서 다음을 수행할 수 있습니다:
  • 표시 활성화/비활성화
    체크/체크 해제를 통해 Leaderboard에 표시할 models, datasets, scorers, metrics를 선택합니다.
  • models, datasets, scorers의 이름 변경
    보기 편한 이름을 지정합니다(예: 모델 실행을 GPT-4로, 데이터셋을 JokesV1으로 이름 변경).     이름을 변경한 항목은:
    • Leaderboard에서 즉시 업데이트되며
    • 여전히 클릭 가능하여 오른쪽 패널에서 해당 원본을 열 수 있고
    • Leaderboard 뷰가 사용되는 모든 위치에 자동으로 반영됩니다
이를 통해 기본 객체를 변경하지 않고도 의미 있고 사람이 읽기 쉬운 이름을 사용해 실험을 더 쉽게 비교할 수 있습니다.

​
Leaderboard 메트릭 동작과 색상 구성하기

Edit Leaderboard 패널에서 각 메트릭에 대해 다음 중 어떤 기준을 사용할지 지정할 수 있습니다:
  • 값이 클수록 더 좋음, 또는
  • 값이 작을수록 더 좋음
이 설정은 Leaderboard 색상에 직접적인 영향을 줍니다:
  • Green은 더 좋은 값을 강조 표시합니다.
  • Red는 더 나쁜 값을 강조 표시합니다.
  • “higher is better”와 “lower is better” 사이를 전환하면 색상이 자동으로 반전됩니다.
이를 통해 정확도(accuracy), 지연 시간(latency), 오류율(error rate)처럼 서로 다른 유형의 메트릭에서도 시각적 신호가 항상 정확하게 유지됩니다.

​
Leaderboard 뷰 저장 및 재사용

Edit Leaderboard 패널에서 Save를 클릭하여, 사용자 지정한 Leaderboard를 재사용 가능한 뷰로 저장할 수 있습니다. 저장된 Leaderboard 뷰에는 다음 항목이 포함됩니다:
  • 선택한 모델, 데이터셋, 스코어러, 메트릭
  • 변경된 표시 레이블 이름
  • 메트릭 방향 설정(값이 클수록/작을수록 더 좋은지)
  • 적용된 필터

​
저장된 뷰 간 전환

Evaluations 페이지 제목 옆의 메뉴 아이콘(☰) 을 클릭하면 저장된 뷰가 열립니다. 다음 작업을 할 수 있습니다.
  • 전체 데이터셋을 보려면 기본 뷰로 돌아갑니다.
  • 저장된 뷰를 다시 열어 모든 사용자 지정 내용을 즉시 복원합니다.
저장된 뷰를 다시 열면 모든 이름 변경과 메트릭 설정이 그대로 유지됩니다.