실행 고정 및 비교

실행이 많은 워크스페이스에서는 최고 성능 실행, 프로덕션 모델, 실패한 실험, 중요한 기준점 등을 추적하기 어려울 수 있습니다. W&B App은 실행을 정리하고 비교하는 데 도움이 되는 기능을 제공합니다:

고정 실행(Pinned runs): 최대 6개의 실행을 고정해 워크스페이스와 실행 목록 상단에 항상 보이도록 유지할 수 있습니다. 기준 실행(baseline run)이 있는 경우, 기준 실행이 기본적으로 고정되므로 최대 5개의 실행만 고정할 수 있습니다.
기준 실행(Baseline run): 비교를 위한 기준점으로 사용할 기준 실행을 지정할 수 있습니다. 기준 실행은 워크스페이스와 실행 목록 상단에 항상 표시됩니다. 선형 플롯(line plot)에서 기준 실행은 비교를 돕기 위해 시각적으로 구분되는 스타일로 표시됩니다.

이러한 기능은 다음과 같은 경우에 특히 유용합니다:

새로운 실험을 프로덕션 모델과 비교할 때.
실험 중 여러 후보 모델을 추적할 때.
새로운 실행이 기존 최고 성능을 실제로 개선했는지 평가할 때.

고정된 실행 및 기준 실행은 W&B Multi-tenant Cloud에서만 사용할 수 있습니다.

제한 사항을 참조하세요.

실행 고정

작업공간 상단에 최대 6개의 실행을 고정해 쉽게 접근할 수 있도록 할 수 있습니다. baseline(기준) 실행이 있는 경우, baseline 실행은 자동으로 고정되므로 추가로 고정할 수 있는 실행은 최대 5개입니다. 고정된 실행은 다른 실행에 정렬이나 필터를 적용해도 계속 표시됩니다. 고정된 실행은 원형 핀 아이콘과 함께 실행 선택기 상단에 표시되며, 다른 실행과는 시각적 구분선으로 구분됩니다. 실행을 고정하려면:

작업공간으로 이동합니다.
실행 선택기(run selector) 또는 실행 테이블에서 고정하려는 실행을 찾습니다.
... 작업 메뉴를 클릭한 다음 Pin run을 선택합니다.

실행 고정을 해제하려면 핀 아이콘을 클릭하거나, 실행을 고정하는 것과 같은 절차를 따르되 대신 Unpin run을 선택합니다.

기준 실행 관리

워크스페이스에서 하나의 실행을 기준 실행으로 지정하여, 다른 실행을 평가할 때 참조 지점으로 사용할 수 있습니다. 실행 선택기와 실행 테이블에서 기준 실행은 고정된 실행과 함께 상단에 표시되며, 핀 아이콘 대신 북마크 아이콘이 나타납니다. 선 플롯에서는 기준 실행의 선이 다른 선보다 더 굵게 표시됩니다. 플롯이나 범례 위에 마우스를 올리면 기준 실행의 선이 점선으로 표시됩니다.

기준 실행 설정

기준 실행을 설정하려면:

워크스페이스로 이동합니다.
실행 선택기 또는 실행 테이블에서 기준으로 사용할 실행을 찾습니다.
... 작업 메뉴를 클릭한 다음 기준으로 설정을 선택합니다.

기준 실행은 실행 선택기의 맨 위에, 다른 실행과는 시각적 구분선으로 분리되어 표시됩니다. 기준 실행에는 원 대신 북마크 아이콘이 표시됩니다.

기준 실행 변경

한 번에 하나의 실행만 기준 실행이 될 수 있습니다. 기준 실행을 변경하려면 다음을 수행합니다.

워크스페이스로 이동합니다.
실행 선택기 또는 실행 테이블에서 새 기준으로 사용할 실행을 찾습니다.
작업 ... 메뉴를 클릭한 다음 Replace baseline을 선택합니다.
메뉴 항목이 비활성화되어 있다면, 고정 슬롯이 최소 한 개 이상 남아 있는지 확인하세요. 필요한 경우, 이미 고정된 실행 옆의 원형 핀 아이콘을 클릭해 해당 실행의 고정을 해제하세요.
새 실행이 기준 실행이 되며, 이전 기준 실행은 나중에 쉽게 찾을 수 있도록 자동으로 고정됩니다. 필요하면 핀 아이콘을 클릭해 고정을 해제하세요.

기준 실행 지정 해제

기준 실행 지정을 해제하려면:

워크스페이스로 이동합니다.
실행 선택기 또는 실행 테이블에서 현재 기준 실행을 찾습니다.
동작 ... 메뉴를 클릭한 다음 Remove baseline을 선택합니다.
메뉴 항목이 비활성화되어 있다면, 사용 가능한 고정 슬롯이 최소 한 개 이상 있는지 확인하세요. 필요한 경우, 고정된 실행 옆의 원형 고정 아이콘을 클릭해 해당 실행의 고정을 해제하세요.
이전 기준 실행은 나중에 쉽게 찾을 수 있도록 자동으로 고정됩니다. 필요하다면, 해당 실행의 고정 아이콘을 클릭해 고정을 해제합니다.

실행을 기준 실행과 비교하기

기준 실행은 해당 실행에서 로깅한 메트릭에 대한 선 그래프에서 항상 표시됩니다. 선 그래프에서 기준 실행의 선은 다른 선보다 더 두껍게 나타납니다.

플롯 위 임의 지점에 커서를 올리면, 기준 실행과 고정된 실행을 포함해 표시 중인 모든 실행의 값을 보여주는 툴팁이 나타납니다.
기준 실행의 범례 레이블 위에 커서를 올리면 해당 선이 강조되어 표시됩니다. 굵은 점선으로 나타납니다. 다른 표시 중인 실행의 선은 채도가 낮게 표시됩니다.
다른 실행의 범례 레이블 위에 커서를 올리면 해당 실행의 선이 강조되어 표시되며, 굵은 점선으로 표시되는 기준 실행과 비교할 수 있습니다. 다른 표시 중인 실행의 선은 채도가 낮게 표시됩니다.

사용 사례

이 섹션에서는 고정 실행과 기준 실행이 실험을 진행하는 데 도움이 되는 몇 가지 시나리오를 설명합니다.

프로덕션 모델 추적: 새 모델이 배포 전에 품질 기준을 충족하는지 확인합니다.
1. 프로덕션 모델을 기준 실행으로 설정합니다.
2. 배포된 모델과 모든 실험을 비교해 프로덕션을 능가하는 후보를 식별합니다.
하이퍼파라미터 실험 비교: 하이퍼파라미터 스윕 또는 수동 실험을 현재까지 알려진 최적 구성과 비교합니다.
1. 가장 성능이 좋은 알려진 구성을 기준 실행으로 설정합니다.
2. 발견되는 유망한 후보 실행을 고정합니다.
3. 선 플롯을 사용해 실행을 기준 실행과 시각적으로 비교합니다.
4. 더 나은 구성을 찾을 때마다 기준 실행을 계속 업데이트합니다.

예시 워크플로우

이 섹션에서는 고정(pinned) 실행과 기준(baseline) 실행이 여러 실행을 비교하는 데 어떻게 도움이 되는지 보여줍니다.

아래 예제 코드를 실행합니다. 이 코드는 여러 실행으로 구성된 하이퍼파라미터 튜닝 시나리오를 시뮬레이션합니다. 꺾쇠 괄호(<>)로 둘러싸인 플레이스홀더를 자신의 값으로 바꾸세요.

import wandb
import random
import math

def train_model(learning_rate, batch_size, run_name, tags=None):
    """Simulate training a model with given hyperparameters."""
    config = {
        "learning_rate": learning_rate,
        "batch_size": batch_size,
        "optimizer": "adam",
        "architecture": "resnet50"
    }
    
    with wandb.init(
      # Replace with your team and project name
        project="hyperparameter-tuning",
        entity="<team>",
        name=run_name,
        config=config,
        tags=tags or []
    ) as run:
        # Simulate training loop
        for epoch in range(50):
            # Simulated metrics
            accuracy = 0.6 + 0.3 * (1 - math.exp(-learning_rate * epoch / 10))
            loss = 1.0 * math.exp(-learning_rate * epoch / 10)
            
            run.log({
                "epoch": epoch,
                "accuracy": accuracy,
                "loss": loss
            })

# Create baseline run with standard configuration
train_model(
    learning_rate=0.001,
    batch_size=64,
    run_name="baseline-config",
    tags=["baseline", "production"]
)

# Experiment with different learning rates
train_model(
    learning_rate=0.003,
    batch_size=64,
    run_name="lr-experiment-0.003",
    tags=["experiment"]
)

train_model(
    learning_rate=0.0001,
    batch_size=64,
    run_name="lr-experiment-0.0001",
    tags=["experiment"]
)

이 코드를 실행하면 워크스페이스에 실행이 세 개 생성됩니다.

baseline-config를 기준 실행으로 설정합니다.
baseline-config를 고정(pinning)하여 항상 보이도록 유지합니다.
워크스페이스의 꺾은선형 플롯(line plot)을 사용하여 실험 실행들을 기준 실행과 비교합니다.
추가 분석이 필요한 유망한 실험들을 고정합니다. 이 예제에서 50 epoch 이후에는 lr-experiment-0.003이 가장 높은 정확도(~0.64)와 가장 낮은 손실 값(~0.86)을 보입니다.

제한 사항

고정된 실행 및 기준 실행은 W&B Multi-tenant Cloud에서만 사용할 수 있습니다.

고정된 실행과 기준 실행에 대해서는 다음 기능이 아직 지원되지 않습니다.

그룹화: 실행 선택기 또는 실행 테이블에서 실행을 볼 때, 실행을 특정 열 기준으로 그룹화한 경우 고정된 실행과 기준 실행은 다른 실행과 시각적으로 구분되지 않습니다.
리포트: W&B Report의 실행 집합에서 고정된 실행과 기준 실행은 다른 실행과 시각적으로 구분되지 않습니다.
워크스페이스 보기에서 기준 실행 미표시: 단일 실행의 워크스페이스를 볼 때 기준 실행은 표시되지 않습니다.
라인 플롯만 지원: 기준 실행 비교는 라인 플롯에서만 가능하며, 막대 플롯이나 미디어 패널 등의 다른 패널에서는 아직 사용할 수 없습니다.

가이드

통합

튜토리얼

레퍼런스

실행 고정