자동화 이벤트 및 범위

이 기능을 사용하려면 Pro 또는 Enterprise 요금제가 필요합니다.

자동화는 프로젝트나 Registry에서 특정 이벤트가 발생할 때 시작될 수 있습니다. 이 페이지에서는 각 스코프에서 자동화를 트리거할 수 있는 이벤트를 설명합니다. 자동화에 대한 자세한 내용은 Automations 개요 또는 자동화 생성하기를 참고하세요.

Registry

이 섹션에서는 Registry에서 실행되는 자동화에 대한 범위와 이벤트를 설명합니다.

스코프

Registry 자동화는 특정 레지스트리 내의 모든 컬렉션에서 발생하는 이벤트를 모니터링하며, 이후에 추가되는 컬렉션도 포함합니다.

이벤트

레지스트리 자동화는 다음 이벤트를 모니터링할 수 있습니다:

새 버전이 컬렉션에 연결됨: 레지스트리에 새 모델이나 데이터셋이 추가될 때 이를 테스트하고 검증합니다.
아티팩트 별칭이 추가됨: 새 아티팩트 버전에 특정 별칭이 적용되면 워크플로의 특정 단계를 트리거합니다. 예를 들어 production 별칭이 적용되면 모델을 배포합니다.

Project

이 섹션에서는 프로젝트 내 자동화에 대한 범위와 이벤트를 설명합니다.

범위

프로젝트 수준 자동화는 프로젝트 내 임의의 컬렉션에서 발생하는 이벤트를 모니터링합니다. 지정한 이벤트에 따라 자동화의 범위를 더 좁게 제한할 수 있습니다.

아티팩트 이벤트

이 섹션에서는 자동화를 트리거할 수 있는 아티팩트 관련 이벤트를 설명합니다.

아티팩트에 새 버전이 추가됨: 아티팩트의 각 버전에 반복 동작을 적용합니다. 예를 들어, 새 데이터세트 아티팩트 버전이 생성될 때 학습 작업을 시작할 수 있습니다.
아티팩트 별칭이 추가됨: 프로젝트의 새 아티팩트 버전에, 지정한 Alias regex와 일치하는 별칭이 적용될 때 워크플로의 특정 단계를 트리거합니다. 예를 들어, 아티팩트에 test-set-quality-check 별칭이 적용되면 일련의 다운스트림 처리 단계를 실행하거나, 새 아티팩트 버전에 latest 별칭이 지정될 때마다 워크플로를 실행할 수 있습니다. 동시에 하나의 아티팩트 버전만 특정 별칭을 가질 수 있습니다.
아티팩트 태그가 추가됨: 프로젝트의 아티팩트 버전에, 지정한 Tag regex와 일치하는 태그가 적용될 때 워크플로의 특정 단계를 트리거합니다. 예를 들어, ^europe.*를 지정하여, europe 문자열로 시작하는 태그가 아티팩트 버전에 추가될 때 지역별 워크플로를 트리거할 수 있습니다. 아티팩트 태그는 그룹화 및 필터링에 사용되며, 특정 태그는 동시에 여러 아티팩트 버전에 할당될 수 있습니다.

실행 이벤트

자동화는 실행 상태가 변경되거나 지표 값이 변경되면 트리거될 수 있습니다.

실행 상태 변경

현재는 W&B 멀티 테넌트 클라우드에서만 사용할 수 있습니다.
상태가 Killed인 실행은 자동화를 트리거할 수 없습니다. 이 상태는 실행이 관리자가 강제로 중지했음을 나타냅니다.

실행의 status가 Running, Finished, 또는 Failed로 변경될 때 워크플로우를 트리거합니다. 필요하다면 사용자 또는 실행 이름 필터를 지정해, 자동화를 트리거할 수 있는 실행을 추가로 제한할 수 있습니다.

실행 상태는 전체 실행의 속성이므로, 실행 상태 자동화는 워크스페이스가 아닌 Automations 페이지에서만 만들 수 있습니다.

실행 지표 변경

현재는 W&B 멀티 테넌트 클라우드에서만 사용할 수 있습니다.

실행 히스토리에 기록된 지표이든, CPU 사용률(%)을 추적하는 cpu와 같은 system metric이든, 기록된 지표 값을 기준으로 워크플로를 트리거합니다. W&B는 시스템 지표를 15초마다 자동으로 기록합니다. Project의 Automations 탭이나 워크스페이스의 선형 플롯 패널(line plot panel)에서 실행 지표 자동화를 생성할 수 있습니다. 실행 지표 자동화를 설정하려면 지표 값과 사용자가 지정한 임곗값을 어떻게 비교할지 구성합니다. 선택 가능한 옵션은 이벤트 유형과 지정한 필터에 따라 달라집니다. 선택적으로 사용자 또는 실행 이름 필터를 지정하여, 자동화를 트리거할 수 있는 실행을 더 제한할 수 있습니다.

임계값

Run metrics threshold met 이벤트의 경우 다음을 구성합니다:

고려할 가장 최근에 기록된 값들의 윈도우 크기(기본값은 5).
윈도우 내에서 Average, Min, 또는 Max 값 중 어떤 값을 평가할지.
수행할 비교:
- 초과
- 이상
- 미만
- 이하
- 같지 않음
- 같음

예를 들어, 평균 accuracy 값이 .6을 초과하면 자동화를 트리거하도록 설정할 수 있습니다.

변경 임계값

실행 지표 변경 임계값 충족 이벤트의 경우, 자동화는 시작 여부를 판단하기 위해 두 개의 “윈도우” 값 구간을 사용합니다:

고려할 최근 기록 값의 현재 윈도우 (기본값 10)
고려할 최근 기록 값의 이전 윈도우 (기본값 50)

현재 윈도우와 이전 윈도우는 연속적이며 서로 겹치지 않습니다. 자동화를 생성하려면 다음 항목을 설정합니다:

기록된 값의 현재 윈도우(기본값 10)
기록된 값의 이전 윈도우(기본값 50)
값을 상대값으로 평가할지 절대값으로 평가할지 여부(기본값은 Relative)
수행할 비교:
- 최소한 이만큼 증가
- 최소한 이만큼 감소
- 최소한 이만큼 증가 또는 감소

예를 들어, 평균 loss가 .25 이상 감소하면 자동화를 트리거하도록 설정할 수 있습니다.

실행 메트릭 z-score 변경

현재는 W&B 멀티 테넌트 클라우드에서만 사용할 수 있습니다.

W&B는 메트릭의 z-score(표준 점수)가 지정한 임계값을 초과할 때 자동화를 트리거할 수 있습니다. z-score는 프로젝트 내에서 구성 가능한 실행 윈도우(기본값: 30개 실행) 전반에 걸쳐 해당 메트릭 값이 평균으로부터 몇 표준편차 떨어져 있는지를 측정합니다. z-score를 이벤트 트리거로 사용하려면 Run metrics z-score threshold met 이벤트를 선택합니다. z-score 기반 자동화를 사용하면, 절대값 임계값을 직접 설정·확인하지 않더라도 비정상적인 성능 변화를 팀에 알릴 수 있습니다. 절대값 임계값은 모델이나 학습 프로세스가 발전하면서 변경될 수 있습니다. 프로젝트의 Automations 탭이나 워크스페이스의 선형 플롯(line plot) 패널에서 바로 실행 메트릭 z-score 자동화를 생성할 수 있습니다. z-score 자동화를 생성하려면 다음을 설정합니다:

목표 z-score 임계값: 양의 부동 소수점 값(예: 2.0)으로 표현
평균 값을 계산할 때 사용할, 로그된 값들의 윈도우 크기(기본값: 30)
비교 조건:
- Above (성능이 비정상적으로 높을 때 트리거)
- Below (성능이 비정상적으로 낮을 때 트리거)
- Either above or below

예를 들어, accuracy의 z-score가 2를 초과할 때 자동화를 트리거하도록 설정할 수 있습니다. 이는 해당 실행이 프로젝트의 다른 실행들에 비해 통계적으로 유의미하게 더 높은 성능을 보인다는 의미입니다. z-score 값 이해하기:

z-score가 0이면 메트릭이 평균 수준입니다.
z-score가 +2.0이면 메트릭이 평균보다 2 표준편차 높다는 의미입니다.
z-score가 -2.0이면 메트릭이 평균보다 2 표준편차 낮다는 의미입니다.
±2를 넘어가는 값은 통계적으로 유의미한 이상치로 간주되는 경우가 많습니다.

실행 필터

이 섹션에서는 자동화가 평가할 실행을 어떻게 선택하는지 설명합니다.

기본적으로 프로젝트의 모든 실행이 이벤트가 발생하면 자동화를 트리거합니다. 다음 필터 중 하나를 구성하여 어떤 실행이 자동화를 트리거할지 제한할 수 있습니다:
- 특정 사용자의 실행으로 필터링: 지정된 사용자가 생성한 실행만 포함합니다.
- 실행 이름으로 필터링: 이름이 지정한 정규식과 일치하는 실행만 포함합니다.
자세한 내용은 Create automations를 참조하세요.
각 실행은 개별적으로 평가되며, 각각 자동화를 트리거할 수 있습니다.
각 실행의 값은 별도의 창에 넣어지고, 임계값과 개별적으로 비교됩니다.
24시간 기간 동안 특정 자동화는 각 실행당 최대 한 번만 실행될 수 있습니다.

가이드

통합

튜토리얼

레퍼런스

Registry

스코프

이벤트

Project