이 가이드는 에어갭이 적용된, 고객이 직접 관리하는 환경에서 W&B Platform을 배포하는 방법을 단계별로 설명합니다.
Helm 차트와 컨테이너 이미지를 호스팅할 내부 리포지터리 또는 레지스트리를 사용하세요. Kubernetes 클러스터에 대한 적절한 액세스 권한이 있는 셸 콘솔에서 모든 명령을 실행하세요.
Kubernetes 애플리케이션을 배포할 때 사용하는 어떤 지속적 딜리버리 도구에서도 이와 유사한 명령을 활용할 수 있습니다.
시작하기 전에 현재 환경이 다음 요구 사항을 충족하는지 확인하세요:
| 소프트웨어 | 최소 버전 |
|---|
| Kubernetes | v1.32 이상 (지원되는 Kubernetes 버전) |
| Helm | v3.x |
| MySQL | v8.0.x가 필요하며, 최소 v8.0.32 이상이어야 합니다. v8.0.44 이상을 권장합니다.
Aurora MySQL 3.x 릴리스는 v3.05.2 이상이어야 합니다. |
| Redis | v7.x |
MinIO Open Source는 활성 개발 및 사전 컴파일된 바이너리 없이 유지 관리 모드에 있습니다. 프로덕션 배포의 경우, W&B는 매니지드 오브젝트 스토리지 서비스 또는 엔터프라이즈급 S3 호환 솔루션 사용을 권장합니다.
- 필요한 W&B 이미지가 있는 내부 컨테이너 레지스트리에 대한 액세스 권한
- W&B Helm 차트를 위한 내부 Helm 리포지토리에 대한 액세스 권한
네트워킹 및 로드 밸런서 구성을 포함한 전체 인프라 요구 사항은 참조 아키텍처를 참조하십시오.
W&B는 에어갭 환경의 OpenShift Kubernetes 클러스터에 배포할 수 있습니다. 자세한 내용은 참조 아키텍처를 참조하고, 에어갭 OpenShift 배포에 맞게 조정할 수 있는 구체적인 구성 지침은 Operator 가이드의 OpenShift 섹션을 검토하십시오.
-
W&B Helm charts 저장소에서 W&B Operator 및 Platform Helm 차트를 다운로드합니다.
-
values.yaml 파일을 확인하여 모든 컨테이너 이미지와 해당 버전을 식별합니다.
# Helm 차트에서 이미지 참조 추출
helm show values wandb/operator \
| awk -F': *' '/^[[:space:]]*repository:/{print $2}' \
| grep -E '^wandb/' \
| sort -u
wandb/anaconda2
wandb/console
wandb/frontend-nginx
wandb/local
wandb/megabinary
wandb/weave-python
wandb/weave-trace
컨테이너 이미지와 함께, 다음 Helm 차트가 내부 Helm 차트 리포지터리에 준비되어 있는지 반드시 확인해야 합니다. 아래 위치에서 다운로드하세요:
operator 차트는 Controller Manager라고도 불리는 W&B Operator를 배포하는 데 사용됩니다. platform 차트는 커스텀 리소스 정의(CRD)에 설정된 값(values)을 사용하여 W&B Platform을 배포하는 데 사용됩니다.
이제 Helm 리포지토리를 설정하여 내부 리포지토리에서 W&B Helm 차트를 가져오도록 설정합니다. Helm 리포지토리를 추가하고 업데이트하려면 다음 명령을 실행하세요:
helm repo add local-repo https://charts.yourdomain.com
helm repo update
단계 5: Kubernetes operator 설치
airgapped: true 키를 설정해야 합니다. 아래와 같이 values.yaml 파일을 업데이트합니다:
image:
repository: registry.yourdomain.com/library/controller
tag: 1.13.3
airgapped: true
helm upgrade --install operator local-repo/operator -n wandb --create-namespace -f values.yaml
SOME_PASSWORD를 임의로 정한 안전한 비밀번호로 바꾸십시오:
CREATE USER 'wandb_local'@'%' IDENTIFIED BY 'SOME_PASSWORD';
CREATE DATABASE wandb_local CHARACTER SET utf8mb4 COLLATE utf8mb4_general_ci;
GRANT ALL ON wandb_local.* TO 'wandb_local'@'%' WITH GRANT OPTION;
wandb.yaml이라는 새 파일에 저장하세요.
apiVersion: apps.wandb.com/v1
kind: WeightsAndBiases
metadata:
labels:
app.kubernetes.io/instance: wandb
app.kubernetes.io/name: weightsandbiases
name: wandb
namespace: default
spec:
chart:
url: http://charts.yourdomain.com
name: operator-wandb
version: 0.18.0
values:
global:
host: https://wandb.yourdomain.com
license: xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx
bucket:
accessKey: xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx
secretKey: xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx
name: s3.yourdomain.com:port #Ex.: s3.yourdomain.com:9000
path: bucket_name
provider: s3
region: us-east-1
mysql:
database: wandb
host: mysql.home.lab
password: password
port: 3306
user: wandb
redis:
host: redis.yourdomain.com
port: 6379
password: password
api:
enabled: true
glue:
enabled: true
executor:
enabled: true
extraEnv:
ENABLE_REGISTRY_UI: 'true'
app:
image:
repository: registry.yourdomain.com/local
tag: 0.59.2
console:
image:
repository: registry.yourdomain.com/console
tag: 2.12.2
api:
image:
repository: registry.yourdomain.com/megabinary
tag: 0.59.2
executor:
image:
repository: registry.yourdomain.com/megabinary
tag: 0.59.2
glue:
image:
repository: registry.yourdomain.com/megabinary
tag: 0.59.2
parquet:
image:
repository: registry.yourdomain.com/megabinary
tag: 0.59.2
weave:
image:
repository: registry.yourdomain.com/weave-python
tag: 0.59.2
otel:
image:
repository: registry.yourdomain.com/otel/opentelemetry-collector-contrib
tag: 0.97.0
prometheus:
server:
image:
repository: registry.yourdomain.com/prometheus/prometheus
tag: v2.47.0
configmapReload:
prometheus:
image:
repository: registry.yourdomain.com/prometheus-operator/prometheus-config-reloader
tag: v0.67.0
ingress:
annotations:
nginx.ingress.kubernetes.io/proxy-body-size: 0
class: nginx
operator-wandb Helm 차트를 구성합니다.
모든 태그와 버전을 내부 레지스트리에 등록된 버전으로 교체하십시오. 위 예시는 가장 일반적으로 사용되는 컴포넌트를 보여줍니다. 배포 요구 사항에 따라 settingsMigrationJob, weave-trace, filestream 등의 추가 컴포넌트에 대한 이미지 저장소도 구성해야 할 수 있습니다. 구성 가능한 컴포넌트의 전체 목록은 W&B Helm 저장소 values 파일을 참고하십시오.
이제 Kubernetes operator와 CR 설정이 완료되었으므로 wandb.yaml 구성을 적용하여 W&B 플랫폼을 배포합니다:
kubectl apply -f wandb.yaml
verify 명령은 모든 구성 요소와 구성을 검증하는 여러 테스트를 실행합니다.
이 단계는 브라우저를 사용해 첫 번째 관리자 사용자 계정을 생성했다고 가정합니다.
- W&B CLI를 설치합니다:
- W&B에 로그인하기:
wandb login --host=https://YOUR_DNS_DOMAIN
wandb login --host=https://wandb.company-name.com
- 설치를 확인하세요:
설치가 성공적으로 완료되고 W&B 배포가 정상적으로 동작하면 다음과 같은 출력이 표시됩니다:
Default host selected: https://wandb.company-name.com
Find detailed logs for this test at: /var/folders/pn/b3g3gnc11_sbsykqkm3tx5rh0000gp/T/tmpdtdjbxua/wandb
Checking if logged in...................................................✅
Checking signed URL upload..............................................✅
Checking ability to send large payloads through proxy...................✅
Checking requests to base url...........................................✅
Checking requests made over signed URLs.................................✅
Checking CORs configuration of the bucket...............................✅
Checking wandb package version is up to date............................✅
Checking logged metrics, saving and downloading a file..................✅
Checking artifact save and download workflows...........................✅
다른 ingress 클래스가 있습니다. 해당 클래스를 사용해도 되나요?
values.yaml에서 ingress 설정을 수정하여 해당 ingress 클래스를 사용하도록 구성할 수 있습니다.
인증서 번들에 인증서가 여러 개 있습니다. 그런 경우에도 사용할 수 있나요?
values.yaml의 customCACerts 섹션에서 인증서를 여러 개의 엔트리로 분리해야 합니다.
Kubernetes operator가 사용자 개입 없이 업데이트를 적용하지 않도록 하려면 어떻게 해야 하나요? 그렇게 하는 것이 가능한가요?
W&B는 Self-Managed 인스턴스를 사용하는 고객에게, 지원을 유지하고 최신 기능, 성능 향상 및 수정 사항을 받기 위해 최소한 분기마다 한 번 이상 배포를 최신 릴리스로 업데이트할 것을 강력히 권장합니다.
환경이 공개 리포지토리에 연결되어 있지 않아도 배포가 동작하나요?
airgapped를 true로 설정하면 Kubernetes 오퍼레이터는 내부 리소스만 사용하며, 공개 리포지토리에 연결을 시도하지 않습니다. 
플랫폼
W&B Models
W&B Weave
W&B Inference
W&B 교육
릴리스 노트