Databricks

W&B를 Databricks와 통합하는 방법

W&B는 Databricks 환경에서 W&B Jupyter 노트북 사용 환경을 맞춤 구성하여 Databricks와 통합할 수 있습니다.

​

Databricks 구성

1. 클러스터에 wandb 설치

   클러스터 구성으로 이동한 후 클러스터를 선택하고 Libraries를 클릭합니다. Install New를 클릭하고 PyPI를 선택한 다음 패키지 wandb를 추가합니다.

2. 인증 설정

   노트북에서 조회할 수 있는 Databricks secret을 추가하여 W&B 계정을 인증할 수 있습니다.

   # Databricks CLI 설치
   pip install databricks-cli
   
   # Databricks UI에서 토큰 생성
   databricks configure --token
   
   # Databricks에서 보안 기능 활성화 여부에 따라 아래 두 명령 중 하나로 scope 생성:
   # 보안 애드온 사용 시
   databricks secrets create-scope --scope wandb
   # 보안 애드온 미사용 시
   databricks secrets create-scope --scope wandb --initial-manage-principal users
   
   # https://wandb.ai/settings 에서 API key 생성
   databricks secrets put --scope wandb --key api_key
   

​

예시

​

간단한 예제

import os
import wandb

api_key = dbutils.secrets.get("wandb", "api_key")
wandb.login(key=api_key)

with wandb.init() as run:
    run.log({"foo": 1})

​

Sweeps

노트북에서 wandb.sweep() 또는 wandb.agent()를 사용할 때 필요한 임시 설정:

import os

# 향후에는 이 설정이 필요하지 않을 예정입니다
os.environ["WANDB_ENTITY"] = "my-entity"
os.environ["WANDB_PROJECT"] = "my-project-that-exists"