SageMaker

W&B를 Amazon SageMaker와 통합하는 방법.

W&B는 Amazon SageMaker와 통합되어 하이퍼파라미터를 자동으로 읽고, 분산 실행을 그룹화하고, 체크포인트에서 실행을 재개합니다.

​

인증

W&B는 학습 스크립트와 동일한 디렉터리에서 secrets.env라는 이름의 파일을 찾고, wandb.init()이 호출될 때 해당 파일의 내용을 환경 변수로 로드합니다. 실험을 시작할 때 사용하는 스크립트에서 wandb.sagemaker_auth(path="source_dir")를 호출해 secrets.env 파일을 생성할 수 있습니다. 이 파일을 반드시 .gitignore에 추가하세요!

​

기존 Estimator

SageMaker에서 제공하는 미리 구성된 Estimator 중 하나를 사용 중이라면, wandb가 포함된 requirements.txt 파일을 소스 디렉터리에 추가해야 합니다.

wandb

Python 2를 사용하는 estimator를 사용 중이라면, wandb를 설치하기 전에 이 wheel에서 psutil을 직접 설치해야 합니다:

https://wheels.galaxyproject.org/packages/psutil-5.4.8-cp27-cp27mu-manylinux1_x86_64.whl
wandb

GitHub에서 전체 예제를 살펴보고, 블로그에서 더 자세한 내용을 확인하세요.

또한 SageMaker와 W&B를 사용해 감성 분석기를 배포하는 방법을 다룬 Deploy Sentiment Analyzer Using SageMaker and W&B 튜토리얼을 참고할 수 있습니다.

SageMaker 통합이 비활성화되어 있는 경우에만 SageMaker 작업에서 W&B 스윕 에이전트가 예상대로 동작합니다. wandb.init 호출 코드를 수정하여 SageMaker 통합을 끄세요:

wandb.init(..., settings=wandb.Settings(sagemaker_disable=True))