에이전트 병렬화

멀티 코어 또는 멀티 GPU 머신에서 W&B Sweep 에이전트를 병렬로 실행합니다.

멀티 코어 또는 멀티 GPU 머신에서 W&B Sweep 에이전트를 병렬로 실행할 수 있습니다. 작업을 시작하기 전에 W&B Sweep이 초기화되었는지 확인하세요. W&B Sweep을 초기화하는 방법은 Sweep 초기화를 참고하세요.

​

다중 CPU 머신에서 병렬화하기

사용 사례에 따라 아래 탭을 확인하여 CLI 또는 Jupyter Notebook 내에서 W&B Sweep 에이전트를 병렬화하는 방법을 알아보세요.

CLI

터미널에서 wandb agent 명령을 사용해 Sweep 에이전트를 여러 CPU에 병렬로 실행할 수 있습니다. Sweep을 초기화할 때 반환된 sweep ID를 지정하세요.

1. 로컬 머신에서 두 개 이상의 터미널 창을 엽니다.
2. 아래 코드 스니펫을 복사해 붙여 넣고 sweep_id를 자신의 sweep ID로 바꿉니다:

wandb agent sweep_id

Jupyter Notebook

W&B Python SDK 라이브러리를 사용해 Jupyter Notebook 내에서 W&B Sweep 에이전트를 여러 CPU에 병렬로 실행할 수 있습니다. Sweep을 초기화할 때 반환된 sweep ID를 가지고 있어야 합니다. 또한 function 매개변수에는 Sweep이 실행할 함수의 이름을 지정해야 합니다.

1. 두 개 이상의 Jupyter Notebook을 엽니다.
2. 여러 Jupyter Notebook에 동일한 W&B Sweep ID를 복사해 붙여 넣어 W&B Sweep을 병렬로 실행합니다. 예를 들어 sweep_id라는 변수에 sweep ID를 저장해 두었고 함수 이름이 function_name이라면, 여러 Jupyter Notebook에 다음 코드 스니펫을 붙여 넣어 Sweep을 병렬화할 수 있습니다:

wandb.agent(sweep_id=sweep_id, function=function_name)

​

멀티-GPU 머신에서 병렬 처리하기

CUDA Toolkit이 설치된 터미널을 사용해 여러 GPU에서 W&B Sweep 에이전트를 병렬화하려면 다음 절차를 따르세요.

1. 로컬 머신에서 두 개 이상의 터미널 창을 엽니다.
2. W&B Sweep 작업을 시작할 때 (wandb agent) CUDA_VISIBLE_DEVICES를 사용하여 사용할 GPU 인스턴스를 지정합니다. CUDA_VISIBLE_DEVICES에 사용할 GPU 인스턴스에 해당하는 정수 값을 할당합니다.

예를 들어, 로컬 머신에 NVIDIA GPU가 두 개 있다고 가정해 보겠습니다. 터미널 창을 열고 CUDA_VISIBLE_DEVICES를 0 (CUDA_VISIBLE_DEVICES=0)으로 설정합니다. 아래 예시에서 sweep_ID를 W&B Sweep을 초기화할 때 반환된 W&B Sweep ID로 바꾸세요.

Terminal 1

CUDA_VISIBLE_DEVICES=0 wandb agent sweep_ID

두 번째 터미널 창을 엽니다. CUDA_VISIBLE_DEVICES를 1로 설정합니다 (CUDA_VISIBLE_DEVICES=1). 다음 코드 스니펫에 언급된 sweep_ID에 동일한 W&B Sweep ID를 붙여넣습니다:

터미널 2

CUDA_VISIBLE_DEVICES=1 wandb agent sweep_ID