Cohere 파인튜닝

W&B를 사용하여 Cohere 모델을 파인튜닝(fine-tuning)하는 방법.

W&B를 사용하면 Cohere 모델의 파인튜닝 지표와 설정을 기록하여 모델 성능을 분석·이해하고, 그 결과를 동료들과 공유할 수 있습니다.

Cohere의 이 가이드에서 파인튜닝 실행을 시작하는 전체 예제를 확인할 수 있으며, Cohere API 문서는 여기에서 확인할 수 있습니다.

​

Cohere 파인튜닝 결과를 로그로 남기기

Cohere 파인튜닝 로그를 W&B 워크스페이스에 추가하려면 다음을 수행하세요:

1. W&B API key, W&B entity 및 project 이름으로 WandbConfig를 생성합니다. API key는 https://wandb.ai/settings 에서 발급받을 수 있습니다.

2. 이 구성을 모델 이름, 데이터셋, 하이퍼파라미터와 함께 FinetunedModel 객체에 전달하여 파인튜닝 실행을 시작합니다.

   from cohere.finetuning import WandbConfig, FinetunedModel
   
   # W&B 정보를 포함한 구성을 생성합니다
   wandb_ft_config = WandbConfig(
       api_key="<wandb_api_key>",
       entity="my-entity", # 제공된 API key와 연결된 유효한 엔터티여야 합니다
       project="cohere-ft",
   )
   
   ...  # 데이터셋과 하이퍼파라미터를 설정합니다
   
   # Cohere에서 파인튜닝 실행을 시작합니다
   cmd_r_finetune = co.finetuning.create_finetuned_model(
     request=FinetunedModel(
       name="command-r-ft",
       settings=Settings(
         base_model=...
         dataset_id=...
         hyperparameters=...
         wandb=wandb_ft_config  # 여기에서 W&B 구성을 전달합니다
       ),
     ),
   )
   

3. 생성한 W&B 프로젝트에서 모델의 파인튜닝 학습 및 검증 지표와 하이퍼파라미터를 확인합니다.

   

​

실행 정리

W&B 실행은 자동으로 구성되며, 작업 유형, 베이스 모델, 학습률 및 기타 하이퍼파라미터와 같은 모든 구성 매개변수를 기준으로 필터링하거나 정렬할 수 있습니다.

또한 실행의 이름을 변경하고 메모를 추가하거나 태그를 만들어 실행을 그룹화할 수 있습니다.

​

참고 자료

• Cohere 파인튜닝 예제