메인 콘텐츠로 건너뛰기

​
개요

BYOB(Bring Your Own Bucket)를 사용하면 W&B 아티팩트 및 기타 관련 민감 데이터를 사용자 소유 클라우드 또는 온프레미스 인프라에 저장할 수 있습니다. Dedicated Cloud 또는 Multi-tenant Cloud의 경우, 사용자가 버킷에 저장한 데이터는 W&B에서 관리하는 인프라로 복사되지 않습니다.
  • W&B SDK / CLI / UI와 사용자의 버킷 간 통신은 프리사인드 URL을 사용해 이뤄집니다.
  • W&B는 W&B 아티팩트를 삭제하기 위해 가비지 컬렉션 프로세스를 사용합니다. 자세한 내용은 아티팩트 삭제를 참조하세요.
  • 버킷을 구성할 때 하위 경로를 지정하여, W&B가 버킷 루트 폴더에 어떤 파일도 저장하지 않도록 할 수 있습니다. 이를 통해 조직의 버킷 거버넌스 정책을 보다 잘 준수할 수 있습니다.

​
중앙 데이터베이스와 버킷에 저장되는 데이터

BYOB 기능을 사용할 때 일부 데이터 유형은 W&B 중앙 데이터베이스에, 다른 데이터 유형은 사용자의 버킷에 저장됩니다.

​
데이터베이스

  • 사용자, 팀, 아티팩트, 실험, 프로젝트 메타데이터
  • 리포트
  • 실험 로그
  • 시스템 메트릭
  • 콘솔 로그

​
버킷

  • 실험 관련 파일 및 지표
  • 아티팩트 파일
  • 미디어 파일
  • 실행 관련 파일
  • Parquet 형식으로 내보낸 이력 지표와 시스템 이벤트

​
버킷 범위

스토리지 버킷은 다음 두 가지 범위로 구성할 수 있습니다:
ScopeDescription
Instance levelDedicated Cloud 및 Self-Managed 배포에서는, 조직 또는 인스턴스 내에서 필요한 권한을 가진 모든 사용자가 인스턴스 스토리지 버킷에 저장된 파일에 액세스할 수 있습니다. Multi-tenant Cloud에는 적용되지 않습니다.
Team levelW&B 팀이 Team level 스토리지 버킷을 사용하도록 구성된 경우, 팀 구성원은 해당 버킷에 저장된 파일에 액세스할 수 있습니다. Team level 스토리지 버킷은 고도의 민감한 데이터나 엄격한 컴플라이언스 요구 사항을 가진 팀에 대해 더 강력한 데이터 액세스 제어와 데이터 격리를 제공합니다.

Team level 스토리지는 동일한 인스턴스를 공유하는 서로 다른 사업부나 부서가 인프라 및 관리 리소스를 효율적으로 활용하도록 도와줍니다. 또한 개별 프로젝트 팀이 서로 다른 고객 프로젝트에 대한 AI 워크플로를 분리하여 관리할 수 있도록 합니다. 모든 배포 유형에서 사용 가능합니다. Team level BYOB는 팀을 설정할 때 구성합니다.
이러한 유연한 설계로 조직의 요구 사항에 따라 다양한 스토리지 토폴로지를 구성할 수 있습니다. 예를 들면 다음과 같습니다:
  • 동일한 버킷을 인스턴스와 하나 이상의 팀에서 함께 사용할 수 있습니다.
  • 각 팀이 별도의 버킷을 사용할 수도 있고, 일부 팀은 인스턴스 버킷에 쓰도록 선택할 수도 있으며, 여러 팀이 서브 경로에 쓰는 방식으로 하나의 버킷을 공유할 수도 있습니다.
  • 서로 다른 팀의 버킷은 서로 다른 클라우드 인프라 환경 또는 리전에 호스팅될 수 있고, 서로 다른 스토리지 관리자 팀이 관리할 수 있습니다.
예를 들어, 조직에 Kappa라는 팀이 있다고 가정해 보겠습니다. 조직(및 Team Kappa)은 기본적으로 Instance level 스토리지 버킷을 사용합니다. 다음으로 Omega라는 팀을 생성합니다. Team Omega를 생성할 때 해당 팀에 대해 Team level 스토리지 버킷을 구성합니다. Team Omega에서 생성한 파일은 Team Kappa에서 액세스할 수 없습니다. 하지만 Team Kappa에서 생성한 파일은 Team Omega에서 액세스할 수 있습니다. Team Kappa의 데이터를 격리하려면 해당 팀에 대해서도 Team level 스토리지 버킷을 구성해야 합니다.

​
가용성 매트릭스

W&B는 다음 스토리지 제공자에 연결할 수 있습니다:
  • CoreWeave AI Object Storage: 고성능 S3 호환 오브젝트 스토리지 서비스로, AI 워크로드에 최적화되어 있습니다.
  • Amazon S3: 업계 최고 수준의 확장성, 데이터 가용성, 보안, 성능을 제공하는 오브젝트 스토리지 서비스입니다.
  • Google Cloud Storage: 대규모 비정형 데이터를 저장하기 위한 관리형 서비스입니다.
  • Azure Blob Storage: 텍스트, 바이너리 데이터, 이미지, 비디오, 로그와 같은 대규모 비정형 데이터를 저장하기 위한 클라우드 기반 오브젝트 스토리지 솔루션입니다.
  • MinIO Enterprise (AIStor)와 같은 S3 호환 스토리지 또는 사용 중인 클라우드나 온프레미스 인프라에 호스팅된 기타 엔터프라이즈급 솔루션.
다음 표는 W&B 배포 유형별로 각 범위에서 BYOB 지원 여부를 보여줍니다.
W&B deployment type인스턴스 수준팀 수준추가 정보
Dedicated Cloud✓✓CoreWeave AI Object Storage, Amazon S3, Google Cloud Storage, Microsoft Azure Blob Storage, 사용 중인 클라우드 또는 온프레미스 인프라에 호스팅된 MinIO Enterprise (AIStor)와 같은 S3 호환 스토리지에 대해 인스턴스 및 팀 수준 모두에서 BYOB를 지원합니다.
Multi-tenant Cloud해당 없음✓1CoreWeave AI Object Storage, Amazon S3, Google Cloud Storage에 대해 팀 수준 BYOB를 지원합니다.
Self-Managed✓✓CoreWeave AI Object Storage, Amazon S3, Google Cloud Storage, Microsoft Azure Blob Storage, 사용 중인 클라우드 또는 온프레미스 인프라에 호스팅된 MinIO Enterprise (AIStor)와 같은 S3 호환 스토리지에 대해 인스턴스 및 팀 수준 모두에서 BYOB를 지원합니다.
1.Azure Blob Storage는 Multi-tenant Cloud에서 팀 수준 BYOB를 지원하지 않습니다. 다음 섹션에서는 BYOB 설정 절차를 안내합니다.

​
버킷 프로비저닝

가용성을 확인했다면, 이제 스토리지 버킷을 프로비저닝하고 해당 액세스 정책과 CORS를 구성할 준비가 된 것입니다. 계속하려면 탭을 선택하세요.
요구 사항:
  • 멀티 테넌트 클라우드(Multi-tenant Cloud), 또는
  • Dedicated Cloud v0.73.0 버전 이상이거나
  • Self-Managed v0.73.0 이상 버전을 Helm 차트 v0.33.14+로 배포한 경우
  • AI Object Storage가 활성화되어 있으며 버킷, API 액세스 키, 비밀 키를 생성할 수 있는 권한이 있는 CoreWeave 계정.
  • W&B 인스턴스는 CoreWeave 네트워크 엔드포인트에 연결할 수 있어야 합니다.
자세한 내용은 CoreWeave 문서의 CoreWeave AI Object Storage 버킷 생성을 참조하세요.
  1. 멀티 테넌트 클라우드: 버킷 정책에 필요한 조직 ID를 확인합니다.
    1. W&B App에 로그인합니다.
    2. 왼쪽 탐색 메뉴에서 Create a new team을 클릭합니다.
    3. 열리는 드로어에서 Invite team members 위에 있는 W&B 조직 ID를 복사합니다.
    4. 이 페이지는 닫지 말고 그대로 두십시오. 이후 W&B를 구성할 때 사용합니다.
  2. Dedicated Cloud / Self-Managed: 버킷 정책에 필요한 고객 네임스페이스를 발급받으세요.
    1. W&B 앱에서 사용자 프로필 아이콘을 클릭한 다음 System Console을 클릭합니다.
    2. Authentication 탭을 클릭합니다.
    3. 페이지 맨 아래에서 Customer Namespace 값을 복사합니다. 이 값은 버킷 정책을 구성할 때 사용할 수 있도록 보관해 둡니다.
    4. System Console을 닫습니다.
  3. CoreWeave에서 원하는 CoreWeave 가용 영역에 원하는 이름으로 버킷을 생성합니다. 선택적으로 모든 W&B 파일에 사용할 하위 경로로 W&B용 폴더를 생성합니다. 버킷 이름, 가용 영역, API 액세스 키, 시크릿 키, 하위 경로를 기록해 두세요.
  4. 버킷에 다음 CORS(Cross-Origin Resource Sharing) 정책을 설정합니다: 
    [
  {
    "AllowedHeaders": [
      "*"
    ],
    "AllowedMethods": [
      "GET",
      "HEAD",
      "PUT"
    ],
    "AllowedOrigins": [
      "*"
    ],
    "ExposeHeaders": [
      "ETag"
    ],
    "MaxAgeSeconds": 3000
  }
]
    CoreWeave 스토리지는 S3 호환입니다. CORS에 대한 자세한 내용은 AWS 문서의 교차 출처 리소스 공유(CORS) 구성을 참조하십시오.
  5. 버킷에 대한 버킷 정책을 구성해 W&B 배포 환경이 버킷에 접근하고, 클라우드 인프라 내 AI 워크로드나 사용자 브라우저가 버킷에 접근하는 데 사용하는 pre-signed URL을 생성할 수 있도록 필요한 권한을 부여하세요. 자세한 내용은 CoreWeave 문서의 Bucket Policy Reference를 참고하세요. 
    {
  "Version": "2012-10-17",
  "Statement": [
  {
    "Sid": "AllowWandbUser",
    "Action": [
      "s3:GetObject*",
      "s3:GetEncryptionConfiguration",
      "s3:ListBucket",
      "s3:ListBucketMultipartUploads",
      "s3:ListBucketVersions",
      "s3:AbortMultipartUpload",
      "s3:DeleteObject",
      "s3:PutObject",
      "s3:GetBucketCORS",
      "s3:GetBucketLocation",
      "s3:GetBucketVersioning"
    ],
    "Effect": "Allow",
    "Resource": [
      "arn:aws:s3:::<cw-bucket>/*",
      "arn:aws:s3:::<cw-bucket>"
    ],
    "Principal": {
      "CW": "arn:aws:iam::wandb:static/<wb-cw-principal>"
    },
    "Condition": {
      "StringLike": {
        "wandb:OrgID": [
          "<wb-org-id>"
        ]
      }
    }
  },
  {
    "Sid": "AllowUsersInOrg",
    "Action": "s3:*",
    "Effect": "Allow",
    "Resource": [
      "arn:aws:s3:::<cw-bucket>",
      "arn:aws:s3:::<cw-bucket>/*"
    ],
    "Principal": {
      "CW": "arn:aws:iam::<cw-storage-org-id>:*"
    }
  }]
}
    "Sid": "AllowUsersInOrg"로 시작하는 절은 조직의 사용자에게 버킷에 대한 직접 액세스 권한을 부여합니다. 이 권한이 필요하지 않다면 정책에서 해당 절을 생략해도 됩니다.
  6. 버킷 정책에서 플레이스홀더를 바꾸십시오:
    • <cw-bucket>: 버킷 이름입니다.
    • <cw-wandb-principal>:
      • Multi-tenant Cloud: arn:aws:iam::wandb:static/wandb-integration-public
      • Dedicated Cloud 또는 Self-Managed: arn:aws:iam::wandb:static/wandb-integration
    • <wb-org-id>:
  7. Dedicated Cloud: 추가 절차를 완료하려면 지원팀으로 연락하세요.
  8. Self-Managed: W&B 배포에서 환경 변수 GORILLA_SUPPORTED_FILE_STORES의 값을 문자열 cw://로 정확히 설정한 뒤 W&B를 재시작하십시오. 그렇지 않으면 팀 스토리지를 구성할 때 CoreWeave가 옵션으로 표시되지 않습니다.
다음으로, W&B를 구성합니다.
다음으로 스토리지 주소를 확인합니다.

​
스토리지 주소 결정하기

이 섹션에서는 W&B 팀을 BYOB 스토리지 버킷에 연결할 때 사용하는 구문을 설명합니다. 예시에서 꺾쇠 괄호(<>) 안의 플레이스홀더 값은 사용자의 버킷 정보로 바꾸십시오. 자세한 안내는 탭을 선택해서 확인하십시오.
이 섹션은 Dedicated Cloud 또는 Self-Managed 환경에서 팀 단위 BYOB에만 해당합니다. 인스턴스 단위 BYOB 또는 Multi-tenant Cloud의 경우, 이미 W&B 설정을 진행할 준비가 된 상태입니다.다음 형식을 사용하여 전체 버킷 경로를 결정합니다. 꺾쇠 괄호(<>) 안의 플레이스홀더는 버킷의 실제 값으로 바꾸십시오.버킷 형식:
cw://<accessKey>:<secretAccessKey>@cwobject.com/<bucketName>?tls=true
cwobject.com HTTPS 엔드포인트가 지원됩니다. TLS 1.3이 필요합니다. 다른 CoreWeave 엔드포인트에 관심이 있다면 지원팀으로 문의하십시오.
스토리지 주소를 결정했다면, 이제 팀 단위 BYOB 설정을 진행할 준비가 완료되었습니다.

​
W&B 구성하기

버킷을 프로비저닝하고 주소를 확인한 후에는 인스턴스 수준 또는 팀 수준에서 BYOB를 구성할 수 있습니다.
스토리지 버킷 레이아웃을 신중하게 계획하십시오. W&B용 스토리지 버킷을 구성한 이후에는 해당 데이터를 다른 버킷으로 마이그레이션하는 작업이 복잡하고 W&B의 지원이 필요합니다. 이는 Dedicated Cloud 및 Self-Managed의 스토리지뿐 아니라 Multi-tenant Cloud의 팀 수준 스토리지에도 적용됩니다. 문의 사항이 있으면 support로 연락하십시오.

​
인스턴스 수준 BYOB

인스턴스 수준의 CoreWeave AI Object Storage 구성이 필요한 경우, 이 안내의 단계를 따르지 말고 W&B support에 문의하세요. 셀프서비스 구성은 아직 지원되지 않습니다.
Dedicated Cloud의 경우: 버킷 상세 정보를 W&B 팀과 공유하면, W&B 팀에서 Dedicated Cloud 인스턴스를 구성합니다. Self-Managed의 경우, W&B App을 사용하여 인스턴스 수준 BYOB를 구성할 수 있습니다:
  1. admin 역할을 가진 사용자로 W&B에 로그인합니다.
  2. 상단의 사용자 아이콘을 클릭한 다음 System Console을 클릭합니다.
  3. Settings > System Connections로 이동합니다.
  4. Bucket Storage 섹션에서 Identity 필드의 Identity가 새 버킷에 대한 액세스 권한을 가지고 있는지 확인합니다.
  5. Provider를 선택합니다.
  6. Bucket Name을 입력합니다.
  7. 필요한 경우 새 버킷에서 사용할 Path를 입력합니다.
  8. Save를 클릭합니다.

​
팀 단위 BYOB

W&B App에서 팀을 생성하는 동안 팀 단위 BYOB를 설정할 수 있습니다. 다음 두 가지 옵션이 있습니다:
  • 기존 버킷 사용: 먼저 버킷의 스토리지 위치를 확인해야 합니다.
  • 새 버킷 생성 (멀티 테넌트 클라우드 전용): 팀을 생성할 때 W&B가 클라우드 제공업체에 버킷을 자동으로 생성할 수 있습니다. CoreWeave, AWS, Google Cloud에서 지원됩니다.
  • 팀이 생성된 후에는 해당 팀의 스토리지를 변경할 수 없습니다.
  • 인스턴스 단위 BYOB의 경우 Instance level BYOB를 참조하세요.
  • 팀에 대해 CoreWeave 스토리지를 설정하려는 경우, 먼저 CoreWeave 요구 사항을 검토하고 support에 문의하여 버킷이 CoreWeave에 올바르게 구성되었는지와 팀 구성이 유효한지 확인하세요. 팀이 생성된 후에는 스토리지 세부 정보를 변경할 수 없기 때문입니다.
계속하려면 배포 유형을 선택하세요.
  1. Dedicated Cloud: 팀에서 스토리지 버킷을 사용하려면 나머지 단계를 진행하기 전에 계정 팀에 버킷 경로를 반드시 제공하여, 해당 인스턴스의 지원 파일 저장소 목록에 추가하도록 해야 합니다.
  2. Self-Managed: 팀에서 스토리지 버킷을 사용하려면 나머지 단계를 진행하기 전에 버킷 경로를 GORILLA_SUPPORTED_FILE_STORES 환경 변수에 반드시 추가한 다음 W&B를 재시작해야 합니다.
  3. admin 역할을 가진 사용자로 W&B에 로그인한 후, 왼쪽 상단의 아이콘을 클릭해 왼쪽 내비게이션을 연 다음 Create a team to collaborate를 클릭합니다.
  4. 팀 이름을 입력합니다.
  5. Storage Type을 External storage로 설정합니다.
    인스턴스 레벨 스토리지를 팀 스토리지로 사용하려면(내부 또는 외부 여부와 상관없이), 인스턴스 레벨 버킷이 BYOB로 구성되어 있더라도 Storage Type을 Internal로 유지합니다. 팀에 별도의 외부 스토리지를 사용하려면 팀의 Storage Type을 External로 설정하고, 다음 단계에서 버킷 세부 정보를 구성합니다.
  6. Bucket location을 클릭합니다.
  7. 기존 버킷을 사용하려면 목록에서 선택합니다. 새 버킷을 추가하려면 아래쪽의 Add bucket을 클릭한 다음, 버킷 세부 정보를 입력합니다. Cloud provider를 클릭하고 CoreWeave, AWS, Google Cloud 또는 Azure를 선택합니다. 클라우드 제공자가 목록에 없다면, 인스턴스의 지원 파일 저장소에 버킷 경로를 추가하기 위해 Provision your bucket의 지침을 따랐는지 확인합니다. 스토리지 제공자가 여전히 표시되지 않으면, 지원을 받기 위해 contact support에 문의하십시오.
  8. 버킷 세부 정보를 지정합니다.
    • CoreWeave의 경우 버킷 이름만 입력합니다.
    • Amazon S3, Google Cloud, 또는 S3 호환 스토리지의 경우 이전에 확인한 전체 버킷 경로를 입력합니다.
    • W&B Dedicated 또는 Self-Managed 환경에서 Azure를 사용하는 경우, Account name에는 Azure 계정을, Container name에는 Azure blob storage 컨테이너를 설정합니다.
    • 선택적으로 추가 연결 설정을 입력합니다:
      • 필요한 경우 Path를 버킷 하위 경로로 설정합니다.
      • CoreWeave: 추가 연결 설정이 필요하지 않습니다.
      • AWS: KMS key ARN을 KMS 암호화 키의 ARN으로 설정합니다.
      • Google Cloud: 추가 연결 설정이 필요하지 않습니다.
      • Azure: Tenant ID와 Managed Identity Client ID 값을 지정합니다. GORILLA_SUPPORTED_FILE_STORES로 연결 문자열을 구성하지 않았다면 이 필드는 필수입니다.
  9. Create team을 클릭합니다.
W&B가 버킷에 접근하는 동안 오류가 발생하거나 잘못된 설정을 감지하면 페이지 하단에 오류 또는 경고가 표시됩니다. 그렇지 않으면 팀이 생성됩니다.

​
문제 해결

​
CoreWeave

이 섹션에서는 CoreWeave AI Object Storage에 연결할 때 발생하는 문제를 해결하는 방법을 설명합니다.
  • 연결 오류
    • W&B 인스턴스가 CoreWeave 네트워크 엔드포인트에 연결할 수 있는지 확인합니다.
    • CoreWeave는 버킷 이름이 경로의 시작 부분에 서브도메인으로 포함되는 virtual-hosted 스타일 경로를 사용합니다. 예를 들어 cw://bucket-name.cwobject.com은 올바르지만 cw://cwobject.com/bucket-name/는 올바르지 않습니다.
    • 버킷 이름에는 밑줄(_)이나 DNS 규칙과 호환되지 않는 다른 문자가 포함되면 안 됩니다.
    • 버킷 이름은 CoreWeave의 모든 리전에서 전역적으로 고유해야 합니다.
    • 버킷 이름은 예약된 접두사인 cw- 또는 vip-로 시작하면 안 됩니다.
  • CORS 유효성 검사 실패
    • CORS 정책을 반드시 설정해야 합니다. CoreWeave는 S3와 호환되며, CORS에 대한 자세한 내용은 AWS 문서의 Configuring cross-origin resource sharing (CORS)를 참조하세요.
    • AllowedMethods에는 GET, PUT, HEAD 메서드가 포함되어야 합니다.
    • ExposeHeaders에는 ETag가 포함되어야 합니다.
    • CORS 정책의 AllowedOrigins에 W&B 프런트엔드 도메인이 포함되어야 합니다. 이 페이지에서 제공하는 예제 CORS 정책에는 *를 사용하여 모든 도메인이 포함되어 있습니다.
  • LOTA 엔드포인트 문제
    • 현재 W&B에서 LOTA 엔드포인트에 연결하는 기능은 아직 지원되지 않습니다. 관심이 있다면 지원팀에 문의해 주세요.
  • 액세스 키 및 권한 오류
    • CoreWeave API Access Key가 만료되지 않았는지 확인합니다.
    • CoreWeave API Access Key와 Secret Key에 GetObject, PutObject, DeleteObject, ListBucket 권한이 충분히 부여되어 있는지 확인합니다. 이 페이지의 예시는 이 요구 사항을 충족합니다. 자세한 내용은 CoreWeave 문서의 Create and Manage Access Keys를 참조하세요.

​
Google Cloud

이 섹션에서는 Google Cloud Storage 연결 문제를 해결하는 데 도움을 제공합니다.
  • Bucket does not have soft deletion enabled Google Cloud Storage 버킷에 소프트 삭제(soft deletion)가 활성화되어 있는지 확인하세요. 자세한 내용은 버킷의 소프트 삭제 정책 수정을 참고하세요.