데이터셋 수집 및 추적

LLM 애플리케이션 평가를 위한 예제를 구성, 수집, 추적 및 버전 관리하기

Weave 데이터셋은 LLM 애플리케이션 평가를 위한 예제를 구성하고 수집하며, 추적 및 버전 관리를 통해 손쉽게 비교할 수 있도록 도와줍니다. Dataset은 프로그래밍 방식과 UI 모두에서 생성하고 사용할 수 있습니다.

이 페이지에서는 다음 내용을 다룹니다:

• Python 및 TypeScript에서 Dataset의 기본 연산과 시작 방법
• Weave calls와 같은 객체로부터 Python 및 TypeScript에서 Dataset을 생성하는 방법
• UI에서 Dataset에 사용할 수 있는 연산

​

Dataset 빠른 시작

다음 코드 예제는 Python과 TypeScript를 사용하여 기본적인 Dataset 작업을 수행하는 방법을 보여줍니다. SDK를 사용하면 다음을 수행할 수 있습니다:

• Dataset 생성
• Dataset 게시
• Dataset 조회
• Dataset에서 특정 예제에 접근

탭을 선택해 Python 및 TypeScript 전용 코드를 확인하세요.

Python

import weave
from weave import Dataset
# Weave 초기화
weave.init('intro-example')

# 데이터셋 생성
dataset = Dataset(
    name='grammar',
    rows=[
        {'id': '0', 'sentence': "He no likes ice cream.", 'correction': "He doesn't like ice cream."},
        {'id': '1', 'sentence': "She goed to the store.", 'correction': "She went to the store."},
        {'id': '2', 'sentence': "They plays video games all day.", 'correction': "They play video games all day."}
    ]
)

# 데이터셋 게시
weave.publish(dataset)

# 데이터셋 조회
dataset_ref = weave.ref('grammar').get()

# 특정 예제에 접근
example_label = dataset_ref.rows[2]['sentence']

TypeScript

import * as weave from 'weave';

// Weave 초기화
await weave.init('intro-example');

// 데이터셋 생성
const dataset = new weave.Dataset({
    name: 'grammar',
    rows: [
        {id: '0', sentence: "He no likes ice cream.", correction: "He doesn't like ice cream."},
        {id: '1', sentence: "She goed to the store.", correction: "She went to the store."},
        {id: '2', sentence: "They plays video games all day.", correction: "They play video games all day."}
    ]
});

// 데이터셋 게시
await dataset.save();

// 특정 예제에 접근
const exampleLabel = datasetRef.getRow(2).sentence;

​

다른 객체에서 Dataset 생성하기

Python

Python에서는 Dataset을 calls와 같은 일반적인 Weave 객체나 pandas.DataFrame과 같은 Python 객체로부터도 생성할 수 있습니다. 이 기능은 특정 샘플로부터 예시용 Dataset을 만들고 싶을 때 유용합니다.

​

Weave call

하나 이상의 Weave 호출로부터 Dataset을 생성하려면, 호출 객체를 가져와서 from_calls 메서드에 리스트로 전달합니다.

@weave.op
def model(task: str) -> str:
    return f"Now working on {task}"

res1, call1 = model.call(task="fetch")
res2, call2 = model.call(task="parse")

dataset = Dataset.from_calls([call1, call2])
# 이제 이 dataset을 사용해 모델을 평가하는 등의 작업을 수행할 수 있습니다.

​

Pandas DataFrame

Pandas DataFrame 객체로부터 Dataset을 생성하려면 from_pandas 메서드를 사용합니다.

Dataset을 다시 변환하려면 to_pandas를 사용합니다.

import pandas as pd

df = pd.DataFrame([
    {'id': '0', 'sentence': "He no likes ice cream.", 'correction': "He doesn't like ice cream."},
    {'id': '1', 'sentence': "She goed to the store.", 'correction': "She went to the store."},
    {'id': '2', 'sentence': "They plays video games all day.", 'correction': "They play video games all day."}
])
dataset = Dataset.from_pandas(df)
df2 = dataset.to_pandas()

assert df.equals(df2)

​

Hugging Face Datasets

Hugging Face datasets.Dataset 또는 datasets.DatasetDict 객체로부터 Dataset을 생성하려면, 먼저 필요한 의존성이 설치되어 있는지 확인합니다:

pip install weave[huggingface]

그런 다음 from_hf 메서드를 사용합니다. 여러 split(예: ‘train’, ‘test’, ‘validation’)을 가진 DatasetDict를 전달하면, Weave는 자동으로 ‘train’ split을 사용하고 경고를 출력합니다. ‘train’ split이 없으면 오류를 발생시킵니다. 특정 split을 직접 제공할 수도 있습니다(예: hf_dataset_dict['test']).

weave.Dataset을 다시 Hugging Face Dataset으로 변환하려면 to_hf 메서드를 사용합니다.

# datasets가 설치되어 있는지 확인: pip install datasets
from datasets import Dataset as HFDataset, DatasetDict

# HF Dataset 예제
hf_rows = [
    {'id': '0', 'sentence': "He no likes ice cream.", 'correction': "He doesn't like ice cream."},
    {'id': '1', 'sentence': "Shegoed to the store.", 'correction': "She went to the store."},
]
hf_ds = HFDataset.from_list(hf_rows)
weave_ds_from_hf = Dataset.from_hf(hf_ds)

# HF Dataset으로 다시 변환
converted_hf_ds = weave_ds_from_hf.to_hf()

# HF DatasetDict 예제 (기본적으로 'train' split 사용)
hf_dict = DatasetDict({
    'train': HFDataset.from_list(hf_rows),
    'test': HFDataset.from_list([{'id': '2', 'sentence': "Test sentence", 'correction': "Test correction"}])
})
# 이 코드는 경고를 출력하고 'train' split을 사용합니다
weave_ds_from_dict = Dataset.from_hf(hf_dict)

# 특정 split을 제공하는 경우
weave_ds_from_test_split = Dataset.from_hf(hf_dict['test'])

TypeScript

 이 기능은 현재 TypeScript에서는 사용할 수 없습니다.

​

UI에서 Dataset 생성, 편집 및 삭제

UI에서 Dataset을 생성하고 편집하며 삭제할 수 있습니다.

​

새로운 Dataset 만들기

1. 편집하려는 Weave 프로젝트로 이동합니다.

2. 사이드바에서 Traces를 선택합니다.

3. 새 Dataset에 포함할 호출을 하나 이상 선택합니다.

4. 오른쪽 상단 메뉴에서 Add selected rows to a dataset 아이콘(휴지통 아이콘 옆에 위치)을 클릭합니다.

5. Choose a dataset 드롭다운에서 Create new를 선택합니다. Dataset name 필드가 표시됩니다.

6. Dataset name 필드에 데이터셋 이름을 입력합니다. Configure dataset fields 옵션이 표시됩니다.

   Dataset 이름은 영문자 또는 숫자로 시작해야 하며, 영문자, 숫자, 하이픈(-), 밑줄(_)만 포함할 수 있습니다.

7. (선택 사항) Configure dataset fields에서 데이터셋에 포함할 호출의 필드를 선택합니다.

   • 선택한 각 필드에 대해 열 이름을 사용자 지정할 수 있습니다.
   • 일부 필드만 선택해서 새 Dataset에 포함하거나, 모든 필드의 선택을 해제할 수 있습니다.

8. 데이터셋 필드 구성을 마쳤으면 Next를 클릭합니다. 새 Dataset의 미리 보기가 표시됩니다.

9. (선택 사항) Dataset에서 편집 가능한 필드를 클릭하여 항목을 수정합니다.

10. Create dataset을 클릭합니다. 새 데이터셋이 생성됩니다.

11. 확인 팝업에서 View the dataset을 클릭하여 새 Dataset을 확인합니다. 또는 Datasets 탭으로 이동합니다.

​

Dataset 편집하기

1. 편집하려는 Dataset이 포함된 Weave 프로젝트로 이동합니다.

2. 사이드바에서 Datasets를 선택합니다. 사용 가능한 Dataset 목록이 표시됩니다.

   

3. Object 열에서 편집하려는 Dataset의 이름과 버전을 클릭합니다. 이름, 버전, 작성자 및 Dataset 행과 같은 Dataset 정보가 표시되는 모달 창이 열립니다.

   

4. 모달 오른쪽 상단에서 Edit dataset 버튼(연필 아이콘)을 클릭합니다. 모달 하단에 + Add row 버튼이 표시됩니다.

   

5. + Add row를 클릭합니다. 기존 Dataset 행 상단에 초록색 행이 표시되며, Dataset에 새 행을 추가할 수 있음을 나타냅니다.

   

6. 새 행에 데이터를 추가하려면 해당 행에서 원하는 열을 클릭합니다. Dataset 행의 기본 id 열은 Weave가 생성 시 자동으로 할당하므로 편집할 수 없습니다. Text, Code, Diff 옵션으로 포맷을 선택할 수 있는 편집 모달이 나타납니다.

   

7. 새 행에서 데이터를 추가하려는 각 열에 대해 6단계를 반복합니다.

   

8. Dataset에 추가하려는 각 행에 대해 5단계를 반복합니다.

9. 편집을 마쳤으면 모달 오른쪽 상단의 Publish를 클릭하여 Dataset을 게시합니다. 변경 내용을 게시하지 않으려면 Cancel을 클릭합니다.

   

   게시가 완료되면, 업데이트된 행이 포함된 새 버전의 Dataset을 UI에서 사용할 수 있습니다.

   

​

Dataset 삭제

1. 편집하려는 Dataset이 포함된 Weave 프로젝트로 이동합니다.

2. 사이드바에서 Datasets를 선택합니다. 사용 가능한 Dataset들이 표시됩니다.

3. Object 열에서 삭제하려는 Dataset의 이름과 버전을 클릭합니다. 이름, 버전, 작성자, Dataset 행 등 Dataset 정보를 보여주는 팝업 모달이 표시됩니다.

4. 모달의 오른쪽 상단에서 휴지통 아이콘을 클릭합니다.

   Dataset 삭제를 확인하라는 팝업 모달이 표시됩니다.

   

5. 팝업 모달에서 빨간색 Delete 버튼을 클릭하여 Dataset을 삭제합니다. 또는 Dataset을 삭제하지 않으려면 Cancel을 클릭합니다.

   이제 Dataset이 삭제되며, Weave 대시보드의 Datasets 탭에 더 이상 표시되지 않습니다.

​

Dataset에 새 예제 추가하기

1. 편집하려는 Weave 프로젝트로 이동합니다.

2. 사이드바에서 Traces를 선택합니다.

3. 새 예제를 만들고 싶은 Datasets가 포함된 호출을 하나 이상 선택합니다.

4. 오른쪽 상단 메뉴에서 Add selected rows to a dataset 아이콘(휴지통 아이콘 옆에 위치)을 클릭합니다. 원한다면 Show latest versions 토글을 끄고 사용 가능한 모든 데이터셋의 모든 버전을 표시할 수 있습니다.

5. Choose a dataset 드롭다운에서 예제를 추가할 Dataset을 선택합니다. 그러면 Configure field mapping 옵션이 표시됩니다.

6. (선택 사항) Configure field mapping에서 호출의 필드가 해당 데이터셋 열에 매핑되는 방식을 조정할 수 있습니다.

7. 필드 매핑 구성을 마쳤으면 Next를 클릭합니다. 새로운 Dataset의 미리 보기가 표시됩니다.

8. 비어 있는 행(초록색)에 새 예제 값을 추가합니다. id 필드는 편집할 수 없으며 Weave에서 자동으로 생성된다는 점에 유의하십시오.

9. Add to dataset을 클릭합니다. 또는 Configure field mapping 화면으로 돌아가려면 Back을 클릭합니다.

10. 확인 팝업에서 View the dataset을 클릭하여 변경 사항을 확인합니다. 또는 Datasets 탭으로 이동하여 Dataset에 적용된 업데이트를 확인합니다.

​

기타 Dataset 작업

Python

​

행 선택

select 메서드를 사용해 Dataset에서 인덱스를 기준으로 특정 행을 선택할 수 있습니다. 이는 데이터의 부분 집합을 만들 때 유용합니다.

import weave
from weave import Dataset

# 예제 데이터셋 생성
dataset = Dataset(rows=[
    {'col_a': 1, 'col_b': 'x'},
    {'col_a': 2, 'col_b': 'y'},
    {'col_a': 3, 'col_b': 'z'},
    {'col_a': 4, 'col_b': 'w'},
])

# 인덱스 0과 2의 행 선택
subset_dataset = dataset.select([0, 2])

# 이제 subset_dataset에는 첫 번째와 세 번째 행만 포함됩니다
# print(list(subset_dataset))
# 출력: [{'col_a': 1, 'col_b': 'x'}, {'col_a': 3, 'col_b': 'z'}]

TypeScript

 이 기능은 현재 TypeScript에서는 아직 사용할 수 없습니다.