开源数据集发布规范：基于 Datasheets for Datasets 标准化构建 Dataset Card

在人工智能与自然语言处理开源生态（如 HuggingFace Datasets、ModelScope 或 GitHub）中，发布一个高质量的数据集绝非仅仅是将一个 train.json 压缩包上传了事。

在现实中，许多开源数据集由于缺乏规范的说明文档，导致严重的安全隐患与科研乱象：

• 使用者不知道数据集中究竟包含了哪些敏感隐私属性（PII）；
• 不清楚数据集的收集过程是否存在严重的地域、性别偏倚；
• 缺乏明确的开源许可证（Licenses），导致下游商业公司在集成时面临严重的侵权诉讼风险。

由微软、斯坦福大学等联合提出的 Datasheets for Datasets（数据集说明书标准规范），已成为全球顶级学术共同体与工业界发布数据集的事实标准（De Facto Standard）。

本文详解 Datasheets for Datasets 的核心架构，并提供一份标准的 HuggingFace Dataset Card（README.md） 模板。

1. Datasheets for Datasets 的七大核心合规模块

                     [Datasheets for Datasets 标准架构]
                                     │
    ┌──────────────────┬─────────────┴─────────────┬──────────────────┐
    ▼                  ▼                           ▼                  ▼
[1. Motivation 动机]  [2. Composition 构成]       [3. Collection 采集]   [4. Uses 推荐与禁止用途]
- 为什么创建该数据集？ - 包含多少样本？有哪些字段？ - 原始语料从何处抓取？ - 适用于哪些下游任务？
- 资助机构与作者团队   - 是否包含敏感个人属性？     - 众包标注团队与质检流程 - 【明确禁止用于哪些场景！】

2. 标准 HuggingFace Dataset Card Markdown 模板（README.md）

---
annotations_creators:
  - expert-annotators
language_creators:
  - crowdsourced
language:
  - zh
  - en
license: cc-by-4.0
multilinguality:
  - multilingual
size_categories:
  - 100K<n<1M
source_datasets:
  - original
task_categories:
  - text-classification
  - question-answering
task_ids:
  - intent-classification
pretty_name: "Medical-Intent-Benchmark-v2"
---

# Dataset Card for Medical-Intent-Benchmark-v2

## 1. Dataset Summary (数据集摘要)
`Medical-Intent-Benchmark-v2` 是一个包含 100,000 条高质量、多专家双盲标注的中文临床医疗意图理解与实体抽取基准数据集。本数据集旨在评估大语言模型在严肃医疗问答中的事实性与长尾症状理解能力。

## 2. Dataset Structure (数据结构与字段说明)
每个样本包含以下结构化 JSON 字段：
- `id` (string): 样本全局唯一 UUID；
- `dialogue_context` (string): 患者主诉与医患问答原始文本；
- `intent_label` (string): 核心意图类别 (枚举值: `[用药咨询, 报告解读, 症状排查, 紧急就医]`)；
- `entities` (list of dict): 抽取的医学实体 (包含 `mention`, `start`, `end`, `umls_cui_id`)；
- `annotator_agreement_score` (float): 该样本对应的 3 专家打标一致性分数 (0.0 ~ 1.0)。

## 3. Data Collection & Preprocessing (数据采集与质检清洗)
- **数据来源**: 来源于公开脱敏的合规互联网医疗咨询语料，严格遵守网站 Robots.txt 协议；
- **隐私脱敏 (PII Scrubbing)**: 所有患者真实姓名、身份证、电话号码与具体医院名称已全部通过正则表达式与实体脱敏引擎进行替换处理；
- **标注质量把控**: 每条数据由 3 名资深执业医师独立双盲打标，全数据集 Fleiss' Kappa 一致性系数达到 **$\kappa = 0.842$**。

## 4. Considerations for Using the Data (使用规范与伦理约束)
### 推荐用途 (Intended Uses):
- 医疗领域大语言模型指令微调 (SFT) 与偏好对齐 (DPO)；
- 医疗意图分类与命名实体识别模型算法评测。

### 🚨 严厉禁止用途 (Out-of-Scope / Prohibited Uses):
- **严禁直接用于未经医生审核的自动化临床真实处方下发！**
- 严禁用于针对患者群体的商业精准营销或歧视性画像。

## 5. Licensing & Citation (许可证与引用规范)
本数据集遵循 **Creative Commons Attribution 4.0 International (CC-BY 4.0)** 许可证开源。

如在学术研究中使用了本数据集，请严格引用以下 BibTeX：

```bibtex
@inproceedings{ma2026medical,
  title={Medical-Intent-Benchmark: A High-Fidelity Dataset for Clinical Intent Understanding},
  author={Ma, Zhixu and Wang, Baolong},
  booktitle={Proceedings of the 64th Annual Meeting of the Association for Computational Linguistics (ACL 2026)},
  year={2026}
}

## 3. 数据集发布质量自查清单

在将数据集公开推送到 HuggingFace Hub 之前，逐一核对以下 5 项要素：

```text
+-----------------------------------------------------------------------------------+
|                        开源数据集发布前 5 项终审 Checklist                        |
+-----------------------------------------------------------------------------------+
| [ ] 1. YAML 前言合法性: Dataset Card 顶部的 YAML Frontmatter 语法是否校验通过？   |
| [ ] 2. 字段字典完整: 是否对每一个字段的数据类型与缺失值处理进行了明确定义？       |
| [ ] 3. 隐私合规零容忍: 是否执行了全量 PII 扫描，确保绝无泄漏真实个人手机号与地址？|
| [ ] 4. 开源许可证声明: 是否显式标注了 CC-BY-4.0 或 Apache-2.0 协议？              |
| [ ] 5. 快速加载验证: 运行 `load_dataset("my_dataset")` 是否在 5 秒内秒级跑通？    |
+-----------------------------------------------------------------------------------+

4. 严谨派数据科学家的发布自律

数据集是人工智能生态的公共水资源。

一个字段定义严谨、隐私脱敏彻底、伦理约束明确的 Dataset Card，不仅是对全球开发者负责的崇高体现，更能使你的科研成果获得同行长达数年的广泛引用与尊重。