一、 简介

1. GDPval 评估数据集 直接取材于各行业资深专业人士的实际知识工作任务，通过这些来衡量模型性能，清晰展现模型在经济价值任务中的表现。基于真实职业任务的评估不仅能揭示模型在实验室环境中的表现，更能洞察其如何助力人们完成日常工作
2. GDPval 任务并非简单文本提示。而是附带参考文件和背景信息，预期交付物涵盖文档、幻灯片、图表、电子表格及多媒体。这种现实性使 GDPval 更能真实检验模型如何辅助专业人士

二、数据集涵盖范围

1. 数据集中的专业人士的职业整体符合“以知识工作为主”的标准，重点关注 AI 对现实生产力影响最大的职业领域
2. 职业信息如下：

   • 房地产、租赁与租赁管理
     • 礼宾服务员
     • 物业、房地产及社区协会经理
     • 房地产销售代理
     • 房地产经纪人
     • 柜台及租赁服务员

   • 政府部门
     • 休闲娱乐工作者
     • 合规专员
     • 警察与侦探一线主管
     • 行政服务经理
     • 儿童、家庭及学校社工

   • 制造业
     • 机械工程师
     • 工业工程师
     • 采购员与采购代理
     • 发货、收货与库存文员
     • 生产与操作工人一线主管

   • 专业、科学与技术服务
     • 软件开发人员
     • 律师
     • 会计师与审计师
     • 计算机与信息系统经理
     • 项目管理专家

   • 医疗保健与社会援助
     • 注册护士
     • 护理助手
     • 医生与外科医生
     • 办公室与行政支持工人一线主管
     • 医疗秘书与行政助理
     • 医疗保健支持工人

   • 金融与保险
     • 客户服务代表
     • 金融分析师
     • 会计师与审计师
     • 个人金融顾问
     • 证券、商品及金融服务销售代理
     • 信贷员

   • 零售贸易
     • 药剂师
     • 零售销售人员一线主管
     • 收银员
     • 私营侦探与调查员
     • 库存文员与订单填充员

   • 批发贸易
     • 销售经理
     • 计算机支持专家
     • 非零售销售人员一线主管
     • 批发与制造销售代表 (不含技术及科学产品)
     • 批发与制造销售代表技术及科学产品

   • 信息行业
     • 软件开发人员
     • 制片人与导演
     • 新闻分析师、记者与新闻工作者
     • 影视剪辑师
     • 编辑