OpenAI 发布 LifeVal 基准:从选幼儿园到报税,测试 AI 的“人间烟火”技能

OpenAI 于 11 月 2 日推出了名为 LifeVal 的全新基准,旨在评估人工智能模型能否切实协助普通人处理日常生活事务。该公司表示,该测试的设计初衷是让通用 AI 更贴近“对人类最有实用价值的日常支持”。

在构建 LifeVal 任务时,OpenAI 首先参考了美国的“美国人时间使用调查”以及跨国的“多国时间使用调查”,随后对 3,995 名具有人口代表性的受访者进行了调研,询问他们最希望个人 AI 助手在哪些方面提供协助。

基于这些调研,LifeVal 涵盖了照护、健康、教育、家庭管理、个人财务、购物以及获取政府服务等多个场景。典型的任务包括:搬家后为孩子挑选并报名合适的幼儿园、为患糖尿病的家人制定饮食与护理方案、在预算内采购食材、整理政府表格、组织社区防洪志愿者等。

与传统的基准不同,LifeVal 更注重任务能否被推进到“可执行、可交付”的状态。举例来说,AI 不应仅列出幼儿园名单,而需结合地点、预算、通勤和家庭需求进行筛选;在处理财务时,也要兼顾账单、收入和风险。OpenAI 指出,模型可能需要理解聊天记录、浏览网页、整合多方信息,并给出符合个人情况的具体建议。

OpenAI 表示,过去一年中,他们已将 LifeVal 用于追踪和推动模型在日常任务上的表现提升。公开示例显示,部分任务表现较高:为孩子找幼儿园得分为 93.1%,组织防洪志愿者为 98.0%,为糖尿病家长准备膳食计划为 90.4%。相关截图附在下方。

不过,LifeVal 目前仍主要是 OpenAI 的内部评估工具。外界尚未获得完整的任务集、评分代码、误差范围或可独立复现的排行榜,因此其结果仍需谨慎解读。