OpenAI 发布 Indqa

IndQA 是 OpenAI 在 2026 年发布的印度语言基准，覆盖 12 种语言、10 个文化领域，共 2278 道题，由 261 位印度本土领域专家撰写并评审。题目用孟加拉语、印地语、Hinglish、卡纳达语、马拉地语、奥里亚语、泰卢固语、古吉拉特语、马拉雅拉姆语、旁遮普语、泰米尔语和英语写就，覆盖建筑设计、文化艺术、日常生活、饮食、历史、法律伦理、文学语言、媒体娱乐、宗教信仰、体育休闲十类主题。每道题附文化语境化的母语提示、英语对照译文、专家撰写的评分细则和理想答案。

评测采用 rubric 评分制，每条细则由领域专家根据重要性赋权，模型答案由 model-based grader 按细则逐项判定满足与否，加总得到最终分数。题目筛选过程具有对抗性，OpenAI 用 GPT-4o、o3、GPT-4.5 和部分 GPT-5 跑过预筛，只保留这些模型多数失败的题目，以确保留出进步空间。OpenAI 承认这意味着 IndQA 不能用于跨语言横向排名，也可能在自家模型间形成系统性偏置。

这项工作回应了 MMMLU 等多语言基准趋于饱和、且只测翻译与选择题的局限。印度有约 10 亿非英语为母语的人口，22 种官方语言中至少 7 种使用者超过 5000 万，又是 ChatGPT 的第二大市场。OpenAI 表示希望 IndQA 能启发其他语言与文化区域的类似基准建设，为模型在文化语境推理上的进步提供可衡量的坐标。