003ChatGPT命题潜力的实证研究ChatGPT命题潜力的实证研究杨志明徐庆树祁长生摘要ChatGPT是一种功能十分强大的自然语言处理工具，若能利用它协助命题，则对考试工作和作业设计有重大意义。根据现代教育测量理论的命题要求，探讨了ChatGPT的命题潜力，发现在命题素材完备、任务指令明确且具体等条件下，用户通过连续追问等方式，可以诱导ChatGPT撰写出质量不错的试题，或提供一些富有创意的命题情境。不过，ChatGPT撰写的客观题存在着没有答案或多个答案并存等风险，其撰写的主观题难度往往难以控制。因此，ChatGPT撰写的题目必须通过高水平专家团队的系统审查，最好能对ChatGPT撰写的试题做先导测试，以确保题目的质量和难度要求。这些发现对作业设计和低利害考试的命题工作具有较大价值。关键词ChatGPT；考试命题；《中国英语能力等级量表》；高考评价体系中图分类号G40-058.1文献标识码ADOI编码10.16518/j.cnki.emae.2023.04.001ChatGPT是一款生成式人工智能（artificialintelligence，AI）对话系统，它的产生和发展引起了全社会的高度关注。一方面，大众对这款AI系统解决问题的能力充满期待，认为它会给教育等许多领域带来革命性的影响，如学生的学习方式将走向个性化、考试和评价方式将走向自动化等。据说，在美国律师资格模拟考试中，ChatGPT的成绩排名在前10%左右；在美国高考SAT阅读考试中，其成绩排名在前7%左右；在SAT数学考试中，其成绩排名在前11%左右；在美国研究生入学考试（GRE）的verbalreasoning部分，其成绩排名更是冲到了前1%。[1]不过，也有研究表明，ChatGPT作答批判性思维测验的正确率不足五成，在一些批判性思维技能方面，其正确率只有25%。[2]另一方面，人们十分担心ChatGPT的不断升级会造成很多负面影响，如许多工作将被ChatGPT所取代、学生可能会用ChatGPT代做作业或协助考试作弊等。因此，部分高校出台了禁止学生使用ChatGPT做作业等规定。[3-4]显然，正确认识ChatGPT的价值和可能的负面影响，对于用好ChatGPT意义重大。特别地，对于考试行业来说，命题工作不仅十分重要，而且成本高昂。若能利用ChatGPT帮助命题，则会带来重大价值。因此，笔者基于现代教育本文为中国教育发展战略学会教育考试专业委员会2021—2022年度教育考试专项课题“智能化自适应学业水平考试系统的研发”（jyks2022021）阶段性成果。杨志明/湖南师范大学测评研究中心主任、外国语学院教授，博士生导师，香港中文大学博士。（长沙410081）徐庆树/湖...
