此前6月,上海人工智能实验室旗下司南评测体系OpenCompass发布了首个AI高考全卷评测结果,显示语数外三科加起来,AI考生最高能得303分,数学全不及格。
7月17日,OpenCompass进一步发布了扩大学科范围的测评,团队对7个AI大模型进行了高考9个科目的全科目测试,这样一来也就能与高考录取分数线作比较。
如果AI参加高考,能被什么大学录取?OpenCompass测试发现,大模型如果参加文科考试,最好的成绩能被“录取”到一本,而参加理科考试,则最多只能被二本“录取”(以今年高考人数最多的河南省的分数线为参考)。
此次测试的模型仍然来自阿里巴巴、零一万物、智谱AI、上海人工智能实验室&商汤、法国Mistral的开源模型,以及来自OpenAI的闭源模型GPT-4o。
从总分来看,文科最高分是阿里通义千问大模型,以546分的成绩获得AI高考“文科状元”。理科最高分则是上海人工智能实验室&商汤联合研发的浦语文曲星,达到了468.5分。OpenAI的GPT-4o在文科上得分531,排名第三,理科得分为467,排名第二。
就评测结果的公正透明方面,相关人士介绍,大模型高考评测的生成答案的代码、模型答卷、评分结果完全公开,可供各界参考(公开评测细节可访问https://github.com/open-compass/GAOKAO-Eval)。
评测团队选取了河南省录取批次线作为参考,对比了大模型得分与对应分数线。总的来说,参考2024年河南本科批次录取线,表现最优的三个大模型文科成绩过一本,理科超二本。其他大模型文理科成绩均未达到二本线标准。
如果AI参加的是文科考试,那么通义千问、书生浦语文曲星、GPT-4o的文科成绩均超越一本线,展现了大模型在语文、历史、地理、思想政治等科目上深厚的知识储备和理解能力。
如果AI参加的是理科考试,整体表现则会弱于文科,体现了大模型在数理推理能力上普遍存在短板,但前三甲的理科成绩也均超过二本分数线,“录取”上二本不成问题。
团队表示,为更贴近真实高考情况,评测采用3(语数外)+3(理综/文综)的形式对大模型进行了全科目测试。评测过程中,所有纯文本题目由大语言模型作答,而综合科目中的带图题目,则由对应团队开源的多模态大模型回答。
测评发现,对于纯文本题目,大模型平均得分率可达64.32%,而面对带图题目,得分率仅有37.64%。在图片理解和运用能力方面,所有大模型均存在较大提升空间。
此外,部分大模型已达到一本分数,经过再训练,是否可达到顶尖高校录取线水平?完成阅卷后,老师们一致认为,大模型与真人考生仍存在差距,虽然对于基础知识的掌握表现出色,但在逻辑推理和知识灵活应用方面,大模型仍然差强人意。
具体而言,在作答主观题时,大模型往往无法完整理解题干,不明白代词指向,结果导致答非所问;解答数学题时,解题过程机械且逻辑性差,对于几何题,常出现与空间逻辑相违背的推断;对物理、化学实验理解肤浅,无法准确识别并运用实验器材。此外,大模型也会伪造虚构内容,编造看似合理但实际不存在的诗句,或在存在明显计算错误的情况下之后不反思,“硬着头皮蒙”一个答案,均给阅卷老师带来了困扰。
在公开评测细节中,第一财经记者发现收录了一些阅卷老师的点评。
理科数学老师点评称,大模型做题总体感觉很机械,大部分题目都无法通过正常的推理过程得出。例如填空题第一题,大模型都只能进行到少部分过程而达到一个结果,并不能够像考生做题一样进行全面分析,列出完整的计算过程达到正确结果。大模型的基础公式记忆能力较为优秀,但无法做到灵活使用。此外有些题目结果正确,但过程逻辑差不符合正规计算,导致阅卷比较困难。
地理老师认为,大模型在答题过程中展现了对地理知识的全面覆盖,从自然地理到人文地理,从地理现象到地理规律,都能有所涉及。尤其在基础知识点的考查上较为出色,然而,在涉及一些深入分析或推理的问题中,存在一定的偏差和遗漏,所以模型在面对非常规、开放性较强的问题时,其表现较差。
物理老师发现,大模型总体感觉比较机械,很多都无法识别到题目的意思,有些选择题即使选项对了,但是分析也是错误的。一些大题步骤冗杂,并且没有逻辑,常常出现将本次的结论带入到推理出本次结论的证据中,如此循环,没有道理。
阅卷老师们认为,相对于人类考生,目前大模型依然存在较大局限性。
测试内容为:验证相关各方可正常登录本所竞价、综业、新债券、期权、固收等交易系统,开展公告接收处理、委托申报、成交回报、行情接收展示等业务。
上交所今日测试已结束,累计上交所今日测试已全部结束,竞价交易系统累计接收申报2.7亿笔订单,是历史峰值的2倍接收申报2.7亿笔订单
上交所定于明日组织开展竞价、综业等平台相关业务测试,需在9:30、10:00、10:35三个时点,将提前预埋的订单集中发送至竞价平台。
对云厂商来说,行业仍处于AGI变革的早期,大模型的“降价潮”未有结束的迹象。
“真正做大模型的公司,如果你一万张卡都没有,你就根本不要讲自己是在干大模型的公司。”