友情链接: 江苏2022年研究生考试初试成绩查询 江苏省教育考试院 云考试后台管理系统 智慧教学私有化大数据系统 考务信息辅助管理平台
AI智能高校阅卷系统:实现试卷批改的自动化创新
自动化不必一上来就覆盖全部题型。先只在同一答案串出现次数超过约定值的题上启用,其余一律走人工,每轮再抽若干份回算一遍。
达到次数才启用
某题被重复提交的同串答案累计到一个约定数,才进入可自动判的范围。样本还薄就套自动判,一个没见过的写法会被当成错答。
其余题一律人工
未达约定数的题保持人工评阅,不给一个相似就自动的模糊选项。留了模糊选项,边界会一点点往不确定那一侧挪。
每轮抽份回算
每轮固定抽若干份自动判过的卷,由人重算一遍并把差记下来。不回算,判错会一直攒到成绩发布才集中冒出来。
差值按题归
回算出的差按题号归堆,不按评阅人归。按人归,讨论容易变成谁盯得不紧,真正不稳的是那一题的判法。
退出条件写在前
差值超过一个事先写明的数,该题自动退回人工并记一条原因。不写退出条件,出了问题只能靠人临时决定停不停。
自动判的留标记
凡自动判出的结果带一个可见标记,回看时知道这一步没经过人。不留标记,复核的人会默认每份都看过一遍。
自动化的稳妥与否,看它肯不肯把不确定那一块留在人手里。范围划窄一点,退出写明白,用的人才放心。
约定数按题型分别设,不全局一个数;客观题和简短作答用同一个门槛,后者可能一整轮都进不了自动判,前者却早早放开了。
回算抽的那几份按份数均匀取,不挑连着的一段;只取开头一份,恰好遇上采集质量最好的那一叠,差值会好看得没有依据。
自动判的标记随结果一直留到归档,不因后来人复核过就抹掉;抹掉之后,回看时看不出哪些格当初根本没经人手。
退出条件触发后,那一题退回人工并另起一轮观察,复跑的记录接在原时间轴后面,不从头清零;一清零,前面攒的差值看不到了,下一轮又会把同一道题放出去。复跑仍不稳就在题型目录里注明暂缓,不删条目,别的课程想用同一题型时能先看见这句。