友情链接: 江苏2022年研究生考试初试成绩查询 江苏省教育考试院 云考试后台管理系统 智慧教学私有化大数据系统 考务信息辅助管理平台
智能化AI高中生阅卷系统:高效实现试卷批改准确性
批改要准,这事谁都知道。难的是又快又准。人工改,慢一点可以做到准;机器判,快是够了,准不准得另说。准不准这件事,只有拆成几类才说得清楚,笼统地说准,没意义。
先把不准分分类。一类是认错了,学生的字写得潦草,被识别成别的;一类是判偏了,该给的没给;还有一类是尺度松了,前后不一致。认错、判偏、尺度松,是三种不同的毛病,各有各的治法。
认错这一类,靠技术解决。识别有把握的就走自动,没把握的转人工,宁可多转。转人工的比例,本身就是可以调的参数。有多大把握就干多大的活儿,拿不准的交出去,这就是分寸。
判偏这一类更常见。学生的解法跟标准答案不一样,但结果是对的。这时候要看采分点设得合不合理,而不是让学生去迁就答案。学生写在卷面上的,是他的解法,不是标准答案的复制品。
采分点怎么设,是准确性的第一道关。设得太死,绕过一步就判错;设得太松,写个结论也能得分。这道关得靠老师来把。采分点这关设得准不准,直接决定了后面每一份判得准不准。
尺度松紧这一类,机器反而比人稳。同一道题,第一份和第五百份,判法一模一样。人做不到这一点,改到后面手会松。人会越改越松,机器从头到尾一个样,这是它最实在的好处。
接下来是校验。系统判完,不是直接出分,而是先过几道检查:得分有没有超出范围,各步加起来对不对得上,同一道题的给分分布是不是异常。几道校验一道也不能少,但都由机器去跑,人不用跟着耗。
第三道是抽检。已经判完的卷子,按比例重新跑一遍,跟人工的给分比一比。差得多的挑出来再看。抽检不是挑刺,是把偏差捞出来。抽检查的是有没有走偏,捞出来的那几份,才是真正需要人的。
第四道是双评。主观题尤其是作文,两个人各判一遍,分差超了阈值就往上走一层。这一套过去只在统考时用,现在日常也用得起。双评过去贵得用不起,现在成本降下来,规矩才真立得住。
仲裁环节要留给人。系统把两边的给分点并排摆出来,组长看着定。人不做的判断,机器也不能替他做。拿主意的事始终留给拿主意的人,机器做的只是把材料摆齐。
准确还要靠持续改进。老师每次推翻系统的判断,都会被记下来,成为下一次的参考。判得越久,转人工的比例越低。每被老师推翻一次,下一次再遇到类似的,就少错一次。
有学校统计过,用满一学期之后,主观题的人工修改率降了三分之二。这个变化不是一次调出来的,是一天一天磨出来的。准确率一天一天往上磨,靠的不是哪一次调参,是持续的修正。
还得说说客观题。填涂类的判读准确率最高,几乎不出错;真正需要盯的是那些半对半错的作答,它们最容易被两头误判。最该盯住的其实不是全错的,是那些半对半错、最容易误判的。
准确性的另一个敌人是马虎。人手抄分、合分、登分,每一道都可能出错。这些环节被自动化之后,马虎就没了地方。把人从抄抄写写里换出来,马虎这种错误就找不到落脚的地方。
有人问,既然要这么多道校验,还能快得起来吗?能。这些检查是机器在跑,几秒钟的事,人不参与,速度不受影响。校验在机器那一侧跑完只要几秒,人压根不用参与,速度不损。
准和快不是对立的。把校验放在机器那一侧,人只处理少数例外,两个就都能要到。该机器干的交给机器,该人拿主意的留给人,准和快就能同时要到。