AI 家教到底能不能提高成绩,厂商说了不算,要看随机对照试验。八月发布的一篇工作论文交出了迄今规模最大、周期最长的公立学校 AI 家教评估,对象正是可汗学院的 Khanmigo。我把论文摘要、可汗本人的回应和相关报道核了一遍,结论值得所有关心教育的人细读。
实验怎么做的
设计相当扎实。多伦多大学研究者与美国田纳西州查塔努加一个学区的十八所初中合作,整群随机对照设计,横跨二零二四到二零二六两个学年。每所学校随机分配一两个年级进实验组,在每天既有的数学补救时段使用可汗学院加 Khanmigo,对照组继续用学区原有的数字练习工具。研究对象是落后至少一个年级水平的低成就学生,实验经过预注册,论文同时挂了三个工作论文库。规范程度在同类研究里居前,方案在随机试验注册库留了底,资助方为研究基金会与反贫困实验室,利益相关方在致谢里披露清楚。
Khanmigo 被配置成引导模式,引导学生思考而不直接给答案,这是可汗学院一贯的产品理念。
结果说了什么
成绩有提升,幅度不大。实验组学生数学成绩每学期提高一点三个全国百分位,折合每学年约零点零六到零点零八个标准差。如果学生全年持续积极使用,隐含效应约零点一四个标准差。关键对照来了,这个提升与不用 AI 的可汗学院普通练习效果相当,AI 增量在这一轮实验里没有显出来。
使用数据更能说明问题。百分之九十六的学生至少用过一次,可及性近乎普及,但中位学生只在约三分之一的练习日给 Khanmigo 发消息,出错环节里只有百分之十七的学生向它求助。发的消息也多为直接要答案,实质性数学对话稀少。论文的总结一针见血,瓶颈在参与而非可及。学生发现它不直接给答案后,很多就不再用了。
各方反应
可汗本人七月在官方博客做了长篇回应,承认初版没有像许多人期望的那样改变学习,同时拒绝 AI 家教失败的解读,称内部数据同样显示参与度低,产品已经重构,答错后自动弹出、先要求学生解释思路、学区可选择关闭功能。接受媒体采访时他表示不后悔提前发布。
读这份研究要留意三个限定。实验测的是二零二三年初版产品,现在已是重构后的版本。对照组是学区既有工具,并非空白对照。论文仍是工作论文状态,未经同行评审终稿。另外提醒一个易错点,网上流传的近一万二千名学生、对成绩无效果的说法出自同作者另一篇大学研究,与此文无关,引用时别张冠李戴。讨论区的热度也值得一看,几十条评论里被反复引用的都是参与度那组数字,专业读者用脚投票选出了全文最有生命力的发现。
教学启示
这份研究对教师的直接价值在于预期管理。AI 家教不是放进课堂就自动起效的银弹,效果的天花板由参与度决定,不买账的学生一秒就能弃用。想在学校或家里用类似工具的,先解决两件事,嵌入日常流程而非另开一摊,设计触发动机而非指望新鲜感。家庭场景同理,给孩子配 AI 家教,先陪跑两三次看它会不会被晾在一边,再决定要不要付费,这份研究里最贵的教训是买了不用。学校采购同样建议先小范围试点一学期,数据说话。
定价顺带交待,教师版免费,覆盖约四十四个国家的教育者,学区版按官方博客口径每生每年十美元、加学生权限十五美元,个人家长版为订阅制。研究归研究,产品迭代没有停,下一轮实验数据出来之前,这份论文是课堂上 AI 家教最硬的一份证据。
来源
- 论文官方页 https://edworkingpapers.com/ai26-1551
- NBER 版本 https://www.nber.org/papers/w35620
- 可汗回应博客 https://blog.khanacademy.org/khanmigos-first-chapter-changed-how-i-think-about-ai-a-note-from-sal-khan/
- 媒体报道 https://hechingerreport.org/proof-points-khanmigo-math-ai-tutor/
- 官网 https://www.khanmigo.ai/