EdTech Thinking #8 - 教育数据挖掘和学习分析

Mar 31, 2023

本周话题：教育数据挖掘和学习分析
文章：生成性人工智能，ChatGPT，和学习
行业：提供即时反馈功能的作业系统——ASSISTments
教育之美： Lex Fridman 采访 Sam Altman

教育数据挖掘和学习分析

背景

教育数据挖掘（Educational Data Mining, EDM）和学习分析（Learning Analytics, LA）都属于教育领域的数据分析方式，致力于从教育数据中提取有价值的信息，以便更好地指导教学和学习。

就算没有信息技术的参与，教育者也会进行数据分析，只不过这时的数据是被手工录入进纸中，如：作业、成绩等，当然，还包括记录在教师头脑中的信息。这种方式的数据采集、整理困难，能做的分析也有受复杂性限制。而随着教育技术的不断发展，收集和分析学生学习数据的能力也在不断增强。此外，在线教育、个性化学习以及适应性学习等越来越多的技术和学习理论的出现，这些学习理论基本都想达成这样一个愿景——虽然每个学生都不一样，但依然希望能够让所有学生都达到相同的教育目标。也就意味着，需要为学生设计不同的教学内容、活动、进度、反馈、互动等，因此，也让教育数据挖掘和学习分析技术逐渐成为了一个重要的领域。

有哪些教育数据

所谓教育数据，主要还是关于学生本身及其学习活动相关的数据。对教育机构而言，学生及其不同的学习活动产生的数据一般都由对应的信息系统来记录，如：学生信息系统、学习管理系统、图书馆系统等。通常存在这样几类数据：

学生个人信息：例如姓名、年龄、性别、民族、年级等；
学生学业信息：例如成绩、学习进度、考试情况、选课情况等。
学生行为信息：例如上课出勤情况、作业提交情况、参与课堂讨论情况等。
学生社交信息：例如社交媒体交互、在线讨论论坛交互等。
教学资源使用信息：例如课件浏览次数、学习资料下载次数等。

当获得这些数据后，又该如何进行分析，使其产生价值？

如何进行挖掘或分析工作

通常，在对原始数据进行分析之前，都应做一遍数据预处理工作，这可能包括：清洗、合并、转换和规范化处理等，主要用于提高数据的质量和可用性。在教育数据分析中，数据预处理也是非常关键的一步，因为教育数据通常具有复杂、多样的结构和内容，并且存在大量的缺失值、错误值和异常值等问题。

其次，在具体分析之前，还需明确分析的目的，这可以包括但不限于以下几种：

了解学生学习行为和学习成果：可以帮助教育机构了解学生学习行为和学习成果，评估教学质量和学习效果。
改进课程设计和教学方法：可以为课程设计和教学方法的改进提供有价值的信息和洞见。
预测学生表现和需求：可以帮助教育机构预测学生表现和需求，提前采取措施，为学生提供更好的支持和服务。
优化资源配置：可以帮助教育机构优化教学资源的配置，提高资源利用效率。
辅助决策制定：可以为教育机构提供数据支持，辅助决策制定。

分析的目的也会影响分析方法和技术的选择，以下是一些简单实例：

分析目的：发现学生学习过程中的行为模式
- 分析方法/技术：序列挖掘（Sequence Mining）、关联规则挖掘（Association Rule Mining）、聚类分析（Cluster Analysis）等
- 实例：通过挖掘学生的学习行为序列，发现在做某些练习之前，学生往往会做其他相关的练习。
分析目的：预测学生的学习成绩
- 分析方法/技术：回归分析（Regression Analysis）、分类算法（Classification Algorithm）、决策树（Decision Tree）等
- 实例：通过对学生的历史学习数据进行分析，建立预测模型，可以预测学生在未来某一门课程中的成绩表现。
分析目的：发现学生之间的社交网络
- 分析方法/技术：社交网络分析（Social Network Analysis）、复杂网络分析（Complex Network Analysis）等
- 实例：通过分析学生之间的互动行为，建立学生之间的社交网络图，发现学生之间的联系和影响力。

需要注意的是，同一个分析目的可能会有多种不同的分析方法和技术可供选择，因此在具体实施分析之前，需要对数据和分析目的进行充分的理解和准备，选择合适的方法和技术进行分析。

那些强调数据分析的教育技术产品

目前看来，能够较好利用数据分析的产品基本都是在线学习平台——提供精心制作的线上课程，学习自然也是在平台提供的系统中进行。我想这也比较好理解，因为线上学习，产生的任何数据都能被方便的保存下来，而且都是自动进行。而传统教育机构的情况就复杂的多，比如一些历史原因，导致其数据出现正确性和可靠性方面的问题。此外，数据分散在多个信息系统中，甚至可能还存在由电子文档存储的数据，这又增加了数据处理工作的复杂性。综上，我认为教育数据分析领域的运用在线上学习平台会更容易产生效果。

此外，使用了数据分析的教育信息产品，几乎都会强调其个性化学习或自适应学习的能力，例如下述这些产品：

Carnegie Learning：提供针对数学和语言学习的个性化学习解决方案，基于教育数据挖掘和学习分析技术。
Knewton：一种智能教育平台，使用机器学习和数据挖掘技术，个性化地匹配学生和课程内容。
DreamBox Learning：基于数学的学习方案，使用机器学习算法来为每个学生创建个性化的数学课程。
Edmentum：提供学习解决方案和教育软件，使用数据分析和挖掘技术来提高学生表现和成果。
Smart Sparrow：一个虚拟学习环境，使用教育数据挖掘技术来为学生提供个性化的学习路径和教育内容。

所谓个性化学习和自适应学习，其实都属于以学生为中心的教学方法，这种教学方法的反例自然是传统教学里，将所有学生视为同一水平，一刀切教授课程的方式。而要做到非一刀切地教授课程，靠老师个人是不行的，这主要受限于人类不擅长同时处理多个任务，不过计算机非常擅长，但前提也需要基于数据分析的结果，来得出各个学生的“任务”。当然，也能给一个班配多名老师，甚至是一个学生一个老师，但这实际会很难实行。

隐私问题

数据隐私是一个常见问题，几乎任何互联网应用中都存在——用户在应用中的一切个人信息、行为、活动，皆可能被利用。这种利用有好有坏，坏的不必多说，好的则是通过提炼、分析数据来让其对用户产生价值，达成一种利用用户的数据来提升用户使用体验等目的。教育数据挖掘和学习分析，自然是一种好的利用。但也让我担心的是，一名学习者在知道自己的一切数据都会被别人（系统）获知、使用，对他在使用这个系统进行学习活动时是否会有一定影响？就像有些传统教室里，用摄像头来分析学生和老师的课堂表现，对于这间教室里的老师和学生而言，在他们心里又会滋生怎样的情感变化？

未来展望

按照 AI 的发展趋势，相信未来每个人都会有自己的 AI 伴侣，就像 iPhone Siri，当然，要比 Siri 聪明的多。这样的话，只要它能访问学习平台上的数据，就能让其帮忙做各种分析，但数据的准确性、正确性等方面还是需要平台自己保障，如此才能分析出更有效的结果。不过，到时学习平台也可能会有专门用于数据分析的 AI，这样自然更方便。总之，不论是利用 AI 来做教育数据分析，还是只做数据预处理工作，都会为我们带来便利。

引用资料：

文章

1、人工智能即将改变儿童时代，我们准备好了吗？

AI 产品应该会分层级，限量版，豪华版，专业版，旗舰版之类。

2、生成性人工智能，ChatGPT，和学习

学校要阻止 ChatGPT，但 Office 365、Google Docs等都会内置 AI 功能，都要阻止吗？

3、关于人工智能伦理的建议

联合国教科文组织关于人工智能伦理的建议，其中会讲到类似这方面的问题：如果我们发现人工智能有偏见或不准确怎么办？我们还应该使用它吗？或者使用到什么程度？

4、学习分析和废除主义者的思想

作者以批判性眼光来看待在教育中利用学习分析技术，其考虑了学习分析技术可能带来的潜在伤害。

行业

提供即时反馈功能的作业系统——ASSISTments

ASSISTments——一个免费在线作业/测验平台，其特色在于能够让教师在问题中加入引导以及解释性内容，以起到对学生即时反馈的作用。团队由教育工作者、学习科学家和软件工程师组成，他们致力于通过以教师为主导、以证据为基础的响应式在线技术改善学生学习。据官网给出的信息，平台用户主要分布在美国和其他20多个国家/地区，超过100万学生和3万名教师使用。

ASSISTments 诞生于2003年，由一对在1990年代开始当中学数学老师的夫妻和两个研究人员共同设计。其源于这样一个需求——教师需要了解学生知道什么和不知道什么，即他们的前置知识。传统上，通常是通过纸质记录来追踪学生技能掌握情况，但这对教师来说是一项繁琐的任务，会占用授课或备课的时间。教师每天都面临着这样的问题——如何获取有关学生理解情况的信息并跟踪他们已经掌握的技能。那么，如何帮助这些教师和学生呢？

他们研究了人类辅导员的工作方式，通过对辅导课程录像的方式，以了解人类辅导员如何与学生互动。根据这些视频内容，诞生了一个 AIED（人工智能教育）系统，Ms. Lindquist，它模仿了一些人类辅导员的行为。很快就清楚地发现，其中一个行为频繁出现：人类辅导员会提出一系列问题来帮助学生建立自己的知识体系（理解）。有些人称这些系列问题为“微观计划（指一个人在执行某项任务时，为实现最终目标而需要制定的一系列具体步骤）”。最关键的是，人类导师知道什么时候问什么问题。他们采用了“脚手架问题”的术语来描述辅导员提出的问题，作为支持解决原始问题的一种方式。所谓“脚手架”，指的是在学习者掌握知识或技能的过程中，提供适当的支持和指导，以便学习者能够逐渐独立地完成学习任务的教学策略。脚手架的作用是帮助学习者在学习过程中获得成功体验，激发他们的学习兴趣和动力，提高学习效果和自主学习能力。而“脚手架问题”可能只是将原始问题拆解成一个个子问题，也可能使用某种类比的方式来表述问题，以达到支持和指导学习者的作用。

Ms. Lindquist 作为一种 ITS（Intelligent Tutoring System，智能辅导系统），具备根据原始问题生成“脚手架问题”的能力。但由于使用成本等问题，最终未能推广。后来，得益于 ITS 领域的技术进展，出现了一种名为 Cognitive Tutor Authoring Tools（CTAT）的工具，它是一种用于创建智能教学系统的辅助工具。具体来说，CTAT 提供了一种基于模板的方法来设计、制作和修改智能教学系统，教师和教育研究人员可以利用该工具快速、高效地创建和修改教学材料和评估工具，同时也能够自定义和控制教学内容和学习路径，以满足不同学生的学习需求和能力水平。该工具还提供了自适应性测试和评估功能，通过分析学生的答题情况和反馈信息，自动调整难度和形式，从而帮助学生更好地掌握学习内容。随着 CTAT 工具的发展，ASSISTments 也逐渐形成了。

ASSISTments 的初衷是为了解决学生在做作业时需要教师支持的问题。在学生做作业时，他们可能会遇到一些难题，要向老师寻求帮助。这需要老师花费大量的时间来帮助每个学生，而且有时候学生也可能会等待很长时间才能得到老师的回复。为了解决这个问题，他们设计了一个基于 CTAT 的在线作业系统，该系统允许学生在做作业时向系统请求帮助，系统会给出相应的提示和解决方案，同时还允许老师在必要时进行干预。此外，其还支持了自适应学习，通过跟踪学生的做题情况，系统可以自动调整下一个问题的难度级别。这样，每个学生都可以根据自己的学习进度来完成作业。

回到最开始的需求——教师需要了解学生知道什么和不知道什么。其实所需要的就是一个评估工具，而作业和测验就是很常见的评估手段。ASSISTments 作为一个在线作业系统，自然能够帮助教师了解学生的知识和技能掌握程度，又因为 ASSISTments 支持让教师对问题预设反馈和引导，区别于简单的对错反馈，也让学生得到了如课堂般的即时反馈体验。

因篇幅所限，无法介绍 ASSISTments 全部内容，如有兴趣，推荐阅读引用资料，资料中也明确了使用 ASSISTments 能提升学习效果的证据。最后，ASSISTments 团队在他们描述的目标中表达了他们对于计算机应该如何在教育中应用的观点（当时是2014年）：

我们的目标是利用计算机和它们所提供的一切，以最大限度地提高学习效果。我们相信最好的方法是将教师擅长的和计算机擅长的结合起来。计算机最擅长耐心、记忆和在每个学生需要反馈的时刻陪伴在他们身边。这是否意味着我们应该用计算机取代教师？绝对不是。每个计算机系统都会在某些方面失败，没有一个系统可以一直解决所有问题。我们认为教师最擅长激励学生，并提供概念性理解帮助那些困惑的学生。我们的目标是帮助好的教师变得更好，而不是充当代理数学教师来弥补糟糕教师的不足。

引用资料：

The ASSISTments Ecosystem: Building a Platform that Brings Scientists and Teachers Together for Minimally Invasive Research on Human Learning and Teaching

教育之美

Lex Fridman 采访 Sam Altman

这可能是目前对 Sam 的采访中最深入的一次。 Sam Altman 是OpenAI的创始人，斯坦福大学肄业生，29岁从 Paul Graham手中接棒硅谷明星创投公司YC。在这篇采访中，他们探讨目前争议很大的问题，AI的政治倾向问题、安全问题，OpenAI从非盈利转成盈利机构的挑战，和Elon Musk最近的Twitter之战，还有他们对AI未来的探讨。有很多精彩的内容，有2个点想要跟大家分享。

一个是 Lex Fridman 对AI的开篇内容：

Sam Altman 的公司 OpenAI 是 ChatGPT, GPT4, DALL-E,Codex 等诸多人工智能技术背后的推手。这些技术或单独、或组合、共同构成了人工智能、计算科学、以及整个人类历史上一些最重大的突破。请允许我谈一下当前人类文明史上人工智能带来的各种可能性和潜在风险。
我认为我们正处于一个历史的关键时刻，我们站在社会根本性转型的前夜。没有人知道具体会在何时，但包括我在内的许多人都深信，这将在我们的有生之年发生：那就是，人类这个物种的集体智慧将在人工智能面前黯然失色，将会在多个数量级的程度上远远落后于我们所构建的超级人工智能。
这令人既兴奋又恐惧。令人兴奋的是，我们知道的和目前暂时想不到的无数应用程序将帮助我们创造繁荣，摆脱世界上广泛存在的贫困和苦难，在追求幸福的途中获得成功。令人恐惧的是，超级人工智能所拥有的能力可以有意或无意的摧毁人类文明，压抑人类精神。像乔治·奥威尔的《1984》中的集权方式，或者像赫胥黎所遇见的《美丽新世界》中的愉悦狂欢那样，人们开始热爱压迫，并崇拜摧毁他们思考能力的技术。
这就是为什么领导人、工程师和哲学家，无论是乐观主义者亦或是愤世嫉俗者，都需要开诚布公进行这些谈话的重要原因。这不仅仅关于人工智能的技术谈话，更是关于权力的对话，关于公司、制度、政治体系如何制衡这些权力的对话，关于分布式经济系统如何激励这种权力的安全能够与人类对齐的对话，关于部署超级人工智能的工程师和领导人的心理的对话，以及关于人性的历史，人类在大规模尺度上善恶能力的对话。

一个是Sam Altman 对于当下各种问题的回复：

我不想听起来像一个信仰科技乌托邦的人，但是我依旧相信。人工智能可以提供的生活质量的提高是非常惊人的。我们可以让世界变得更美好，让人们的生活变得更美好。我们可以治愈疾病，增加物质财富。我们可以帮助人们更加快乐、更加充实等等。然后有人说，那人就不用工作了。但人们想要地位，人们想要新事物，人们想要创造价值，人们想要感受到有用。我们可以找到新的、不同的方式来做这些事情在生活水平极大地改善的世界中。
在人工智能积极发展的世界，人工智能可以与人类保持对齐。人工智能不会去伤害人类，或者限制人类，或者试图摆脱人类。
但是同时也有人认为超级智能的系统存在了各种各样的问题，其中之一是 Eliaser Yikowsky，他警告说，人工智能很可能会杀死所有人类。虽然有很多不同的案例，但是总得来说是这些人认为随着 AI 变得超级智能，保持 AI 和人类的对齐几乎是不可能的。
首先我认为这种可能性是存在的。这是非常重要的，因为如果我们不谈论它，如果我们不把它当作潜在的现实来对待，我们就不会投入足够的精力来解决它。我认为我们必须发现新的技术来解决它。
解决这个问题的唯一方法是通过迭代学习，同时限制我们需要一次性得到正确答案的情况的数量。

感兴趣的同学可以通过下面的链接查看全文
https://lexfridman.com/sam-altman/

👋🏻 觉得本期有收获？
转发给朋友看看或推荐好友订阅