新浪财经

以多模态数智技术助力高等教育改革

滚动播报 2025.05.30 05:21

□ 吴 俊

新质生产力是以科技创新为核心驱动,兼具高科技含量、高运行效能与高质量发展特征,契合新发展理念的先进生产力形态。作为培育创新人才、开展前沿探索和服务国家战略的重要阵地,高等教育承担着培育新质生产力的历史使命,是推动生产力质量跃迁的关键场域。《教育强国建设规划纲要(2024—2035年)》明确提出,要以教育数字化为重要突破口,坚持数字赋能,推动教育理念、教学模式和教育治理整体性变革。多模态数智技术作为核心支撑体系,通过整合智能传感器采集到的文本、图像、音视频等多元模态数据,融合视觉、听觉、触觉等多感官通道信息,在人工智能和大数据技术框架下实现跨模态协同分析与应用,为教育数字化转型提供技术支持。在高等教育领域培育新质生产力,可依托多模态数智技术,遵循“技术赋能—要素重构—模式创新”的逻辑路径,实现高等教育的高质量发展。

以建构主义重构多模态智慧学习空间。在数智技术驱动高等教育变革的进程中,构建多模态学习环境成为培育新质生产力人才的关键路径。依据建构主义学习理论,学习者通过与环境的多模态交互实现知识建构,这一过程需要数字化学习空间的支撑。当前,以多模态大语言模型为代表的技术突破,正在重塑学习资源形态与认知交互模式。多模块学习环境包括双重维度:从信息交互方式上,通过视觉、听觉、触觉等多感官通道构建沉浸式体验;从信息源角度上,依托智能传感器采集的数据进行综合分析,通过全面了解学习者的认知与情绪状态,显著提高其获取、加工与处理信息的能力,从而提升教学效果与质量。

生成式AI为多模态环境构建提供了技术范式。以Stable Diffusion、Midjourney、DALL-E为代表的AI模型,通过文本、图像、音视频的模态转换能力,可实现教学资源的智能生成。教师能将抽象概念转化为具象化的多模态素材,如将化学反应式生成动态模拟视频;学生则可借助AI工具开展跨模态创作。在综合科学、技术、人文与艺术的跨学科教学与实践中,增强学习体验与反思,从而构建完整的知识体系。这种多模态转换过程,本质上是建构主义“情境—协作—意义建构”理论的数字化演绎。这种教育数字化转型,既符合建构主义强调的“情境认知”规律,更为培育适应新质生产力发展的创新人才提供了认知的技术支持。

教育神经科学技术赋能多模态学习分析。在人工智能与生命科学深度融合的背景下,教学过程产生了海量多模态异构数据,为数据要素的价值挖掘带来新机遇。多模态学习分析作为教育数字化转型的关键技术,包含数据采集与解析两大核心模块。传统分析框架主要聚焦文本、图像、音视频等行为数据,受限于技术手段,难以突破主观性偏差和数据精度瓶颈。随着无创便携生理测量技术的突破,教育神经科学应运而生,将分析维度从行为表征延伸至生理机制,实现了生命科学与教育研究的范式融合。

教育神经科学作为横跨认知神经科学、心理学与教育学的交叉学科,构建了多模态数据采集的技术体系。其研究工具涵盖生理监测系统(心率变异性、皮肤电导、面部表情编码)、眼动追踪装置、脑电采集设备及功能性近红外光谱成像系统等。这些工具形成的数据采集链,为精准刻画学习过程提供技术支撑。

相较于传统分析技术,教育神经科学驱动的多模态学习分析具有三大突破:其一,突破主观报告局限。通过直接采集脑神经活动和生理数据,客观记录学习反应,避免文本、语音等行为数据对真实认知状态的遮蔽。其二,实现毫秒级动态监测。脑电设备可达1000Hz,能捕捉千分之一秒的神经活动,构建高精度学习状态画像。其三,解锁内隐认知维度。针对学生可能存在的表达抑制或认知模糊,神经科学技术可探测潜意识加工过程,揭示“不愿说”或“说不清”的深层认知机制。这种技术融合使得多模态学习分析形成完整闭环。因此,教育神经科学的介入,不仅推动了学习分析技术的跃迁,更为培育新质生产力所需的创新人才提供了科学化的认知诊断工具。

生成式人工智能赋能多模态学习评价创新。在数智技术驱动的教育变革中,构建科学的评价体系是培育新质人才的核心环节。生成式AI的突破性发展,为多模态学习效果评价提供了从反馈诊断到预测干预的全链条解决方案。传统评价体系面临双重困境:一是滞后性,依赖教师事后分析的反馈模式难以捕捉动态学习过程;二是片面性,仅通过作业、测验等单模态数据无法全面反映认知状态。研究显示,以ChatGPT为代表的技术实践表明,AI可实现比人工更精准的论文评阅、代码诊断和语言纠错。

生成式AI的创新价值更体现在预测性评价能力。基于智能体技术(Agent Technology)构建的多模态评价系统,在学习效果评价的通用性、精确性和可靠性方面展现出巨大潜力。其突破性优势主要体现在:其一,具备自主规划能力,可动态生成个性化学习路径。多智能体(Multi-Agent)能够独立运行,在没有真实用户交互的情况下能自主学习,表现出类似人类的认知能力,比如可进行学习效果的事前评价,包括学习任务规划、学习进度监控、教学情境评估等,为学习者提供量身定制的学习资源和布置动态的学习任务。其二,完成认知的增强干预。针对不良学习行为进行适时干预,提升学习者专注度,增强其认知,实现了其行为矫正到认知增值的跨越式提升。这种评价范式的革新,本质是构建“评价-反馈-优化”的闭环系统。这为新质生产力发展提供了人才评价的创新解决方案。

新质生产力与高等教育形成双向赋能闭环:前者通过理论引领、政策保障、资源投入和数智基建,为教育数字化转型提供战略支撑;后者依托多模态教育体系,深度融合数据要素与智能技术,在人才培养、科研创新、技术产业化等方面反哺生产力发展,形成“教育培育人才—人才驱动创新—创新赋能产业”的价值创造链,共促高质量数智化转型。

(作者系江苏科技大学副教授;本文系国家自然科学基金〈72374088〉、江苏省教育科学规划重点课题“教育神经科学视角下多模态学习的模型构建与实证研究”〈项目编号:B-b/2024/01/162〉阶段性研究成果)

加载中...