基于表情识别的在线学习系统的设计与实现

 2022-11-10 10:53:59

论文总字数:19624字

摘 要

随着现代网络信息技术的不断发展和变化,移动端的设备给在线远程教学提供了更多的可能性和方向。但是当代的在线远程教学过程很大程度上忽略了老师和学生之间的互动和交流,缺乏一定的反馈机制,老师不能根据学生的实时反馈来及时调整教学安排,将情感表达这一元素加入到在线教学当中,建立起良性的人机交互模式,能够对学生和老师双方产生积极的促进作用。在情感的自我表达过程中,面部表情可以传达一个人最直接的情感信息,所以我们将重点放在识别面部表情符号上,而表情符号识别主要有三个阶段。表情符号预处理、表情符号提取和面部表情分类。在本文中,我们使用了基于Adaboost矩阵剖面的人脸检测算法,可以确定输入图像的人脸,同时使用Haar细波滤波器方法去除人脸图像中的噪声,然后使用后一种邻接差异的方法对去除噪声后的图像进行标准化处理。

高校学生的课程学习伴随着人工智能、互联网等技术的革新也获得了新的方法,表情的识别分析逐步成为了检测评估学生课堂学习习惯以及评估老师上课授课质量的重要组成部分,有了表情识别分析系统的有效辅助,有关老师可以更加直观的了解到课堂同学的学习情况以及上课质量从而进行针对性的调整,更有利于个性化的教学和指导。本系统通过keras框架完成了卷积神经网络(CNN)的的搭建,经由该网络对fer2013、imdb、KDEF数据库中的人脸表情数据进行相关的数据从而获得表情识别的模型,并使用OpenCV算法检测人脸,将检测获得到的人脸加入到表情识别的模型当中,模型会根据图片中的内容计算出每种特定表情的概率,并从中选出概率最大的表情作为最后的结果表情,最后,通过分析和比对各种类型表情的数量和分布从而得到课堂质量情况的数据。

关键词:卷积神经网络 表情识别 Flask OpenCV

Design and Implementation of Intelligent Parking WeChat Small Service System

Abstract

With the continuous development and changes in modern web-based information technology, mobile devices have provided more possibilities and directions for online distance learning. However, contemporary online distance learning process largely ignores the interaction and communication between teachers and students, and lacks a certain feedback mechanism, so teachers cannot adjust their teaching arrangements according to students' real-time feedback. In the process of self-expression of emotions, facial expressions can convey the most direct emotional information of a person, so we focus on the recognition of facial expressions, and there are three main stages of expression recognition. Emoticons pre-processing, Emoticons extraction and Facial expression classification. In this paper, we use a face detection algorithm based on Adaboost matrix profile, which can identify the face of the input image, while using the Haar fine wave filter method to remove the noise in the face image, and then using the latter neighbourhood difference method to normalise the image after noise removal.

With the help of an expression recognition analysis system, the teacher can understand more intuitively the learning situation of the students in the classroom and the quality of the lessons. The system allows teachers to make targeted adjustments and to facilitate personalised teaching and guidance. The system uses the keras framework to build a Convolutional Neural Network (CNN), through which the expression data from the fer2013, imdb and KDEF databases are correlated to obtain an expression recognition model, and the OpenCV algorithm is used to detect faces. The model will calculate the probability of each specific expression based on the content of the image, and select the expression with the highest probability as the final result.

Keywords: Convolutional neural network Expression recognition Flask OpenCV

目录

摘要 I

Abstract II

第一章 绪论 5

1.1. 论文工作背景和意义 5

1.2. 相关研究现状 5

1.3. 主要工作内容 6

1.4. 论文组织结构 6

第二章 相关的基本工具和技术基础 7

2.1. 基本工具 7

2.1.1. Pycharm开发工具介绍 7

2.1.2. WebStorm工具介绍 7

2.1.3. Python语言介绍 7

2.1.4. Tensorflow神经网络库介绍 7

2.2. 基本技术 8

2.2.1. Python以及开发过程使用到的配置文档介绍 8

2.2.2. Redis介绍 9

2.2.3. Linux介绍 9

2.3. 本章小结 10

第三章 系统的需求分析及可行性研究 11

3.1. 系统功能需求分析 11

3.1.1. 系统功能结构分析 11

3.1.2. 登录模块 11

3.1.3. 课程模块 11

3.1.4. 人脸表情识别模块 12

3.1.5. 个人中心模块 13

3.2. 系统非功能需求分析 13

3.2.1. 性能需求 13

3.2.2. 环境需求 13

3.2.3. 服务需求 13

3.3. 本章小结 13

第四章 系统设计 14

4.1. 系统总体设计 14

4.1.1. 系统结构设计 14

4.1.2. 系统功能模块结构设计 14

4.1.3. 系统总体工作流程设计 15

4.1.4. 系统数据库设计 16

4.2. 系统详细设计 17

4.2.1. 注册登录搜索模块 17

4.2.2. 课程列表页 18

4.3. 本章小结 18

第五章 系统实现与测试 18

5.1. 系统实现工具与环境 18

5.2. 核心代码分析 18

5.3. 系统主要运行界面 22

5.3.1. 课程搜索模块 22

5.3.2. 上传课程模块 23

5.3.3. 人脸表情识别模块 23

5.4. 系统测试 25

5.4.1. 系统测试环境与工具 25

5.4.2. 系统功能测试 25

5.4.3. 系统非功能测试 26

5.5. 本章小结 26

第六章 总结和展望 27

6.1. 总结 27

6.2. 展望 27

致 谢 28

参考文献 29

  1. 绪论
    1. 论文工作背景和意义

人脸表情识别技术主要拥有准确性和实时性这两大特征,也因此契合了智能监控、虚拟现实和心理学这些领域从而展现出了巨大的潜在力量。将学生的表情识别纳入到在线课堂学习情况的分析之中,通过这样的方式不仅可以帮助老师和学校监督和分析学生听课情况从而改进上课方式,还能帮助学生及时地了解自身学习情况从而改变学习的方法和节奏。本系统以卷积神经网络(CNN)为基础展开研究从而保证人脸识别的准确性和实用性,把学生面部表情的实时识别系统纳入到整个在线学习系统之中。运行时采用电脑摄像头,并结合OpenCV计算机视觉库,对学生进行面部表情的捕捉与分析,实时分析出学生上课时的生气、难过、惊讶和开心等各种心理状态,从而为分析课堂中学生的专注度、参与度和理解程度提供了依据。

伴随着当今计算机网络技术的不断发展和完善以及各个高校校内网络的普及,网络教育具备了多种不可替代的优势,例如海量的多媒体资源、高自由度的师生互动、强大的自主学习性以及便捷的管理性能,从而成为备受高校教育青睐的热点。远程网络教学作为当前热门的网络服务之一,它拥有不受时间、不受空间等等因素的限制的优点,为远程教学的开展提供了极大的便利。但其因为不同于传统的教学方式,无法实时获得教学效果的反馈也成为了远程线上教学的一大弊端。课堂教学的实时反馈是教学过程中的一个重要组成部分,现代化的课堂教学反馈拥有一定的特殊性,因此当今常见的反馈形式有以下几种:第一种为以因特网为基础的反馈,如论坛反馈、网页反馈、电子邮件反馈、视频会议反馈等等;第二种反馈为传统反馈,主要有作业上交和电话交流等形式。以上反馈方式都可以帮助老师获得一定的反馈信息,但是它的延时性和自我反馈性又导致了反馈结果的不及时性和主观性。一个良好的教学系统需要完善的双边体系,不能仅仅只有老师的单边授课,同时学生的及时反馈也非常重要。针对目前在线教学系统中反馈的不及时和主观性,本系统对人脸的面部表情进行识别和研究,为获得学生的实时表情,设计并实现了基于表情识别的在线学习系统。

    1. 相关研究现状

国内人脸表情识别现状:

剩余内容已隐藏,请支付后下载全文,论文总字数:19624字

您需要先支付 80元 才能查看全部内容!立即支付

该课题毕业论文、开题报告、外文翻译、程序设计、图纸设计等资料可联系客服协助查找;