论文总字数：31759字

摘 要

Research and Implementation of Smart Learning System Based on Big Data 2

第一章 引言 3

1.1 研究背景与意义 3

1.2 国内外研究研究现状及趋势 3

1.2.1 国外研究现状 3

1.2.2 国内研究现状 3

1.2.3 趋势 4

1.3 系统开发技术 4

1.3.1 Python 4

1.3.2 Scrapy 5

1.3.3 Sqlite 6

1.3.4 Django 6

第二章 系统分析 8

2.1技术可行性 8

2.2法律上可行性 8

2.3经济可行性 8

2.4用户需求 8

2.5系统资源需求 9

第三章 系统的总体设计 10

3.1系统的总体结构 10

3.2数据库设计与架构 10

3.2.1数据库设计 10

第四章 系统的详细设计与实现 13

4.1数据采集模块 13

4.2推荐系统模块 17

4.2.1 奇异值分解 17

4.2.2 Latent Semantic Indexing 17

4.2.3 代码实现 18

4.2.4 结果 20

4.2.5 TF-IDF 算法 22

4.3前台展示 24

4.4后台管理 27

致谢 30

参考文献 31

附录 32

Spider 代码 32

pipeline 中间件代码 32

NLP-Recommend 模块 34

model 代码 35

base.html 36

Index.html 38

摘 要

随着信息技术的发展，在线教育这个名词逐渐被大众熟知，MOOC的概念因此诞生，MOOC在某种意义上来说是指“大规模的在线开放的课程平台”，它的规模十分巨大，但是当人们面对大量可选择课程时，往往无法短时间内选出真正适合自己的课程。智慧学习系统因此而出现。该系统是基于海量数据挖掘的先进课程智能平台，帮助人们从茫茫课程库中，选择完全个性化的课程。

本文介绍的智慧学习系统的研究是针对信息过载现状运用推荐算法为核心技术，解决用户在茫茫选择中，对学习课程没有头绪，挑选不出适合自己课程的痛点，凭借其个性化推荐为不同用户定制个性化课程。快速找到适合自己的课程。

本系统中包含4个系统模块: 课程资源库模块，文本挖掘模块，推荐系统模块，前端展示模块。本系统主要采用 python 编写业务逻辑， 用Django进行网页设计，用 Sqlite 作为数据库。

本系统实现了推荐系统主要算法，基本实现了个性化推荐的目标。

关键字: 大数据；推荐系统；智慧学习

Research and Implementation of Smart Learning System Based on Big Data

With the development of information technology, online education emerged from the perspective of people. The concept of MOOC comes from this. MOOC simply refers to the “large-scale online open course”, which has the characteristics of large-scale and openness, and has become a domestic External research is hot, but when people face a large number of alternative courses, they often cannot choose courses that are truly suitable for them within a short time. As a result, smart learning systems have emerged. This system is an advanced curriculum intelligence platform based on massive data mining and helps people to select fully personalized courses from the curriculum library.

The study of the smart learning system introduced in this article is based on the use of recommended algorithms as the core technology in the current situation of information overload. It solves the problem that the user does not have a clue on the learning curriculum and can't pick out the pain points that suit his own curriculum. With his personalized recommendation, he is a different user. Customized personalized courses. Quickly find the right course for you.

The system includes four system modules: curriculum resource library module, text mining module, recommendation system module, front-end display module. This system mainly uses python to write business logic, uses Django for web design, and uses Sqlite as a database.

The system implements the main algorithm of the recommendation system and basically achieves the goal of personalized recommendation.

KEYWORD: Big Data, Reconmendation System, Smart System

第一章 引言

1.1 研究背景与意义

智慧学习作为一种全新的学习方式，以教育信息，知识融合，协同创新为基础，是教育信息化深入发展中的一种教育理念和学习模式。它的产生和核心学习者的努力。对该模式促进意义重大，与教育信息化的自然联系更容易成为研究信息化技术与基础教育相结合的切入点。与此同时，网络教育领域出现了大量课程，人们正在从信息稀缺的盲区进入信息超载时代。具有推荐算法的推荐系统由于其个性化推荐和影响信息噪声的特性，越来越受到学术界的重视，本系统试图在大量课程的基础上为不同用户提出不同的课程建议数据，以便用户可以在学习过程中快速找到他们需要的课程。

1.2 国内外研究研究现状及趋势

1.2.1 国外研究现状

智慧学习系统的核心是推荐算法，由于机器学习技术的成熟，以及各种其他复杂功能的逐渐成熟。目前，像amazon，googl，Coursera这样的大型国外公司将该技术应用到新闻，文章，商品推荐等领域。他们广泛使用机器学习来构建推荐系统，运用传统的协同过滤，标签以及各种基于规则或群体智能的传统推荐方法，目前甚至可以看出的传统策略正逐渐被淘汰。这在内容推荐方法中尤为明显，在J. Ben Schafer, Joseph A. Konstan, John Riedl 发表的论文E-Commerce Recommendation Applications 中提到，因为这些传统的推荐策略无法解决精美的个性化推荐和长尾内容的热渗透问题，其效果远远小于使用机器学习方法。应用到智慧学习系统中，基于内容推荐方法可以使推荐准确率大大提高。

1.2.2 国内研究现状

国内目前基于机器学习的推荐系统与计算广告非常相似。使用非常大规模的稀疏矩阵和大量样本来训练，辅以用户点击率和浏览持续时间， 赞美率，购买率来构建模型。这项技术相对成熟。这两年的主要发展是可以增加以前无法想象但难以使用的各种功能，并且使用的功能越多，它们包括的功能就越多，包括但不限于：

a）GPS坐标，ip地址，屏幕分辨率：之前的GPS坐标只可能定位到一个区域，但现在有的人敢直接使用经纬度的组合，效果也不差，而且随着业务覆盖范围的扩大人群越大，这个特征的信号越强。

剩余内容已隐藏，请支付后下载全文，论文总字数：31759字