移动互联网应用商店应用软件信息自动化采集系统设计与实现

 2022-01-17 11:01

论文总字数:18280字

目 录

1 绪论 7

1.1 研究背景及意义 7

1.2 国内外研究现状 7

1.3 研究内容 8

1.4 论文的组织架构 8

2系统相关技术 9

2.1 开发环境介绍 9

2.1.1 Java开发工具 9

2.1.2 MVC理论基础 9

2.1.3 B/S架构编程体系 10

2.1.4 MyEclipse8.6 11

2.1.5 MySQL 11

2.1.6 Tomcat 12

2.2 核心技术介绍 12

2.2.1网络爬虫技术 12

2.2.2 信息抽取技术 13

3系统分析 13

3.1 系统的可行性研究 13

3.2需求分析 14

3.2.1系统业务需求 14

3.2.2功能性需求 14

3.2 .3系统的非功能性需求分析 15

3.3 本章小结 15

4 系统设计 15

4.1系统概要设计 16

4.2 系统总体设计 16

4.2.1 设计目标和原则 16

4.2.2 系统架构设计 17

4.3系统数据库设计 17

4.3.1 数据库概念模型 17

4.3.2 数据库表设计 18

4.3 本章小结 19

5 系统的实现 19

5.1 数据库连接实现 19

5.2 系统功能实现 20

5.3 本章小结 25

6 总结与展望 25

6.1 本文总结 25

6.2 研究展望 26

移动互联网应用商店应用软件信息自动化采集系统设计与实现

吴杰

Abstract: In recent years, with the popularity of mobile Internet, the amount of mobile users in the continuous increase, directly promote the mobile terminal application development boom. However, a wide variety of mobile applications for users to bring convenience while also exposed a great security issues. In order to integrate the application software market, to provide users with massive, secure mobile applications, mobile Internet applications store application software information automated acquisition system has gradually entered the field of software developers. This system uses a variety of technical means such as web crawler, multi thread to complete information collection, information classification, information management function module, realize the user convenient and fast access, operation and application of information.

Key words:Mobile application store; information collection; Information Extraction; web crawler

1 绪论

1.1 研究背景及意义

随着移动互联网的迅猛发展,移动互联网智能终端技术也在不断成熟和发展。在2008年,苹果公司首次为移动智能终端提供AppStore服务,为用户提供了个性化的应用软件。随后,移动应用商店异军突起。如今每款智能手机都有其相应的应用商店,它们为用户提供应用软件。应用商店为第三方开发者提供销售平台,形成App Store模式。用户可以根据自己的需求在应用商店下载符合自身需求的软件。移动互联网应用商店为各方提供便利和利润,所以它的发展势在必行。但是,由于没有合理的监管和调控,形形色色的移动应用商店造成了移动互联网应用市场的混乱。

目前移动互联网应用商店已经在国内外大量存在,根据不同的操作平台,主要分为android操作系统应用商店和ios操作系统应用商店。根据目前用户量,android应用商店用户最广。本文研究目标为android操作系统应用商店(网页版)。Android应用商店在国外主要有Google Play,在国内有腾讯应用宝、360手机助手、百度手机助手等。

虽然目前市场上有很多移动应用商店,例如腾讯应用宝,它是国内最大的移动应用商店,拥有的应用软件也最多,但它仍有很多不足。例如,它的很多应用软件信息不能及时更新,应用软件也不够齐全。客户在选择一款特有的应用软件时需要游览许多的应用商店,而且,这也不能保证找到的应用软件是最新版本。如果有一个系统,能够将目前移动互联网市场上的所有应用商店的信息进行整合,提取版本最新的应用软件,然后提供给客户下载,那将为客户提供了巨大便利。

目前市场上并没有一款这样的系统,所以开发出移动互联网应用商店应用软件信息自动化采集系统就能够将互联网上的应用软件进行整合处理,最后提供给客户,这将是移动互联网的又一大进步。移动用户再也不用为找一款适合自己的软件而烦恼。这项系统的开发成功将对移动互联网的发展具有重要意义。

1.2 国内外研究现状

根据大量的国内外文献,对互联网网页信息的提取主要有两个技术,一个是网络爬虫技术,另一个是网页信息抽取技术。

早在1993年,爬虫技术就已诞生,其设计者Matthew Gray设计了首个机器人程序,这就是爬虫技术的雏形。爬虫技术与互联网的功能之间有相互促进的作用。互联网的发展促使爬虫技术越来越先进,也越来越复杂。爬虫技术也使互联网有了自动采集信息的功能。在“Schedulin Algorithms for Web Crawing”中详细介绍了各种爬虫策略,包括深度爬取策略与宽度爬取策略等。在实验中,这些爬取策略爬取效果都比较理想,这说明了爬虫技术已经相当完善。

对于Web动态网站的信息采集方面,目前也有常用的信息抽取策略以及一些策略的实现技术。Web信息采集技术目前主要有四种策略,每种策略各有所长。4种信息抽取策略以及其优点如表1-1 所示。

信息抽取策略

优点

1)基于自然语言处理技术的抽取策略

适合大量文本和可以语法分析的web文档;

2)基于本体方式的抽取策略

对网页结构依赖性较小;

3)基于HTML网页结构特征的抽取策略

实现简单,可以精确抽取信息;

4)基于统计学习的抽取策略

拥有良好的移植性

图1-1信息抽取策略以及其优点

1.3 研究内容

运用网络爬虫技术获取移动互联网应用商店的网址,并下载网页。对下载下来的网页进行网页解析,获取其中有用信息。获取应用下载和相关参数,并能够实现下载应用商店中应用软件的功能。

系统主要完成以下两个方面内容:

  1. 基于网络爬虫的移动互联网应用商店应用信息采集系统

本文将研究网络爬虫,针对移动智能软件的应用商店,根据不同的网络结构建立不同的网页解析来获取应用软件的基本信息(包括软件版本,软件大小,软件名称等,特别需要获取的是应用软件下载链接)。使用这种技术来初步实现移动互联网应用商店的信息采集。

  1. 基于Ajax动态网页的应用商店信息采集的研究与实现

研究网络爬虫在动态网页上信息爬取过程和情况,研究并设计出能够对动态网站上进行信息爬取的网络爬虫。

1.4 论文的组织架构

全文共分六个章节,内容如下:

第一章为绪论,具体阐述了移动互联网应用商店应用软件信息自动化采集的背景以及其研究意义,并具体阐述目前国内外对其研究的现状。阐述移动互联网应用商店应用软件信息自动化采集系统设计与实现的研究方法和步骤,并对论文的组织架构进行描述。

第二章介绍移动互联网应用商店应用软件系统相关技术。包括移动互联网应用商店应用软件系统的开发环境介绍以及实现系统的核心技术介绍。

第三章是对移动互联网应用商店应用软件信息自动化采集系统进行需求分析。阐述了移动互联网应用商店应用软件系统的可行性研究并具体介绍了系统的需求分析,包括系统功能性需求和非功能性需求。

第四章是系统设计。主要包括系统总体设计、系统数据库设计两大部分。

第五章是系统实现与测试。介绍了系统各个功能模块设计,并对其进行了相关的测试。

第六章是总结与展望。

2系统相关技术

2.1 开发环境介绍

2.1.1 Java开发工具

Java是一种可以跨平台的面向对象的程序设计语言。在1995年5月由Sun公司推出,自面市以来,Java凭借其卓越的高效性、平台移植性、安全性和通用性等特点获得软件开发人员的青睐。目前,Java是最流行的开发工具,它广泛应用于个人pc、移动电话、互联网。在全球移动互联网和云计算的产业环境下,java更具备了显著的性能优势和广阔的市场前景。

Java开发工具分为三大类,分别为:文本编辑器、Web开发工具、集成开发工具。文本编辑器这类工具主要提供了文本编辑功能,它只是一种类似记事本的工具。这种工具进行多种编程语言的开发,如C、C 顿号Java等;Web开发工具提供了Web页面开发功能,具体到java主要就是JSP页面的开发;集成开发工具提供了Java的集成开发环境,为那些需要集成JAVA与J2EE的开发者、开发团队提供对Web applications、servlet、JSP、数据访问和企业应用的强大支持。

2.1.2 MVC理论基础

MVC全名为”Model View Controller”,中文翻译为"模型-视图-控制器"。MVC应用程序总是由这三个部分组成。

MVC模式是在二十世纪八十年代被开发的一种软件设计模式。如今被广泛使用于JAEE的设计模式。

剩余内容已隐藏,请支付后下载全文,论文总字数:18280字

相关图片展示:

您需要先支付 80元 才能查看全部内容!立即支付

该课题毕业论文、开题报告、外文翻译、程序设计、图纸设计等资料可联系客服协助查找;