论文总字数：20443字

目 录

一 背景介绍 4

1.1 大数据介绍 4

1.2 工具介绍 5

1.2.1 Nginx负载均衡服务器 5

1.2.2 Memcached数据库缓存服务器 6

1.2.3 tomcat 6

1.2.4 MongoDB 6

1.2.5 boostrap 7

1.2.6 echarts 7

1.2.7 struts2框架 7

二 系统详细设计 8

2.1 设计目的 8

2.2 系统依赖 8

2.2.1 基础环境依赖 8

2.2.2 开发依赖 8

2.3 设计内容 9

2.3.1 结果预想 9

2.3.2 架构介绍 9

2.3.3 表结构设计 15

2.3.3 分层设计 22

2.3.4 接口设计 23

2.3.5 数据类型定义 23

三 服务器搭建 24

3.1 基本介绍 24

3.2 搭建过程 27

四 软件系统搭建 30

4.1 基本介绍 30

4.2 系统核心功能 30

4.2.1 登陆 30

4.2.2 智能拓展 31

4.2.3 文件导出 33

五 总结 34

公安大数据实时查询与分析系统

张晓

Abstract: public security big data query and analysis system is a real-time implementation of personnel information acquisition, processing and analysis of online information system. The design of this system focusing on performance and efficiency. From the environment to build to the interface design, tool selection, etc., are subject to the principle of simple, try to avoid excessive redundant waste performance.

Key words: cluster; Big data; Data analysis;

一 背景介绍

1.1 大数据介绍

过去的一段时间里，大数据这个概念更多的被称为“海量数据”。但是实际上，2008年的时候大数据就已经被提出来了。2008年，谷歌公司诞生10周年的时候，《Nature》就专门为大数据出刊，用来讨论与大数据面临的巨大挑战和众多技术难点，在这期杂志中就引出了大数据的概念。

随着大数据概念的不断发酵，人们常常有这样的疑问，多大的数据量才可以被称作大数据?实际上，对于大数据，难以有一个非常固定的解释。维基百科对大数据曾经给出过这样解释：大数据是指没有办法利用以往的处理方法以及常用的计算处理工具在特定时间段内完成搜集、处理、分析的数据集。更进一步的解释是，“大数据”技术研究的主要问题已经不仅仅局限于数据量的大小，它同时代表着互联网信息技术已经进入了一个全新的时代，代表着几何增长的数据信息给目前的计算机技术带来的巨大的挑战，代表着大数据处理所需要的新的计算机技术，更加代表着大数据处理技术以及大数据的应用为人类所带来的全新机遇。

由于对大数据处理技术和处理能力的迫切性以及数据信息管理的重要性，最近大数据技术已经得到了全球的工业界、学术界、以及各国政府的高度关注和重视，因此全球掀起了一场可与20世纪90年代信息高速公路来相提并论的研究浪潮。一些发达国家政府（美国和欧洲等）已经从国家科技战略这一高度提出了一系列的大数据技术研究计划，以此来推动重大行业、政府机构、学术界、工业界等不同领域对大数据技术的探索、研究和应用。

大数据技术带来的不仅仅是挑战与困难，更多的是为人类社会的发展和进步带来了新的手段和机遇。在庞大的数据量下隐藏着小数据量所不存在的深度联系，这种联系可以深度挖掘人类所需要的知识，帮助人类更有方向，更加有价值的完成目标，进一步提升了人类社会的经济，文化，政治的效益。由于大数据隐藏着巨大的潜在价值，发达国家的政府把大数据比作信息时代的黄金，将为未来的各个领域带来重大的变革。所以，在未来的人类社会中，大数据的运用将成为综合国力的重要组成部分。对数据的采集，处理，分析的技术将成为各个国家之间争夺的对象。同样的，对数据运用好的国家将成为未来世界的领头羊。

随着人类对大数据应用的不断拓展，未来的社会将会越来越多的使用大数据处理技术。由此可以看出大数据技术会渗透到涉及了大规模数据和快速计算的各个领域中。与此同时，将大数据作为核心的计算机处理技术将会为传统的计算机技术带来革命性的影响，其中包括影响到传统计算机技术的应用架构、OS、数据库处理技术、编译手段、程序设计方法、软件工程体系、 多媒体处理技术、AI 以及其的他计算机应用技术。当然，大数据技术与传统计算机技术相互结合将会产生更多新的研究热点和浪潮。

在这样的背景下，现有的公安警务数据中心在规模和架构上都很难满足不断庞大的数据量，这样就会直接导致公安同志对未来形式的预判以及重大决策的制定。所以，目前的阶段内实现全新的可以满足公安同志需求的大数据应用系统成为了公安部门全国网络构建中的首要任务。综上所述，可以满足公安的大数据服务系统，不仅需要面向不同的警种，更重要的是可以高效率的对大数据的完成从采集、处理、存储、分析、预判，能够从复杂的数据中提取出各类数据内部所蕴含的、内在的、必然的因果联系，找到隐秘的规律，让采集到的数据可以产生量变，从而实现对大数据的深度应用、综合应用和高端应用。利用大数据技术的优势，可以让新的公安服务系统同时服务不同的警种，为他们提供统一管理、统一资源、统一监控的协同工作环境，极大的提高公安同志的办事效率，可以保证在未来一段较长的时间内担负起对不同警种的保障作用。

1.2 工具介绍

1.2.1 Nginx负载均衡服务器

Nginx（读音"engine x"）是一款来自于俄罗斯软件工程师Igor Sysoev所开发的免费的开源web服务器软件。Nginx在2004年发布，关注核心点在于实现高性能，高并发和低内存消耗。而且Nginx已经具备了传统应用服务器的功能优势：缓存机制，分流机制，权限控制，带宽控制，高效整合不同应用的能力等。这些功能特性成为Ngin适应现代网站架构体系的重要组成部分。部署Nginx最核心的好处在于可以快速的响应集中并发的使用场景。因此，目前Nginx已经成为在企业中使用最多的web服务器负载软件。

近几年，web架构拥抱解耦已经成为系统架构搭建的的核心理念，旨在从web服务器中将应用层设施分离。虽然目前仅是将原来构建的LAMP(Linux, Apache, MySQL, PHP, Python or Perl)网站，变为基于LEMP（E表示Nginx）。目前，已经有越来越多的开发者将web服务器列为了基础环境建设之一，而且，开始用不同的解决方案去整理相同的使用场景和工具。显然，Nginx很适合完成这些工作。它提供了必要的核心功能来用于将下列功能很方便的从应用层推入到更加高效的边缘web服务器层：高并发、长链接处理、压缩机制、缓存机制、连接和请求限速机制，以及HTTP媒体流处理等。Nginx同时也提供了接口用来直接整合Memcached 、Redis或者其他的高速缓存解决方案，从而增强了处理大规模并发时的性能。

1.2.2 Memcached数据库缓存服务器

Memcached是一套性能极高的分布式缓存管理系统。它经常被使用在商业级别的web应用体系中，为应用提供高效率的缓存支持机制。实现动态网页的高效输出。Memcached底层是基于键/值对的hashmap存储结构模式。它的守护进程是用C语言编写的，与此相反与此相反，Memcached的客户端软件可以通过任何语言来实现，完成的客户端使用内置的通信协议和Memcached的守护进程交互。

1.2.3 tomcat

Tomcat是一款由Apache开发的免费的web应用服务器。由于Tomcat的开发者包括Sun公司，所以它提供了对JSP，Servlet的高度支持，最新版本的Tomcat可以支持最新的Web开发规范。Tomcat是一款轻量级的服务器，但是功能却非常丰富，她兼具了稳定，安全，开源等多中属性，收到了Java等网站开发者的热烈欢迎。当然，Tomcat也是最为流行的企业级别的应用服务器。

1.2.4 MongoDB

文档数据库一直在保持着强劲的发展势头，通过过去多年里的发展，现在已经有了非常多的，稳定的文档型数据库，比如:亚马逊和谷歌的云存储系统，以及非常多的开源工具，特别是MongoDB存储系统。那么，MongoDB究竟是什么呢？关于MongoDB的五个事情是每个开发人员必须明白的：

1）MongoDB是一种独立的服务器系统；

同MySQL或着是oracle相同，MongoDB提供了监听端口方便用户接入，而且提供了用来create，add，update和delete的手段。实际使用中，MongoDB的工作方式如下：建立连接，执行任务然后关闭连接。

2）MongoDB是基于文档存储的服务；

MongoDB 中使用的不属于结构化语言。如果你想存储一个新的数据对象，你不需要考虑任何事情来满足数据库对于这些数据的结构存储要求，而仅是存储到数据库中就可以了。容易理解的方式是，MongoDB采用了类似于JavaScript的对数据的处理方式。换句话讲，数据库中数据类型是非常灵活的弱类型。尽管有些时候使用的数据是有规范限制的，比如:比较大的数据集需要进行一些特殊的运算处理，但在更多的情况下，你可以像编写JavaScript

脚本一样来编写MongoDB代码。

1.2.5 boostrap

Bootstrap，是一款来自Twitter的，很受欢迎的前端整合框架。Bootstrap这一框架是基于HTML、CSS、JavaScript的，它十分简洁灵活，这使得在开发Web页面的时候更加快捷。它出自Twitter的设计师Mark Otto和Jacob Thornton的合作，是一个完全的CSS/HTML开发框架。Bootstrap是由Less（动态CSS语言）写成的，所以它提供了十分优雅灵活的HTML/CSS规范，。Bootstrap推出后就受到了开发人员的欢迎，所以目前为止都是GitHub上十分热门的开源项目，微软全国广播公司的Breaking News项目都是基于Bootstrap完成的。同时，目前国内较火的前端框架中 许多都是基于Boostrap开发的，比如经常使用到的WEX5。

1.2.6 echarts

Echarts( Enterprise Charts)，一个纯Javascript的图表库，目前最流行的商业级别数据图表实现手段，可以非常稳定的在PC和移动端上运行，对当前绝大部分浏览器（IE，chrome，firefox，Safari等）兼容，它的底层是由轻量级的Canvas类库ZRender实现的，提供了直观的，生动的，可交互的，可高度个性化定制的数据可视化图表服务。尤其是创新的拖拽重计算功能、数据视图功能、值域漫游功能等大大的增强了用户体验，赋予了开发人员对于数据资源进行整合、挖掘的能力。

1.2.7 struts2框架

Struts 2框架并不是在Struts1的基础上的升级版本，这是因为Struts2中将WebWrok作为框架的核心。那么为什么使用了WebWork呢？这是由于Struts1中存在了很多的缺陷，比如：表现层技术单一，与Servlet的严重耦合等等。WebWork的出现极大程度上满足了开发者的开发需求，弥补了Struts1中存在的缺陷。

二 系统详细设计

2.1 设计目的

通过大数据技术，周围所有的服务、设备等，都可以是为人类量身定制的而且是满足人类的个性化需求的。因为人类的所有需求，都可以通过大数据来准确“预测”出来，这种为人类量身定制的服务，可以在不断减少过去人类花费大量时间去完成的重复的，枯燥的工作的同时，而且不断提高人们的生活品质，这就是大数据带给人类社会的进步。

传统意义上，人们的思维惯性是打破砂锅问到底的寻找“为什么”，而大数据不同，它告诉我们，很多事情不需要明白“为什么”，而只需要明白“是什么”就可以了。也就是说，我们不一定需要去追求事物和事物之间的因果关系，而只需要了解相关关系就可以解决很多的问题。也就是人们将从分析方法论转变为综合方法论，知其然也可以不知其所以然。

剩余内容已隐藏，请支付后下载全文，论文总字数：20443字

相关图片展示：