政策爬虫站点管理系统

本科毕业论文(设计)

院 (系)

XXXXX

专    业

XXXXX

班    级

XXXXX

学    号

XXXXX

学生姓名

XXXXX

指导教师

XXXXX

政策爬虫站点管理系统

年     月    日

xxxxx本科毕业论文(设计)

诚信责任书

本人郑重声明:本人所呈交的毕业论文(设计),是在导师的指导下独立进行研究所完成。毕业论文(设计)中凡引用他人已经发表或未发表的成果、数据、观点等,均已明确注明出处。

特此声明。

论文(设计)作者签名:          

  期:           

目录

摘要

Abstract II

第一章 绪论

1.1 研究背景 2

1.2 研究意义 2

1.3 研究内容 3

第二章 开发技术

2.1 Spring Boot框架介绍 4

2.2 hive简介 4

2.3 Java语言简介 5

2.4 hadoop技术 5

2.5 MySQL介绍 5

第三章 需求分析 5

3.1 可行性分析 6

3.2 功能需求 7

3.3 非功能需求 8

第四章 概要设计

4.1 设计目标

4.2 功能模块设计

4.3 功能流程

4.4 数据库设计

第五章 系统实现

5.1后台管理员功能的实现

第六章 系统测试

6.1 测试目的

6.2 测试方法

6.3 测试用例设计

结  论

参考文献

致谢

摘要

随着互联网技术不断地发展,网络大数据成为了人们生活的一部分,而政策爬虫站点管理系统作为网上应用的一个全新的体现,由于其特有的便捷性,已经被人们所接受。目前主流的政策爬虫站点管理系统服务不仅不明确并且管理盈利较低,针对用户定制的政策爬虫站点管理系统更能够体现出其服务特色。

本项目以政策爬虫站点管理系统为研究背景,采用的框架为springbootJava开发了政策爬虫站点管理系统。本文通过分析政策爬虫站点管理系统的需求,建立起了相关的开发模型,构建出相关的系统需要的开发环境。通过调研,明确了政策爬虫站点管理系统的需求,最后开发实现了系统并进行了测试。

关键词:政策爬虫站点管理系统; springboot框架;Java语言;

Abstract 

With the continuous development of Internet technology, the network and big data have become a part of people's life. As a new embodiment of online applications, the policy crawler site management system has been accepted by people because of its unique convenience. At present, the mainstream policy crawler site management system services are not only unclear and have low management profits, but the customized policy crawler site management system for users can better reflect its service characteristics.

This project takes the policy crawler site management system as the research background, and adopts the framework of Springboot and Java to develop the policy crawler site management system. This article analyzes the requirements of the policy crawler site management system, establishes a relevant development model, and constructs the development environment required for the relevant system. Through research, the requirements for the policy crawler site management system were clarified, and the system was finally developed and implemented for testing.

Keywords: Policy crawler site management system; Springboot framework; Java language;

第一章 绪论

1.1 研究背景

在二十一世纪,互联网已经成为了人们的必需品,与此同时,大数据技术也在不断地发展之中。随着大数据的技术应用于Internet中,政策爬虫站点管理系统实现了用户能够在虚拟的环境中使用系统的功能[1]

随着互联网时代的普及,有非常多的产业可以借助于网络使用其方便的优势飞速发展,政策爬虫站点管理系统也在快速发展之中。随着时间越来越可贵的今天,对于用户来说,政策爬虫站点管理系统的吸引之处在于它的方便,同时政策爬虫站点管理系统具有多样化的选择,用户可以通过网络的方式使用系统的功能。有了政策爬虫站点管理系统的话[2],管理员可以提高工作效率和用户可以提升体验感。

1.2 研究意义

随着互联网技术的不断和快速发展,网络大数据很早就成为了人们生活中的一部分,政策爬虫站点管理系统由于其特有的便捷性,用户能够更加容易地接受。互联网有了这种便捷政策信息、爬虫可视化分析形式,也是一种新型的全新应用形式[3]。从侧面来看,政策爬虫站点管理系统还能够推进网上用户查看爬取下的大数据手机信息的普及。

同传统的人工统计数据模式相比,政策爬虫站点管理系统具有较多的优势。建立规范化的流程通常可以解决用户查询添加爬虫、爬虫管理、政策信息、爬虫可视化分析问题,而目前如果需要管理网站爬取下的大数据管理员依然以人工的方式进行管理话太过于落后政策爬虫站点管理系统处理数据越来越趋于信息化,这种模式需要依赖于智能化手段管理。随着科技发展的进步大数据的普及,信息技术能够改善我们的生活,现在许多生活场景都需要信息化技术帮助改善我们的生活。

1.3 研究内容

(1)本次针对开发设计系统并设置了相关的实施方案,利用完整的软件开发流程进行分析,完成了设置不同用户的操作权限和相关功能模块的开发,最后对系统进行测试。

(2)框架可以帮助程序开发者快速构建软件的整体层次,本次开发所使用的框架为Java springboot,具有较强的开发环境部署的优势,程序开发者可以快速构建出相关的软件基本框架,通过多种框架的开发可以帮助程序开发者减少代码量,提升系统的安全和稳定性,能够帮助政策爬虫站点管理系统功能模块的处理[4]

(3)数据的操作需要开源框架规范用户的操作,不仅能满足最基本的标准,还能利用数据库的约束关系约束数据库记录,这样就可以使得系统实体和数据库表字段相映射,通过他们之间的关系模型设置系统实体间的关系。

2.1 Spring Boot框架介绍

Spring Boot是由Pivotal团队提供的轻量级框架,其“开箱即用”及“约定优于配置”的策略可以使开发者全身心的投入到业务逻辑代码的编写中,极大地提高了软件开发项目的效率。相比于Spring框架而言,Spring Boot框架更加能够节省程序员配置XML的时间,Spring Boot项目允许开发者使用它的所有模块和开发功能,此外, Spring Boot内置了服务器,简化了开发者启用服务器的整体流程,Spring Boot还可以自动适配不同类型的数据库以满足用户快速连接后台数据库管理的需求,这极大地方便了用户快速搭建应用程序的实现过程。 2014年4月,Spring Boot 1.0.0发布,截止到2022年2月,发布的Spring Boot版本为Spring Boot 3.0.0-M1。在系统的设计与开发中,为了能够快速搭建软件后台服务的开发环境,从技术实现的难度以及平台开发的成本两个方面考虑,Spring Boot框架能够使开发者更关注平台功能的业务逻辑代码实现,可采用Spring Boot框架搭建系统为前端App提供数据服务。因此,本案例项目后台开发选择Spring Boot框架。2.2 hive简介

hive是基于Hadoop的一个数据仓库工具,用来进行数据提取、转化、加载,这是一种可以存储、查询和分析存储在Hadoop中的大规模数据的机制。hive数据仓库工具能将结构化的数据文件映射为一张数据库表

2.3 Java语言简介

Java,目前Internet中最流行的编程语言之一。它吸取了C++编程语言的长处的同时还摒弃了许多复杂抽象不易掌握的问题使得Java编程语言不但功能强大而且使用方便。

Java技术在使用过程中有优势也有劣势。其优势在于,因为Java本身相对严格的语法,所以可以强化程序员在编程时的规范性问题,不容易出现明显结构错乱的问题。因此,规范将是Java的巨大优势。但是它也有劣势,就是不太适应互联网模式下的不断修改,总是修改容易破坏架构。

面向对象的三种特征封装继承和多态。

密封主要是指对数据信息的隐藏通过把数据信息类别与通过数据信息的功能密封在一块让数据信息被保存在数据信息类别的里面只留下一部分可以对外的接口以便于尽可能的地隐蔽里面的数据信息。因此好处也就十分的明显就是实现了专业的分工同时也隐藏了信息保证了安全。

继承这就像是实际人生中的父子关系一样孩子要承袭父母的特点。类似的一个种类同时也继承了另一个种类的某些特性父属之间有一种特别的一般性的联系是is-a的关系从根本上来说都属于同一个实体。

多态多态系统是以封装和继承为基础的。由于所传输的父类对象能够引入各种各样的子类对象因而能够显示出各种各样的现象给多态的编程带来了良好的扩展。

2.4 hadoop技术

1. Hadoop Common:Hadoop体系最底层的模块(基础模块),为Hadoop各子项目提供系统配置工具Configuration、远程过程调用RPC、序列化机制和日志操作等。

2. HDFS:Hadoop Distributed File System是具有高度容错性的文件系统,适合部署在廉价机器上。HDFS提供高吞吐量的数据访问,非常适合大规模数据集上的应用。

3. YARN:Yet Another Resource Negotiator是统一资源管理和调度平台,解决了上一代Hadoop资源利用率低和不兼容异构计算框架等多种问题,提供资源隔离方案和双调度器的实现。

4. MapReduce:一种编程模型,利用函数式编程思想,将数据集处理过程分为Map和Reduce两个阶段,非常适合进行分布式计算。支持Java、C++、Java、PHP等多种语言。

2.5 MySQL介绍

数据库在软件项目中扮演着操作管理数据的角色同时还能够保证数据的独立性、一致性和安全性,并为系统访问数据提供有效方式不仅如此数据库还能大大减少程序员开发程序时间。在日常能够接触实用的一般有两类数据库,一类是以(Oracle,DB2,SQL Server,MySQL )为代表的关系型数据库和以(NoSql、MongeDB)为代表的非关系型数据库,两类数据库各有各的优缺点。其中非关系型数据库又分为网络数据库和层级数据库。网络数据库是指在计算机网络系统中应用数据库技术然后借助网络技术将存储于数据库中的大量信息及时发布出去;在成熟的数据库技术的帮助下,计算机网络实现了对网络中的各种数据的有效管理,用户与网络中的数据库数据交互也借此得以进行。IMS也是最早研制成功的数据库系统。关系数据结构、关系操作集合、关系完整性约束构成了关系模型。作为数据库另外一种区分方式的存储介质被大家分为磁盘和内存这 两种。例如:关系型数据库就存储在磁盘中,非关系型数据库则存储在内存中。典型的关系型数据库有:Oracle、DB2、Microsoft SQL Server、Microsoft Access、MySQL、SQLite。小型关系型数据库:Microsoft Access,SQLite;中型关系型数据库:SQL Server,Mysql;大型关系型数据库:Oracle,DB2。

大家常用的其他关系形数据库系统大多是MySQL AB公司开发的,其中MySQL也是由这家开发的,所应用的分布式数据库管理系统是客户机/服务器体系结构得益于此结构,而且用这个系统建造的数据库具有很强的适用性,用C和C++编写的系统让他拥有很强的适用性所以他可以在大部分操作系统上使用并能和php结合。不同的API函数针对不同的语言(C,C++,JAVA等)来处理不同数据;为了更好地支持多CPU多线程通过使用核心线程来实现;提供的存储机制分为事务和非事务存储机制;MySQL采用双重许可,不管是从MySQL AB公司获得正式的商业许可又或是许可条款下以免费软件或开放源码软件的方式使用MySQL软件都是被允许的。

MySQL作为数据库拥有很多优点,其中由于是开放源码,所以使用成本特别低,而它体积小的特点决定了速度快的特性。因此,MySql具有开放性,多线程支持多种API,可跨数据库连接,国际化,数据库体积巨大等特点。简单的来说 ,MySql是一个开放的、快速的、多线程的、多用户的数据库服务器。

第三章 需求分析

3.1 可行性分析

3.1.1 经济可行性研究

政策爬虫站点管理系统能够给用户带来不少的方便,如果用户能够拥有政策爬虫站点管理系统,则可以对系统进行简单管理,用户可以节省不少资金。政策爬虫站点管理系统的实现能够解决传统管理模式不必要的经济支出,尤其是其中的人力资源成本,传统的政策爬虫站点管理系统需要大量的人力资源支持,并且往往需要管理者手动记载数据。

3.1.2 技术可行性研究

根据前期分析了系统的需求和背景,最终确定了可使用的软件体系和技术完成政策爬虫站点管理系统的开发。系统架构和使用的开发技术都是较为好用的开发模型,综合现有的政策爬虫站点管理系统,本次开发选用的技术是可行的。

3.1.3社会可行性

在社会可行性分析中,首先能结合国家经济和社会发展的实际情况,还需要能够让用户更加的便利,给使用者带来多方面的高效益,使得可以比较快速的发展以及应用,随着很多领域的发展,尤其是智能化的社会下,据统计许多的人都拥有属于自己的系统,这种情况下就带来很多的问题,比较突出的就是管理上的不足,从而出现低效率的原因。 

在可行性分析中的收益分析,是比较清晰地发掘开发的系统带来的各种直接的有效的利益以及一些隐藏起来的好处,以便在后续的设计中更加的坚定和确信系统开发的意义。解决一些社会方面存在的问题,设计并开发系统肯定是要发现某类社会存在的问题,并且能够带来一定的社会价值。还有一些社会的影响力,是通过系统想优势和切实的好处来产生的,能够在一定的情况下提高效率,肯定会增加一些社会的进步和发展。社会上的可行性,包括法律上的可行性,也包括法律上的可能性,法律上的可行性,需要社会上的许多因素,可以来实现系统建设的现实性。如果所开发的系统与国家法律或政策等相关的因素不相符合,在某些信息化的邻域中使用的是一些加密的信息或者技术问题,还有不经过正常的操作使用其他的一些公开的信息等这些情况,这样的系统的开发在法律的范围中就是不能被允许的。

其中还有一个比较重要的用户使用可行性也是通过执行系统时的可行性,是从所有情况下用户的角度来考虑系统的可行性,由于设计开发相关的系统就是站在社会中广大的用户体验考虑的,所以在这个层面考虑也是符合的。

3.1.4法律可行性分析

政策爬虫站点管理系统是自己独立设计的,该系统是本人开发出来做毕业设计之用,并不会侵犯他人、集体和国家的利益。该系统使用正版软件开发,所有参考资料都是正规网站查询分析得出,开发的技术完全是开源免费的工具,百分百遵守国家法律法规。不会出现任何违反国家的政策和法律的。

3.2 功能需求

3.2.1 用例概述

           

图3.1 管理员用例图

   

用例的简要描述如表3.2所示。

1.用户信息管理

用户信息管理用例描述能够描述系统中的用户信息管理功能,用户信息管理用例描述如表3.2所示。

表3.2用户信息管理用例描述

用例标识

3.2

用例名称

编辑用户的相关信息

参与者

管理员

前置条件

管理员需要输入正确的用户名和密码登录系统

后置条件

修改用户信息

用例概述

管理员修改用户信息

基本事件流

1.管理员输入正确的用户名和密码登录到系统当中

2.管理员在用户信息管理界面点击修改按钮提交修改的用户信息

3.用户信息修改成功

备选事件流

4输入的信息需要合法才能够成功修改

备注

2.登录

登录用例描述能够描述系统中的登录功能,登录用例描述如表3.3所示。

表3.3 登录用例描述

用例标识

3.3

用例名称

登陆

参与者

用户、管理员

前置条件

用户和管理员需要输入正确的用户名和密码

后置条件

登录

用例概述

用户和管理员登录

基本事件流

1.用户和管理员进入到登录页面当中

2.管理员和用户输入用户名和密码登录到系统当中

备选事件流

3.输入的信息需要和数据库信息相匹配才能够登录

备注

3.角色信息管理

角色信息管理用例描述能够描述角色中的角色信息管理功能,角色信息管理用例描述如表3.4所示。

表3.4 角色用例描述

用例标识

3.4

用例名称

编辑角色的相关信息

参与者

管理员用户

前置条件

管理员需要输入正确的用户名和密码登录角色

后置条件

修改角色信息

用例概述

管理员修改角色信息

基本事件流

1.管理员输入正确的用户名和密码登录到角色当中

2.管理员在角色信息管理界面点击添加按钮提交新添加的角色信息

3.角色信息添加成功

备选事件流

4.输入的信息需要合法才能够成功添加

3.3 非功能需求

(1)可用性。该政策爬虫站点管理系统需要简单易操作,用户能够快速方便地上手。

(2)可扩展性。该系统设计的时候采用的是模块化的方式,当能够充分了解系统的业务需求的时候,可以通过分解业务流程,分为不同的模块进行开发,

(3)可维护性[5]。如果代码的可理解性越强的话,这能够确保系统设计风格更加统一,使用有意义和结构化的程序设计方法,这样可以保证后续修改政策爬虫站点管理系统的时候要较为方便,使得维护系统要变得更加简单[6]

(4)流畅性。系统运行速度需要不慢,并且多个用户使用系统的时候,用户在操作的时候能够顺畅。

第四章 概要设计

4.1 设计目标

经过需求分析之后,下一步要做的是定下能够满足基本要求的系统,进而设计出对应的系统。系统设计内容应该需要包括明确政策爬虫站点管理系统的设计方法,将系统功能分成若干个模块,确立各个模块需要什么功能以及与其它模块的关系,

对划分的功能模块采取技术设计和评价[7]

政策爬虫站点管理系统除了需要提供用户所需的基本功能之外,还不能有繁杂的操作方式,这能够给用户带来良好的体验。用户界面不仅需要简单友好关键在布局上需要能够适应大多数用户的使用习惯,能够保证用户在使用软件的流畅度[8]

4.2功能模块设计

该章节的功能模块设计,只是大概描述了系统的所有功能模块,将功能按权限来讲解。系统总体结构图如图4-1所示。

图4.1 系统总体结构图

4.3 功能流程

(1)登录

用户想要使用系统的功能之前首先需要登录,在登录页面中输入用户名和密码之后点击登录按钮,如果通过了验证则能够进入到主页当中[9]

图4.2 登录流程图

(2)查询

管理员登录系统之后可以在后台管理中查询系统的信息,如果输入的系统信息在数据库记录中找不到则不能显示查询信息。

图4.3 查询流程图

(3)用户管理

管理员登录系统后可以修改用户信息[10]

图4.4 用户管理流程图

4.4 数据库设计

4.4.1 概念性数据模型

政策爬虫站点管理系统需要数据库存储系统中的信息,MySQL数据库能够处理系统的信息,当政策爬虫站点管理系统需要数据的时候,MySQL数据库能够取得数据交给服务端处理。MySQL数据库能够使用可视化软件操作,管理员可以在可视化软件对数据库的信息机芯管理。

系统数据层设计包括了E-R设计,系统数据实体的设计依赖于E-R的分析和设计,通过E-R能够得到数据库表的设计,E-R能够描述系统所涉及到的实体,还能够描述系统中不同实体的联系和关系[11]

(1)需要能够充分地反映现实世界,包括现实事物之间的联系,这样有利于满足不同程序开发者对数据处理的需要。

(2)需要能够容易理解,从而可以使得即使不熟悉计算机的用户也可以快速使用系统,如果一个数据库设计得较为成功的话用户也可以选择参与。

(3)需要能够易于变更。当系统应用环境发生改变的时候,概念模型往往需要改变,因此数据库需要设计得以后容易修改概念模型。

政策信息E-R如图4.5所示

4.5 政策信息E-R图

爬虫E-R如图4.6所示

图4.6爬虫E-R图

4.4.2 数据库表设计

  • 系统实现

5.1 后台管理员功能的实现

注册登录界面中需要使用el-input标签实现输入框供管理员输入用户名和密码,需要使用name标签表示不同的信息。在注册登录界面中还需要包括角色的按钮,使用el-radio表示按钮,管理员可以点击按钮从而选择不同的角色如图5.1所示。

5.1管理员注册登录界面

管理员登录进入政策爬虫站点管理系统可以查看个人中心、添加爬虫、爬虫管理、政策信息、爬虫可视化等功能进行详细操作,如图5.2所示。

5.2管理员功能界面图

管理员点击添加爬虫页面;在添加爬虫页面输入政策网址/站点名称、政策地区、政策标题、发布时间、发布部门等信息;如图5.3所示。

5.3添加爬虫界面图

管理员点击爬虫管理;在爬虫管理页面输入添加者、政策网址/站点名称、政策地区、政策标题、发布时间、发布部门进行详情操作如图5.4所示。

5.4爬虫管理界面图

管理员点击政策信息;在政策信息页面输入发布地区、政策内容等信息进行详情操作如图5.5所示。

5.5政策信息界面图

爬虫可视化页面如图5.6所示。

5.6爬虫可视化界面图

第六章 系统测试

系统测试的目的是为了能够尽可能地找出系统中现有的系统缺陷,对发现的缺陷进行修复。一般来说,如果发现了功能模块有缺陷,那么该功能模块往往还包含有许多缺陷。如果在软件测试中能够发现软件缺陷,那么可以提前修复从而降低软件开发成本[12]

6.1 测试目的

系统测试能够全面测试政策爬虫站点管理系统,包括不同功能模块的测试。政策爬虫站点管理系统是较为复杂的应用,需要软件开发者充分地运用,这样能够保证系统的稳定运行和数据库中的数据较为安全可靠。有效地测试给系统带来了许多的益处。在系统测试阶段不仅需要玩测试用例的设计还需要完成执行。用例的侧重点在于最终实现的软件是否能够满足需求规格说明书。软件开发者测试该政策爬虫站点管理系统的目的为达到用户需求的基础之上,同时需要保证系统的可用性。

6.2 测试方法

单元测试能够对系统的环境进行测试,因为政策爬虫站点管理系统的开发环境较为复杂,所以一旦软件开发完成之后,需要在开发环境测试软件,在开发环境中使用debug的功能测试软件,观察数据库的数据是否能够正常更新,这样有利于及时更新系统存在的错误。

系统测试能够发现软件的缺陷,通过软件的用途实现,软件开发者不用去了解政策爬虫站点管理系统的内部结构,从用户的角度对软件进行测试。测试软件需要结合软件的内部结构,检测软件是否能够正确地反馈。在使用白盒测试的时候,软件开发者需要注重程序的内部逻辑,对其测试并得出相关的测试数据[13]

6.3 测试用例设计

本系统在完成之后对代码根据功能模块划分成不同的代码块,对相应的代码块测试,用以验证系统功能的正确性。最后对系统进行完整测试,对集成的模块进行测试。本系统通过登录不同的角色从而对系统进行测试。在测试的过程当中,本文设计了测试用例,对测试过程详细记录下来,部分主要测试用例如下所示[14]

(1)注册

表6.1 注册用例

序号

关注点

测试点

测试方法

期待结果

1

用户注册

用户是否能够成功注册

在注册界面中用户输入不完整的注册信息

注册失败,系统提示用户需要输入完整的用户信息

2

用户注册

用户是否能够成功注册

在注册界面中用户输入系统已经存在的用户信息

注册失败,系统提示用户信息已经存在

(2)登录

表6.2 登录用例

序号

关注点

测试点

测试方法

期待结果

1

用户登录

用户是否能够成功登录

在登录界面中用户在输入框中不输入用户名

登录失败,系统提示用户需要输入用户名

2

用户登录

用户是否能够成功登录

在登录界面中用户在输入框中不输入密码

登录失败,系统提示用户需要输入密码

3

用户登录

用户是否能够成功登录

在登录界面中用户输入的信息跟数据库记录 匹配不上

登录失败,系统提示用户需要重新输入用户名和密码

(3)用户管理

表6.3 用户管理用例

序号

关注点

测试点

测试方法

期待结果

1

用户管理

管理员是否能够正常管理用户的信息

管理员进入到用户管理功能界面当中的时候,点击添加按钮添加用户信息

如果输入的信息合法则能够添加成功

2

用户管理

管理员是否能够正常管理用户的信息

管理员进入到用户管理功能界面当中的时候,点击修改按钮修改用户信息

如果修改的时候输入的信息合法则能够正常地修改

3

用户管理

管理员是否能够正常管理用户的信息

管理员进入到用户管理功能界面当中的时候,点击查询按钮查询用户信息

如果输入的用户名称和数据库记录相符合则能够成功地查出信息

4

用户管理

管理员是否能够正常管理用户的信息

管理员进入到用户管理功能界面当中的时候,点击删除按钮删除用户信息

如果需要删除的用户信息和其它表还有关联则不能删除

结  论

经过这几个月的努力,在老师和同学的帮助与指导下,对系统顺利完成。对于该系统的研究和开发虽然没有耗费大量的时间,但为了成功完成该政策爬虫站点管理系统,消耗了大量的经历和汗水去了解学习这方面涉及到的专业知识以及开发环境的应用。

该系统的设计与实现,是经过了很长时间的分析、观察、调研和研究分析并整理资料实施的。政策爬虫站点管理系统采用 Java开发语言、 springboot框架以及MySQL数据库等技术开发与设计。该政策爬虫站点管理系统主要展示个人中心、添加爬虫、爬虫管理、政策信息、爬虫可视化等,并对一些数据进行记录。后台的主要任务是对数据的一些准备处理的工作,对于管理员的数据属性的添加、维护和修改。每个功能在完成各自任务的同时也相互合作,一起来处理各个任务以及进程。

尽管该系统对用户可以满足一些基本的政策爬虫站点管理系统的需求,但该系统还存在许多问题和有待完善的地方。主要分为以下两点:

(1)该政策爬虫站点管理系统的适用面比较局限。页面的设置还是过于繁琐,不够简洁。加上社会方面的飞速发展,用户的条件也在发生新的变化。该系统还存在大数据下的并发和并行操作的不稳定性,当一个时间段内或者同一时刻时,过量的用户访问该网站会让网站的服务器出现崩溃的现象,一些操作无法正常的运行。种种原因使得该系统存在一些局限性。

(2)需要人工来处理的数据模块太多,需要减少大量的人工操作。在对政策爬虫站点管理系统信息处理的程序中,难免会出现各种各样的错误数据或者是异常数据,一旦这些数据大量积累存在过多时,系统自我调节修复能力有限就不得不需要人工的干预了。但是人工如果经常去进行操作的话,就会造成该系统的运行速度变慢,对其余正确的数据产生干扰,而且有可能对正确数据的损害以及泄露,从而将会减少该系统的稳定性。对于人力和财力都造成了不必要的浪费。

从上述可以看出该政策爬虫站点管理系统还有很多不足之处,在日后要结合具体项目问题进行修改和研究。

参考文献

[1] 随机游走与BIRCH融合的聚类统计方法. 夏小娜.统计与决策,2021

[2] 最小一乘导数估计的统计方法与优化. 支席年;夏小娜.统计与决策,2021

[3] 智慧教学管理的决策架构方案——基于“数据管理——业务设计——平台架构”的决策维度分析. 夏小娜;戚万学.现代教育技术,2021

[4] 大数据驱动的学习分析技术研究进展. 胡金蓉;邹茂扬;文武;周子龙.现代电子技术,2020

[5] 决策分类器在空气质量数据分析中的实证对比. 付悦;夏小娜.计算机技术与发展,2020

[6] 基于兴趣相似度传递的增强LSH统计预测算法. 夏小娜;邹麒.计算机应用与软件,2020

[7] 一种联系数表达的位置不确定数据流聚类算法. 史玲娟;黄德才.小型微型计算机系统,2020

[8] Consideration of the Local Correlation of Learning Behaviors to Predict Dropouts from MOOCs. Yimin Wen;Ye Tian;Boxi Wen;Qing Zhou;Guoyong Cai;Shaozhong Liu.Tsinghua Science and Technology,2020

[9] 语义增强的在线学习行为预测研究. 叶俊民;罗达雄;陈曙;廖志鑫.小型微型计算机系统,2020

[10] 以教学行为为关键线索的智慧校园探究. 夏小娜;戚万学.现代教育技术,2020

[11] Uncovering university students’ device usage patterns in a Korean online learning context using learning analytics. Ko Myong Hee.Computer Assisted Language Learning,2022

[12] The impacts of constructivist learning design and learning analytics on students’ engagement and self-regulation. Banihashem Seyyed Kazem;Farrokhnia Mohammadreza;Badali Mehdi;Noroozi Omid.Innovations in Education and Teaching International,2022

致谢

大学的时光慢慢接近了尾声,论文即将将要完成,我要感谢我的指导老师,系统开发设计实现是在我的指导老师指导下完成的。指导老师不仅有严肃的科学态度且有着严谨的治学精神,这些都深深地影响着我。指导老师在学业上给了我细心的指导,在思想和生活上也影响了我许多,在此向老师表达敬意。指导老师的专业素养给我的职业生涯起到了不小的作用。在此,我向指导老师表达感谢。

其次,还要感谢学校能够提供了一个良好的学习生活环境,让我学习了很多的计算机知识,而且还有许多参考资料可以查阅,在查阅资料的时候学到了不少的知识,这都要感谢我的母校。同时还要感谢在宿舍一起生活的同学们,虽然舍友们来自不同的地方,并且有着不同的生活经历,但是在多年的学习生活中,同学们不仅互相帮助而且还共同努力学习知识,和同学们在一起,这给了我许多精神上的支持。我们一起面对并且解决多种困难,这一切让我感受到温暖。

最后,我还非常感谢我的家人,感谢我的家人们提供了学习环境供我学习,在生活中给了我无微不至的关怀,正是他们给了我很多的帮助,才使得我学习能够顺利完成。

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值