基于网络爬虫图书销售分析与可视化设计开题报告

1. 研究目的与意义

1.1课题研究的背景

在互联网技术迅速发展的背景下，网络数据呈现出爆炸式增长，对数据的应用需要在大量数据中记性挖掘搜索，搜索引擎结合这一需求就应运而生，不只是搜索数据信息，还要帮助人们找到需要的结果被人们所应用。信息数据的处理就需要爬虫技术加以应用来收集网络信息。作为搜索引擎的重要组成部分，网络爬虫的设计直接影响着搜索引擎的质量。网络爬虫是一个专门从万维网上下载网页并分析网页的程序。它将下载的网页和采集到的网页信息存储在本地数据库中以供搜索引擎使用。网络爬虫的工作原理是从一个或若干初始网页的链接开始进而得到一个链接队列。伴随着网页的抓取又不断从抓取到的网页里抽取新的链接放入到链接队列中，直到爬虫程序满足系统的某一条件时停止。

java语言简单易用,现成的爬虫框架和工具包降低了使用门槛,具体使用时配合正则表达式的运用,使得数据抓取工作变得生动有趣。在数据搜索方面，现在的搜索引擎虽然比刚开始有了很大的进步，但对于一些特殊数据搜索或复杂搜索，还不能很好的完成，利用搜索引擎的数据不能满足需求，网络安全，产品调研，都需要数据支持，而网络上没有现成的数据，需要自己手动去搜索、分析、提炼，格式化为满足需求的数据，而利用网络爬虫能自动完成数据获取，汇总的工作，大大提升了工作效率。

2. 研究内容和预期目标

2.1课题研究的内容

该题属于电子商务和程序设计类课题。网络爬虫就是一个替代人工手动搜索的技术，大量的研究者已将网络爬虫应用到了各个领域当中，并且都取得了相当不错的成果，同时也有不少研究者将网络爬虫应用图书销售搜索上。数据可视化的本质是将数据通过各种视觉通道映射成图形，可以使得用户更快、更准确的理解数据。当前数据可视化已经发展出了较多的方法，常见的比较基础的可视化方法有：饼图、折线图、柱状图、直方图等。用于实现数据可视化的工具有很多，诸如 tableau、powerbi、zeppelin、python 等。就 python 可视化而言，有许多可用于可视化的库，包括matplotlib、pyecharts、plotly等。

随着电子商务的快速发展和网络销售模式的大规模普及，网上购物已经成为一种潮流，越来越多的商品可以在网上进行销售，图书也是如此。图书在线销售系统需要分析传统图书销售模式，对比目前主流的商场销售模式，来设计图书在线销售系统，将传统的图书销售业务，实现由线下到线上的模式转变。图书在线销售系统打破了空间和时间上的限制，降低釆购和销售成本，简化图书交易流程，给消费者带来实实在在的便利，并且有效补充传统图书销售模式中存在的诸多局限，是当前最为重要的一种图书销售平台。

3. 研究的方法与步骤

1) 对配置项进行分类，分析每个配置项需要实现的功能；

2) 选用springboot开发框架，后端使用spring boot mybatis框架

3) 进行需求分析，具体分析配置项实现的功能；

4. 参考文献

[1] 王浩,袁琴,张明慧. python数据分析案例实战[m].北京:人民邮电出版社,2020.7.

[2] 嵩天,礼欣,黄天羽. python 语言程序设计基础[m].第2版.北京:高等教育出版社,2017.2.

[3] 董付国.python数据分析、挖掘与可视化[m].北京:人民邮电出版社,2020.

5. 计划与进度安排

(1) 2024年1月15日 ～ 2024年3月3日：接受毕业设计任务，查阅资料并完成开题报告；

(2) 2024年3月6日 ～ 2024年3月17日：选择开发工具，并配置其环境；

(3) 2024年3月20日 ～ 2024年3月31日：完成需求分析和概要设计或算法设计；