数据辅助的可视化图表增强系统开题报告

1. 研究目的与意义

现代科技高速发展，数据的形式相比之前的时代变得更加多种多样。随着深度学习时代的来临，机器学习人工智能在数据的理解和处理领域扮演的角色越来越重要，已经运用在多个领域，如图像分类、目标检测以及图像分割等等。可视化在支持人的宏观概览、态势感知、证据关联、模糊搜索等方面展示了其天然强大的赋能能力。在大数据的应用背景下，可视化如何增强人的认知、以及如何更好地通过可视化融合人机智能等科学问题。可视化具备三大功能:记录信息、传播交流、分析推理。借助可视化手段将人机智能有机结合，形成交互分析环境可有效提升数据关联分析的效率。

将信息可视化技术运用在信息图表设计之中，能够提升信息处理效率，相比于单独的可视化图表，图表通常包含视觉上突出的特征，吸引人们对数据方面的注意，并包括强调数据方面的文本标题和标注。附加的标题和标注等信息能有效地帮助读者理解图片所传递的内容,图表提供了数据的图形表示，可以将读者的注意力吸引到各种视觉特征上，例如异常值和趋势。

人们最初会被图表中视觉上最突出的部分吸引，如图表标题和标签。然而他们最终会运用他们的认知过程从最显著的图表特征中提取意义和认知。在某些情况下，标题中强调的数据对应于图表最突出的视觉特征，而在其他情况下则不然。先前的研究表明，与只看图表或标题文字相比，带标题的图表能提高对底层信息某些方面的回忆和理解，但是很少有人知道读者如何整合图表和标题之间的信息，特别是当图表的视觉突出特征强调数据时与标题中强调的数据不同。由于以上原因，可视化图片标题和标注自动生成系统具有重大意义，可以帮助人们对现有图表进行深层次解读分析与设计。从输入的可视化图片和对应的数据，来自动地提取图片中的关键信息，将关键信息组合成标题和标注，并放置在图片的合适位置上。

2. 研究内容和预期目标

主要研究内容：

（1）调研现有的可视化图片标题信息方面的生成方法；

（2）对可视化图片中的关键信息进行解读和提取；

3. 研究的方法与步骤

首先，调研现有的可视化图片标题信息方面的生成方法，了解有关课题，全面地、正确地掌握所要研究问题的方法。学习本课题领域相关的技术和研究经验，了解相关研究者提出的可行方法和实现效果并做出正确判断。

其次，对可视化图片中的关键信息进行筛选和提取，对输入的图片做一个图片分类的判断，图片分类在很多领域有广泛应用，包括安防领域的人脸识别和智能视频分析等，交通领域的交通场景识别，互联网领域基于内容的图像检索和相册自动归类，医学领域的图像识别等。图片分类通过手工特征或特征学习方法对整个图像进行全部描述，然后使用分类器判别物体类别。本系统的图片分类器采用卷积神经网络来完成一个简单的二分类，判断输入图片是折线图还是柱状图。

接着，提取视觉元素上突出的特征并将关键信息组合成标题和标注，依据图片分类器的判断结果，若是折线图，根据相应数据生成带有标题标注的折线图；若是柱状图，根据相应数据生成带有标题标注平均线的柱状图。将视觉突出点进行趋势和速度的判断，峰谷值判断是上升还是下降；判断快速还是缓慢，拟采用阈值判断法。

4. 参考文献

[1] dae hyun kim, vidya setlur, and maneesh agrawala. towards understanding how readers integrate charts and captions: a case study with line charts[j].in proceedings of the 2021 chi conference on human factors in computing systems (chi 21). association for computing machinery, article 610, 1–11.

[2] 耿耀港,梅红岩,张兴等.编码-解码技术的图像标题生成方法研究综述[j].计算机科学与探索,2022,16(10):2234-2248.

[3] 张顺,龚怡宏,王进军.深度卷积神经网络的发展及其在计算机视觉领域的应用[j].计算机学报,2019,42(03):453-482.

5. 计划与进度安排

（1）2024 年 1 月 11 日-2024 年 1 月 31 日：了解课题的任务目的和任务目标

（2）2024 年 2 月 1 日-2024 年 2 月 28 日：查阅资料、撰写开题报告、系统开发

（3）2024 年 3 月 1 日-2024 年 3 月 16 日：系统开发