大数据技术在提升国民阅读兴趣方面应用的探索

1 大数据的概念

人类已经进入了信息时代很多年了，随着云时代的来临，大数据（Big data）的概念越来越吸引了很多人的注意力。无论是云计算还是大数据，都是用来帮助人们解决问题的，特别是大数据的出现，在很多行业方面，让人们的预测建立在海量的数据基础之上，使预测结果更加准确和具有科学性。

2 当前中国民众阅读情况分析

中华民族有着五千多年的灿烂文明，自古以来就是一个热爱阅读的民族，历史上也有很多关于爱读书的故事。常言道：三更灯火五更鸡，正是男儿读书时，说的就是读书的事情。据媒体报道，2012年中国人年均读书0.7本，与韩国的人均7本，日本的40本，俄罗斯的55本相比，中国人的阅读量少得可怜。

当然，因为现在人的阅读方式多种多样，统计结果不一定是最准确的。但是中国人的阅读量在不断的变少，这是大家有目共睹的事实。中国人的阅读量在不停的减少，这其中的原因当然是多方面的。首先是由于生活的压力，工作的时间很长，能够自由阅读的时间当然就变少了。其次，现在电子产品越来越多，电脑，电视，智能手机等，人们的娱乐方式更加多元化，娱乐抢占了人们更多的自由时间，阅读时间当然少的可怜。现在大部分不爱阅读的第三个原因，是人们找不到自己感兴趣的书籍，觉得好书，适合自己的书越来越少。以前，大家都是去图书馆漫无目的的逛，一本本的找自己适合的书，这个过程比较浪费时间，而且收获不大。如何从技术角度，让大家用最快的方式，最短的时间发现自己喜欢的书，这是我们这次讨论的主要问题。

3 从技术角度，让不同的人能够更快捷更准确的找到自己喜欢的书

现在有了电子设备，特别是internet的普及，人们希望达到这样的效果，希望在搜索地址栏中输入地域、年龄、性别、个人爱好或者具体需求等一项或者多项，我们的网络能够自动搜索出适合这个读者想看的图书，以前，这基本是不可想象，遥不可及的事情，但是现在，有大数据的技术作为基础，这就变成一个可以解决的问题。

4 主要实现过程和关键技术：

大数据技术按照解决事物的过程主要有图1中各个部分组成：

图1 大数据技术结构

4.1 数据来源

现在有专门的公司通过统计图书的整体销量，主要通过图书城的销售记录，网上著名图书网店的销售流水等。

现在的数据来源与以前不同，以前的数据主要是来自各个系统的积累，主要是结构化数据，现在的数据主要来自网络，数据的的结构也比较复杂，有结构化数据和非结构化数据。应该说像日志、历史数据、用户行为记录等等这些事大数据的主要组成部分，他们几乎都是半结构化或者非结构化数据。这种数据传统的存储技术无法解决。因此大数据进行存储或者处理必须使用能够兼容多种数据及软硬件的平台，而且要适应各种应用算法或者数据的提取转换与加载(ETL)。

4.2 数据的存储技术

现在，人们已经可以通过大数据的相关技术，统计出已经出版的图书的销量，主要销售对象和销售地域，这些都可以作为大数据统计的数据基础。在选择存储技术时，既要考虑数据的存储又要考虑数据处理的方式，我们采用目前比较流行的MySql的MyISAM作为存储的基础，因为他们在处理大量数据时，专门使用门设计的分布式集群查询方式-MyFOX.

如下图所示，是Mysql的一次查询处理数据的过程：

图2 MyFOX的数据查询过程

MyFOX处理数据时，将数据中使用的比较频繁的数据放置在存取速度比较快的硬盘上，将基本不会进行访问的数据放置在比较老旧的硬盘上，这样既提高了数据的访问速度，还节约了成本。将访问比较频繁的数据成为“热节点”，将基本不访问的数据称为“冷节点”，访问示意图如下图所示：

图3 MyFOX节点结构

4.3 数据的分析技术

数据在存储之后，还要经过数据的清洗和标准化处理，因为现在的数据基本都是一些半结构化，或者非结构化数据，数据种可能存储很多的空值、重复值或者不合理的值，我们经过清洗和标准化处理将这些数据转变为可以分析和建模的数据。

现在数据分析的方式有很多，我们利用目前比较成熟的Hadoop开源框架。其主要原因一个是其能够处理我们得到的非结构化数据，另一个主要原因是他可以运行在比较便宜的硬件上，减少了我们资金上的压力。Hadoop是开源的框架，通过非常多的爱好者不停的改进他的核心技术，他的功能已经变得非常强大，完全可以完成我们的任务。他将大量的数据分成多个组成部分，运行在多台廉价的机器上，这样每一部分都能同时对数据进行处理和分析。

文章来源：《文科爱好者(教育教学)》 网址: http://www.wkahzzzs.cn/qikandaodu/2021/0611/1243.html