分析大数据应用的技术体系及潜在问题

文/胡辉 陈伽 胡松 蔡昭权 陈军

科学技术的发展到现阶段，

信息技术相较于以前已经相当发

达。现在随着计算机和网络的普

及，其已经逐渐成为人们日常生

活中的一部分，计算机技术的发

展会对人类的工作方式以及生活

方式产生直接的影响，因此人们

一直对其极为重视。尤其现在智

能手机以及无线网络的推广，国

内的网民数量也在不断提高，这

就使得大数据的重要性被逐渐凸

显出来。现在大数据的应用技术

在不断发展和完善，标志着我国

现在正在向大数据的时代迈进，

因此对于大数据技术的深入研究

是很有必要的。

摘 要

速性的特点。所谓规模性就是指现在信息数据

的发展规模已经达到了工具不能测量的大规模

阶段；而多样性则是指对信息处理方式的多元

化，有结构化、半结构化以及非结构化等多种

形式，但是这种多元化的处理方式无形之中也

增加了数据处理的繁杂性；高速性就是现在的

大数据能够将所需信息迅速进行处理，并保证

处理时间不延迟。

1.2 大数据的信息处理程序

上文已经介绍了因为大数据信息处理的

特点，导致其在处理信息时整体程序都较为繁

杂，目前主要分为三个层次：

1.2.1 数据信息的收集

这一层次就是对大数据信息的接收和记

录。在接收方面，其接收的方式极为丰富，像

传感器和网络链接以及服务器等都能进行信息

数据的收集。而进行信息记录的主要目的就是

为了对元数据进行选择，从而获取自己想要得

到讯息并将其组织起来。

1.2.2 将信息数据进行集成

这一层次就是指将得到的信息进行整理、

保存和截取。将信息进行整理其目的就是要将

所有的信息进行过滤，删除价值较低的信息进

行，并利用过滤器剔除无用信息和错误信息，

将信息分析错误的机率降到最低；而保存信息

就是把已经整理好的信息整合起来，建立信息

数据库，以便用户随时进行使用，避免了二次

收集的麻烦；因为不能保证所有收集的信息都

是有价值的，所以除了对其进行过滤之外，对

其进行截取也是什么有必要的。截取之后的信

息会变得更加简洁明了且易处理，进而实现信

息处理时间的最短化。

1.2.3 对收集信息进行分析和解析

这一层次主要就是为了将信息进行技术

分析以统计分析，并对收集的数据进行整理和

加工，促进大数据技术系统的不断优化。可以

从概率的本质入手，对认识率进行决策。要确

保对信息分析的精准性，要对其进行全方位的

分析，既要保证数据解析的准确性同时还要对

大数据的使用空间进行拓展。

2 对大数据应用技术体系的解析

2.1 大数据获取技术

目前收集信息数据的技术种类有很多，

为了能够更好地对大数据的应用技术体系进行

解析，笔者先简单介绍几种应用技术：

2.1.1 云计算

从二十一世纪开始，云计算这一技术就开

始被人们所熟知，并对其给予了极大的关注度。

其缘由是云计算的计算平台十分灵活，不仅能

够将各种数据以动态的形式体现出来，同时还

能保证服务质量的高品质，具有极高的使用价

值。可以将云计算看作是一个分布式编程模型，

其规模较大，且较为抽象、虚拟，可以将电脑

中的数据进行存储并将其通过网络的形式输送

给需要的客户。一般如果所需要处理大规模的

信息量和数据时，云计算都会成为首选，而且

使用云计算时并不是无偿的，而是要根据使用

资源的规模来进行收费，这就意味着会产生成

本，相关人员就可以利用这一方式来形成一种

盈利方式。而且相较而言云计算的需求限制较

小，它许可异构网络进行横向发展，这就为大

数据的收集和分析做好了铺垫。使用云计算既

可以为大数据信息进行分析，还可以为其提供

较强的存储空间，极其方便、快捷。因其在大

数据处理中具备的做种优势，使其被广泛的运

用到大数据的信息处理之中，效果极为显著。

2.1.2 传感器技术

现在无论是日常生活、医疗以及办公等

方面都需要使用网络来进行，这就使得传感器

技术的普及率越来越高。当人们使用网络时，

传感器就会开始收集各种有价值的信息，像交

通指挥在收集车辆和路况的信息时使用的就是

这种技术。

从生物学、商业、环境、医疗、工业以

及军事等领域探讨无线传感器的重要用途。

2.1.3 条形码技术

分为两种，一种是数据条形码技术，这

种技术主要应用在零售行业之中，尤其在超市

较为常见，这种技术的应用极大的拓展了零售

行业的发展空间；另一种就是条形码技术，使

用这种技术能够让用户准确、快速的掌握产品

的所有信息，像产地、价格以及使用功能等，

而且还能用于定位和通信之中，为人们的使用

提供了极大的便捷。

●广东省教科规划项目（11JXZ012，14JXN065），广东省自然科学基金项目(S2013010013432, S2013010015940), 广东省教育厅项目(2013LYM00874)，

广东省高校优秀青年创新人才培养计划资助项目（2013LYM_0087）， 惠州市科技计划项目（2013B020015008，2014B020004026，

2014B050013016，2014B020004023）。

196 • 电子技术与软件工程 Electronic Technology & Software Engineering