当前位置:首页 >阅读生活>

云计算环境下大规模数据处理技术研究

来源:www.timetimetime.net 时间:2019-10-09 编辑:散文随笔

随着计算机技术和因特网技术的发展和应用,网络信息和数据量正在迅速增长。由于各种限制,传统的并行计算,分布式计算和其他方法通常难以满足实际的计算要求。基于此,基于云计算环境的大规模数据处理技术的使用可以有效地打破这些限制,从而实现更加高效,快速的数据计算。

1种云计算环境下的大数据处理模式

1.1大规模,廉价的计算平台

利用虚拟化技术,可以实现大规模且廉价的计算平台,并可以将存储,应用程序,网络,计算和其他资源用作虚拟化实体。抽象的计算资源被抽象以形成彼此完全独立的虚拟服务器实例,从而独立地执行数据处理和计算。这样,可以实现基础硬件的虚拟化。建立可扩展的计算节点资源池,并实现对虚拟计算流程和计算节点的集成管理。这样,大规模数据子处理任务就可以完成实时迁移,资源转换,系统监视和任务部署。

建立大规模计算平台的过程也是云计算环境中大规模数据处理的重要步骤。具体来说,首先需要对数据处理所需的资源进行参数化,并根据相应的要求进行自定义。通过此过程,用户可以获得所需的资源。以不同的操作模式向用户提供参数服务。设置完参数完成自定义后,在此基础上,在大规模数据处理中,部署存储和计算资源,设置计算过程和数据处理方案。在将相关参数设置信息写入存储和计算资源的配置文件中之后,分配计算过程,从而在计算节点中启动相关资源,并管理和部署计算节点的定制处理服务。

部署工具通过网络连接到目标计算节点和计算过程,然后执行大规模数据处理方案。然后,根据相应方案,通过代码来分配和执行存储和计算资源。它将部署在计算节点上以进行启动,并且网络将用于在每个计算节点处发送数据处理命令,以完成计算过程的调度和部署。

1.2Map减少技术支持

Map Reduce分布式并行编程模型用于实现任务容错处理,计算节点负载平衡,空间局部性优化和并行任务调度。在Map Reduce的开发过程中,仅定义了Map和Reduce的两个接口。用户通过计算机集群编写程序,分割大规模数据集,并形成几条数据,从而获得一系列密钥。值对[4]。然后,将数据段分配给Map任务,并将子任务分配给Map Reduce框架下的大型计算集群中的节点。最后,将获得的键值对组合以生成一组键值对,并输出到Reduce。

Reduce中的每个Reduce任务都将分配给二进制组集合,输入集合片段,运行Reduce函数,并输出二进制键值对。如果数据处理任务失败,也可以自动重新计算。在大规模数据处理中,操作Map高度并行,这一步骤对于有效处理大规模数据具有重要意义。基于云计算环境,大多数规模数据信息可以达到TB级别或GB级别。当长时间处理大规模数据时,如果数据处理任务失败,则可以防止重新执行计算任务。由于复制了数据块,因此就容错而言,它也与负载平衡有关。

2云计算环境中大数据处理的框架模型

在大规模数据资源和计算资源中,引入云计算技术和计算机网络技术来建立大规模数据处理框架模型。它主要由两个层次的结构组成,一个是虚拟资源系统,大型廉价计算机集群,另一个是大型数据处理分析处理监视管理系统,数据处理服务请求以及相应的基础结构。虚拟资源层和物理设备是通过使用有限的计算机资源来构成最低级别的物理资源,形成同构数据处理资源池或接近同构数据处理资源池而构建的。在第二层结构中,最重要的是软件系统,它可以为大规模数据处理提供服务。数据处理接口是使用Hadoop核心技术编写的。这样,可以在不同的学科和领域提供大规模的数据处理服务,使用户可以享受良好的计算平台软件支持。

在此框架的设计和实现中,应用了Hadoop分布式开源计算机框架,并使用HDFS分布式文件系统和Map Reduce来处理和协调大规模数据处理服务。在计算节点之间,将映射放置在Map Reduce任务上,然后将大规模数据划分为几个子块,并掌握诸如数据块的数量和规格之类的参数。通过HDFS功能,可以将数据块子块智能地放置在每个计算节点中,并为每个节点设计特定的角色。在大规模数据处理过程中,有必要使用Reduce函数,Map函数和相关程序进行分布式处理。在Hadoop中,提供了一个API以支持Map Reduce。

3个结论

在当前的信息化时代,计算机和网络的广泛使用导致各个领域中数据和信息量的增加。对于这些海量的大规模数据,通常难以通过使用传统的数据处理方法来获得非常令人满意的处理效果。基于此,在云计算环境中,可以开发和利用相应的大规模数据处理技术来支持社会各个领域的大规模数据处理需求,从而在数字时代高效并始终保持高效率。良好的工作结果。

相关文章
热门标签
日期归档

版权所有© 阅读时间 | 备案: 鄂ICP备12015973号-1 | www.timetimetime.net . All Rights Reserved | 网站地图