您好,欢迎来到佳博论文网!请记住本站网址:www.jiabolunwen.net

基于Hadoop的海量数据处理模型研究和应用

作者:admin  作者本人请参看权力声明

导师姓名: 

学位授予单位: 

授予学位:

学位年度:

专业:马克思主义哲学 

关键词:研究 基于 和 Hadoop 海量 数据处理

摘要:(该内容经过伪原创处理,请直接查看目录)

  • 随着计算机网络、电子商务的飞速发展,信息安全的重要性与日俱增。数字签名技术可以在电子数据传输中提供认证性、完整性和不可否认性等安全服务,是信息安全的核心技术之一,也是安全电子商务和安全电子政务的关键技术之一。对数字签名技术的研究有着重要的理论和实际意义。 基于身份的公钥密码体制简化了传统证书密码体制的密钥管理问题,对它的研究是目前的一个热点。本文围绕基于身份的数字签名方案的设计、安全性证明,以及如何解决该体制存在的密钥托管问题而展开,研究内容主要包括设计基于身份的短签名、基于身份的聚合签名、可追踪的基于身

  • 超椭圆曲线密码目前在国内外都还处于学术研究阶段,还有很多具体问题没有很好的解决.在这一研究领域,作者的主要研究成果如下:1.将DH协议、ElGamal加密体制、ElGamal签名和DSA推广到了HC上,提出了一个基于超椭圆曲线的消息恢复签名方案,并证明了这个消息恢复签名方案与HC-ElGamal签名方案不是强等价的.2.提出了非特征2的有限域上超椭圆曲线密码体制的一个消息编码方案和除子压缩方案.3.给出了超椭圆曲线密码体制的基本参数的一个紧致表示,对有限域上超椭圆曲线的方程给出了一个更简短的表达形式.4.

  • 数据是信息的载体,信息是数据的内涵,一般认为数据是信息系统的基础。利用计算机来处理数据,提取信息是信息系统的基本功能。在当今高度信息化的社会里,Web可以说是目前最大的信息系统,其数据具有海量、多样、异构、动态变化等特性。如何实现快速地从这些海量数据中提取出对企业有用的价值信息已成为程序员在开发应用软件的过程中碰到的最令人头疼的问题。 基于这个问题的出发点,本文在分析现有分布式储存和计算等关键技术基础上,结合对Hadoop的集群技术的研究以及自身的业务需求和实际软硬件实力,提出了一种基于Hadoop的海量

  • 分享到: 分享到QQ 分享到微信
    数据是信息的载体,信息是数据的内涵,一般认为数据是信息系统的基础。利用计算机来处理数据,提取信息是信息系统的基本功能。在当今高度信息化的社会里,Web可以说是目前最大的信息系统,其数据具有海量、多样、异构、动态变化等特性。如何实现快速地从这些海量数据中提取出对企业有用的价值信息已成为程序员在开发应用软件的过程中碰到的最令人头疼的问题。 基于这个问题的出发点,本文在分析现有分布式储存和计算等关键技术基础上,结合对Hadoop的集群技术的研究以及自身的业务需求和实际软硬件实力,提出了一种基于Hadoop的海量数据处理模型,并从数据结构设计、程序流程组织和编程技术的使用等几个方面来介绍这个模型的开发方法,最后将该模型应用于大型网站的web日志数据预处理过程中。针对该模型我们还设计了一种有效的基于分布式的预处理模式。该模式首先在各分布式服务器上进行关联匹配,然后将各个服务器上的挖掘结果合成。这有利于减轻网络频繁的通讯负担,体现并行计算、异步挖掘、异构数据规约的优势。同时,它允许程序员可以不需要有什么并发处理或者分布式系统的经验,就可以处理超大的分布式系统得资源。除了数据挖掘之外,该模型还可以应用在诸如图片存储、搜索引擎、网格计算等需要处理大数据量的网络应用中。 本课题的特点是将研究的模型与实际业务应用相结合,利用前沿的分布式框架技术来很好的满足项目的需求,并将模型部署到实例当中,用实验结果来检验模型的实用价值,比如高效率、低成本、可拓展性和易维护性等。在与原来的预处理系统相融合的基础上,我们还对初级的模型进行了性能的优化,主要包括:简化规则的改进、多任务的优先级设定和网络负载平衡算法的优化。
    在线客服
    热线电话

    微信公众账号