来源:深圳兄弟连教育
时间:2019/7/27 10:42:12
随着互联网的发展,大数据也在逐渐彰显出自己的优势特点,那么关于大数据的处理流程,你是否了解?下面我们就一起看看大数据的处理流程。
,数据采集
定义:利用多种轻型数据库来接收发自客户端的数据,并且用户可以通过这些数据库来进行简单的查询和处理工作。
特点和挑战:并发系数高。
使用的产品:MySQL,Oracle,HBase,Redis和 MongoDB等,并且这些产品的特点各不相同。
第二,统计分析
定义:将海量的来自前端的数据导入到一个集中的大型分布式数据库 或者分布式存储集群,利用分布式技术来对存储于其内的集中的海量数据 进行普通的查询和分类汇总等,以此满足大多数常见的分析需求。
特点和挑战:导入数据量大,查询涉及的数据量大,查询请求多。
使用的产品:InfoBright,Hadoop(Pig和Hive),YunTable, SAP Hana和Oracle
Exadata,除Hadoop以做离线分析为主之外,其他产品可做实时分析。
第三,挖掘数据
定义:基于前面的查询数据进行数据挖掘,来满足别的数据分析需求。
特点和挑战:算法复杂,并且计算涉及的数据量和计算量都大。
使用的产品:R,Hadoop Mahout
Apache Sqoop(SQL-to-Hadoop) 项目旨在协助 RDBMS 与 Hadoop 之间进行的大数据交流。用户可以在 Sqoop
的帮助下,轻松地把关系型数据库的数据导入到 Hadoop 与其相关的系统 (如HBase和Hive)中;同时也可以把数据从 Hadoop
系统里抽取并导出到关系型数据库里。除了这些主要的功能外,Sqoop 也提供了一些诸如查看数据库表等实用的小工具。理论上,Sqoop 支持任何一款支持 JDBC 规范的数据库,如 DB2、MySQL 等。Sqoop 还能够将 DB2 数据库的数据导入到 HDFS 上,并保存为多种文件类型。常见的有定界文本类型,Avro 二进制类型以及 Sequence Files 类型。
Sqoop中一大亮点就是可以通过hadoop的mapreduce把数据从关系型数据库中导入数据到HDFS。Sqoop架构非常简单,其整合了Hive、Hbase和Oozie,通过map-reduce任务来传输数据,从而提供并发特性和容错。
简单说,Sqoop就是一个转换工具,用于在关系型数据库与HDFS之间进行数据转换。强大功能见下图:
版权所有:搜学搜课(www.soxsok.com)