郑州大数据测试的几个步骤

步骤一：数据分级验证

大数据测试的步，也叫Pre-Hadoop阶段，涉及到过程验证

验证来自于RDBMS，博客及社交媒体等这些资源数据确保导入系统的数据是正确的。

把比较源数据及数据放到Hadoop系统中确保他们是匹配的。

提取验证正确的数据，然后加载到正确的HDFS位置。

数据分级验证中可以使用Talend，Datameer这样的工具。

步骤二：MapReduce验证

第二步是MapReduce验证，在这个阶段，测试者需要在每个节点上进行业务逻辑验证然后在多个节点运行之后再次验证，以确保：

Map Reduce过程正确运行

实现数据聚合或者分离

生成键值对

在Map Reduce过程之后验证数据

步骤三：输出验证阶段

大数据测试的较后一个阶段是输出验证过程。生成输出数据文件然后移到EDW(企业数据仓库)或者根据要求移到其他系统

在第三个阶段中要做到：

正确应用转换规则

确保数据完整性及导入目标系统的成功数据

比较目标数据与HDFS文件系统数据，确保没有数据损坏

2、架构测试

Hadoop处理大量数据，资源高度密集。因此，架构测试对于大数据项目的成功是非常关键的，差的或者不当的设计系统可能导致性能退化，系统也没法满足要求。至少，在Hadoop环境下，应该做好性能和故障转移测试服务。

性能测试包括测试工作完成时间，内存利用率，数据吞吐量以及类似系统指标。故障转移测试服务的目的是证明在数据节点失败的情况下数据处理能完好的进行。

3、性能测试

大数据的性能测试包含两点：

数据消费及吞吐量：在这个阶段，测试者要验证系统是怎样利用各种各种的数据源来消耗数据。测试包括在队列中不同消息在规定的时间内是否可以被处理。它也包含数据是如何地被存放到内存空间，比如存放Mongo和Cassandra数据库的速率。

数据处理：它涉及验证Queries或者Map Reduce执行任务的速度。它也包括当数据集占满内存时测试孤立的数据处理。比如在HDFS上运行Map Reduce任务。

子组件的性能：这些系统由多个组件构成，去测试单独的每一个组件是非常重要的。比如，消息是如何的被索引和用尽，Map Reduce任务，查询性能、搜索等等。