大数据工程师都需要做哪些工作呢？

　　1、负责大数据领域场景化方案开发及相关模块测试工作；

　　2、负责核心功能需求分析与设计，编码、单元测试及功能交付。

　　3、参与数据平台的设计开发，构建、健壮的数据计算系统，增加高可用、稳定、低延迟的优质服务体验，

　　4、承担大数据平台服务组件的搭建和维护，优化现有的技术框架，形成配置化、可复用的数据技术能力；

　　5、通过数据模型跟踪和分析业务效果，为业务提出优化解决方案。

　　6、深度参与到大数据Hadoop、Yarn、Spark、Hive、HBase、Kafka、Zookeeper、Flume、AI平台等组件的研发、交付及解决方案支撑；

　　7、探索云服务化实现的前沿技术，并负责大数据服务的架构设计、开发、测试及运维。

　　成为大数据工程师可以拥有一个与跨团队合作的机会，与数据架构师、建模师和 IT 密切合作以实现不同的项目目标。学习云计算、编码技能和数据库设计的基础知识，是作为数据科学职业生涯的起点；比较考验综合能力：

　　编码：熟练掌握编码语言对于这个职位至关重要，系统地学习和练习这些技能。常见的编程语言包括 SQL、NoSQL、Python、Java、R 和 Scala。

　　关系和非关系数据库：数据库是较常见的数据存储解决方案之一。你应该熟悉关系数据库和非关系数据库，以及它们的工作方式。

　　ETL（提取、转换和加载）系统： ETL 是将数据从数据库和其他来源移动到单个存储库（如数据仓库）的过程。

　　数据存储：并非所有类型的数据都应该以相同的方式存储，尤其是在涉及大数据时。例如，当你为公司设计数据解决方案时，你会想知道何时使用海量数据和数据仓库。

　　自动化和脚本：自动化是处理大数据的必要部分，因为组织能够收集如此多的信息。你应该能够编写脚本来自动执行重复性任务。

　　机器学习：虽然机器学习更受数据科学家关注，但掌握基本概念有助于更好地了解团队中数据科学家的需求。

　　大数据工具：数据工程师不仅仅使用常规数据。他们通常负责管理大数据。工具和技术在不断发展，并因公司而异，一些流行的工具和技术包括 Hadoop、Hive 和 Kafka。