首页 > 新闻详情

必看2024深圳数据库开发编程班培训学校TOP10今日盘点

来源:深圳达内教育大数据培训机构

时间: 2024/3/28 11:13:01

IT培训选达内,21年专业IT培训机构,美国上市集团。开设IT培训班Java、python、大数据、linux、UI、会计等IT培训,泛IT培训和非IT培训共2课程、室内设计师、PHP工程师、平面++工程师、SEM竞价师、SEO优化师、社会化媒体运营师、电商运营师等课程为一体的IT培训机构。以下5家IT培训培训机构均已经受过学生的考验,不分前后,值得推荐!

1.深圳达内教育

2.深圳博为峰教育

3.深圳中公教育优就业

4.深圳CDA数据分析师分院

5.深圳北大青鸟

6.深圳信盈达

7.深圳千锋教育

8.深圳传智教育

9.深圳黑马程序员

10.深圳斯坦星球

在大数据工程师的面试过程中,编程模型的相关问题常常是绕不过去的一个考点。同时编程模型也是大数据工程师工作中非常重要的知识技能。下面就来讲讲Spout、Bolt、并行度、消息不丢失这几方面的内容,感兴趣的小伙伴就赶紧接着看下去吧!

1、Spout

Spout 是接受外部数据源的组件,将外部数据源转化成 Storm 内部的数据, 以 Tuple 为基本的传输单元下发给 Bolt。(Tuple 是 Storm 内部中数据传输的基本单元,里面封装了一个 List 对象,用来保存数据。)

2、Bolt

Bolt 是接受 Spout 发送的数据,或上游的 bolt 的发送的数据。根据业务逻辑进行处理。发送给下一个 Bolt 或者是存储到某种介质上。介质可以是 mongodb 或 mysql,或者其他。

3、并行度

Worker:表示一个进程。

Executor:表示由 worker 启动的线程。

Task:实际执行数据处理的较小工作单元(注意,task 并不是线程)。

并行度的设置:评估上游 kafka 每秒生产的数据量,分析 topic 每个 partition。每秒的数据量,partition 的数据量=SpoutTask 接受数据量SpoutTask 数量=partition 的数量。

Worker 的设置:如果数据量大,worker 的数量等于 spouttask 的数量。

4、消息不丢失

ack 机制即, spout 发送的每一条消息,在规定的时间内,spout 收到 Acker 的 ack 响应,即认为该 tuple 被后,续 bolt 成功处理。在规定的时间内,没有收到 Acker 的 ack 响应 tuple,就触发 fail 动作, 即认为该 tuple 处理失败,或者收到 Acker 发送的 fail 响应 tuple,也认为失败,触发 fail 动作。通过 Ack 机制,spout 发送出去的每一条消息,都可以确定是被成功处理或失败处理, 从而可以让开发者采取动作。比如在 Meta 中,成功被处理,即可更新偏移量,当失败时,重复发送数据。因此,通过 Ack 机制,很容易做到增加所有数据均被处理,一条都不漏。

以上就是大数据工程师有关编程模型知识点的常见面试题,大家都弄明白了吗?想要了解大数据工程师更多的面试问题,可以来达内体验大数据就业指导课程。认真学完一套就业指导课程,一定能够帮助大家从众多面试者中脱颖而出。

优先领取试听课
版权所有:搜学搜课(wwww.soxsok com)