东莞达内软件有限公司是亿元级外资IT培训集团达内旗下深圳分公司，达内是获得国际风险投资的IT培训机构。达内已经发展成为集培训、咨询、开发、人才服务于一体的高新技术集团公司，公司下设达内IT培训、达内软件人才服务中心、达内软件研发中心。开设IT培训班Java、python、大数据、linux、UI、会计等IT培训,泛IT培训和非IT培训共2课程、室内设计师、PHP工程师、平面++工程师、SEM竞价师、SEO优化师、社会化媒体运营师、电商运营师等课程为一体的IT培训机构。

如果您正从事着信息化方面的工作，考取大数据分析师证书，不但能让您成为驾驭大数据的行家里手，也是您晋升到更高职位的有力跳板。如果您是决策型的管理人员，考取大数据分析师证书，能够运用数据分析的能力，为企业战略规划、战略实施、成本管控等方面作出更好决策。

达内大数据课程学习内容

第 一阶段：JavaWeb阶段（EssyMall项目贯穿）

第二阶段：框架及EasyMall

第三阶段：大数据框架

第四阶段：算法、R语言、数据挖掘分析

学大数据为什么选择达内教育

课程实时更新

课程内容实时更新，融合时下技术热点不断升级，一定让学员学到前沿的新技术，拒绝陈旧的技术，培养高技术人才。

雄厚师资力量

高薪聘请讲师团队，他们分别来自企业技术经理，总监，均是业界人物，教学质量信得过，实战经验都是7年+的水平。

十余年培训经验

从2002年开始办学到现在，已经有十余年的大数据培训教学经验，实战经验丰富，效果理想。获得学员们和业界的好评。

项目实战教学

项目实战教学，解决开发者“缺少经验”的劣势，让你面试的时候游刃有余，不再为没有经验找工作而感到发愁！

Spark作为一种分布式的计算框架，类似于大数据开发中Hadoop生态圈的MapReduce，计算思想和MR非常相似，两者都是分而治之的思想，但使用率要比MR高很多。本文整理了关于Spark运行架构的大数据面试题，内容包括Spark运行的基本流程、架构特点、优势。

1、Spark 运行基本流程：

（1）构建 Spark Application 的运行环境（启动 SparkContext），SparkContext 向资源管理器（可以是 Standalone、Mesos 或 YARN）注册并申请运行 Executor 资源；

（2）资源管理器分配 Executor 资源并启动 Executor，Executor 运行情况将随着心跳发送到资源管理器上；

（3）SparkContext 构建成 DAG 图，将 DAG 图分解成 Stage，并把 Taskset发送给 Task Scheduler。Executor 向 SparkContext 申请 Task，Task Scheduler 将Task 发放给 Executor 运行同时 SparkContext 将应用程序代码发放给 Executor。

（4）Task 在 Executor 上运行，运行完毕释放所有资源。

2、Spark 运行架构特点：

（1）每个 Application 获取专属的 executor 进程，该进程在 Application 期间一直驻留，并以多线程方式运行 tasks。

（2)Spark 任务与资源管理器无关，只要能够获取 executor 进程，并能保持相互通信就可以了。

（3）提交 SparkContext 的 Client 应该靠近 Worker 节点（运行 Executor 的节点)，较好是在同一个 Rack 里，因为 Spark 程序运行过程中 SparkContext 和Executor 之间有大量的信息交换；如果想在远程集群中运行，较好使用 RPC 将SparkContext 提交给集群，不要远离 Worker 运行 SparkContext。

（4）Task 采用了数据本地性和推测执行的优化机制。

3、Spark的优势：

（1）计算效率高

资源复用；粗粒度的资源调度。

（2）使用方便

支持使用多门语言来编写；提供了超过80多种方法来供我们使用。

（3）通用性强

Spark生态圈中的组件都是基于SparkCore封装起来的。

（4）适应性强

可以接受上百种数据源；可以运行在各种各样的资源调度框架上。

以上就是大数据面试题，所有关于Spark运行架构的内容，不知道对大家梳理Spark运行架构的知识点，有没有帮助？