Spark基于Spark Core開發(fā)了多種組件。開發(fā)人員可以基于這些組件，輕松完成多種不同場景的計(jì)算任務(wù)。
?
1.Spark Core介紹
Spark Core是Spark的核心，各類核心組件都依賴于Spark Core。如下圖所示，Spark Core核心組件包括基礎(chǔ)設(shè)施、存儲系統(tǒng)、調(diào)度系統(tǒng)、計(jì)算引擎四個部分。
文章來源：http://www.zghlxwxcb.cn/news/detail-479718.html
1）Spark基礎(chǔ)設(shè)施
Spark基礎(chǔ)設(shè)施為其他組件提供最基礎(chǔ)的服務(wù)，是Spark中最底層、最常用的一類組件。文章來源地址http://www.zghlxwxcb.cn/news/detail-479718.html
- SparkConf：用于定義Spark應(yīng)用程序的配置信息。
- SparkContext：是Spark中的應(yīng)用入口，實(shí)現(xiàn)了網(wǎng)絡(luò)通信、分布式、消息機(jī)制、存儲、計(jì)算、運(yùn)維監(jiān)控、文件系統(tǒng)等各類常用功能，并且封裝為簡單易用的API，是開發(fā)人員只需要簡單的幾行代碼就可以實(shí)現(xiàn)相應(yīng)功能。
- Spark RPC：基于Netty實(shí)現(xiàn)的Spark組件間的網(wǎng)絡(luò)通信組件。
- ListenerBus：Spark事件監(jiān)聽總線，主要用于內(nèi)部組件間的交互。
- MetricsSystem：Spark度量系統(tǒng)，用于監(jiān)控整個Spark集群中各個組件的運(yùn)行狀態(tài)。
- SparkEnv：Spark執(zhí)
到了這里，關(guān)于【Spark基礎(chǔ)】Spark核心模塊組成與功能概述的文章就介紹完了。如果您還想了解更多內(nèi)容，請?jiān)谟疑辖撬阉鱐OY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章，希望大家以后多多支持TOY模板網(wǎng)！
