1 Spark 簡介

初步了解一項技術(shù)，最好的方式就是去它的官網(wǎng)首頁，一般首頁都會有十分官方且準確的介紹，學習 Spark 也不例外，官方介紹：Apache Spark ?是一種多語言引擎，用于在單節(jié)點機器或集群上執(zhí)行數(shù)據(jù)工程、數(shù)據(jù)科學和機器學習。 我們可以得知，Spark 可以單節(jié)點運行，也可以搭建集群來保證可靠性和負載均衡等等，同時，除了我們熟知的可以處理大數(shù)據(jù)場景業(yè)務(wù)外，Spark 還可以進行數(shù)據(jù)科學和機器學習（如 Spark MLlib 就是 Spark 提供的一個機器學習算法庫）。

Spark 也擁有十分龐大的生態(tài)系統(tǒng)，支持多種框架的集成，有助于將它們擴展到數(shù)千臺機器。

2 Spark 的核心組成（5大模塊）

1、Spark Core：包含了 Spark 最核心與基礎(chǔ)的功能，為其他 Spark 功能模塊提供了核心層的支撐，可類比 Spring 框架中的 Spring Core。

2、Spark SQL：官方文檔的介紹如下圖，Spark SQL 適用于結(jié)構(gòu)化表和非結(jié)構(gòu)化數(shù)據(jù)的查詢，并且可以在運行時自適配執(zhí)行計劃，支持 ANSI SQL（即標準的結(jié)構(gòu)化查詢語言）。

3、Spark Streaming：是 Spark 平臺上針對實時數(shù)據(jù)進行流式計算的組件，而流式數(shù)據(jù)指的是實時或接近實時的時效性處理的大數(shù)據(jù)流，常見的流式數(shù)據(jù)處理使用Spark、Storm和Samza等框架。

4、Spark MLlib：是 Spark 提供的一個機器學習算法庫。MLlib 不僅提供了模型評估、數(shù)據(jù)導入等額外的功能，還提供了一些更底層的機器學習原語。

5、Spark GraphX：是 Spark 面向圖計算提供的框架與算法庫。

3 Spark 的主要特征（4大特征）

為了準確，也是按官方文檔學習就可以，總結(jié)了一下，主要有 4 個特點：

• 適合批處理、實時流式數(shù)據(jù)的計算處理
• 能夠快速執(zhí)行分布式的 SQL 查詢
• 支持 PB 級大數(shù)據(jù)的科學計算
• 可用于機器學習，且支持集群訓練機器學習算法
  

4 Spark 對比 MapReduce

與其說是 Spark 對比 Hadoop，不如說得準確一點，Spark 對比 Hadoop 中的 MapReduce。

MapReduce 對比 Spark：

• 在適用場景上：MapReduce 不適合循環(huán)迭代式數(shù)據(jù)流處理以及可復用的多并行運行的數(shù)據(jù)，而 Spark 與之相反，Spark 的出現(xiàn)晚于 MapReduce，Spark 適合循環(huán)迭代式數(shù)據(jù)流處理以及可復用的多并行運行的數(shù)據(jù)，這也就是為什么在上一篇文章中提到，Spark 的核心模塊中有機器學習和圖算法的模塊，Spark 的這種特性使得它可以處理機器學習、圖挖掘算法等問題，效率遠遠高于 MapReduce。

• 開發(fā)語言：雖然有時說語言不是問題，但不同語言也是有不同特性的，MapReduce 是用 Java 語言開發(fā)的，而 Spark 是用 Scala 語言開發(fā)的，Scala 十分擅長函數(shù)的處理。

• 根本差別：Spark 和Hadoop 的根本差異是多個作業(yè)任務(wù)之間的數(shù)據(jù)通信問題，Spark 多個作業(yè)之間數(shù)據(jù)通信是基于內(nèi)存，而 Hadoop 是基于磁盤，這也是為什么 Spark 更加適合循環(huán)迭代式數(shù)據(jù)流處理的原因，因為省去了多余的磁盤調(diào)度開銷。
  

• 執(zhí)行任務(wù)：Spark 執(zhí)行新任務(wù)采用 fork 線程的方式，而 Hadoop 采用創(chuàng)建新的進程的方式。文章來源地址http://www.zghlxwxcb.cn/news/detail-447069.html

到了這里，關(guān)于【大數(shù)據(jù)開發(fā) Spark】第一篇：Spark 簡介、Spark 的核心組成（5大模塊）、Spark 的主要特征（4大特征）、Spark 對比 MapReduce的文章就介紹完了。如果您還想了解更多內(nèi)容，請在右上角搜索TOY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章，希望大家以后多多支持TOY模板網(wǎng)！