實驗7 ?Spark初級編程實踐
一、實驗目的
1. 掌握使用Spark訪問本地文件和HDFS文件的方法
2. 掌握Spark應用程序的編寫、編譯和運行方法
二、實驗平臺
1. 操作系統(tǒng)：Ubuntu18.04（或Ubuntu16.04）；
2. Spark版本：2.4.0；
3. Hadoop版本：3.1.3。
三、實驗步驟（每個步驟下均需有運行截圖）
實驗前期準備：
1. Spark讀取文件系統(tǒng)的數(shù)據(jù)
（1）在spark-shell中讀取Linux系統(tǒng)本地文件“/home/hadoop/test.txt”，然后統(tǒng)計出文件的行數(shù)；
文章來源：http://www.zghlxwxcb.cn/news/detail-816311.html
（2）在spark-shell中讀取HDFS系統(tǒng)文件“/user/hadoop/test.txt”（如果該文件不存在，請先創(chuàng)建），然后，統(tǒng)計出文件的行數(shù)；文章來源地址http://www.zghlxwxcb.cn/news/detail-816311.html
到了這里，關于大數(shù)據(jù)技術原理及應用課實驗7 :Spark初級編程實踐的文章就介紹完了。如果您還想了解更多內容，請在右上角搜索TOY模板網以前的文章或繼續(xù)瀏覽下面的相關文章，希望大家以后多多支持TOY模板網！
