相關(guān)文章

• 

  一、Hive數(shù)據(jù)倉(cāng)庫(kù)應(yīng)用之Hive部署（超詳細(xì)步驟指導(dǎo)操作，WIN10，VMware Workstation 15.5 PRO，CentOS-6.7）

  Hive是基于Hadoop的一個(gè)數(shù)據(jù)倉(cāng)庫(kù)工具，可以將結(jié)構(gòu)化的數(shù)據(jù)文件映射為一張數(shù)據(jù)庫(kù)表，并提供完整的SQL查詢功能，可以將SQL語(yǔ)句轉(zhuǎn)換為MapReduce任務(wù)運(yùn)行。Hive具有穩(wěn)定和簡(jiǎn)單易用的特性，成為了當(dāng)前企業(yè)在構(gòu)建企業(yè)級(jí)數(shù)據(jù)倉(cāng)庫(kù)時(shí)使用較為普遍的大數(shù)據(jù)組件之一。 本實(shí)驗(yàn)內(nèi)容主要

  2024年02月03日

  瀏覽(25)
• 

  Hive-啟動(dòng)與操作（2）

  ????【大數(shù)據(jù)學(xué)習(xí)記錄篇】-持續(xù)更新中~???? 個(gè)人主頁(yè)：beixi@ 本文章收錄于專欄（點(diǎn)擊傳送）：【大數(shù)據(jù)學(xué)習(xí)】 ????持續(xù)更新中，感謝各位前輩朋友們支持學(xué)習(xí)~???? 上一篇文章寫到了Hive的安裝與配置，這篇文章接著上篇文章延伸Hive的啟動(dòng)與操作，如果Hive沒有安裝成

  2024年02月09日

  瀏覽(14)
• 

  13.108.Spark 優(yōu)化、Spark優(yōu)化與hive的區(qū)別、SparkSQL啟動(dòng)參數(shù)調(diào)優(yōu)、四川任務(wù)優(yōu)化實(shí)踐：執(zhí)行效率提升50%以上

  13.108.Spark 優(yōu)化 1.1.25.Spark優(yōu)化與hive的區(qū)別 1.1.26.SparkSQL啟動(dòng)參數(shù)調(diào)優(yōu) 1.1.27.四川任務(wù)優(yōu)化實(shí)踐：執(zhí)行效率提升50%以上 1.1.25.Spark優(yōu)化與hive的區(qū)別 先理解spark與mapreduce的本質(zhì)區(qū)別，算子之間（map和reduce之間多了依賴關(guān)系判斷，即寬依賴和窄依賴。） 優(yōu)化的思路和hive基本一致，比較

  2024年02月10日

  瀏覽(95)

• 【大數(shù)據(jù)Hive】hive 優(yōu)化策略之job任務(wù)優(yōu)化

  目錄 一、前言 二、hive執(zhí)行計(jì)劃 2.1 hive explain簡(jiǎn)介 2.1.1 語(yǔ)法格式

  2024年02月05日

  瀏覽(19)
• 

  Hive基礎(chǔ)知識(shí)（十一）：Hive的數(shù)據(jù)導(dǎo)出方法示例

  1）將查詢的結(jié)果導(dǎo)出到本地 2）將查詢的結(jié)果格式化導(dǎo)出到本地（加上一個(gè)以“,”隔開數(shù)據(jù)的格式） 3）將查詢的結(jié)果導(dǎo)出到 HDFS 上(沒有 local) 基本語(yǔ)法：（hive -f/-e 執(zhí)行語(yǔ)句或者腳本 file） 導(dǎo)出的數(shù)據(jù)中有兩個(gè)數(shù)據(jù)源，其中除了主信息之外，還包括記錄主數(shù)據(jù)信息的元數(shù)據(jù)

  2024年01月22日

  瀏覽(21)
• 

  SpringBoot 動(dòng)態(tài)操作定時(shí)任務(wù)（啟動(dòng)、停止、修改執(zhí)行周期）增強(qiáng)版

  前段時(shí)間編寫了一篇博客 SpringBoot 動(dòng)態(tài)操作定時(shí)任務(wù)（啟動(dòng)、停止、修改執(zhí)行周期 ，該篇博客還是幫助了很多同學(xué)。 但是該篇博客中的方法有些不足的地方： 只能通過前端控制器controller手動(dòng)注冊(cè)任務(wù)?！揪唧w的應(yīng)該是我們提前配置好我們的任務(wù)，配置完成后讓springboot應(yīng)用

  2024年02月13日

  瀏覽(27)

• 大數(shù)據(jù)HIVE篇--控制hive任務(wù)中的map數(shù)和reduce數(shù)

  一、 控制hive任務(wù)中的map數(shù): 通常情況下，作業(yè)會(huì)通過input的目錄產(chǎn)生一個(gè)或者多個(gè)map任務(wù)。 主要的決定因素有： input的文件總個(gè)數(shù)，input的文件大小，集群設(shè)置的文件塊大小(目前為128M, 可在hive中通過set dfs.block.size;命令查看到，該參數(shù)不能自定義修改)； 舉例： a) 假設(shè)input目

  2024年02月05日

  瀏覽(17)
• 

  任務(wù)15：使用Hive進(jìn)行全國(guó)氣象數(shù)據(jù)分析

  任務(wù)描述 知識(shí)點(diǎn) ： 使用Hive進(jìn)行數(shù)據(jù)分析 重? 點(diǎn) ： 掌握Hive基本語(yǔ)句 熟練使用Hive對(duì)天氣數(shù)據(jù)進(jìn)行分析 內(nèi)? 容 ： 使用Hive創(chuàng)建外部表 使用Hive對(duì)數(shù)據(jù)進(jìn)行統(tǒng)計(jì)分析 任務(wù)指導(dǎo) 1. 使用Hive創(chuàng)建基礎(chǔ)表 將China_stn_city.csv文件上傳到HDFS的/china_stn目錄中 啟動(dòng)metastore（后臺(tái)運(yùn)行） 進(jìn)入

  2024年01月16日

  瀏覽(26)
• 

  使用任務(wù)計(jì)劃開機(jī)啟動(dòng)ASP.NET Core應(yīng)用程序

  ASP.NET Core應(yīng)用程序現(xiàn)在是一個(gè)控制臺(tái)應(yīng)用程序，在Windows上直接雙擊啟動(dòng)，但如果想讓開發(fā)完成的ASP.NET Core應(yīng)用程序開機(jī)啟動(dòng)，可以將ASP.NET Core應(yīng)用程序修改成Windows服務(wù)運(yùn)行，但這需要額外添加代碼，也可以使用IIS來托管ASP.NET Core應(yīng)用程序，但可能需要安裝一些支持IIS的組件

  2024年02月08日

  瀏覽(24)

• 無人機(jī)路徑規(guī)劃算法在無人機(jī)領(lǐng)域具有重要的應(yīng)用價(jià)值，可以幫助無人機(jī)在復(fù)雜的環(huán)境中高效、安全地完成任務(wù)

  無人機(jī)路徑規(guī)劃算法在無人機(jī)領(lǐng)域具有重要的應(yīng)用價(jià)值，可以幫助無人機(jī)在復(fù)雜的環(huán)境中高效、安全地完成任務(wù)。本文將介紹基于 MATLAB 的多種無人機(jī)路徑規(guī)劃算法，并提供相應(yīng)的源代碼。 一、無人機(jī)路徑規(guī)劃簡(jiǎn)介 無人機(jī)路徑規(guī)劃是指在給定的環(huán)境中，通過算法確定無人機(jī)的

  2024年02月06日

  瀏覽(21)