相關(guān)文章

• 

  【簡(jiǎn)單認(rèn)識(shí)zookeeper+kafka分布式消息隊(duì)列集群的部署】

  Zookeeper是一個(gè)開源的分布式的，為分布式框架提供協(xié)調(diào)服務(wù)的Apache項(xiàng)目。 Zookeeper從設(shè)計(jì)模式角度來理解：是一個(gè)基于觀察者模式設(shè)計(jì)的分布式服務(wù)管理框架，它負(fù)責(zé)存儲(chǔ)和管理大家都關(guān)心的數(shù)據(jù)，然后接受觀察者的注冊(cè)，一旦這些數(shù)據(jù)的狀態(tài)發(fā)生變化，Zookeeper就將負(fù)責(zé)通知已

  2024年02月13日

  瀏覽(24)
• 

  分布式消息流處理平臺(tái)kafka(一)-kafka單機(jī)、集群環(huán)境搭建流程及使用入門

  kafka最初是LinkedIn的一個(gè)內(nèi)部基礎(chǔ)設(shè)施系統(tǒng)。最初開發(fā)的起因是，LinkedIn雖然有了數(shù)據(jù)庫(kù)和其他系統(tǒng)可以用來存儲(chǔ)數(shù)據(jù)，但是缺乏一個(gè)可以幫助處理持續(xù)數(shù)據(jù)流的組件。 所以在設(shè)計(jì)理念上，開發(fā)者不想只是開發(fā)一個(gè)能夠存儲(chǔ)數(shù)據(jù)的系統(tǒng)，如關(guān)系數(shù)據(jù)庫(kù)、Nosql數(shù)據(jù)庫(kù)、搜索引擎等

  2024年02月16日

  瀏覽(50)
• 

  Hadoop分布式集群搭建教程

  大數(shù)據(jù)課程需要搭建Hadoop分布式集群，在這里記錄一下搭建過程 搭建Haoop分布式集群所需環(huán)境： VMware：VMware-workstation-full-17.0.2-21581411 CentOS：CentOS-7-x86_64-DVD-2003， Hadoop：hadoop-3.1.3.tar JDK：jdk-8u212-linux-x64.tar.gz 新建虛擬機(jī) 設(shè)置用戶 命名虛擬機(jī) 自定義硬件，完成虛擬機(jī)創(chuàng)建 開始

  2024年02月08日

  瀏覽(24)
• 

  【Hadoop】下載安裝及偽分布式集群搭建教程

  目錄 1.概述 2.環(huán)境準(zhǔn)備 3.hadoop安裝 3.1.下載安裝配置 3.2.偽分布式集群 3.3.注意事項(xiàng) 4.Hadoop集群的組成 hadoop有三種安裝模式 單機(jī)模式，只在一臺(tái)機(jī)器上運(yùn)行，存儲(chǔ)用的本地文件系統(tǒng)而不是HDFS。 偽分布式模式，存儲(chǔ)采用HDFS，名稱節(jié)點(diǎn)和數(shù)據(jù)節(jié)點(diǎn)在同一臺(tái)機(jī)器上。 分布式模式，

  2024年04月14日

  瀏覽(32)
• 

  Zookeeper+Hadoop+Spark+Flink+Kafka+Hbase+Hive 完全分布式高可用集群搭建(保姆級(jí)超詳細(xì)含圖文)

  說明: 本篇將詳細(xì)介紹用二進(jìn)制安裝包部署hadoop等組件，注意事項(xiàng)，各組件的使用，常用的一些命令，以及在部署中遇到的問題解決思路等等，都將詳細(xì)介紹。 ip hostname 192.168.1.11 node1 192.168.1.12 node2 192.168.1.13 node3 1.2.1系統(tǒng)版本 1.2.2內(nèi)存建議最少4g、2cpu、50G以上的磁盤容量 本次

  2024年02月12日

  瀏覽(38)
• 

  大數(shù)據(jù)開發(fā)·關(guān)于虛擬機(jī)Hadoop完全分布式集群搭建教程

  官網(wǎng)鏈接 進(jìn)入后網(wǎng)站如圖，各位按需下載 官網(wǎng)鏈接 進(jìn)入頁(yè)面點(diǎn)擊下載 再根據(jù)我們需要下載的軟件進(jìn)入下載頁(yè)面 點(diǎn)擊右側(cè)紅框內(nèi)的免費(fèi)授權(quán)頁(yè)面獲取免費(fèi)許可 進(jìn)入后如圖，兩者我們都需要所以都勾選，填寫的郵箱用于接收下載鏈接，下載后進(jìn)行安裝即可 這里先和大家強(qiáng)調(diào)一

  2024年02月07日

  瀏覽(32)
• 

  Hadoop-HDFS詳解與HA，完全分布式集群搭建(細(xì)到令人發(fā)指的教程)

  本篇篇幅較長(zhǎng)，有許多集群搭建干貨，和枯燥乏味但是面試可能問到的理論知識(shí)。 思來想去不知道怎樣才能鼓勵(lì)自己加油學(xué)習(xí)，想想要面對(duì)的生活還是假吧意思打開學(xué)習(xí)視頻吧。 目錄 一、引入 hdfs是什么 hdfs的由來 hdfs架構(gòu)體系 hdfs的優(yōu)缺點(diǎn) 優(yōu)點(diǎn) 缺點(diǎn) 二、HDFS_block簡(jiǎn)介和注意

  2023年04月19日

  瀏覽(52)

• 實(shí)操Hadoop大數(shù)據(jù)高可用集群搭建（hadoop3.1.3+zookeeper3.5.7+hbase3.1.3+kafka2.12）

  前言 純實(shí)操，無理論，本文是給公司搭建測(cè)試環(huán)境時(shí)記錄的，已經(jīng)按照這一套搭了四五遍大數(shù)據(jù)集群了，目前使用還未發(fā)現(xiàn)問題。 有問題麻煩指出，萬分感謝！ PS：Centos7.9、Rocky9.1可用 集群配置 ip hostname 系統(tǒng) CPU 內(nèi)存 系統(tǒng)盤 數(shù)據(jù)盤 備注 192.168.22.221 hadoop1 Centos7.9 4 16 250G 19

  2024年02月03日

  瀏覽(26)
• 

  大數(shù)據(jù)學(xué)習(xí)初級(jí)入門教程（十七） —— Elasticsearch 8.7.0 完全分布式集群的安裝、配置、啟動(dòng)和測(cè)試

  好久沒用 Elasticsearch 集群了，參考以前寫的《大數(shù)據(jù)學(xué)習(xí)初級(jí)入門教程（八） —— Elasticsearch 7.6.2 單節(jié)點(diǎn)的安裝、啟動(dòng)和測(cè)試_elasticsearch 7.6.2需要專屬網(wǎng)絡(luò)_孟郎郎的博客-CSDN博客》、《大數(shù)據(jù)學(xué)習(xí)初級(jí)入門教程（九） —— Elasticsearch 7.6.2 偽分布式集群的安裝、配置、啟動(dòng)和測(cè)

  2024年02月04日

  瀏覽(25)
• 

  Java分布式系統(tǒng)和云計(jì)算教程

  Java分布式系統(tǒng)和云計(jì)算教程 大規(guī)模學(xué)習(xí)分布式 Java 應(yīng)用程序、并行編程、分布式計(jì)算和云軟件架構(gòu) 課程英文名：Distributed Systems Cloud Computing with Java 此視頻教程共4.0小時(shí)，中英雙語(yǔ)字幕，畫質(zhì)清晰無水印，源碼附件全 課程編號(hào)：324 百度網(wǎng)盤地址：https://pan.baidu.com/s/1qGJzKMXt

  2024年02月01日

  瀏覽(28)