国产 无码 综合区,色欲AV无码国产永久播放,无码天堂亚洲国产AV,国产日韩欧美女同一区二区

Hadoop學(xué)習(xí)-6-HDFS權(quán)限管理

這篇具有很好參考價(jià)值的文章主要介紹了Hadoop學(xué)習(xí)-6-HDFS權(quán)限管理。希望對(duì)大家有所幫助。如果存在錯(cuò)誤或未考慮完全的地方,請(qǐng)大家不吝賜教,您也可以點(diǎn)擊"舉報(bào)違法"按鈕提交疑問。

HDFS權(quán)限管理

  • 認(rèn)證、授權(quán)、審計(jì)(/var/log/secure)
HDFS權(quán)限管理
  • 身份認(rèn)證,數(shù)據(jù)訪問權(quán)限認(rèn)證

  • UGO模型:每個(gè)文件和目錄都與一個(gè)owner、group關(guān)聯(lián)

    • user:文件所有者
    • group:組內(nèi)其他成員
    • other:其他用戶組,最低權(quán)限
  • 讀、寫、執(zhí)行權(quán)限

    • -/d(文件類型)rwx(owner權(quán)限)rwx(group權(quán)限)rwx(other權(quán)限)
    • hdfs中沒有可執(zhí)行文件的概念,對(duì)于目錄有x權(quán)限,才能讀取目錄的子級(jí)
  • 權(quán)限掩碼

    • fs.permissions.umask-mode
    • 新建文件及目錄的默認(rèn)權(quán)限,默認(rèn)022
  • 修改權(quán)限

    # 權(quán)限變更
    hadoop fs -chmod [-R遞歸] 777 file_path 
    # ugoa, a指所有用戶
    hadoop fs -chomd [-R] o+x,g-x file_path
    
    # 修改owner
    hadoop fs -chown [-R] user1 file_path
    hadoop fs -chown [-R] user1:group1 file_path
    
    # 修改用戶組
    hadoop fs -chgrp [-R] group1 file_path
    
  • web頁面修改權(quán)限

    • Sticky key粘滯位,只有文件所有者和root才能做刪除或移動(dòng)
  • hdfs用戶身份認(rèn)證

    • hdfs本身不存在身份認(rèn)證功能
    • hadoop.secyrity.authentication
    • 簡單認(rèn)證
      • 依賴linux自身的用戶認(rèn)證系統(tǒng)
      • 在多用戶、多租戶的情況下,會(huì)導(dǎo)致認(rèn)證權(quán)限混淆
    • kerberos認(rèn)證
      • 通過秘鑰加密技術(shù)為客戶端應(yīng)用程序提供強(qiáng)身份驗(yàn)證
      • 角色
        • client
        • server
        • kdc - 秘鑰分發(fā)中心
          • kerberos憑證
          • as驗(yàn)證client身份
          • tgs獲取權(quán)限
  • hdfs組映射

    • namenode需要通過用戶組映射服務(wù)獲取該用戶所對(duì)應(yīng)的用戶組列表,用于用戶組權(quán)限校驗(yàn)
    • 用戶組服務(wù)
      • namenode自帶,基于linux系統(tǒng)的用戶和用戶組,/etc/passwd /etc/group,兩個(gè)文件關(guān)聯(lián)組成用戶組和用戶的映射
      • 插件
HDFS ACL權(quán)限管理
  • 訪問控制列表文章來源地址http://www.zghlxwxcb.cn/news/detail-598345.html

    • 為特定的用戶或組設(shè)置不同的權(quán)限,而不僅僅是文件的所有者和文件的組
    # 查看該文件的acl權(quán)限
    hadoop fs -getfacl [-R] path
    # 增加權(quán)限
    hadoop fs -setfacl [-R] -m user:username:rwx path
    # 刪除權(quán)限
    hadoop fs -setfacl -x user:username path
    # 刪除所有的acl條目
    hadoop fs -setfacl -b path
    # 設(shè)置默認(rèn)acl權(quán)限
    hadoop fs -setfacl -m default:user:username:rwx 
    
    • dfs.namenode.acls.enabled=true(hdfs-site.xml)
HDFS Proxy user代理用戶
  • 一個(gè)用戶代表另一個(gè)用戶提交作業(yè)或訪問HDFS
    • 代碼中創(chuàng)建
    • hdfs中配置
      • Hadoop.proxyuser.super(代理用戶).hosts
      • hadoop.proxyuser.super(代理用戶).groups

到了這里,關(guān)于Hadoop學(xué)習(xí)-6-HDFS權(quán)限管理的文章就介紹完了。如果您還想了解更多內(nèi)容,請(qǐng)?jiān)谟疑辖撬阉鱐OY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章,希望大家以后多多支持TOY模板網(wǎng)!

本文來自互聯(lián)網(wǎng)用戶投稿,該文觀點(diǎn)僅代表作者本人,不代表本站立場。本站僅提供信息存儲(chǔ)空間服務(wù),不擁有所有權(quán),不承擔(dān)相關(guān)法律責(zé)任。如若轉(zhuǎn)載,請(qǐng)注明出處: 如若內(nèi)容造成侵權(quán)/違法違規(guī)/事實(shí)不符,請(qǐng)點(diǎn)擊違法舉報(bào)進(jìn)行投訴反饋,一經(jīng)查實(shí),立即刪除!

領(lǐng)支付寶紅包贊助服務(wù)器費(fèi)用

相關(guān)文章

  • 0201hdfs集群部署-hadoop-大數(shù)據(jù)學(xué)習(xí)

    0201hdfs集群部署-hadoop-大數(shù)據(jù)學(xué)習(xí)

    下面我們配置下單namenode節(jié)點(diǎn)hadoop集群,使用vmware虛擬機(jī)環(huán)境搭建。vmware虛擬機(jī)的配置,在下面鏈接2有,或者自行查閱文檔。hadoop安裝包可到官網(wǎng)下載,當(dāng)前相關(guān)軟件環(huán)境如下: 軟件 版本 說明 hadoop 3.3.4 jar包 vmware 15.5 虛擬機(jī) centos 7.6 服務(wù)器操作系統(tǒng) xshell 6 遠(yuǎn)程連接 jdk 1.8

    2024年02月11日
    瀏覽(49)
  • Hadoop入門學(xué)習(xí)筆記——三、使用HDFS文件系統(tǒng)

    Hadoop入門學(xué)習(xí)筆記——三、使用HDFS文件系統(tǒng)

    視頻課程地址:https://www.bilibili.com/video/BV1WY4y197g7 課程資料鏈接:https://pan.baidu.com/s/15KpnWeKpvExpKmOC8xjmtQ?pwd=5ay8 Hadoop入門學(xué)習(xí)筆記(匯總) 3.1.1. HDFS文件系統(tǒng)基本信息 HDFS和Linux系統(tǒng)一樣,均是以 / 作為根目錄的組織形式; 如何區(qū)分HDFS和Linux文件系統(tǒng): Linux文件系統(tǒng)以 file:// 作為

    2024年01月16日
    瀏覽(31)
  • hadoop生態(tài)圈-- 個(gè)人筆記學(xué)習(xí)05 HDFS優(yōu)化

    DFSClient和DN在一個(gè)節(jié)點(diǎn) —— local reads,遠(yuǎn)程閱讀 Remote reads。 處理方式是一樣的 DN讀數(shù)據(jù) 通過RPC(TCP協(xié)議)把數(shù)據(jù)給DFSClient。DN在中間會(huì)做中轉(zhuǎn),處理簡單但是性能收影響 (Local read的情況下,會(huì)希望繞過DN直接讀取Data,這就是 短路 DFSClient自行打開文件讀取數(shù)據(jù),需要配置白名

    2024年02月13日
    瀏覽(60)
  • hadoop(學(xué)習(xí)筆記) 4----怎么把文件放到hdfs上?

    hadoop(學(xué)習(xí)筆記) 4----怎么把文件放到hdfs上?

    怎么把文件放到hdfs上? 首先就是需要將hdfs相關(guān)程序啟動(dòng)起來----namenode和datanode namendoe-相當(dāng)于目錄,不進(jìn)行文件信息的存儲(chǔ) datanode-真正數(shù)據(jù)存放的位置 但namenode的默認(rèn)存放位置在tmp文件下,tmp又是臨時(shí)文件,隨時(shí)可能被系統(tǒng)清除,我們存放在hdfs上的數(shù)據(jù)并不安全,所以我們需要修改

    2024年02月04日
    瀏覽(18)
  • 0202hdfs的shell操作-hadoop-大數(shù)據(jù)學(xué)習(xí)

    0202hdfs的shell操作-hadoop-大數(shù)據(jù)學(xué)習(xí)

    以下命令執(zhí)行默認(rèn)配置了hadoop的環(huán)境變量,且使用新命令。 一鍵啟停腳本 獨(dú)立進(jìn)程啟停 2.1 HDFS文件系統(tǒng)基本信息 HDFS作為分布式存儲(chǔ)的文件系統(tǒng),有其對(duì)數(shù)據(jù)的路徑表達(dá)式。如果熟悉Linux文件系統(tǒng),可以對(duì)比學(xué)習(xí)。 HDFS同Linux系統(tǒng)一樣,均是以/作為根目錄的組織形式 如何區(qū)分

    2024年02月10日
    瀏覽(31)
  • Hadoop3.0大數(shù)據(jù)處理學(xué)習(xí)2(HDFS)

    HDFS:Hadoop Distributed File System。Hadoop分布式存儲(chǔ)系統(tǒng) 一種允許文件通過網(wǎng)絡(luò)在多臺(tái)主機(jī)上分享的文件系統(tǒng),可以讓多機(jī)器上的用戶分享文件和存儲(chǔ)空間。 兩大特性:通透性、容錯(cuò)性 分布式文件管理系統(tǒng)的實(shí)現(xiàn)很多,HDFS只是其中一種,HDSF不適合存儲(chǔ)小文件。GFS、TFS。 使用格式

    2024年02月08日
    瀏覽(46)
  • 【運(yùn)維】hadoop 集群安裝(三)hdfs、yarn集群配置、nodemanager健康管理講解

    上篇簡單說明了多節(jié)點(diǎn)的hadoop節(jié)點(diǎn)怎么安裝,但是沒有細(xì)致的分析hadoop相關(guān)配置,具體怎么根據(jù)環(huán)境進(jìn)行配置,接下來我們對(duì)這些配置進(jìn)行講解 Daemon Environment Variable NameNode HDFS_NAMENODE_OPTS DataNode HDFS_DATANODE_OPTS Secondary NameNode HDFS_SECONDARYNAMENODE_OPTS ResourceManager YARN_RESOURCEMANAGER_OP

    2024年02月10日
    瀏覽(19)
  • Hadoop入門學(xué)習(xí)筆記——二、在虛擬機(jī)里部署HDFS集群

    Hadoop入門學(xué)習(xí)筆記——二、在虛擬機(jī)里部署HDFS集群

    視頻課程地址:https://www.bilibili.com/video/BV1WY4y197g7 課程資料鏈接:https://pan.baidu.com/s/15KpnWeKpvExpKmOC8xjmtQ?pwd=5ay8 Hadoop入門學(xué)習(xí)筆記(匯總) 下載Hadoop:https://www.apache.org/dyn/closer.cgi/hadoop/common/hadoop-3.3.4/hadoop-3.3.4.tar.gz 本次演示部署結(jié)構(gòu)如下圖所示: 本次部署服務(wù)清單如下表所示

    2024年02月01日
    瀏覽(26)
  • 從零開始的Hadoop學(xué)習(xí)(五)| HDFS概述、shell操作、API操作

    從零開始的Hadoop學(xué)習(xí)(五)| HDFS概述、shell操作、API操作

    1.1 HDFS 產(chǎn)出背景及定義 1) HDFS 產(chǎn)生背景 隨著數(shù)據(jù)量越來越大,在一個(gè)操作系統(tǒng)存不下所有的數(shù)據(jù),那么就分配到更多的操作系統(tǒng)管理的磁盤中,但是不方便管理和維護(hù),迫切 需要一種系統(tǒng)來管理多臺(tái)機(jī)器上的文件 ,這就是分布式文件管理系統(tǒng)。 HDFS只是分布式文件管理系統(tǒng)

    2024年02月10日
    瀏覽(94)
  • 【Hadoop-HDFS】HDFS常用操作命令

    hadoop fs -ls / 普通創(chuàng)建: hadoop fs -mkdir /xiaolin 遞歸創(chuàng)建: hadoop fs -mkdir -p /xiaolin/xiaoyin mkdir xuan.txt hadoop fs -moveFromLocal xuan.txt /xiaolin hadoop fs -copyFromLocal xuan.txt / hadoop fs -put xuan.txt / 文件名稱相同時(shí)覆蓋hdfs上的文件: -f hadoop fs -put -f xuan.txt / hadoop fs -copyToLocal /xiaolin ./ hadoop fs -get

    2024年02月05日
    瀏覽(20)

覺得文章有用就打賞一下文章作者

支付寶掃一掃打賞

博客贊助

微信掃一掃打賞

請(qǐng)作者喝杯咖啡吧~博客贊助

支付寶掃一掃領(lǐng)取紅包,優(yōu)惠每天領(lǐng)

二維碼1

領(lǐng)取紅包

二維碼2

領(lǐng)紅包