前言|
本文結(jié)合用戶實(shí)際需求用按照數(shù)據(jù)量從小到大的提供三種方式從ES中將數(shù)據(jù)導(dǎo)出成CSV形式。本文將重點(diǎn)介Kibana/Elasticsearch高效導(dǎo)出的插件、工具集，通過本文你可以了解如下信息：
1，從kibana導(dǎo)出數(shù)據(jù)到csv文件
2，logstash導(dǎo)出數(shù)據(jù)到csv文件
3，es2csv導(dǎo)出數(shù)據(jù)到csv文件
一、Kibana導(dǎo)出工具
步驟1：點(diǎn)擊Kibana；
步驟2：左側(cè)選擇數(shù)據(jù)，篩選字段；點(diǎn)擊save，保存并命名
保存字段數(shù)據(jù)
命名
步驟3：右側(cè)點(diǎn)擊：share->csv reports。 一般根據(jù)數(shù)據(jù)文件大小，會(huì)花費(fèi)不同的時(shí)間
生成CSV文件
步驟4：菜單欄：選擇Management->Reporting->下載
下載并打開已存的文件
注意：當(dāng)然使用Kibana導(dǎo)出會(huì)出現(xiàn)如下幾個(gè)問題：比如要下載的文件太大，在保存對(duì)象生成CSV文件的過程中會(huì)出現(xiàn)如下信息：
下載的數(shù)據(jù)文件太大
如果在下載的時(shí)候出現(xiàn)這個(gè)問題，需要改一下Kibana配置文件，這個(gè)時(shí)候需要聯(lián)系騰訊云售后給與支持。
修改kibana配置文件
當(dāng)然，我們也可以使用kibana將一些其它保存在導(dǎo)航圖的的對(duì)象下載下來，在Dashboard的右上角點(diǎn)擊Inspect，再點(diǎn)擊就可以導(dǎo)出對(duì)應(yīng)可視化報(bào)表對(duì)應(yīng)的數(shù)據(jù)。如下
導(dǎo)出可視化報(bào)表對(duì)應(yīng)的數(shù)據(jù)
總結(jié)：kibana導(dǎo)出數(shù)據(jù)到CSV文件圖形化操作方便快捷，但是操作數(shù)據(jù)不能太大，適合操作一些小型數(shù)據(jù)的導(dǎo)出。
二、使用logstash導(dǎo)出ES數(shù)據(jù)成CSV文件
步驟一：安裝與ES對(duì)應(yīng)版本的logstash，一般安裝完后，默認(rèn)就集成了logstash-output-csv插件
查看此插件
顯然logstash-ouput-csv是在列表中。也就是說我們logstash支持csv格式的輸出。我們建立如下的Logstash的配置文件：
定義Logstash事件配置文件
請(qǐng)注意上面的path需要自己去定義時(shí)候自己環(huán)境的路徑。這里我們?cè)趂ields里定義了我們想要的字段。通過如下命令啟動(dòng)logstash服務(wù) ../bin/logstash -f ../path/convert_csv.conf
結(jié)論：Logstash不只光可以把數(shù)據(jù)傳上Elasticsearch，同時(shí)它還可以把數(shù)據(jù)從Elasticsearch中導(dǎo)出。適合大量數(shù)據(jù)的導(dǎo)出。但是導(dǎo)出時(shí)間也會(huì)根據(jù)數(shù)據(jù)的大小而長短不一。
三、使用es2csv導(dǎo)出ES數(shù)據(jù)成CSV文件
可以去官網(wǎng)了解一下這個(gè)工具，https://pypi.org/project/es2csv/
用python編寫的命令行數(shù)據(jù)導(dǎo)出程序，適合大量數(shù)據(jù)的同步導(dǎo)出，速度和效率都比較快。
安裝這個(gè)過程參考上面的官方鏈接，如果出現(xiàn)無法安裝pip命令，可以參考此鏈接：
https://www.cnblogs.com/wujf-myblog/p/9644278.html
具體的參數(shù)詳解可以參考此鏈接：https://www.kutu66.com/GitHub/article_133864
常用參數(shù)如下：
-i 索引名
-q query dsl
-a 認(rèn)證信息 格式：user: password
-u esurl 格式： http://ip:9200
-o 命名
-r qurey formated
具體執(zhí)行一個(gè)命令操作一下：如下：
es2csv文件格式
因此，執(zhí)行成功后，就回出現(xiàn)進(jìn)度條的顯示信息。如上圖所示。文章來源：http://www.zghlxwxcb.cn/news/detail-754070.html
四、總結(jié)
以上3種方法是常見的ES導(dǎo)出到CSV文件的方法，實(shí)際工作中使用也比較廣泛。大家可以多嘗試。當(dāng)然。elasticsearch-dump也能導(dǎo)，但是比較小眾，相當(dāng)于Mysqldump指令。如果要將ES導(dǎo)出到j(luò)son格式可以使用它來進(jìn)行操作，這里就不多說。文章來源地址http://www.zghlxwxcb.cn/news/detail-754070.html
到了這里，關(guān)于如何把Elasticsearch中的數(shù)據(jù)導(dǎo)出為CSV格式的文件的文章就介紹完了。如果您還想了解更多內(nèi)容，請(qǐng)?jiān)谟疑辖撬阉鱐OY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章，希望大家以后多多支持TOY模板網(wǎng)！
