背景

目前在hbase集群中發(fā)現(xiàn)了一些問題，主要是Region 一致性的問題，和RIT問題，根據(jù)目前遇到的問題整理了以下問題fix手冊(cè)。 如果后面遇到新的問題可以再增加

Hbase hbck 處理Region一致性問題

Issue: Regions have the same start/end keys

Cause

Varies.

Resolution

手動(dòng)合并重疊的區(qū)域。 在 HBase HMaster Web UI 表詳情頁面，選擇有問題的表鏈接。 可以看到屬于該表的每個(gè)區(qū)域的開始鍵/結(jié)束鍵。 然后合并重疊的區(qū)域。 在 HBase shell 中，執(zhí)行 merge_region ‘xxxxxxxx’,‘yyyyyyy’, true。 例如：

RegionA, startkey:001, endkey:010,

RegionB, startkey:001, endkey:080,

RegionC, startkey:010, endkey:080.

在這種場景下，需要合并RegionA和RegionC，得到與RegionB相同key范圍的RegionD，再合并RegionB和RegionD。 xxxxxxx 和 yyyyyy 是每個(gè)區(qū)域名稱末尾的哈希字符串。 這里要小心不要合并兩個(gè)不連續(xù)的區(qū)域。 每次合并后，如合并 A 和 C，HBase 將開始對(duì) RegionD 進(jìn)行壓縮。 等待壓縮完成，然后再與 RegionD 進(jìn)行另一次合并。 您可以在 HBase HMaster UI 的區(qū)域服務(wù)器頁面上找到壓縮狀態(tài)。

Issue: Region overlap

Cause

很有可能是在分裂過程中Region Server 重啟，或split不徹底，導(dǎo)致重復(fù)上線，就會(huì)導(dǎo)致兩個(gè)region有重疊的部分。

Resolution

這種場景下，和以上的處理方式相同，需要注意的是這Region進(jìn)行Compact的時(shí)候不能合并成功，在hbase shell 進(jìn)行合并后,可以觀察HMaster的日志,如果最終可以合并成功，則不會(huì)出現(xiàn)error日志信息，如果遇到始終不能合并的Region，可以先嘗試將此Region下線掉（unassign region），再次上線（assign region），再執(zhí)行merge操作。例如：

merge_region 'regionA','regionB',true

在這個(gè)過程中有可能需要檢查一些hfile文件其中的數(shù)據(jù)是否已經(jīng)表中可以使用

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileStatus;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.hbase.*;
import org.apache.hadoop.hbase.client.*;
import org.apache.hadoop.hbase.filter.KeyOnlyFilter;
import org.apache.hadoop.hbase.io.hfile.CacheConfig;
import org.apache.hadoop.hbase.io.hfile.HFile;
import org.apache.hadoop.hbase.io.hfile.HFileScanner;
import org.apache.hadoop.hbase.io.hfile.HFileWriterImpl;
import org.apache.hadoop.hbase.regionserver.HStoreFile;
import org.apache.hadoop.hbase.regionserver.TimeRangeTracker;
import org.apache.hadoop.hbase.util.BloomFilter;
import org.apache.hadoop.hbase.util.BloomFilterFactory;
import org.apache.hadoop.hbase.util.BloomFilterUtil;
import org.apache.hadoop.hbase.util.Bytes;
import org.slf4j.Logger;
import org.slf4j.LoggerFactory;
import org.springframework.beans.factory.annotation.Value;
import org.springframework.stereotype.Component;

import java.io.DataInput;
import java.io.IOException;
import java.io.PrintStream;
import java.util.Map;
import java.util.Optional;

/**
 * @author wxl
 */
@Component
public class ReadHFile {
    private static final Logger log = LoggerFactory.getLogger(ReadHFile.class);

    private final PrintStream out = System.out;
    private static final String FOUR_SPACES = "    ";

    @Value("${hbase.hfile.path:''}")
    private String hfile;

    public void run() throws Exception {
        Configuration conf = HBaseConfiguration.create();
        Connection connection = ConnectionFactory.createConnection(conf);
        Table table = connection.getTable(TableName.valueOf("LG_DEVICE_DATA:ALL_DEVICE_DATA"));
        FileSystem fs = FileSystem.get(conf);

        Path path = new Path(hfile);
        FileStatus[] dirs = fs.listStatus(path);
        for (FileStatus hfile : dirs) {
            boolean hFileFormat = HFile.isHFileFormat(fs, hfile.getPath());
            if (!hFileFormat) {
                continue;
            }

            HFile.Reader reader = HFile.createReader(fs, hfile.getPath(), CacheConfig.DISABLED, true, conf);

            //打印meta 信息
            //Map<byte[], byte[]> fileInfo = reader.loadFileInfo();
            //printMeta(reader, fileInfo);
            Optional<byte[]> firstRowKey = reader.getFirstRowKey();
            Optional<byte[]> lastRowKey = reader.getLastRowKey();
            StringBuilder sb = new StringBuilder();
            if (firstRowKey.isPresent()) {
                isExists(table, firstRowKey.get(), false, hfile.getPath().toString());
            }
            if (lastRowKey.isPresent()) {
                isExists(table, lastRowKey.get(), false, hfile.getPath().toString());
            }
            reader.close();

        }

        fs.close();
        table.close();
        connection.close();
    }

    public void isExists(Table table, byte[] rowKey, boolean p, String path) throws IOException {
        Get get = new Get(rowKey);
        get.setFilter(new KeyOnlyFilter());
        Result result = table.get(new Get(rowKey));
        if (p) {
            log.info("result: [{}]", result);
        }
        if (result == null || result.isEmpty()) {
            log.info("rowKey not exists: [{}] filePath: [{}]", new String(rowKey), path);
        }
//        else {
//            byte[] row = result.getRow();
//            log.info("ok: " + new String(row));
//        }
    }

    private void check(Table table, HFileScanner scanner) throws IOException {
        scanner.seekTo();
        byte[] pRowKey = null;
        int count = 0;
        while (scanner.next()) {
            Cell cell = scanner.getKey();
            byte[] rowKey = CellUtil.cloneRow(cell);
            if (!Bytes.equals(pRowKey, rowKey)) {
                boolean p = false;
                ++count;
                if (count % 1000 == 0) {
                    log.info("current count: [{}]", count);
                    //  p = true;
                }
                isExists(table, rowKey, p, "");
            }
            pRowKey = rowKey;
        }
        log.info("count rowKey: [{}]", count);
    }

    private void printMeta(HFile.Reader reader, Map<byte[], byte[]> fileInfo)
            throws IOException {
        out.println("Block index size as per heapsize: "
                + reader.indexSize());
        out.println(asSeparateLines(reader.toString()));
        out.println("Trailer:\n    "
                + asSeparateLines(reader.getTrailer().toString()));
        out.println("Fileinfo:");
        for (Map.Entry<byte[], byte[]> e : fileInfo.entrySet()) {
            out.print(FOUR_SPACES + Bytes.toString(e.getKey()) + " = ");
            if (Bytes.equals(e.getKey(), HStoreFile.MAX_SEQ_ID_KEY)
                    || Bytes.equals(e.getKey(), HStoreFile.DELETE_FAMILY_COUNT)
                    || Bytes.equals(e.getKey(), HStoreFile.EARLIEST_PUT_TS)
                    || Bytes.equals(e.getKey(), HFileWriterImpl.MAX_MEMSTORE_TS_KEY)
                    || Bytes.equals(e.getKey(), Bytes.toBytes("hfile.CREATE_TIME_TS"))
                    || Bytes.equals(e.getKey(), HStoreFile.BULKLOAD_TIME_KEY)) {
                out.println(Bytes.toLong(e.getValue()));
            } else if (Bytes.equals(e.getKey(), HStoreFile.TIMERANGE_KEY)) {
                TimeRangeTracker timeRangeTracker = TimeRangeTracker.parseFrom(e.getValue());
                out.println(timeRangeTracker.getMin() + "...." + timeRangeTracker.getMax());
            } else if (Bytes.equals(e.getKey(), Bytes.toBytes("hfile.AVG_KEY_LEN"))
                    || Bytes.equals(e.getKey(), Bytes.toBytes("hfile.AVG_VALUE_LEN"))
                    || Bytes.equals(e.getKey(), HFileWriterImpl.KEY_VALUE_VERSION)
                    || Bytes.equals(e.getKey(), HFile.FileInfo.MAX_TAGS_LEN)) {
                out.println(Bytes.toInt(e.getValue()));
            } else if (Bytes.equals(e.getKey(), HStoreFile.MAJOR_COMPACTION_KEY)
                    || Bytes.equals(e.getKey(), Bytes.toBytes("hfile.TAGS_COMPRESSED"))
                    || Bytes.equals(e.getKey(), HStoreFile.EXCLUDE_FROM_MINOR_COMPACTION_KEY)) {
                out.println(Bytes.toBoolean(e.getValue()));
            } else if (Bytes.equals(e.getKey(), Bytes.toBytes("hfile.LASTKEY"))) {
                out.println(new KeyValue.KeyOnlyKeyValue(e.getValue()).toString());
            } else {
                out.println(Bytes.toStringBinary(e.getValue()));
            }
        }

        try {
            out.println("Mid-key: " + reader.midKey().map(CellUtil::getCellKeyAsString));
        } catch (Exception e) {
            out.println("Unable to retrieve the midkey");
        }

        // Printing general bloom information
        DataInput bloomMeta = reader.getGeneralBloomFilterMetadata();
        BloomFilter bloomFilter = null;
        if (bloomMeta != null) {
            bloomFilter = BloomFilterFactory.createFromMeta(bloomMeta, reader);
        }

        out.println("Bloom filter:");
        if (bloomFilter != null) {
            out.println(FOUR_SPACES + bloomFilter.toString().replaceAll(
                    BloomFilterUtil.STATS_RECORD_SEP, "\n" + FOUR_SPACES));
        } else {
            out.println(FOUR_SPACES + "Not present");
        }

        // Printing delete bloom information
        bloomMeta = reader.getDeleteBloomFilterMetadata();
        bloomFilter = null;
        if (bloomMeta != null) {
            bloomFilter = BloomFilterFactory.createFromMeta(bloomMeta, reader);
        }

        out.println("Delete Family Bloom filter:");
        if (bloomFilter != null) {
            out.println(FOUR_SPACES
                    + bloomFilter.toString().replaceAll(BloomFilterUtil.STATS_RECORD_SEP,
                    "\n" + FOUR_SPACES));
        } else {
            out.println(FOUR_SPACES + "Not present");
        }
    }

    /**
     * Format a string of the form "k1=v1, k2=v2, ..." into separate lines
     * with a four-space indentation.
     */
    private static String asSeparateLines(String keyValueStr) {
        return keyValueStr.replaceAll(", ([a-zA-Z]+=)",
                ",\n" + FOUR_SPACES + "$1");
    }
}

Issue: ERROR: Found lingering reference file xxxx

Cause

這很可能是由于 RegionServer 崩潰或 VM 重啟時(shí)region 沒有刪除完全導(dǎo)致的。

Resolution

hbase hbck -fixReferenceFiles month_hotstatic

檢測hbase 的Region是否健康

使用hbase hbck 命令檢測，如果發(fā)現(xiàn)>=1個(gè)問題檢測到，則表示Region出現(xiàn)了問題文章來源地址http://www.zghlxwxcb.cn/news/detail-581646.html

0 inconsistencies detected.
Status: OK

特別注意

• 以上問題處理完后需要重啟Phoenix Query Server 因其內(nèi)部有緩存，可能會(huì)導(dǎo)致查詢問題

到了這里，關(guān)于HBase 遇到的問題以及處理的文章就介紹完了。如果您還想了解更多內(nèi)容，請(qǐng)?jiān)谟疑辖撬阉鱐OY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章，希望大家以后多多支持TOY模板網(wǎng)！