壓縮算法的本質(zhì)

最近碰到一個神奇的現(xiàn)象，一份大小為16GB的xx.vcf.gz文件，解壓之后體積變?yōu)?strong style="font-weight: bold; color: black;">600GB的vcf文件，為什么一份文件經(jīng)過壓縮后體積縮小了這么多？

(work)?[bio?@?notes??21:29:40?~/work/20230726/data]
$?ls?-lh
總用量?620GB
-rw-rw-r--.?bio??16G?7月??26?21:23?xx.vcf.gz
-rw-r--r--.?bio?604G?7月??19?14:16?xx.vcf

壓縮這個詞聯(lián)想到壓縮機(jī)，就是把空氣進(jìn)行物理加壓，減小占用的體積，這種方法利用的是單個分子之間的可變間隙，像擠海綿一樣把一個大東西壓縮成小東西。很顯然，計算機(jī)中的數(shù)據(jù)肯定不是這種方式。

另外一種方式，通過字典來壓縮，比較抽象了，筆者舉一個例子：有一本新華字典，理論上每個字都能找到唯一對應(yīng)的頁數(shù)+行數(shù)+列數(shù)，將這個數(shù)字用來替代實際的漢字。

接下來，我想壓縮一本三國演義全篇小說，只需要用數(shù)字替換漢字，就能降低篇幅大小，這樣謄抄（類似于復(fù)制傳輸）時就方便很多。這也算是變相的對文字信息進(jìn)行了壓縮，計算機(jī)主要是通過這種方式進(jìn)行壓縮。

問題： 為什么vcf文件經(jīng)過gzip壓縮為vcf.gz后文件體積能極大程度的縮小？

原理概述

因為gzip是一種有效的壓縮算法，它可以利用重復(fù)出現(xiàn)的模式和冗余信息，將數(shù)據(jù)進(jìn)行編碼和壓縮，從而減少數(shù)據(jù)的存儲空間。

重復(fù)模式：

在VCF文件中，可能存在大量的重復(fù)信息，比如在多個位點上的質(zhì)量分?jǐn)?shù)或者過濾標(biāo)記可能會重復(fù)出現(xiàn)，gzip能夠識別這些重復(fù)模式，并使用更短的編碼方式來表示它們，從而減少存儲空間。

字典壓縮：

gzip使用了Lempel-Ziv編碼來構(gòu)建一個字典，用于存儲出現(xiàn)過的字符序列。每當(dāng)發(fā)現(xiàn)與字典中的序列匹配時，gzip只需記錄一個指向字典中的索引，而不是實際存儲相同的字符序列，這進(jìn)一步減小了數(shù)據(jù)的體積。

基因組數(shù)據(jù)特點：

基因組數(shù)據(jù)中通常包含大量的連續(xù)性和相關(guān)性，這使得gzip等壓縮算法能夠更好地發(fā)揮壓縮效果?；蚪M的染色體序列以及突變位點等數(shù)據(jù)具有較高的相似性，使得gzip能夠更好地識別并壓縮這些信息。

綜上所述，gzip能夠高效地將VCF文件中的數(shù)據(jù)進(jìn)行壓縮，從而將文件的體積顯著縮小。這對于基因組學(xué)研究和大規(guī)模數(shù)據(jù)存儲非常有用，節(jié)省了存儲空間，減少了數(shù)據(jù)傳輸時間，并且使數(shù)據(jù)的備份和傳輸更加高效。

VCF文件補(bǔ)充介紹

本文中提到的vcf文件是存儲基因型變異數(shù)據(jù)的常用格式，VCF（Variant Call Format）通常用于存儲個體或群體的基因組數(shù)據(jù)，其中包含了多個基因突變位點的信息。VCF文件常見于基因組學(xué)研究和生物信息學(xué)分析中，特別是在單核苷酸多態(tài)性（SNP）、插入/缺失（InDel）等變異的分析中。

基本格式和信息

文件頭（Header）：

VCF文件以文件頭開始，以"#"開頭的行為注釋行，包含了關(guān)于VCF文件本身和數(shù)據(jù)來源的信息。文件頭通常包括樣本信息、參考基因組版本、標(biāo)記信息等。

元數(shù)據(jù)信息（Metadata）：

文件頭中可能包含多個元數(shù)據(jù)信息，用于描述VCF文件的屬性、來源和其他相關(guān)信息。一些常見的元數(shù)據(jù)標(biāo)記包括"fileformat"（指定VCF文件的版本）、"INFO"（用于描述位點的信息）、"FORMAT"（用于描述樣本的信息格式）等。

數(shù)據(jù)區(qū)域（Data）：

VCF文件的數(shù)據(jù)區(qū)域包含了每個基因突變位點的具體信息，每行對應(yīng)一個位點。數(shù)據(jù)區(qū)域中的每個字段以制表符（Tab）分隔，字段的順序和含義由文件頭中的元數(shù)據(jù)定義。

-?CHROM：染色體名稱或編號。
-?POS：位點在染色體上的位置。
-?ID：位點的唯一標(biāo)識符，可以是rs號（對應(yīng)dbSNP數(shù)據(jù)庫的標(biāo)識符）或其他獨立標(biāo)識符。
-?REF：參考基因組上的堿基。
-?ALT：變異的堿基或堿基序列。如果存在多個變異（如多態(tài)性位點），則用逗號分隔。
-?QUAL：質(zhì)量分?jǐn)?shù)，表示位點的可靠性或置信度。
-?FILTER：過濾標(biāo)記，表示該位點是否通過了質(zhì)量控制過濾。
-?INFO：包含更多關(guān)于位點的附加信息，通常以鍵值對的形式表示。例如，可能包含關(guān)于突變類型、突變功能、頻率等信息。
-?FORMAT：描述樣本數(shù)據(jù)的格式，通常由一系列字段組成。
-?Sample1,?Sample2,?...：每個樣本的基因型數(shù)據(jù)，根據(jù)FORMAT字段指定的格式進(jìn)行描述。

以下為一個vcf文件示例：

##fileformat=VCFv4.3
##INFO=<ID=DP,Number=1,Type=Integer,Description="Total?Depth">
##FORMAT=<ID=GT,Number=1,Type=String,Description="Genotype">
#CHROM??POS?????ID??????REF?????ALT?????QUAL????FILTER??INFO????FORMAT??Sample1??Sample2
chr1????1001????rs123???A???????G???????50.0????PASS????DP=30???GT??????0/1??????1/1
chr1????2034????.???????T???????C,G?????60.0????PASS????DP=40???GT??????1/2??????2/2

在上述示例中，第一個位點在染色體1的位置1001處，具有rs號為rs123，參考堿基為A，變異堿基為G，質(zhì)量分?jǐn)?shù)為50.0，通過了質(zhì)量控制過濾。

INFO字段包含了一個鍵值對"DP=30"，表示總深度為30。FORMAT字段指定了樣本數(shù)據(jù)的格式，這里是"GT"（基因型）。接下來的兩列分別是兩個樣本的基因型數(shù)據(jù)。

常見壓縮方法補(bǔ)充介紹

當(dāng)我們需要傳輸或存儲大量的文件或數(shù)據(jù)時，壓縮算法可以幫助我們將文件體積縮小，從而節(jié)省存儲空間和傳輸時間。以下是zip、tar和rar這幾種常見壓縮算法的通俗介紹以及它們之間的區(qū)別：

zip：

原理：zip是一種常見的歸檔和壓縮算法。它將多個文件和目錄打包成一個壓縮包，并對其中的每個文件進(jìn)行獨立壓縮。zip使用Deflate算法，這是一種結(jié)合了LZ77和Huffman編碼的壓縮算法，類似于gzip，但zip支持多個文件的壓縮和歸檔。

特點：zip是跨平臺的，幾乎在所有操作系統(tǒng)上都可以使用。它是Windows系統(tǒng)上常用的壓縮格式。

tar：

原理：tar是一種歸檔工具，它可以將多個文件和目錄打包成一個單一的文件，但并不壓縮數(shù)據(jù)。tar采用順序地將所有文件和目錄串聯(lián)在一起的方式創(chuàng)建歸檔文件。

特點：tar通常與其他壓縮算法（如gzip或bzip2）結(jié)合使用，先用tar打包成一個大的歸檔文件，然后再使用其他算法對該歸檔文件進(jìn)行壓縮。

rar：

原理：rar是一種專有的壓縮算法，由WinRAR軟件開發(fā)。它使用了類似于zip的算法，但采用了更加復(fù)雜的壓縮策略，可以在某些情況下實現(xiàn)更高的壓縮率。

特點：rar格式在某些情況下可能比zip格式具有更好的壓縮效果，特別是對于大型壓縮文件。然而，由于它是專有格式，可能在某些平臺或系統(tǒng)上不支持或需要額外的軟件。

總結(jié)

• gzip：單個文件壓縮，常用于Unix/Linux系統(tǒng)。
• zip：多個文件壓縮和歸檔，跨平臺支持，常用于Windows系統(tǒng)。
• tar：打包多個文件，但不壓縮數(shù)據(jù)，通常結(jié)合其他壓縮算法使用。
• rar：類似于zip，但使用了專有算法，有時可以獲得更好的壓縮效果。