概述

Redis是一個(gè)基于內(nèi)存的高性能的鍵值型數(shù)據(jù)庫，它支持三種不同的持久化策略：RDB（快照）、AOF（追加文件）、混合。這三種策略各有優(yōu)缺點(diǎn)，需要根據(jù)不同的場景和需求進(jìn)行選擇和配置。本文將介紹這三種策略

RDB（快照）

概述

RDB持久化策略是指在一定的時(shí)間間隔內(nèi)，將Redis內(nèi)存中的數(shù)據(jù)以二進(jìn)制文件的形式保存到硬盤上。這個(gè)二進(jìn)制文件就是一個(gè)快照，它記錄了某個(gè)時(shí)刻Redis內(nèi)存中的所有數(shù)據(jù)。RDB持久化策略可以通過配置文件或者命令來觸發(fā)，配置文件中可以設(shè)置多個(gè)條件，當(dāng)任意一個(gè)條件滿足時(shí)，就會執(zhí)行一次快照操作。如下所示：

save 900 1 # 900秒內(nèi)執(zhí)行一次 set 操作 則持久化1次
save 300 10 # 300秒內(nèi)執(zhí)行10次 set 操作,則持久化1次
save 60 10000 # 60秒內(nèi)執(zhí)行10000次 set 操作,則持久化1次

命令有兩種：

• save：不建議使用，會阻塞redis服務(wù)的進(jìn)程，直到成功創(chuàng)建RDB文件
• bgsave：父進(jìn)程創(chuàng)建一個(gè)子進(jìn)程生成RDB文件，父進(jìn)程可以正常處理客戶端的指令，不影響主進(jìn)程的服務(wù)

優(yōu)缺點(diǎn)

RDB持久化策略的優(yōu)點(diǎn)有：

• RDB文件是一個(gè)緊湊的二進(jìn)制文件，占用空間小，傳輸速度快，適合做備份和災(zāi)難恢復(fù)
• RDB文件恢復(fù)數(shù)據(jù)的速度比AOF快，因?yàn)橹恍枰虞d一次文件即可
• RDB持久化對Redis服務(wù)器的性能影響較小，因?yàn)榇蟛糠止ぷ饔勺舆M(jìn)程完成

RDB持久化策略的缺點(diǎn)有：

• RDB文件不能實(shí)時(shí)或者近實(shí)時(shí)地反映Redis內(nèi)存中的數(shù)據(jù)，因?yàn)樗嵌〞r(shí)觸發(fā)的。如果在兩次快照之間發(fā)生故障，可能會丟失一部分?jǐn)?shù)據(jù)
• RDB文件在生成過程中可能會占用較多的內(nèi)存和CPU資源，因?yàn)樾枰獜?fù)制主進(jìn)程的內(nèi)存并執(zhí)行壓縮操作

AOF（追加文件）

概述

AOF持久化策略是指將Redis服務(wù)器執(zhí)行的每一條寫命令都記錄到一個(gè)文本文件中，這個(gè)文本文件就是一個(gè)追加文件（append only file）

AOF有三種持久化策略，也就是刷盤策略?？梢愿鶕?jù)不同的場景使用不同的刷盤策略。

然而隨著時(shí)間的推移，AOF文件也會越來越大，因?yàn)樗涗浟怂械膶懨睢＿@樣會導(dǎo)致AOF文件占用過多的磁盤空間，以及恢復(fù)數(shù)據(jù)的時(shí)間過長。為了解決這個(gè)問題，Redis提供了AOF重寫機(jī)制，來壓縮和優(yōu)化AOF文件。

優(yōu)缺點(diǎn)

AOF持久化策略的優(yōu)點(diǎn)有：

• AOF文件可以實(shí)時(shí)或者近實(shí)時(shí)地記錄Redis內(nèi)存中的數(shù)據(jù)，因?yàn)樗敲看螌懨罨蛘呙棵腌娡揭淮巍Ｈ绻谕街g發(fā)生故障，可能會丟失一部分?jǐn)?shù)據(jù)，但是數(shù)據(jù)丟失的概率比RDB小。
• AOF文件是一個(gè)文本文件，可以方便地查看和編輯。AOF文件中的命令是Redis協(xié)議格式的，可以直接用Redis客戶端來執(zhí)行。
• AOF文件可以自動進(jìn)行重寫，以減少冗余命令和文件體積。重寫過程不影響Redis服務(wù)器的正常服務(wù)，也不會丟失任何數(shù)據(jù)。

AOF持久化策略的缺點(diǎn)有：

• AOF文件通常比RDB文件大，占用更多的磁盤空間
• AOF文件恢復(fù)數(shù)據(jù)的速度比RDB慢，因?yàn)樾枰匦聢?zhí)行所有的命令
• AOF文件在寫入過程中可能會出現(xiàn)數(shù)據(jù)不一致的情況，例如命令只寫入了一半或者寫入了錯(cuò)誤的命令。這種情況下需要用redis-check-aof工具來修復(fù)AOF文件

AOF刷盤策略

當(dāng)Redis重啟時(shí)，可以通過重新執(zhí)行追加文件中的命令來恢復(fù)數(shù)據(jù)。AOF持久化策略可以通過配置文件來開啟和設(shè)置，它決定了寫命令記錄到AOF文件的頻率。有三個(gè)選項(xiàng)：

• no：寫入緩存，什么時(shí)候刷盤由redis決定
• everysec：每隔一秒刷一次盤
• always：寫入緩存時(shí)同時(shí)寫入磁盤（盡快刷盤，而不是實(shí)時(shí)刷盤）

以下是三個(gè)策略的對比：

AOF重寫

AOF重寫機(jī)制的原理是：Redis會創(chuàng)建一個(gè)新的AOF文件，然后根據(jù)內(nèi)存中的當(dāng)前數(shù)據(jù)狀態(tài)，生成相應(yīng)的寫命令，并寫入到新的AOF文件中。這樣新的AOF文件就只包含了最終數(shù)據(jù)的寫命令，而不包含任何無效或者冗余的命令。例如：

# 原始AOF文件
set a 1
set b 2
incr a
del b
set c 3

# 重寫后的AOF文件
set a 2
set c 3

上圖就是重寫前和重寫后的文件對比，因?yàn)锳OF是追加的，是順序讀寫（ES也是這樣的），所以重寫后的命令set a 1與incr a變成為set a 2。為了保證在AOF重寫期間的新數(shù)據(jù)不丟失，Redis中引入了AOF重寫緩沖區(qū)。當(dāng)開始執(zhí)行AOF文件重寫之后又接收到客戶端的請求命令，不但要將命令寫入原本的AOF緩沖區(qū)（根據(jù)上面提到的參數(shù)刷盤），還要同時(shí)寫入AOF重寫緩沖區(qū)：

一旦子進(jìn)程完成了AOF文件的重寫，此時(shí)會向父進(jìn)程發(fā)出信號，父進(jìn)程收到信號之后會進(jìn)行阻塞（阻塞期間不執(zhí)行任何命令），并進(jìn)行以下兩項(xiàng)工作：

• 將AOF重寫緩沖區(qū)的文件刷新到新的AOF文件內(nèi)
• 將新AOF文件進(jìn)行改名并原子操作的替換掉舊的AOF文件

隨后，在完成了上面的兩項(xiàng)工作之后，整個(gè)AOF重寫工作完成，父進(jìn)程開始正常接收命令。

• 自動觸發(fā)：自動觸發(fā)可以通過以下參數(shù)進(jìn)行設(shè)置。

# 文件大小超過上次AOF重寫之后的文件的百分比。默認(rèn)100
# 也就是默認(rèn)達(dá)到上一次AOF重寫文件的2倍之后會再次觸發(fā)AOF重寫
auto-aof-rewrite-percentage 100
# 設(shè)置允許重寫的最小AOF文件大小,默認(rèn)是64M
# 主要是避免滿足了上面的百分比，但是文件還是很小的情況。
auto-aof-rewrite-min-size 64mb

• 手動觸發(fā)：執(zhí)行bgrewriteaof命令。

選取正確的持久化策略

Redis現(xiàn)有的持久化策略有三種：

• AOF
• RDB
• AOF與RDB混合

他們各有優(yōu)缺點(diǎn)，需要結(jié)合不同的應(yīng)用場景綜合考慮，首先先講解AOF和RDB的選擇，再講解混合模式

AOF和RDB的選擇

在Redis中，AOF和RDB兩種持久化方式各有優(yōu)缺點(diǎn)，一般來說，有以下幾個(gè)方面需要參考：

• 數(shù)據(jù)安全性：如果要求數(shù)據(jù)不丟失，推薦AOF
  • AOF可以采取每秒同步一次數(shù)據(jù)或每次寫操作都同步用來保證數(shù)據(jù)安全性
    • 如果使用每秒同步一次策略，則最多丟失一秒的數(shù)據(jù)
    • 如果使用每次寫操作都同步策略，安全性達(dá)到了極致，但這會影響性能
  • RDB是一個(gè)全量的二進(jìn)制文件，恢復(fù)時(shí)只需要加載到內(nèi)存即可，但是可能會丟失最近幾分鐘的數(shù)據(jù)（取決于RDB持久化策略）
• 數(shù)據(jù)恢復(fù)速度：如果要求快速恢復(fù)數(shù)據(jù)，推薦RDB
  • AOF需要重新執(zhí)行所有的寫命令，恢復(fù)時(shí)間會更長
  • RDB是一個(gè)全量的二進(jìn)制文件，恢復(fù)時(shí)只需要加載到內(nèi)存即可
• 數(shù)據(jù)備份和遷移：如果要求方便地進(jìn)行數(shù)據(jù)備份和遷移，推薦RDB
  • AOF文件可能會很大，傳輸速度慢
  • RDB文件是一個(gè)緊湊的二進(jìn)制文件，占用空間小，傳輸速度快
• 數(shù)據(jù)可讀性：如果要求能夠方便地查看和修改數(shù)據(jù)，推薦AOF
  • AOF是一個(gè)可讀的文本文件，記錄了所有的寫命令，可以用于災(zāi)難恢復(fù)或者數(shù)據(jù)分析
  • RDB是一個(gè)二進(jìn)制文件，不易查看和修改

AOF與RDB的混合模式

綜合上一節(jié)，我們可以根據(jù)不同的場景和需求來選擇合適的持久化方式。但是，在實(shí)際應(yīng)用中，并不一定要二選一，也可以同時(shí)使用AOF和RDB兩種持久化方式。這樣可以利用AOF來保證數(shù)據(jù)不丟失，作為數(shù)據(jù)恢復(fù)的第一選擇；用RDB做不同程度的冷備份，當(dāng)AOF備份文件丟失或損壞不可用時(shí)，可以使用RDB快照文件快速地恢復(fù)數(shù)據(jù)

綜上所述，混合模式兼并了RDB重啟后的快速恢復(fù)能力和AOF丟失數(shù)據(jù)風(fēng)險(xiǎn)低的能力，具體操作流程如下：

1. 子進(jìn)程會通過BGSAVE 寫入AOF中
2. 觸發(fā)BGREWRITEAOF后，會將AOF寫入到文件
3. 將含有RDB和AOF的數(shù)據(jù)覆蓋舊的AOF文件（這時(shí)AOF文件一半為RDB，一半為AOF）

混合模式的AOF文件：

REDIS0008?redis-ver4.0.1?redis-bits繞?ctime聮~`?used-mem?? ?aof-preamble??repl-id(6c3378899b63bc4ebeaafaa09c27902d514eeb1f?repl-offset??? list1?77   /   appleorangegrape?e k1v1彝髖S[zb*2
$6
SELECT
$1
0
*3
$4
sadd
$8
gamedisk
$4
nioh
*3
$4
sadd
$8
gamedisk
$4
tomb

如果想要開啟混合模式，在redis.conf中配置：

aof-use-rdb-preamble yes

同時(shí)使用AOF和RDB兩種持久化方式也需要注意一些問題：

• AOF重寫和RDB持久化可能會同時(shí)發(fā)生沖突，導(dǎo)致內(nèi)存、CPU和磁盤的消耗增加。為了解決這個(gè)問題，Redis采用了一些策略來協(xié)調(diào)兩者之間的關(guān)系。具體可以參考下面的介紹（AOF重寫和RDB持久化的沖突）
• AOF文件可能會變得很大，導(dǎo)致磁盤空間不足或者恢復(fù)時(shí)間過長。為了解決這個(gè)問題，Redis提供了AOF重寫機(jī)制來壓縮AOF文件。具體可以參考上一節(jié)（AOF重寫）
• AOF文件可能會被損壞或者丟失，導(dǎo)致數(shù)據(jù)無法恢復(fù)。為了解決這個(gè)問題，Redis提供了AOF校驗(yàn)機(jī)制來檢測AOF文件是否完整。具體可以參考下面的介紹（AOF校驗(yàn)機(jī)制）

AOF重寫和RDB持久化的沖突

在Redis中，AOF重寫和RDB持久化可能會同時(shí)發(fā)生，這會導(dǎo)致一些沖突和問題。例如：

• AOF重寫和RDB持久化都需要fork子進(jìn)程，如果兩個(gè)子進(jìn)程同時(shí)存在，會增加內(nèi)存的消耗和系統(tǒng)的負(fù)載。
• AOF重寫和RDB持久化都需要寫入磁盤，如果兩個(gè)文件同時(shí)寫入，會增加磁盤的壓力和IO的開銷。
• AOF重寫和RDB持久化都需要在完成后通知主進(jìn)程，如果兩個(gè)信號同時(shí)到達(dá)，可能會造成信號丟失或者處理錯(cuò)誤。

為了解決這些沖突和問題，Redis采用了以下策略：

• 如果AOF重寫和RDB持久化同時(shí)被觸發(fā)，那么只有一個(gè)子進(jìn)程會被創(chuàng)建，優(yōu)先執(zhí)行RDB持久化，然后再執(zhí)行AOF重寫。這樣可以避免同時(shí)存在兩個(gè)子進(jìn)程的情況。
• 如果AOF重寫正在進(jìn)行，而此時(shí)又收到了RDB持久化的請求，那么RDB持久化會被延遲到AOF重寫完成后再執(zhí)行。這樣可以避免同時(shí)寫入兩個(gè)文件的情況。
• 如果AOF重寫和RDB持久化都完成了，那么主進(jìn)程會先處理RDB持久化的信號，然后再處理AOF重寫的信號。這樣可以避免信號丟失或者處理錯(cuò)誤的情況。

總之，Redis通過優(yōu)先級、延遲和順序等方式來協(xié)調(diào)AOF重寫和RDB持久化的沖突和問題，保證了數(shù)據(jù)的完整性和一致性，下圖為簡要說明。

AOF校驗(yàn)機(jī)制

AOF校驗(yàn)機(jī)制是指在Redis啟動時(shí)，對AOF文件進(jìn)行檢查，判斷文件是否完整，是否有損壞或者丟失的數(shù)據(jù)。如果發(fā)現(xiàn)AOF文件有問題，Redis會拒絕啟動，并給出相應(yīng)的錯(cuò)誤信息

AOF校驗(yàn)機(jī)制的原理是使用一個(gè)64位的校驗(yàn)和（checksum）來對AOF文件進(jìn)行驗(yàn)證。校驗(yàn)和是一個(gè)數(shù)字，它是根據(jù)AOF文件的內(nèi)容計(jì)算出來的，如果AOF文件的內(nèi)容發(fā)生了任何改變，那么校驗(yàn)和也會發(fā)生變化。因此，通過比較計(jì)算出來的校驗(yàn)和和保存在AOF文件末尾的校驗(yàn)和，就可以判斷AOF文件是否完整。

具體來說，AOF校驗(yàn)機(jī)制的過程如下：

• 當(dāng)Redis執(zhí)行AOF重寫時(shí)，它會在新的AOF文件末尾寫入一個(gè)特殊的命令：*1\r\n$6\r\nCHECKSUM\r\n，這個(gè)命令表示接下來要寫入一個(gè)校驗(yàn)和
• Redis會使用CRC64算法，對新的AOF文件中除了最后一行之外的所有內(nèi)容進(jìn)行計(jì)算，得到一個(gè)64位的數(shù)字作為校驗(yàn)和，并將這個(gè)數(shù)字以16進(jìn)制的形式寫入到新的AOF文件末尾。
• Redis會將新的AOF文件替換舊的AOF文件，并將校驗(yàn)和保存在內(nèi)存中
• 當(dāng)Redis重啟時(shí)，它會讀取AOF文件，并使用同樣的CRC64算法，對除了最后一行之外的所有內(nèi)容進(jìn)行計(jì)算，得到一個(gè)64位的數(shù)字作為校驗(yàn)和，并將這個(gè)數(shù)字與內(nèi)存中保存的校驗(yàn)和進(jìn)行比較
• 如果兩個(gè)校驗(yàn)和相同，說明AOF文件沒有損壞或者丟失數(shù)據(jù)，Redis會繼續(xù)啟動并加載AOF文件中的數(shù)據(jù)
• 如果兩個(gè)校驗(yàn)和不同，說明AOF文件有問題，Redis會拒絕啟動，并給出類似于Bad file format reading the append only file: checksum mismatch這樣的錯(cuò)誤信息

通過這種方式，Redis可以保證在啟動時(shí)檢測到AOF文件是否完整，從而避免加載錯(cuò)誤或者不完整的數(shù)據(jù)。當(dāng)然，這種機(jī)制也有一些局限性：

• AOF校驗(yàn)機(jī)制只能在Redis啟動時(shí)執(zhí)行，如果在運(yùn)行過程中AOF文件被修改或者損壞，Redis無法及時(shí)發(fā)現(xiàn)。
• AOF校驗(yàn)機(jī)制只能檢測到AOF文件是否完整，但不能檢測到AOF文件是否正確。比如說，如果有人惡意地修改了AOF文件中的某些命令或者參數(shù)，導(dǎo)致數(shù)據(jù)邏輯上出現(xiàn)錯(cuò)誤，那么Redis無法識別出這種情況。
• AOF校驗(yàn)機(jī)制會增加Redis啟動時(shí)的時(shí)間開銷，因?yàn)樾枰獙φ麄€(gè)AOF文件進(jìn)行計(jì)算。如果AOF文件很大，那么這個(gè)過程可能會很慢。

總之，AOF校驗(yàn)機(jī)制是一種簡單而有效的方法，可以保證在Redis啟動時(shí)檢測到AOF文件是否完整。但是它也有一些局限性和代價(jià)，需要在實(shí)際應(yīng)用中權(quán)衡利弊。

三種模式的選擇建議

具體的選擇建議如下：

• 如果對數(shù)據(jù)完整性要求不高，可以只使用RDB，或者將AOF的同步頻率設(shè)置為每秒一次
• 如果想讓數(shù)據(jù)盡可能不丟失，可以只使用AOF，并將AOF的同步頻率設(shè)置為每次寫入操作都同步
• 如果對數(shù)據(jù)完整性和性能都有要求，可以同時(shí)使用AOF和RDB，并將AOF的同步頻率設(shè)置為每秒一次。這樣既可以保證數(shù)據(jù)的安全性，又可以利用RDB進(jìn)行快速的數(shù)據(jù)恢復(fù)
• 如果既想節(jié)省磁盤空間，又想提高數(shù)據(jù)恢復(fù)速度，可以只使用RDB，并適當(dāng)調(diào)整RDB的快照頻率

這三種模式各有優(yōu)缺點(diǎn)，需要根據(jù)具體的場景和需求來進(jìn)行選擇和配置。在選擇時(shí)，需要考慮以下幾個(gè)因素：

• 數(shù)據(jù)完整性：即數(shù)據(jù)丟失的風(fēng)險(xiǎn)和可接受的范圍
• 數(shù)據(jù)恢復(fù)速度：即從持久化文件恢復(fù)到內(nèi)存中所需的時(shí)間
• 磁盤空間占用：即持久化文件所占用的磁盤空間大小
• 寫入性能：即持久化操作對Redis服務(wù)端的寫入性能的影響

注意:
AOF策略設(shè)置為 always 或 everysec，并且BGSAVE 或BGREWRITEAOF正在對磁盤執(zhí)行大量 I/O 時(shí)，Redis 刷盤可能會阻塞
可以設(shè)置no-appendfsync-on-rewrite yes，來緩解這個(gè)問題。這樣的話，當(dāng)另一個(gè)子進(jìn)程正在保存的時(shí)候，Redis 的持久性與appendfsync no相同。實(shí)際上，最嚴(yán)重的情況是丟失30秒的日志

持久化策略常見問題及解決方案

AOF文件過大

當(dāng)AOF文件過大時(shí)，會占用磁盤空間，影響寫入性能，甚至導(dǎo)致Redis啟動失敗?？梢允褂?code>bgrewriteaof命令或者配置auto-aof-rewrite-percentage和auto-aof-rewrite-min-size參數(shù)來觸發(fā)AOF重寫操作，將AOF文件壓縮為最小的命令集合

# 文件大小超過上次AOF重寫之后的文件的百分比。默認(rèn)100
# 也就是默認(rèn)達(dá)到上一次AOF重寫文件的2倍之后會再次觸發(fā)AOF重寫
auto-aof-rewrite-percentage 100
# 設(shè)置允許重寫的最小AOF文件大小,默認(rèn)是64M
# 主要是避免滿足了上面的百分比，但是文件還是很小的情況。
auto-aof-rewrite-min-size 64mb

AOF文件損壞

當(dāng)AOF文件損壞時(shí)，會導(dǎo)致Redis無法正常啟動或者恢復(fù)數(shù)據(jù)?？梢允褂?code>redis-check-aof工具來修復(fù)AOF文件，或者使用備份的RDB文件來恢復(fù)數(shù)據(jù)

AOF 文件可能會被截?cái)?/h2>

在 Redis 啟動過程中，當(dāng) AOF 數(shù)據(jù)被加載回內(nèi)存時(shí)，可能會發(fā)現(xiàn) AOF 文件在最后被截?cái)?/p>

• aof-load-truncated yes，則加載截?cái)嗟?AOF 文件，并且記錄日志
• aof-load-truncated no，則服務(wù)器會因錯(cuò)誤拒絕啟動，且需要在啟動服務(wù)器之前使用redis-check-aof修復(fù)aof文件

可以在redis.conf中配置：

aof-load-truncated yes

可記錄時(shí)間戳幫助恢復(fù)數(shù)據(jù)

如果在AOF記錄時(shí)間戳，可能會與現(xiàn)有的AOF解析器不兼容，默認(rèn)關(guān)閉

redis.conf中配置：

aof-timestamp-enabled no

RDB文件丟失

當(dāng)RDB文件丟失時(shí)，會導(dǎo)致Redis無法恢復(fù)數(shù)據(jù)。為了解決這個(gè)問題，可以使用備份的AOF文件或者其他節(jié)點(diǎn)的RDB文件來恢復(fù)數(shù)據(jù)，或者增加RDB的快照頻率來減少數(shù)據(jù)丟失的風(fēng)險(xiǎn)

RDB文件損壞

當(dāng)RDB文件損壞時(shí)，會導(dǎo)致Redis無法恢復(fù)數(shù)據(jù)。為了解決這個(gè)問題，可以使用redis-check-rdb工具來檢查和修復(fù)RDB文件，或者使用備份的AOF文件或者其他節(jié)點(diǎn)的RDB文件來恢復(fù)數(shù)據(jù)文章來源地址http://www.zghlxwxcb.cn/news/detail-445037.html

到了這里，關(guān)于Redis的三種持久化策略及選取建議的文章就介紹完了。如果您還想了解更多內(nèi)容，請?jiān)谟疑辖撬阉鱐OY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章，希望大家以后多多支持TOY模板網(wǎng)！