來源：https://developer.aliyun.com/article/705239
1 什么是KeyDB？
KeyDB是Redis的高性能分支，專注于多線程，內(nèi)存效率和高吞吐量。除了多線程之外，KeyDB還具有僅在Redis Enterprise中可用的功能，例如Active Replication，F(xiàn)LASH存儲(chǔ)支持以及一些根本不可用的功能，例如直接備份到AWS S3。
KeyDB與Redis協(xié)議，模塊和腳本保持完全兼容性。這包括腳本和事務(wù)的原子性保證。由于KeyDB與Redis開發(fā)保持同步，因此KeyDB是Redis功能的超集，從而使KeyDB取代了現(xiàn)有Redis部署。
在相同的硬件上，KeyDB每秒可以執(zhí)行的查詢數(shù)量是Redis的兩倍，而延遲卻降低了60％。Active-Replication簡(jiǎn)化了熱備用故障轉(zhuǎn)移，使您可以輕松地在副本上分配寫操作并使用基于TCP的簡(jiǎn)單負(fù)載平衡/故障轉(zhuǎn)移。KeyDB的高性能可讓您在更少的硬件上做更多的事情，從而降低了運(yùn)營(yíng)成本和復(fù)雜性。
在此處查看完整的基準(zhǔn)測(cè)試結(jié)果和設(shè)置信息：
https://docs.keydb.dev/blog/2019/10/07/blog-post/
2 走進(jìn)KeyDB
KeyDB項(xiàng)目是從redis fork出來的分支。眾所周知redis是一個(gè)單線程的kv內(nèi)存存儲(chǔ)系統(tǒng)，而KeyDB在100%兼容redis API的情況下將redis改造成多線程。
項(xiàng)目git地址：
https://github.com/JohnSully/KeyDB
網(wǎng)上公開的技術(shù)細(xì)節(jié)比較少，本文基本是通過閱讀源碼總結(jié)出來的，如有錯(cuò)漏之處歡迎指正。
推薦一個(gè)開源免費(fèi)的 Spring Boot 最全教程：
https://github.com/javastacks/spring-boot-best-practice
多線程架構(gòu)
線程模型
KeyDB將redis原來的主線程拆分成了主線程和worker線程。每個(gè)worker線程都是io線程，負(fù)責(zé)監(jiān)聽端口，accept請(qǐng)求，讀取數(shù)據(jù)和解析協(xié)議。如圖所示：
KeyDB使用了SO_REUSEPORT特性，多個(gè)線程可以綁定監(jiān)聽同個(gè)端口。
每個(gè)worker線程做了cpu綁核，讀取數(shù)據(jù)也使用了SO_INCOMING_CPU特性，指定cpu接收數(shù)據(jù)。
解析協(xié)議之后每個(gè)線程都會(huì)去操作內(nèi)存中的數(shù)據(jù)，由一把全局鎖來控制多線程訪問內(nèi)存數(shù)據(jù)。
主線程其實(shí)也是一個(gè)worker線程，包括了worker線程的工作內(nèi)容，同時(shí)也包括只有主線程才可以完成的工作內(nèi)容。在worker線程數(shù)組中下標(biāo)為0的就是主線程。
主線程的主要工作在實(shí)現(xiàn)serverCron，包括：
- 處理統(tǒng)計(jì)
- 客戶端鏈接管理
- db數(shù)據(jù)的resize和reshard
- 處理aof
- replication主備同步
- cluster模式下的任務(wù)
鏈接管理
在redis中所有鏈接管理都是在一個(gè)線程中完成的。在KeyDB的設(shè)計(jì)中，每個(gè)worker線程負(fù)責(zé)一組鏈接，所有的鏈接插入到本線程的鏈接列表中維護(hù)。鏈接的產(chǎn)生、工作、銷毀必須在同個(gè)線程中。每個(gè)鏈接新增一個(gè)字段
int iel; /* the event loop index we're registered with */
用來表示鏈接屬于哪個(gè)線程接管。
KeyDB維護(hù)了三個(gè)關(guān)鍵的數(shù)據(jù)結(jié)構(gòu)做鏈接管理：
-
clients_pending_write：線程專屬的鏈表，維護(hù)同步給客戶鏈接發(fā)送數(shù)據(jù)的隊(duì)列 -
clients_pending_asyncwrite：線程專屬的鏈表，維護(hù)異步給客戶鏈接發(fā)送數(shù)據(jù)的隊(duì)列 -
clients_to_close：全局鏈表，維護(hù)需要異步關(guān)閉的客戶鏈接
分成同步和異步兩個(gè)隊(duì)列，是因?yàn)閞edis有些聯(lián)動(dòng)api，比如pub/sub，pub之后需要給sub的客戶端發(fā)送消息，pub執(zhí)行的線程和sub的客戶端所在線程不是同一個(gè)線程，為了處理這種情況，KeyDB將需要給非本線程的客戶端發(fā)送數(shù)據(jù)維護(hù)在異步隊(duì)列中。
同步發(fā)送的邏輯比較簡(jiǎn)單，都是在本線程中完成，以下圖來說明如何同步給客戶端發(fā)送數(shù)據(jù)
如上文所提到的，一個(gè)鏈接的創(chuàng)建、接收數(shù)據(jù)、發(fā)送數(shù)據(jù)、釋放鏈接都必須在同個(gè)線程執(zhí)行。異步發(fā)送涉及到兩個(gè)線程之間的交互。KeyDB通過管道在兩個(gè)線程中傳遞消息：
int fdCmdWrite; //寫管道
int fdCmdRead; //讀管道
本地線程需要異步發(fā)送數(shù)據(jù)時(shí)，先檢查client是否屬于本地線程，非本地線程獲取到client專屬的線程ID，之后給專屬的線程管到發(fā)送AE_ASYNC_OP::CreateFileEvent的操作，要求添加寫socket事件。專屬線程在處理管道消息時(shí)將對(duì)應(yīng)的請(qǐng)求添加到寫事件中，如圖所示：
redis有些關(guān)閉客戶端的請(qǐng)求并非完全是在鏈接所在的線程執(zhí)行關(guān)閉，所以在這里維護(hù)了一個(gè)全局的異步關(guān)閉鏈表。
鎖機(jī)制
KeyDB實(shí)現(xiàn)了一套類似spinlock的鎖機(jī)制，稱之為fastlock。
fastlock的主要數(shù)據(jù)結(jié)構(gòu)有：
struct ticket
{
uint16_t m_active; //解鎖+1
uint16_t m_avail; //加鎖+1
};
struct fastlock
{
volatile struct ticket m_ticket;
volatile int m_pidOwner; //當(dāng)前解鎖的線程id
volatile int m_depth; //當(dāng)前線程重復(fù)加鎖的次數(shù)
};
使用原子操作__atomic_load_2，__atomic_fetch_add，__atomic_compare_exchange來通過比較m_active=m_avail判斷是否可以獲取鎖。fastlock提供了兩種獲取鎖的方式：
- try_lock：一次獲取失敗，直接返回
-
lock：忙等，每
1024 * 1024次忙等后使用sched_yield主動(dòng)交出cpu，挪到cpu的任務(wù)末尾等待執(zhí)行。
在KeyDB中將try_lock和事件結(jié)合起來，來避免忙等的情況發(fā)生。每個(gè)客戶端有一個(gè)專屬的lock，在讀取客戶端數(shù)據(jù)之前會(huì)先嘗試加鎖，如果失敗，則退出，因?yàn)閿?shù)據(jù)還未讀取，所以在下個(gè)epoll_wait處理事件循環(huán)中可以再次處理。
Active-Replica
KeyDB實(shí)現(xiàn)了多活的機(jī)制，每個(gè)replica可設(shè)置成可寫非只讀，replica之間互相同步數(shù)據(jù)。主要特性有：
- 每個(gè)replica有個(gè)uuid標(biāo)志，用來去除環(huán)形復(fù)制
- 新增加rreplay API，將增量命令打包成rreplay命令，帶上本地的uuid
- key，value加上時(shí)間戳版本號(hào)，作為沖突校驗(yàn)，如果本地有相同的key且時(shí)間戳版本號(hào)大于同步過來的數(shù)據(jù)，新寫入失敗。采用當(dāng)前時(shí)間戳向左移20位，再加上后44位自增的方式來獲取key的時(shí)間戳版本號(hào)。
參考文檔：https://docs.keydb.dev/docs/commands
近期熱文推薦：
1.1,000+ 道 Java面試題及答案整理(2022最新版)
2.勁爆！Java 協(xié)程要來了。。。
3.Spring Boot 2.x 教程，太全了！
4.別再寫滿屏的爆爆爆炸類了，試試裝飾器模式，這才是優(yōu)雅的方式?。?/p>
5.《Java開發(fā)手冊(cè)（嵩山版）》最新發(fā)布，速速下載！文章來源：http://www.zghlxwxcb.cn/news/detail-423804.html
覺得不錯(cuò)，別忘了隨手點(diǎn)贊+轉(zhuǎn)發(fā)哦！文章來源地址http://www.zghlxwxcb.cn/news/detail-423804.html
到了這里，關(guān)于Redis Plus 來了，性能炸裂！的文章就介紹完了。如果您還想了解更多內(nèi)容，請(qǐng)?jiān)谟疑辖撬阉鱐OY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章，希望大家以后多多支持TOY模板網(wǎng)！
