相關(guān)文章

• 

  【Kafka面試】Kafka如何保證消息不丟失？

  使用Kafka時(shí)，在消息的收發(fā)過(guò)程中都有可能會(huì)出現(xiàn)消息丟失。 1. 設(shè)置異步發(fā)送 同步發(fā)送：會(huì)產(chǎn)生阻塞，一般使用異步發(fā)送。 異步發(fā)送：實(shí)現(xiàn)回調(diào)方法，消息發(fā)送失敗時(shí)記錄日志，或者重新發(fā)送，最終確保消息能夠成功發(fā)送。 2. 設(shè)置消息重試機(jī)制 由于 網(wǎng)絡(luò)抖動(dòng) 問(wèn)題，很快就

  2024年02月03日

  瀏覽(25)
• 

  一線大廠面試真題-Kafka如何保證消息不丟失

  目錄 問(wèn)題解答 面試點(diǎn)評(píng) (如圖) kafka 是 一個(gè)用來(lái)實(shí)現(xiàn)異步消息通信的中間件，它的整個(gè)架構(gòu)由Producer、 Consumer 、 Broker組成。 所以，對(duì)于 kafka 如 何保證消息不丟失這個(gè)問(wèn)題，可以從三個(gè)方面來(lái)考慮和實(shí)現(xiàn) ： 首先 是Producer端，需要確保消息能夠到達(dá)Broker并實(shí)現(xiàn)消息存儲(chǔ)，在這

  2024年02月01日

  瀏覽(27)
• 

  一文徹底搞懂Kafka如何保證消息不丟失

  Producer：生產(chǎn)者，發(fā)送消息的一方。生產(chǎn)者負(fù)責(zé)創(chuàng)建消息，然后將其發(fā)送到 Kafka。 Consumer：消費(fèi)者，接受消息的一方。消費(fèi)者連接到 Kafka 上并接收消息，進(jìn)而進(jìn)行相應(yīng)的業(yè)務(wù)邏輯處理。 Consumer Group：將多個(gè)消費(fèi)者組成一個(gè)消費(fèi)者組，一個(gè)消費(fèi)者組可以包含一個(gè)或多個(gè)消費(fèi)者。

  2024年04月22日

  瀏覽(30)

• Kafka怎么保證數(shù)據(jù)不丟失，不重復(fù)

  生產(chǎn)者數(shù)據(jù)不丟失 Kafka的ack機(jī)制：在kafka發(fā)送數(shù)據(jù)的時(shí)候，每次發(fā)送消息都會(huì)有一個(gè)確認(rèn)反饋機(jī)制，確保消息正常能夠被收到，其中狀態(tài)有0，1，-1. ack = 0：producer不等待broker同步完成的確認(rèn)，繼續(xù)發(fā)送下一條（批）信息。 ack = 1(默認(rèn))：producer要等待leader成功收到數(shù)據(jù)并確認(rèn)，

  2024年02月11日

  瀏覽(26)

• 大數(shù)據(jù)面試題：Kafka怎么保證數(shù)據(jù)不丟失，不重復(fù)？

  面試題來(lái)源： 《大數(shù)據(jù)面試題 V4.0》 大數(shù)據(jù)面試題V3.0，523道題，679頁(yè)，46w字 可回答：Kafka如何保證生產(chǎn)者不丟失數(shù)據(jù)，消費(fèi)者不丟失數(shù)據(jù)？ 參考答案： 存在數(shù)據(jù)丟失的幾種情況 使用同步模式的時(shí)候，有3種狀態(tài)保證消息被安全生產(chǎn)，在配置為1（只保證寫(xiě)入leader成功）的話，

  2024年02月15日

  瀏覽(23)
• 

  RocketMQ和Kafka的區(qū)別，以及如何保證消息不丟失和重復(fù)消費(fèi)

  性能（單臺(tái)） 語(yǔ)言 多語(yǔ)言支持客戶(hù)端 優(yōu)缺點(diǎn) RocketMQ 十萬(wàn)級(jí) java java 模型簡(jiǎn)單、接口易用，在阿里有大規(guī)模應(yīng)用 文檔少，支持的語(yǔ)言少 Kafka 百萬(wàn)級(jí) 服務(wù)端scala，客戶(hù)端java 主流語(yǔ)言均支持 天生分布式、性能最好，常用于大數(shù)據(jù)領(lǐng)域 運(yùn)維難度大，對(duì)zookeeper強(qiáng)依賴(lài)，多副本機(jī)制

  2024年01月16日

  瀏覽(30)
• 

  MySQL如何保證數(shù)據(jù)的可靠性（保證數(shù)據(jù)不丟失）

  只要 redo log 和 binlog 保證持久化到磁盤(pán)，就能確保MySQL異常重啟后，數(shù)據(jù)可以恢復(fù)。 WAL 機(jī)制，（ Write Ahead Log ）： 事務(wù)先寫(xiě)入日志，后持久化到磁盤(pán)。 流程 每個(gè)線程內(nèi)都有一個(gè)binlog cache,記錄先寫(xiě)入binlog cache,所有線程共享一個(gè)binlog文件 binlog cache write into binlog file， binlog fi

  2024年02月09日

  瀏覽(24)

• rabbitMQ如何保證數(shù)據(jù)不丟失

  Q: 當(dāng)訂單服務(wù)發(fā)送一條消息到rabbitMQ, rabbitMQ成功接收到了消息并保存在內(nèi)存中, 但是在倉(cāng)儲(chǔ)服務(wù)沒(méi)有拿走此消息之前, rabbitMQ宕機(jī)了. 怎么辦? A:此問(wèn)題需要考慮消息持久化(durable機(jī)制), 通過(guò)設(shè)置隊(duì)列的durable參數(shù)為true, 則當(dāng)rabbitMQ重啟之后, 會(huì)恢復(fù)之前的隊(duì)列. 它的工作原理是rab

  2024年02月15日

  瀏覽(20)
• 

  MySQL是如何保證數(shù)據(jù)不丟失的？

  上篇文章《InnoDB在SQL查詢(xún)中的關(guān)鍵功能和優(yōu)化策略》對(duì)InnoDB的查詢(xún)操作和優(yōu)化事項(xiàng)進(jìn)行了說(shuō)明。但是，MySQL作為一個(gè)存儲(chǔ)數(shù)據(jù)的產(chǎn)品，怎么確保數(shù)據(jù)的持久性和不丟失才是最重要的，感興趣的可以跟隨本文一探究竟。 InnoDB中的「 Buffer Pool 」除了在查詢(xún)時(shí)起到提高效率作用，同

  2024年02月04日

  瀏覽(26)

• Kafka怎么保證消息發(fā)送不丟失

  Kafka發(fā)送消息是異步發(fā)送的，所以我們不知道消息是否發(fā)送成功，所以會(huì)可能造成消息丟失。而且Kafka架構(gòu)是由生產(chǎn)者-服務(wù)器端-消費(fèi)者三種組成部分構(gòu)成的。要保證消息不丟失，那么主要有三種解決方法： 生產(chǎn)者（producer）保持同步發(fā)送消息 服務(wù)器端（broker）持久化設(shè)置為同

  2024年02月04日

  瀏覽(23)