MySQL的主從如何配置
瀏覽量: 次 發布日期:2023-09-11 09:47:50
MySQL的主從如何配置
大家好,我是撿田螺的小男孩。金三銀四面試的時候,面試官經常會問MySQL主從。今天就跟大家聊聊MySQL的主從。數據庫主從概念、優點、用途數據庫主從復制原理主主、主從、主備的區別MySQL是怎么保證主從一致的數據庫主從延遲的原因與解決方案聊聊數據庫的高可用方案
主從數據庫是什么意思呢,主是主庫的意思,從是從庫的意思。數據庫主庫對外提供讀寫的操作,從庫對外提供讀的操作。
數據庫為什么需要主從架構呢?高可用,實時災備,用于故障切換。比如主庫掛了,可以切從庫。讀寫分離,提供查詢服務,減少主庫壓力,提升性能備份數據,避免影響業務。
主從復制原理,簡言之,分三步曲進行:主數據庫有個二進制文件,紀錄了所有增刪改語句。(binlog線程)從數據庫把主數據庫的文件的 語句復制到自己的中繼日志 (io線程)從數據庫的重做日志文件,再執行一次這些sql語句。(Sql執行線程)
連云港數據恢復
詳細的主從復制過程如圖:
上圖主從復制過程分了五個步驟進行:主庫的更新SQL(update、insert、delete)被寫到binlog從庫發起連接,連接到主庫。此時主庫創建一個,把的內容發送到從庫。從庫啟動之后,創建一個線程,讀取主庫傳過來的內容并寫入到從庫還會創建一個SQL線程,從里面讀取內容,從位置開始執行讀取到的更新事件,將更新內容寫入到的db
數據庫主主:兩臺都是主數據庫,同時對外提供讀寫操作。客戶端訪問任意一臺。數據存在雙向同步。
數據庫主從:一臺是主數據庫,同時對外提供讀寫操作。一臺是從數據庫,對外提供讀的操作。數據從主庫同步到從庫。
數據庫主備:一臺是主數據庫,同時對外提供讀寫操作。一臺是備庫,只作為備份作用,不對外提供讀寫,主機掛了它就取而代之。數據從主庫同步到備庫。
從庫和備庫,就是slave庫功能不同因此叫法才不一樣而已。一般slave庫都會對外提供讀的功能的,因此,大家日常聽得比較多就是主從。
我們學習數據庫的主從復制原理后,了解到從庫拿到并執行主庫的binlog日志,就可以保持數據與主庫一致了。這是為什么呢?哪些情況會導致不一致呢?
主庫和從庫在同步數據的過程中斷怎么辦呢,數據不就會丟失了嘛。因此主庫與從庫之間維持了一個長鏈接,主庫內部有一個線程,專門服務于從庫的這個長鏈接的。
binlog 日志有三種格式,分別是。
如果是格式,binlog記錄的是SQL的原文,如果主庫和從庫選的索引不一致,可能會導致主庫不一致。我們來分析一下。假設主庫執行刪除這個SQL(其中都有索引)如下:
我們知道,數據庫選擇了索引和選擇索引,最后出來的數據一般是不一樣的。所以就會存在這種情況:在binlog = 格式時,主庫在執行這條SQL時,使用的是索引a,而從庫在執行這條SQL時,使用了索引。最后主從數據不一致了。
如何解決這個問題呢?
可以把binlog格式修改為。格式的日志,記錄的不是SQL原文,而是兩個。Table_map event說明要操作的表,Delete_rows event用于定義要刪除的行為,記錄刪除的具體行數。格式的binlog記錄的就是要刪除的主鍵ID信息,因此不會出現主從不一致的問題。
但是如果SQL刪除10萬行數據,使用row格式就會很占空間的,10萬條數據都在binlog里面,寫binlog的時候也很耗IO。但是格式的binlog可能會導致數據不一致,因此設計MySQL的大叔想了一個折中的方案,格式的binlog。所謂的mixed格式其實就是和格式混合使用,當MySQL判斷可能數據不一致時,就用格式,否則使用就用格式。
主從延遲是怎么定義的呢?與主從數據同步相關的時間點有三個主庫執行完一個事務,寫入binlog,我們把這個時刻記為;主庫同步數據給從庫,從庫接收完這個binlog的時刻,記錄為;從庫執行完這個事務,這個時刻記錄為。
所謂主從延遲,其實就是指同一個事務,在從庫執行完的時間和在主庫執行完的時間差值,即。
哪些情況會導致主從延遲呢?如果從庫所在的機器比主庫的機器性能差,會導致主從延遲,這種情況比較好解決,只需選擇主從庫一樣規格的機器就好。如果從庫的壓力大,也會導致主從延遲。比如主庫直接影響業務的,大家可能使用會比較克制,因此一般查詢都打到從庫了,結果導致從庫查詢消耗大量CPU,影響同步速度,最后導致主從延遲。這種情況的話,可以搞了一主多從的架構,即多接幾個從庫分攤讀的壓力。另外,還可以把binlog接入到Hadoop這類系統,讓它們提供查詢的能力。大事務也會導致主從延遲。如果一個事務執行就要10分鐘,那么主庫執行完后,給到從庫執行,最后這個事務可能就會導致從庫延遲10分鐘啦。日常開發中,我們為什么特別強調,不要一次性delete太多SQL,需要分批進行,其實也是為了避免大事務。另外,大表的DDL語句,也會導致大事務,大家日常開發關注一下哈。網絡延遲也會導致主從延遲,這種情況你只能優化你的網絡啦,比如帶寬20M升級到100M類似意思等。如果從數據庫過多也會導致主從延遲,因此要避免復制的從節點數量過多。從庫數據一般以3-5個為宜。低版本的MySQL只支持單線程復制,如果主庫并發高,來不及傳送到從庫,就會導致延遲。可以換用更高版本的Mysql,可以支持多線程復制。雙機主備一主一從一主多從MariaDB同步多主機數據庫中間件架構描述:兩臺機器A和B,A為主庫,負責讀寫,B為備庫,只備份數據。如果A庫發生故障,B庫成為主庫負責讀寫。修復故障后,A成為備庫,主庫B同步數據到備庫A優點:一個機器故障了可以自動切換,操作比較簡單。缺點:只有一個庫在工作,讀寫壓力大,未能實現讀寫分離,并發也有一定限制架構描述: 兩臺機器A和B,A為主庫,負責讀寫,B為從庫,負責讀數據。如果A庫發生故障,B庫成為主庫負責讀寫。修復故障后,A成為從庫,主庫B同步數據到從庫A。優點:從庫支持讀,分擔了主庫的壓力,提升了并發度。一個機器故障了可以自動切換,操作比較簡單。缺點:一臺從庫,并發支持還是不夠,并且一共兩臺機器,還是存在同時故障的機率,不夠高可用。架構描述: 一臺主庫多臺從庫,A為主庫,負責讀寫,B、C、D為從庫,負責讀數據。如果A庫發生故障,B庫成為主庫負責讀寫,C、D負責讀。修復故障后,A也成為從庫,主庫B同步數據到從庫A。優點:多個從庫支持讀,分擔了主庫的壓力,明顯提升了讀的并發度。缺點:只有臺主機寫,因此寫的并發度不高架構描述:有代理層實現負載均衡,多個數據庫可以同時進行讀寫操作;各個數據庫之間可以通過方法進行數據同步,每個庫理論上數據是完全一致的。優點:讀寫的并發度都明顯提升,可以任意節點讀寫,可以自動剔除故障節點,具有較高的可靠性。缺點:數據量不支持特別大。要避免大事務卡死,如果集群節點一個變慢,其他節點也會跟著變慢。架構描述:mycat分片存儲,每個分片配置一主多從的集群。優點:解決高并發高數據量的高可用方案缺點:維護成本比較大。極客時間《MySQL45講》數據庫高可用方案[1][1]
數據庫高可用方案: https://www.cnblogs.com/devinzhang/p/7001424.html熱門內容:
新來了個技術總監:誰再用 @Async 創建線程以后就不用來了!!
最新 955 不加班的公司名單(2022版)
我媽今年 70 歲,受不了Windows藍屏,用了 21 年的 Linux!YYDS!京東一面:Spring 為何需要三級緩存解決循環依賴,而不是二級緩存?我懵了。。牛啊,又一份牛逼筆記面世了
最近面試BAT,整理一份面試資料《Java面試BAT通關手冊》,覆蓋了Java核心技術、JVM、Java并發、SSM、微服務、數據庫、數據結構等等。獲取方式:點“在看”,關注公眾號并回復 666 領取,更多內容陸續奉上。明天見(??ω??)??