兩行代碼修復(fù)了解析MySQL8.x binlog錯(cuò)位的問題！！ 點(diǎn)擊上方藍(lán)色“冰河技術(shù)”，關(guān)注并選擇“設(shè)為星標(biāo)” 持之以恒，貴在堅(jiān)持，每天進(jìn)步一點(diǎn)點(diǎn)！ 作者個(gè)人研發(fā)的在高并發(fā)場(chǎng)景下，提供的簡(jiǎn)單、穩(wěn)定、可擴(kuò)展的延遲消息隊(duì)列框架，具有精準(zhǔn)的定時(shí)任務(wù)和延遲隊(duì)列處理功能。自開源半年多以來，已成功為十幾家中小型企業(yè)提供了精準(zhǔn)定時(shí)調(diào)度方案，經(jīng)受住了生產(chǎn)環(huán)境的考驗(yàn)。為使更多童鞋受益，現(xiàn)給出開源框架地址： https://github.com/sunshinelyz/mykit-delay PS: 歡迎各位Star源碼，也可以pr你牛逼哄哄的代碼。 MySQL是互聯(lián)網(wǎng)行業(yè)使用的最多的關(guān)系型數(shù)據(jù)庫(kù)之一，而且MySQL又是開源的，對(duì)于MySQL的深入研究，能夠加深我們對(duì)于數(shù)據(jù)庫(kù)原理的理解。自從開源了mykit-data之后，不少小伙伴試用后，反饋mykit-data無法正確的解析MySQL8的binlog。于是我測(cè)試了下，mykit-data在解析MySQL5.x的binlog時(shí)，沒有啥問題，能夠正確的解析出結(jié)果數(shù)據(jù)。然而，在解析MySQL8.x的binlog時(shí)，總是與binlog日志位數(shù)相差12位而導(dǎo)致解析失敗。 文章已收錄到： https://github.com/sunshinelyz/technology-binghe https://gitee.com/binghe001/technology-binghe 今天太晚了，我還在研究MySQL 8.0.20的源碼，問題的修復(fù)過程后續(xù)再寫一篇詳細(xì)的文章來與小伙伴們分享下。這里，我就直接說我是如何解決這個(gè)問題的。 MySQL5.x binlog的解析結(jié)果與MySQL8.x binlog的解析結(jié)果總是存在位數(shù)偏差，框架原本的代碼直接解析MySQL 5.x是沒啥問題的，在解析MySQL 8.x的時(shí)候出現(xiàn)位數(shù)錯(cuò)位的問題。 期間，我?guī)缀醴喠薓ySQL的所有官方文檔，把mykit-data中關(guān)于解析binlog日志的功能重新寫了一遍，解析MySQL5.x沒問題，解析MySQL8.x還是錯(cuò)位。 到底哪里出了問題呢？就在對(duì)于問題的解決一籌莫展的時(shí)候，突然，想到一個(gè)思路：解決MySQL8.x binlog的時(shí)候不是總錯(cuò)位嗎？那我就把多余位數(shù)的binlog數(shù)據(jù)讀取出來，直接忽略掉，使后續(xù)binlog的解析操作對(duì)齊不就行了嗎？ 趕緊嘗試一下，于是我在mykit-data框架的源碼中，添加了如下代碼。 上面代碼是對(duì)解析MySQL binlog位數(shù)的校驗(yàn)和讀取的封裝，當(dāng)讀取的binlog位數(shù)未達(dá)到讀取的限制位數(shù)時(shí)，一直讀取binlog的數(shù)據(jù)，直到讀取的binlog位數(shù)達(dá)到讀取的限制位數(shù)位置。具體內(nèi)部的邏輯，小伙伴們可以閱讀mykit-data的源碼。 加上這個(gè)邏輯后，進(jìn)行測(cè)試驗(yàn)證，解析MySQL 8.x數(shù)據(jù)庫(kù)的binlog竟然成功了！！困擾我?guī)滋斓膯栴}就這么在不經(jīng)意間解決了！！ 從解決這個(gè)問題的結(jié)果來看，MySQL8.x的binlog在本質(zhì)上比MySQL5.x的binlog位數(shù)要長(zhǎng)，中間會(huì)拼接用來分隔不同事件位的標(biāo)識(shí)，我們?cè)诮馕鯩ySQL8.x的binlog日志時(shí)，可直接忽略掉這些分隔不同事件位的標(biāo)識(shí)，目的就是讓binlog的解析位對(duì)齊，從而能夠正確的解析出下一個(gè)事件。而這樣處理，也不會(huì)影響解析結(jié)果。 很多時(shí)候就是這樣，當(dāng)你苦于解決某個(gè)問題，遲遲找不到解決方案而一籌莫展時(shí)，在某個(gè)不經(jīng)意的瞬間，就會(huì)無意中解決這個(gè)棘手的問題，但前提是你需要深刻理解它的原理并嘗試各種方式和方法來解決它！ mykit-data是一款完全開源的數(shù)據(jù)異構(gòu)中間件，支持插件化、可視化的數(shù)據(jù)異構(gòu)框架，支持MySQL到MySQL、MySQL到Oracle、Oracle到MySQL、Oracle到Oracle的全量、實(shí)時(shí)/定時(shí)增量數(shù)據(jù)同步。完全的插件化、可視化操作。通過日志最大限度的避免同步過程中的數(shù)據(jù)丟失。支持失敗重試，人工干預(yù)，支持查看同步的數(shù)據(jù)和詳細(xì)的日志信息。 目前支持MySQL5.x、MySQL8.x，Oracle 11g及以上版本。后續(xù)會(huì)以插件的形式支持更多的異構(gòu)數(shù)據(jù)源。例如，后續(xù)會(huì)增加：sql server、Postgre SQL、Redis、ES、Hadoop、HBase、MongoDB、TiDB等數(shù)據(jù)源。 mykit-data的開源地址如下： GitHub：https://github.com/sunshinelyz/mykit-data Gitee：https://gitee.com/binghe001/mykit-data 最后，小伙伴們?yōu)檫@款開源項(xiàng)目點(diǎn)個(gè)Star呀！！對(duì)于框架有啥意見和建議，或者有啥需求，都可以在文末留言呀！ 好了，今天就到這兒吧，我是冰河，大家有啥問題可以在下方留言，也可以加我微信：sun_shine_lyz，一起交流技術(shù)，一起進(jìn)階，一起牛逼~~ 關(guān)注 冰河技術(shù) 微信公眾號(hào)： 回復(fù) “并發(fā)編程” 領(lǐng)取《深入理解高并發(fā)編程（第1版）》PDF文檔。 回復(fù) “并發(fā)源碼” 領(lǐng)取《并發(fā)編程核心知識(shí)（源碼分析篇 第1版）》PDF文檔。 回復(fù) ”限流“ 領(lǐng)取《億級(jí)流量下的分布式解決方案》PDF文檔。 回復(fù) “設(shè)計(jì)模式” 領(lǐng)取《深入淺出Java23種設(shè)計(jì)模式》PDF文檔。 回復(fù) “Java8新特性” 領(lǐng)取 《Java8新特性教程》PDF文檔。 回復(fù) “分布式存儲(chǔ)” 領(lǐng)取《跟冰河學(xué)習(xí)分布式存儲(chǔ)技術(shù)》 PDF文檔。 回復(fù) “Nginx” 領(lǐng)取《跟冰河學(xué)習(xí)Nginx技術(shù)》PDF文檔。 回復(fù) “互聯(lián)網(wǎng)工程” 領(lǐng)取《跟冰河學(xué)習(xí)互聯(lián)網(wǎng)工程技術(shù)》PDF文檔。 如果你覺得冰河寫的還不錯(cuò)，請(qǐng)微信搜索并關(guān)注「 冰河技術(shù) 」微信公眾號(hào)，跟冰河學(xué)習(xí)高并發(fā)、分布式、微服務(wù)、大數(shù)據(jù)、互聯(lián)網(wǎng)和云原生技術(shù)，「 冰河技術(shù) 」微信公眾號(hào)更新了大量技術(shù)專題，每一篇技術(shù)文章干貨滿滿！不少讀者已經(jīng)通過閱讀「 冰河技術(shù) 」微信公眾號(hào)文章，成功跳槽到大廠；也有不少讀者實(shí)現(xiàn)了技術(shù)上的飛躍，成為公司的技術(shù)骨干！如果你也想像他們一樣提升自己的能力，實(shí)現(xiàn)技術(shù)能力的飛躍，進(jìn)大廠，升職加薪，那就關(guān)注「 冰河技術(shù) 」微信公眾號(hào)吧，每天更新超硬核技術(shù)干貨，讓你對(duì)如何提升技術(shù)能力不再迷茫！