無鎖( mutex)內(nèi)存數(shù)據(jù)庫的技術(shù)路線討論貼, 準備測試評估一下

wlmqgzm

我現(xiàn)在就在想, 數(shù)據(jù)庫中萬惡的鎖,

其實, 目前的多線程編程新技術(shù)已經(jīng)可以把內(nèi)存數(shù)據(jù)庫中的鎖徹底拋棄了,

但是市場中好像還沒有一款這樣的產(chǎn)品, 不知道是什么原因. 也許是我孤陋寡聞, 使用少吧.  如果有的話, 請告訴我.  

我的理解, 無鎖的內(nèi)存數(shù)據(jù)庫在普通4核心上并發(fā)可以輕松過百萬千萬, 應該瓶頸在網(wǎng)絡層, 內(nèi)存層沒有鎖, 就基本沒有消耗, 很少的代碼就可以存取到數(shù)據(jù),

如果市場上真的沒有這樣的產(chǎn)品, 就考慮自己來做一個這樣的產(chǎn)品吧, 網(wǎng)絡層的代碼調(diào)優(yōu)完畢, 我就開始做無鎖的內(nèi)存數(shù)據(jù)庫.   

只要實現(xiàn)了無鎖的內(nèi)存數(shù)據(jù)庫, 那么內(nèi)存數(shù)據(jù)庫的并發(fā)量就會隨著CPU內(nèi)核的增加而線性增加,

現(xiàn)在的技術(shù)路線上有好多種辦法,  我自己知道至少2種, 都可以實現(xiàn)無鎖.

初步計劃, 我先做初步代碼測試2個最簡單的技術(shù)路線,

1是內(nèi)存分區(qū), 然后按核分配內(nèi)存, 每個核管理自己的區(qū)域, 無沖突, 但是有可能單核心的壓力過大, 不平衡.  然后就是每個核心有一個隊列, 這個隊列是lock_free的, 這個技術(shù)路線, 是最簡單的技術(shù)路線, 用軟件讓數(shù)據(jù)對核心固定下來, cache也比較固定, 說白了, 這個技術(shù)路線是內(nèi)核操作無阻塞,單線程, 外圍解決沖突的問題.
外圍使用lock-free解決問題.  技術(shù)瓶頸在lock-free

2是讀寫沖突校驗法, 利用Intel的SSE指令實現(xiàn),  理論上可以達到內(nèi)存帶寬, 無瓶頸. 可以保證, 在任何情況下, 無論多少個并發(fā)讀寫同一片內(nèi)存區(qū)域, 至少有一個線程可以成功, 無鎖無阻塞無沖突, 全部內(nèi)存任意存取, 任意訪問, 很隨意.  技術(shù)瓶頸在SSE.

二種技術(shù)路線, 技術(shù)上都不復雜, 代碼也沒有多少, 初步估計, 大約靜下心來, 做一個簡單的數(shù)據(jù)庫核心,  

我準備明天開始先做測試代碼, 對技術(shù)路線進行性能分析評估,   然后根據(jù)測試報告評估來做最后的產(chǎn)品,  

想一想無鎖的數(shù)據(jù)庫, 是多么的美好啊.  想一想都覺得自己以前怎么就沒有用過這樣的無鎖的數(shù)據(jù)庫 產(chǎn)品呢?????

無鎖的世界是多么的美好.

呵呵呵呵呵呵.   

大家如果有無鎖內(nèi)存數(shù)據(jù)庫的新技術(shù)路線, 也可以在這個帖子中一起討論一下, 謝謝.  

畢竟我從來沒有接觸過這樣的產(chǎn)品, 我是第一次做.

windoze

你可以先試試實現(xiàn)一個lock free hash table，然后再來評估整個項目是否值得花太多功夫。

事先提醒你，著玩意兒的麻煩程度很可能超出你的預期。

PS： https://github.com/windoze/Argos ... common/hash_table.h 這個hash_table湊合著可以當lock free hash table用，雖然我知道里面有一些問題。

hellioncu

信心爆棚的結(jié)果

wlmqgzm

回復 3# hellioncu

好吧, 我一個無業(yè)游民, 只能做點代碼, 反正時間大把, 剛好自己做試驗, 做代碼, 沒有任何成本, 沒有上級領(lǐng)導, 放手自由去做一些自己過去想都不敢想, 連公司也都不可能去做的事情.

yulihua49

wlmqgzm 發(fā)表于 2015-10-29 23:23
我現(xiàn)在就在想, 數(shù)據(jù)庫中萬惡的鎖,

1是內(nèi)存分區(qū), 然后按核分配內(nèi)存, 每個核管理自己的區(qū)域, 無沖突,  ...

很多場合內(nèi)存數(shù)據(jù)庫是要各線程共享的，按核獨享？
本來我們的服務器是多進程的，為什么改成多線程？就是需要任務間共享同一個內(nèi)存數(shù)據(jù)庫。
一個線程（它可能占據(jù)任何一個核）修改了內(nèi)容，其他線程立刻就可以看到。而且，一個線程正在修改時，別的線程不能修改相同的數(shù)據(jù)。怎么能無鎖處理，我想不通。

所謂內(nèi)存數(shù)據(jù)庫，多用于存儲靜態(tài)數(shù)據(jù)。修改量比較少，也不頻繁。盡管如此，修改操作是必然存在的，不鎖，怎么玩？

wlmqgzm

回復 5# yulihua49

對外是整體, 對內(nèi)要分片, 就是這樣,
一個數(shù)據(jù)庫在內(nèi)部分片成幾個單線程的數(shù)據(jù)庫, 就沒有鎖了, 幾個單庫并發(fā), 就可以提高對外的整體并發(fā)度, 提高性能.

   

yulihua49

wlmqgzm 發(fā)表于 2015-10-30 13:05
回復 5# yulihua49

對外是整體, 對內(nèi)要分片, 就是這樣,

每個分片只有一個線程能修改？

wlmqgzm

回復 7# yulihua49

對, 具體內(nèi)容在我的" ASIO 無鎖, 高并發(fā),高可靠網(wǎng)絡架構(gòu),抗DOS,無鎖內(nèi)存數(shù)據(jù)庫, 奔騰雙核CPU32.5萬QPS ECHO "
里面有大量的討論.

yulihua49

wlmqgzm 發(fā)表于 2015-10-30 13:24
回復 7# yulihua49

對, 具體內(nèi)容在我的" ASIO 無鎖, 高并發(fā),高可靠網(wǎng)絡架構(gòu),抗DOS,無鎖內(nèi)存數(shù)據(jù)庫, 奔騰 ...

實際上我很難控制修改的任務交給哪個線程（核）。
任務的分派是隨機的，無法控制。

cokeboL

回復 6# wlmqgzm


    數(shù)據(jù)庫內(nèi)部分片，單硬件是瓶頸。要想做大，還得考慮集群，而集群，直接是功能服務器與數(shù)據(jù)服務器映射就好了，“外部分片”，靈活性擴展性大得多。