[問題] GPU-bases SQL 資料庫

看板Linux作者hn12404988 (Willy)時間9年前 (2016/08/04 16:11)推噓5(5推 0噓 16→)

留言21則, 6人參與討論串1/1

想請教有沒有人有使用GPU加速SQL速度的經驗雖然我還沒實作，但以下是我的猜測（Centos 7, C++, CUDA in C++, MariaDB, CPU八核心）﹍﹍﹍﹍﹍﹍﹍﹍﹍﹍﹍﹍﹍﹍﹍﹍﹍﹍﹍﹍﹍﹍﹍﹍﹍﹍﹍﹍﹍﹍﹍﹍﹍﹍程式的執行是由int main開始接著併發一千個cuda thread, parse 「mysqlcppconn」 lib給每個thread （mysqlcppconn 是一個mysql寫給C++ lib, mariadb也可用）每個thread單獨連接mariadb，mariadb不設thread pool，也就是one thread per connection cuda thread 執行完query, 返回結果給int main ﹍﹍﹍﹍﹍﹍﹍﹍﹍﹍﹍﹍﹍﹍﹍﹍﹍﹍﹍﹍﹍﹍﹍﹍﹍﹍﹍﹍﹍﹍﹍﹍﹍﹍根據我的猜測，以下這幾點是不是正確的呢？ 1. mariadb的query 執行一樣是CPU，不管是直接c++呼叫，還是從一千個cuda thread 2. 根據1, 只是一千個query在CPU一直task switch 另外，上網查GPU-based的SQL, 好像SQLite目前有支援GPU執行 https://www.cs.virginia.edu/~skadron/Papers/bakkum_sqlite_gpgpu10.pdf http://wscg.zcu.cz/wscg2014/Short%5CK17-full.pdf 我還沒時間仔細看，但直接看結論，似乎SQLite可以真正作到把「SQLite」包在每個cuda thread，真的是同時執行一千個sql query 而不是還要透過CPU一層希望可以聽到有經驗的人的分享，謝謝 -- ※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 220.133.16.181 ※ 文章網址: https://www.ptt.cc/bbs/Linux/M.1470298262.A.587.html

推

a1u1usul3

08/04 16:22, , 1^F

08/04 16:22, 1^F

→

a1u1usul3

08/04 16:22, , 2^F

08/04 16:22, 2^F

→

hn12404988

08/04 17:10, , 3^F

08/04 17:10, 3^F

→

hn12404988

08/04 17:10, , 4^F

08/04 17:10, 4^F

→

hn12404988

08/04 17:13, , 5^F

08/04 17:13, 5^F

推

obarisk

08/04 19:28, , 6^F

08/04 19:28, 6^F

推

soem

08/04 22:22, , 7^F

08/04 22:22, 7^F

→

soem

08/04 22:23, , 8^F

08/04 22:23, 8^F

謝謝以上的分享，其實我很久以前就有這種想法但也因為上述的原因，一直找不到情境適合來作但最近開始在建立伺服器端的「搜尋」系統，其實現在沒多少資料，也是不必要但假如這是一個上千萬比資料的伺服器（類似Google搜尋）不知道Google的作法，但目前我是建立一隻「搜尋爬蟲」，反正大家搜尋的內容大部分一樣先呈現的結果都是已經事先搜尋好的cache給上去而已，不是即時搜尋，即時會太慢目前想試試看如何加速搜尋爬蟲，從用CPU改成GPU 目前可能想試試看 1.mariadb的被搜尋資料建立在sqlite 2. 看要用哪一種方法切分資料成一千等分 3. 只是很簡單的"select content from table where content like '%apple%'" 情境：『很簡單的query, 但就是資料量很多』當然現在資料量很少，但想實作看看 ※ 編輯: hn12404988 (220.133.16.181), 08/04/2016 23:19:57

推

a1u1usul3

08/05 02:34, , 9^F

08/05 02:34, 9^F

→

a1u1usul3

08/05 02:35, , 10^F

08/05 02:35, 10^F

→

a1u1usul3

08/05 02:35, , 11^F

08/05 02:35, 11^F