[心得] pthread 多緒程式設計

看板CompBook (電腦用書)作者descent (「雄辯是銀，沉默是金」)時間9年前 (2015/04/29 10:39)推噓5(5推 0噓 1→)

留言6則, 6人參與討論串1/1

( http://goo.gl/WfJDto ) 平時有準備, 就不怕書絕版, 對於 thread, 我不是很熟悉, 它很複雜, 也是我少有接觸的領域, 不過這次躲不過了, 我決定好好的來了解一下 thread。不知道這本書是來的太早還是太晚, 中文版本在 199711 出版, 英文版 ( http://goo.gl/RCHmT6 ) 1996 出版, windows 95 正好流行於這年代, windows 95 帶來不少技術, thread 是其中之一, 而 thread 開始變成人人朗朗上口的名詞, 好像不知道這名詞, 又要被人嘲笑, 今年已經是 2015 年, 在程式設計圈, thread 已經是無人不知的名詞了。這是爭議很大的出版社 - 松格出版的, 該出版社已經消失了。譯者是蕭伯剛, 台大資工升四年級暑假翻譯的, 厲害; 不是因為他讀台大而厲害, 而是把這本書翻的很好, 除了因為是台大的高材生之外, 當然也是因為他掌握了 thread, 文字很通順, 很口語化, 例如 : p238 「一昧的相信函式庫只會導致你除錯除到吐血為止」, 而保留英文術語不譯, 這是我喜歡的翻譯方式。我在 201410 左右才開始讀這本書, 看來準備的英文版本應該派不上用場。最近閱讀的都是簡體中文的書籍, 繁體中文的電腦技術書籍在質與量上已經和中國愈差愈遠了, 這本還是 1997 年出版的, 台灣出版社加加油。 pthread 發展了這麼長的一段時間, 有很多機制都已經幫程式員想好了, 我們只要知道這些東西如何使用, 幾乎就可以處理大部份惱人的 thread 問題, 這本書就是在介紹這些東西。另外一本好書是《Win32 多緒程式設計 ( http://goo.gl/PjIwGN )》, 我一直以為我會由這本 thread 書籍來學習 thread programming, 畢竟侯老師比較有知名度, 書的質量也很好, 但我顯少使用 windows, 就當作藏書囉! ( http://goo.gl/Gd9sZT ) 有時候會收到是否要賣書的 mail, 好書難得, 這些都是我的珍藏, 捨不得賣。我自己也有好多好書因為絕版買不到而鎚心肝, 我能理解你的感受。晤 ... 這本竟然能賣到 2000 元, 好書難求, 絕版好書更是難尋, 不過我不想當冤大頭 , 我有另外的方法求書。 ( http://goo.gl/r2WDdU ) 定價 500, 我應該是買 8 折吧, 英文版在台灣拍賣上便宜點 7xx nt, 不過對使用中文的你我來說, 中文版才更具價值, 尤其是好的翻譯本, 好書再貴都有人要買。每個專業人士都會有自己的工具箱, 頂層是什麼、中間層放什麼、最下層又是哪些玩意兒 , 各憑自己的意志, 你的工具箱裡頭只有 google 嗎? 也許你太高估自己了。我知道有初學 c 語言的人 (你看他們在論壇問的問題就知道了, 完全就是沒看書所提的問題, 也難怪會有人不高興了), 憑著 google 找資料學習, 不知道為什麼他們要省下這書錢, 就算是初學等級的書籍, 也會有足以收藏一輩子的大作。你說書會過時, 尤其是在這快速更新的 it 產業, 我承認, 那你覺得這本 1997 的 pthread programming 有過時嗎? 也許你可以看完本文後再思考一下答案, 選擇一本好書並沒有想像中的容易, 買到爛書就容易不少, 我對選書頗有自信, 本本收藏的都是好書。本書程式碼的排版很糟糕, 有不少程式書籍都這樣, 程式碼連行號都沒有, 我真是搞不懂排個程式碼有什麼難的 (別說書了, 我連在 blog 的程式碼都有行號), 會比做 index 還難嗎? 不過這本特別糟, 有的 if/else 沒對好, 也沒有行號, 好像是手工打的, 有些還有錯誤, 需要對照範例程式碼免得被誤導。OH! 松格阿松格 ... 你是怎麼做書的阿? 我已經瞭解 process, thread 也在我想像中, 對 os 來說, process 可以想成是 thread 。但只有這樣的認識並不足以寫出執行良好的 thread 程式, 只是能正常的執行, 更別說是以 thread 增進效能, 但僅僅只是要寫出正確的 thread 程式, 基本要求也得要了解不少 thread 的觀念才能做到。 chapter 1 介紹了什麼是 thread, 什麼樣的程式才能用 thread 加速, 當然你想用 thread 來減速程式的執行也不是不行。還介紹了使用 multi-process 和 mulit-thread 的範例, 讓讀者們對這兩種程式有所了解。而 cpu 若只有單核心, 有些程式就算用了 thread 也是無法加速的, 若對這樣的觀念沒有清楚認識, 可能會誤用 thread, 基本上需要等某些事情發生的程式, thread 都可以幫上忙; 至於在多 cpu 上, thread 自然就如魚得水了。 chapter 2 說明 thread 的使用模型, 這是經驗的累積, 也許在不同的工作上, 你自己會發現自己的使用模型。 boss/worker mode peer mode pipeline mode 一旦你的需求和這些模型類似, 就可能可以採取這樣的方式來設計你的 thread 程式。本章有兩個範例: 一個銀行的 atm 程式, 先來一個循序式的版本, 再提供 multi-thread 版本。這個 atm 程式使用的是 boss/worker mode, 也就是 boss 這個 thread 到處接工作, 產生 worker thread 讓他們有事情做, 這樣公司才有收入可以發薪水給他們。另外一個是矩陣運算, 也是一個循序式的版本, 一個 multi-thread 版本。這樣可以讓我們比較 multi-thread 帶來的好處。 chapter3 介紹 thread 的同步機制: pthread_join mutex condition variable pthread_once 你知道幾樣呢? 如果你只知道 mutex, 那你知道為什麼有這本書了, 350 頁可不厚假的。這是複雜的一章, 談的就是 lock 機制。從最簡單的一個 mutex 開始, 到 mutex 和 condition variable 的合體, 再到好幾個 mutex 和好幾個 condition variable 一起始用。一旦有哪個 lock 和 unlock 沒配合好, 這個 thread 程式就出錯了, 腦袋得很清楚才行。lock 多了, 嗯 ... 程式很安全, 但效能不好, 還不如不要用 thread, 累死自己又懷疑怎麼 thread 都沒能增加效能, 增加的只有笑能吧! 書的範例提供一些技巧, 但手上的程式碼, 總無法像是書中這麼理想, 得自己想辦法, 證明自己的價值。本章的例子是一個 linked list, 示範使用 mutex 來鎖住讀寫操作。condition variable 也用了一個簡單的範例來說明, 需搭配 mutex 來使用, 整個等待/喚起過程有點複雜, 牽扯到 mutex 的擁有與釋放。本章最後提到如何限制 thread 的數量, ATM 伺服器關機時如何處理, thread pool 的建立方式。這些都不是很容易想到的技巧, 透過書本來學習這些前人的智慧, 輕鬆多了。這章就幾乎把寫 thread 要注意的事項都提點完畢, 算是重點章節。 chapter 4 在闡述 thread 的管理, 一開始是 thread 屬性的設定, 例如設定某個 thread stack 的位置/大小。再來是 pthread_once 的用法。 Keys: Using Thread-Specific Data 的用法算是蠻好用的, 不過 thread function 都需要用到型別轉換, 應該會難倒 c 語言初學者。我當初對於 socket 的型別轉換也是傷透腦筋, 想不出來為什麼要這樣用。這類似 c++ std::map 可以用 key 來儲存/取得某個 thread 自己的資料結構。這是另外一個 socket api 的例子 int getaddrinfo(const char *node, const char *service, const struct addrinfo *hints, struct addrinfo **res); 呼叫 getaddrinfo 之後, 還得記得要 freeaddrinfo(result), 而 res 本身又是個複雜的 linked list 資料結構, 有興趣可以參考 man page 的用法, 雖然難不倒你, 但用起來實在太複雜。 canel thread 就是把某個 thread 結束掉, 不過 thread 並不是那麼單純可以直接結束掉, 要是這個 thread 擁有一個 mutex, 而沒有釋放就把它結束掉, 那問題就大了, 你不希望這樣的程式碼發生在核四上吧。 pthread 提供 cancelability type, state 來支援取消 thread, function 不難用, 難的是怎麼使用這些機制來讓 thread 程式運作正常, 這不是容易的事。這裡的觀念是 cancelability type, state 和取消點, 當 cancelability type 是 PTHREAD_CANCEL_DEFERRED, 發動取消, 在程式碼的某些會發生取消的效果, 如果你沒預期到這些, thread 可能在你不知道的地方被結束了, 有可能 bug 就發生在這裡, 這是很難複製的 bug。這節有個範例, 支援 atm server 的取消存款的動作, 仔細閱讀一番, 你會發現要考慮週到, 不是容易事。而這些程式碼都要付出代價, 若是不符合效益, 那還不如不要支援取消功能, 賠了夫人又折兵罷了。請參考這個範例: http://maxim.int.ru/bookshelf/PthreadsProgram/htm/r_36.html#854257 ( http://goo.gl/BCAUJf ) 接著是 thread 的排程, 讀過有概念就好, 畢竟提供優先權這些屬性的成效, 只有試過才知道。比較重要的概念是 priority inversion, 若是一個優先權較低的 thread 握有一個 mutex, 那優先權高的 thread 也無技可施, 得等, pthread 提供了 pritority ceiling, priority inheritance 來處理這問題。這是把 mutex 和 thread 本身的優先權做個結合。 pritority ceiling: 如果擁有該 mutex 的 thread 優先權低於該 mutex, 會將該 thread 優先權提高和 mutex 一樣。 priority inheritance: 將持有這個 mutex 的 thread 優先權提高到和等待中的 thread 一樣。 page 209 有個發電廠的例子, 你一定馬上想到我們的核四會不會有同樣的問題吧! chapter 5 談到和 unix 之間的互動, unix 有 fork, signal 當這些東西通通和 thread 扯在一起的時候會怎麼樣呢? 會很麻煩, 麻煩到程式出錯時很難找到原因, 你得用猜的, 看是不是出在這些問題上。我補充了一篇自己的心得: http://descent-incoming.blogspot.tw/2015/01/thread-signal.html ( http://goo.gl/9dKfjj ) 另外一個是在 thread 中使用 fork 的問題, 比較明顯的是 child process 繼承了 parent process 的 mutex, 而這個 mutex 是在 lock 的狀態, 對 child process 來說 , 我還沒 lock mutex, 怎麼就已經 lock 住一個 mutex 了, 所以有個 pthread_atfork 來處理這問題。 int pthread_atfork(void (*prepare)(void), void (*parent)(void), void (*child)(void)); 這個函式看來不好惹, 事實上也的確很複雜, 書中的提到的例子得要花點腦筋來理解。 chater 6 講的東西比較雜, 有 kernel thread, user space thread, 把這兩種混合的 thread 實作。支援 thread 的 debugger (digit unix 上的除錯器)。比較各種情形下 multithread, multiprocess, single process 的執行效率, mulitthread 可不是完勝, 在某些情形下, 不使用 thread 反而是有比較好的效率。後面三個附錄很輕鬆, 隨意瀏覽即可。 ref: 千頭萬緒 : 學習多執行緒程式設計的好書 ( http://goo.gl/pS0xJd ) Programming with POSIX Threads POSIX多程程序中文版 ( http://goo.gl/O5xNCF ) // 本文使用 Blog2BBS 自動將Blog文章轉成縮址的BBS純文字 http://goo.gl/TZ4E17 // blog 版本: http://descent-incoming.blogspot.tw/2015/02/books-pthread.html -- 錢要是不花, 它就是紙。 -- ※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 60.248.61.61 ※ 文章網址: https://www.ptt.cc/bbs/CompBook/M.1430275141.A.82A.html