PTT數位生活區 / Python

[問題] rolling+apply過慢

看板Python作者 (OoooO)時間2年前 (2022/08/01 08:48), 編輯推噓2(2推 0噓 15→)
留言17則, 3人參與, 2年前最新討論串1/1
各位高手好 想請問df.rolling().apply(fun)有無更快的方式，其中fun部分為rolling數據跟一固定 數據做相關係數，有試過numba，不過好像沒有較快，想用cython，看起來有點難度，且 沒學過c，不知有何替代方案，或是應專研以上方法，謝謝。 -- ※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 42.73.122.83 (臺灣) ※ 文章網址: https://www.ptt.cc/bbs/Python/M.1659314895.A.1C7.html
推
08/01 11:47, 2年前 , 1F
polars rolling sum應該可以 只是你需要用公式展開
08/01 11:47, 1F
→
08/01 11:47, 2年前 , 2F
計算
08/01 11:47, 2F
→
08/01 17:04, 2年前 , 3F
你把前後運算寫成矩陣之後乘開，再用numba/cupy炸
08/01 17:04, 3F
→
08/01 17:06, 2年前 , 4F
或者直接裝cudf來用
08/01 17:06, 4F
→
08/01 17:06, 2年前 , 5F
你應該有卡吧？
08/01 17:06, 5F
→
08/01 17:07, 2年前 , 6F
運算瓶頸是pamdas single thread，就算你後面call再
08/01 17:07, 6F
→
08/01 17:07, 2年前 , 7F
多的資源，它還是single thread
08/01 17:07, 7F
→
08/01 20:42, 2年前 , 8F
polars我來試試。我是用colab在玩...，然後df shape 70
08/01 20:42, 8F
→
08/01 20:42, 2年前 , 9F
00휲000完全跑不動roll加apply，請問cupy cudf有什麼好
08/01 20:42, 9F
→
08/01 20:43, 2年前 , 10F
懂的教學，本身文組不是太懂..，謝謝
08/01 20:43, 10F
→
08/02 00:49, 2年前 , 11F
這和文不文理不理沒關係，cupy你就當numpy寫就好
08/02 00:49, 11F
→
08/02 00:51, 2年前 , 12F
找 cudf colab應該都有安裝程式碼可以抄，Nvidia
08/02 00:51, 12F
→
08/02 00:51, 2年前 , 13F
rapids 不是冷門社群
08/02 00:51, 13F
→
08/02 00:59, 2年前 , 14F
這類擴充移植到lib一般都會幾乎兼容於原本的版本
08/02 00:59, 14F
推
08/02 14:54, 2年前 , 15F
看你要不要弄個可以重現你問題的程式碼
08/02 14:54, 15F
→
08/02 14:54, 2年前 , 16F
這樣板友也比較好幫你看出哪裡是效能瓶頸
08/02 14:54, 16F
→
08/02 14:54, 2年前 , 17F
才好對症下藥，幫你解決問題
08/02 14:54, 17F
‣ 更多 gensation 的文章
文章代碼(AID): #1YvoBF77 (Python)
Python 近期熱門文章
更多 近期熱門文章 >>
PTT數位生活區 即時熱門文章
更多 即時熱門文章 >>
‣ 更多 gensation 的文章
文章代碼(AID): #1YvoBF77 (Python)