Re: [請益] 用PHP做運算 還是用MYSQL做運算 ?

看板PHP作者 (sunlights)時間13年前 (2012/11/04 23:11), 編輯推噓3(3018)
留言21則, 4人參與, 最新討論串7/12 (看更多)
※ 引述《sunlights (sunlights)》之銘言: : ※ 引述《jl844032 (湖藍者)》之銘言: : : 如題 : : 想請問版上大德們 : : 一個PHP想要從MYSQL拉資料後 再用PHP做運算比較好 : : 還是在MYSQL做完運算後 傳回來PHP比較好 : : 關於效能方面 哪個方式會比較好? : 大家都覺得用MYSQL做運算好.. : 可是我告訴大家一個實情.. : 當資料在3萬筆以上..sql的速度會奇慘無比 : 反而是php雖然也是要等待..但比起sql真是好太多了.. : 這是我的經驗.. : 所以我覺得..資料庫的軟體真的尚待努力 當時的環境是mssql (mysql我沒有測過..但是當時資料筆數大概快5萬筆..現在己經10幾快20萬) A表放的是調查者的姓名和姓別,B放填寫統計表的項目(共有20筆複選) 分別以b1,b2,b3...b20個欄位代表,欄位型態tinyint,有選為1,沒有選為0 要做出 b1 b2 b3............b20 --------------------------------------- 男 女 那時是用 select count(*) from A left join b on A.pid=b.pid where A.sex='F' and b.b1=1 select count(*) from A left join b on A.pid=b.pid where A.sex='M' and b.b1=1 select count(*) from A left join b on A.pid=b.pid where A.sex='F' and b.b2=1 select count(*) from A left join b on A.pid=b.pid where A.sex='M' and b.b2=1 ...... select count(*) from A left join b on A.pid=b.pid where A.sex='F' and b.b20=1 select count(*) from A left join b on A.pid=b.pid where A.sex='M' and b.b20=1 pid是帳號 結果跑到快吐血.. 後來直接select index 欄位用php去run 才OK 我現在都找不到用sql解決的方法.. 歡迎大家嘗試.. -- ※ 發信站: 批踢踢實業坊(ptt.cc) ◆ From: 111.240.25.155 ※ 編輯: sunlights 來自: 111.240.25.155 (11/04 23:13)

11/04 23:27, , 1F
5 萬筆 * 40 次 query = 總計看過 200 萬資料行...
11/04 23:27, 1F

11/04 23:28, , 2F
我會想用 select sum(b.b1),sum(b.b2),...
11/04 23:28, 2F

11/04 23:29, , 3F
然後出來會得到一筆 20 個欄位的資料就是輸出表格的一列
11/04 23:29, 3F

11/04 23:29, , 4F
這樣只有兩次 query 應該會好很多...
11/04 23:29, 4F

11/04 23:30, , 5F
這個方法也是考慮到 join 的效率問題才讓 join 次數越少越好
11/04 23:30, 5F

11/04 23:33, , 6F
但是怎麼關聯到A的sex呢??
11/04 23:33, 6F

11/04 23:37, , 7F
跟你一樣的 join 啊 只是不用 and b.b1=1
11/04 23:37, 7F

11/04 23:37, , 8F
where A.sex='F' 一次 where A.sex='M' 一次 共兩次query
11/04 23:37, 8F

11/04 23:41, , 9F
很棒..但是如果遇到值不是只有0,1..還有2,3,4...甚至是
11/04 23:41, 9F

11/04 23:41, , 10F
文字的話..是否也無解呢??
11/04 23:41, 10F

11/04 23:47, , 11F
對了..雖然我剛說很棒..但我實際去測6萬筆資料和6個複選
11/04 23:47, 11F

11/04 23:49, , 12F
欄位..只查男生 sex='M' 也要29秒..3萬筆資料用17秒跑完
11/04 23:49, 12F

11/04 23:50, , 13F
如果是20個複選欄位可能更多..
11/04 23:50, 13F

11/04 23:51, , 14F
如果A表格的查詢欄位從sex改成city(台北,台中,高雄..)
11/04 23:51, 14F

11/04 23:52, , 15F
可能也會查29X10(假設只有10個城市)=290秒=4.5分
11/04 23:52, 15F

11/04 23:53, , 16F
但要統計的選項愈多..就會愈慢..這點php跑的速度就超越
11/04 23:53, 16F

11/04 23:54, , 17F
這應該就是inav大的切身之痛吧.
11/04 23:54, 17F

11/04 23:59, , 18F
b.pid, A.sex, b.b1等等欄位都有做索引嗎?
11/04 23:59, 18F

11/05 00:25, , 19F
都要做索引嗎??那大概全部的欄位都要加索引了..這樣OK嗎
11/05 00:25, 19F

11/05 03:49, , 20F
b1 b2 b3...b20..這些欄位都沒有關連性ˇˇ
11/05 03:49, 20F

11/05 03:52, , 21F
硬是join 20次- -"" 我會用Union..把資料串接起來..
11/05 03:52, 21F
文章代碼(AID): #1GbeMEYs (PHP)
討論串 (同標題文章)
文章代碼(AID): #1GbeMEYs (PHP)