Re: [問題] 解最小平方法的問題 Ax~b

看板Prob_Solve (計算數學 Problem Solving)作者 (Tidus)時間6年前 (2018/01/02 23:12), 6年前編輯推噓2(208)
留言10則, 2人參與, 6年前最新討論串4/4 (看更多)
http://web.mit.edu/ehliu/Public/Yelp/conditioning_and_precision.pdf 最近尋找了一下與這有相關的資料,有以下結論: 1. 直接解 Normal eq. --> 最爛 -1 2. x = A b (1). 選 pivot 的高斯消去 --> 反解的時候會不穩定, 最好是消成約化梯式當聯立方程組去解。 (2). 選 pivot 的 LU 分解 --> 穩定,但是計算量滿大的,還算可以的方法。 3. QR 分解 (1). 一般的 Gram-schmidt --> 不穩定,但是好平行化 (2). 修正版 Gram-schmidt --> 比(1)穩定,但較不易平行化 (3). Householder --> 可以不用選 pivot 直接解, 選 pivot 也可以,但是計算量大。 4. SVD 分解 --> 最穩定,即便是rank-deficient,但是計算量最大。 T 以我們的問題來說 A A 必定為 Full-rank 的矩陣,應該不需要擔心rank-deficient。 所以大概就是以 SVD 跟 QR Householder(QRH) 之間做選擇。 我目前是使用 LU 分解在解這問題,之後會試試看 QRH 跟 SVD, 如果有人已經寫出來希望能夠分享經驗,謝謝。 看了一下 B-spline 的方法,這個方法有辦法得到誤差是最小的嗎?? 另外梯度下降法應該會依賴於解猜得好不好吧?? -- !!!!!!!!!!!!!簽名檔破555000點擊率啦!!!!!!!!!!!!!!! Fw: [問卦] 電影:決勝21點的機率問題 https://goo.gl/2BpbB7 #1MfN3FgZ (joke)

07/22 16:41,
chx64的1/2悖論真的很經典呢
07/22 16:41
!!!!!!!!!!!!!!簽名檔破555000點擊率啦!!!!!!!!!!!!!! -- ※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 27.247.167.2 ※ 文章網址: https://www.ptt.cc/bbs/Prob_Solve/M.1514905961.A.4E0.html ※ 編輯: j0958322080 (27.247.167.2), 01/02/2018 23:13:23

01/03 09:11, 6年前 , 1F
感謝通知
01/03 09:11, 1F

01/03 09:13, 6年前 , 2F
連結裡面沒有提到SVD用了什麼算法 SVD和QR的算法都不只一種
01/03 09:13, 2F

01/03 09:15, 6年前 , 3F
b-spline fitting 我沒有研究 無法回答
01/03 09:15, 3F

01/03 09:17, 6年前 , 4F
對稱正定矩陣是凸函數 梯度下降法不必用猜的
01/03 09:17, 4F

01/03 09:19, 6年前 , 5F
只需注意步伐大小將影響收斂速度 https://goo.gl/XpZH1j
01/03 09:19, 5F

01/03 09:25, 6年前 , 6F
梯度共軛法甚至保證N步就得到答案(根本就是公式解了)
01/03 09:25, 6F

01/03 09:26, 6年前 , 7F
^^^^^^^^^^ 共軛梯度法
01/03 09:26, 7F

01/03 10:30, 6年前 , 8F
這樣看起來這問題最佳解法應該是共軛梯度法了
01/03 10:30, 8F

01/03 10:46, 6年前 , 9F
不過後來看一下應該是對於不同的條件有不同的step si
01/03 10:46, 9F

01/03 10:46, 6年前 , 10F
ze,所以不想繼續修改程式的話SVD或QR還是最佳選項
01/03 10:46, 10F
文章代碼(AID): #1QIw5fJW (Prob_Solve)
文章代碼(AID): #1QIw5fJW (Prob_Solve)