看板 [ Fortran ]
討論串[問題] 計算的精準度問題
共 6 篇文章
內容預覽： 開啟 | 關閉 | 只限未讀
首頁
上一頁
1
2
下一頁
尾頁
#6
Re: [問題] 計算的精準度問題
推噓1(1推 0噓 0→)留言1則，0人參與, 最新作者perceval (摸魚中)時間15年前 (2009/08/07 03:24), 編輯資訊
0
0
0
內容預覽:
這是浮點運算的問題. 可以查一下round off error或是數值分析課本第一章. 粗略的說, 雙精度下(十進位)的有效位數是16位. 所以在電腦裡. 1234567890123456. ALO= 1.000000000000000. AL = 0.9999996000000000. AL-AL
(還有179個字)
首頁
上一頁
1
2
下一頁
尾頁