[VBA ] 數值精度的問題

看板Visual_Basic作者 (sapphira)時間13年前 (2012/07/03 22:41), 編輯推噓1(109)
留言10則, 3人參與, 最新討論串1/1
遇到了個很基本卻不會的問題 程式碼: dim A as double dim Err double Err = A - Cells("A1") 執行時用監看式看 A: 1.06 double cells: 1.06 Variant Err: 1.xxE-14 double 想問一下為什麼執行時,Err有時為0,有時非0 要如何改才會都為0呢? -- ※ 發信站: 批踢踢實業坊(ptt.cc) ◆ From: 219.68.138.212

07/03 22:53, , 1F
四捨五入到整數? 反正Err 肯定是個趨近 0 的數
07/03 22:53, 1F

07/03 22:55, , 2F
若四捨五入到整數位精度不夠,可以往後延長ex 小數第五位
07/03 22:55, 2F

07/03 23:00, , 3F
在想應該有可以不用捨去的精確方法?
07/03 23:00, 3F

07/03 23:01, , 4F
因為看ERR值這件事還挺常用的,想學很堅實的方法
07/03 23:01, 4F

07/03 23:01, , 5F
想了解成因跟解法
07/03 23:01, 5F

07/04 00:18, , 6F
沒有什麼「堅實」的方法
07/04 00:18, 6F

07/04 00:19, , 7F
所有的浮點數輸出或使用時都要有有效數字的觀念
07/04 00:19, 7F

07/04 00:26, , 8F
要求超過實用以外的精確度 是沒有意義的
07/04 00:26, 8F

07/04 00:26, , 9F
反過來講這才是最堅實(rigid)的方法
07/04 00:26, 9F

07/04 11:40, , 10F
感謝兩位指點
07/04 11:40, 10F
文章代碼(AID): #1FymIbvu (Visual_Basic)