Re: [討論] 神經網路和傳統回歸分析的共通性

看板Statistics作者incessantgas (人生勝利組YA)時間5年前 (2020/06/24 02:36)推噓0(0推 0噓 32→)

留言32則, 2人參與討論串2/2 (看更多)

謝謝老師超級詳細的解答!! 如果沒會錯意的話感覺老師的見解和我想的也些相似。現在許多model，例如提到的 logistic model或是其他regression model，有一個很重要的理論叫做大數法則，基於大數法則可以得到一些重要的統計量(mean, variance或是其他)，所以可以依此推導出可以直接apply的公式，直接fit data可以快速有效率的得到所需的parameters。 ANN其實也是透過不斷的trials來逼近理論的特性，雖然效率較差，但是現在的 computational power很強大所以不是太大問題。特別是有些data並沒有特定的patern，這時候也許ANN可以更顯得有幫助，只是overfitting永遠也是個需要隨時提醒自己注意的問題了。 ※ 引述《incessantgas》之銘言： : 在進行線性組合那個部分需要對parameters, w進行估計 : 這個部分和傳統的回歸模型非常類似 : 讓我不禁好奇是否ANN透過不斷iterate找尋最佳化w的過程 : 其實就是在創造一個擬合statistical distribution的過程? : 如果是這樣的話，那和regression model背後的邏輯就很接近了 : 各位高手對這樣的見解看法如何? : 若有誤解請指教，謝謝 : ※ 編輯: incessantgas (71.58.82.199 美國), 06/23/2020 01:45:15 : 推 joshddd: 同問 06/23 07:46 : → yhliu: ANN 通常採用的是 logistic form, 而它的 "參數估計" 是直 06/23 08:32 : → yhliu: 接按特定公式計算. 它是一直以新的資料更新參數, 並不考慮 06/23 08:34 : → yhliu: 參數估計方法的 "最優性", 也不考慮模型的統計適切性. 06/23 08:36 : → yhliu: 但由於 input 一直在增加 (n→∞), 所以, 最終得到的預測 06/23 08:38 : → yhliu: 模型將趨近於設定模型與事實最接近的狀態. 06/23 08:39 : → yhliu: 統計的 logistic regression model 操作上只有一組固定 n 06/23 08:40 : → yhliu: 的資料, 因此除了考慮模型的實務與統計適切性, 也考慮了估 06/23 08:42 : → yhliu: 計方法的最優性. 因為不是線性模型, 所以要得到最後的估計 06/23 08:44 : → yhliu: 或說是預測模型, 並沒有可直接套用的一次計算式, 而是用迭 06/23 08:45 : → yhliu: 代逼近的方法. 06/23 08:46 : → yhliu: 上面所說的 "統計適切性" 指的是模型中對資料所來自群體機 06/23 08:48 : → yhliu: 率分布的假設, 資料變異(分散)相關的假設等. 實務適切性是 06/23 08:50 : → yhliu: 指模型與事實是否足夠接近. 而 "最優性" 指的是估計方法產 06/23 08:53 : → yhliu: 生之估計結果與 "真實參數值" 之間誤差 "最小". "真實參數 06/23 08:55 : → yhliu: 值就是該模型與真實狀況最接近的狀態所對應的模型參數值. 06/23 08:57 : → yhliu: 統計的 "最優" 考慮一個結果就是估計值與 "真實參數值" 最 06/23 08:59 : → yhliu: 接近 (相同 n), 或最快趨近 (n→∞). 但由於 ANN 面對的是 06/23 09:00 : → yhliu: n→∞, 對趨近最終值速度及前面的有限 n 並不注重, 所以只 06/23 09:02 : → yhliu: 是取一個合理、易算的參數估計方法, 而不像統計人員精打細 06/23 09:04 : → yhliu: 算地想用有限 n 筆資料得到最接近真實參數值的估計. 06/23 09:06 -- ※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 71.58.82.199 (美國) ※ 文章網址: https://www.ptt.cc/bbs/Statistics/M.1592937363.A.B7C.html

→