Re: [討論] 語文效率的偽科學

看板DummyHistory作者 (innominate)時間2年前 (2023/09/24 18:14), 編輯推噓4(4024)
留言28則, 5人參與, 2年前最新討論串17/39 (看更多)
※ 引述《fw190a (las)》之銘言: : ※ 引述《ZMittermeyer (ZM)》之銘言: : : 1 bit的定義是:如果一個黑盒子中有A與B兩種可能性,他們出現的機率相等 : : 要確定會是A還是B,我們需要的訊息量就是 1 bit : : 所以訊息論根本上是一個在研究「消除不確定性」的系統性學問 : : 訊息量的定義就是「不確定性的消除量」 : : 而傳輸 1 bit 訊息,和你使用電腦、手機、旗語、骰子、手勢、聲波都沒有關係 : : 訊息論也可以計算旗語、骰子、手勢、聲波這些通訊協定的訊息量是幾bit : 兩個可能性確定一個是1 bit, : 32確定一個的時候,訊息量是5 bit。 : 消除不確定是微觀系統內的定義, : 但可能性越多複雜度越高,訊息量單位越高也是事實, : 從一開始試圖把訊息量定義成一個"好的東西", : 就是你整個理論的執拗而已。 : 其實我看出來你的整套理論,就是因為你自認掌握著一種真理, : 所以能在世界尺度評判哪個東西訊息量高哪個低,又哪個是雜訊, : 所以你反覆套這個公式來強化自己的認知。 : 但對於他人來說你的邏輯根本雞同鴨講, : 你這真的只是包裝的傳教行為。 : ,,, : 訊息量首先是訊息多少的量度,然後才是不確定性消除的程度。 : 你用不確定性來說明訊息量大小, : 基本上是預設了你有一個給定的可能性範圍, : 才能去套/去比較兩個訊息量,如何分割那個總量。 : 但日常生活,講話的過程是在同時給出那個可能性的邊界, : 然後再慢慢透過語法與脈絡去排精確意涵。 : 不是 一堆人在這個細節搞這麼久 香農信息熵的概念是這樣 1. Plamc是人 2. Plamc是男人 3. Plamc是PTT前版主以及作家 當你把plamc當作一個黑盒子 去告訴一個不知道底細的路人 1成立的機率最高 2其次,3最低 所以機率越低的信息量越大,所以叫信息熵 因為如果信息為真 代表你排除了更多的不確定性 H = -k log P H是信息量 P是成立的機率 也可以寫成 H(S) = - pi log(pi) 如果把log底取2就是1 bit 表示法 pi 就是多個陳述語句的機率 這就是ZM要說明的信息量與機率 至於後面的推論對不對是另一回事 前面這種看不懂就會變雞同鴨講 ----- Sent from JPTT on my iPhone -- ※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 60.250.152.208 (臺灣) ※ 文章網址: https://www.ptt.cc/bbs/DummyHistory/M.1695550456.A.19D.html

09/24 19:15, 2年前 , 1F
你這樣講就更矛盾,你如何定義訊號和雜訊?
09/24 19:15, 1F

09/24 19:19, 2年前 , 2F
我矛盾什麼…我只是再科普香農的信息熵理論,你可以寫
09/24 19:19, 2F

09/24 19:19, 2年前 , 3F
一篇論文推翻它,我相信你可以拿到香農獎
09/24 19:19, 3F

09/24 19:24, 2年前 , 4F
後半完全看不懂 XD
09/24 19:24, 4F

09/24 19:27, 2年前 , 5F
後半你最簡單的理解就是陳述句的總合信息量,例如plam
09/24 19:27, 5F

09/24 19:27, 2年前 , 6F
c是男人又是前版主又是作家,是三個陳述句的機率相加
09/24 19:27, 6F

09/24 19:37, 2年前 , 7F
取2為底變成bit就是一個計數單位,你也可以取10為底變
09/24 19:37, 7F

09/24 19:37, 2年前 , 8F
成10進制。如果取2為底,你就可以得出這個信息量有多
09/24 19:37, 8F

09/24 19:37, 2年前 , 9F
少bit ,然後這個值在工程應用上就可以拿來作為編碼系
09/24 19:37, 9F

09/24 19:38, 2年前 , 10F
統來用
09/24 19:38, 10F

09/24 19:52, 2年前 , 11F
其實講的大致上是對。不過我相信Z 麥本人原本是不懂的,因
09/24 19:52, 11F

09/24 19:52, 2年前 , 12F
為照算常用漢字兩千多個字的底就是海放英文26個字母、信息
09/24 19:52, 12F

09/24 19:52, 2年前 , 13F
量超豐富呀XD他為了補洞後來才去K 書、弄了個什麼1bit故弄
09/24 19:52, 13F

09/24 19:52, 2年前 , 14F
玄虛講的好像他懂。其實這篇原po還懂得還多一些。
09/24 19:52, 14F

09/24 20:30, 2年前 , 15F
熵是表達混亂/複雜度的,機率低導致訊息量高是從中推導出
09/24 20:30, 15F

09/24 20:30, 2年前 , 16F
的概念,這要說也是訊息量的特性,而不是熵的。我知道這
09/24 20:30, 16F

09/24 20:31, 2年前 , 17F
很繞,但我認為我的表達是有涵蓋這些概念的
09/24 20:31, 17F

09/24 20:40, 2年前 , 18F
香農引進熵的概念就是要表達越混亂,機率越低,信息量
09/24 20:40, 18F

09/24 20:40, 2年前 , 19F
越大。就像「plamc是一個人」,這個機率很大,也不混
09/24 20:40, 19F

09/24 20:41, 2年前 , 20F
亂,信息量就很低。
09/24 20:41, 20F

09/24 20:43, 2年前 , 21F
所以信息量天然就跟不確定(機率)掛鉤
09/24 20:43, 21F

09/24 20:44, 2年前 , 22F
你的文章說信息量首先跟信息的多少有關,這件事理解就
09/24 20:44, 22F

09/24 20:45, 2年前 , 23F
是錯的
09/24 20:45, 23F

09/24 20:46, 2年前 , 24F
我可以說一大串包括明天太陽會從東方升起,你跟我都是
09/24 20:46, 24F

09/24 20:46, 2年前 , 25F
人,我們都要呼吸等等,這些東西堆再多信息量也是低的
09/24 20:46, 25F

09/24 20:48, 2年前 , 26F
如果我說「明天台股會跌」,如果我說的為真,這短短的
09/24 20:48, 26F

09/24 20:48, 2年前 , 27F
幾個字帶來的信息量就大了
09/24 20:48, 27F

09/24 20:49, 2年前 , 28F
或者說「明天台股會跌105點」,那這個信息量更大
09/24 20:49, 28F
文章代碼(AID): #1b40lu6T (DummyHistory)
討論串 (同標題文章)
文章代碼(AID): #1b40lu6T (DummyHistory)