[問題] token在這個上下文中所代表的意思

看板C_and_CPP作者 (brotherD)時間6年前 (2017/10/23 18:12), 6年前編輯推噓8(8推 0噓 21→)
留言29則, 11人參與, 6年前最新討論串1/2 (看更多)
各位前輩好，不曉得在這個版可不可以討論這種問題?如果不行還請版主幫我把這篇刪掉 (我記得這邊好像不能自刪?) 在國外論壇中，時常看到token這個字，但我始終不清不楚它的定義。 例如，在ISO/IEC 9899:1990這個規範，對argument的定義中: An expression in the comma-separated list bounded by the parentheses in a function call expression. or a sequence of preprocessing tokens in the comma-separated list bounded by the parentheses in a function-like macro invocation. Also known as “actual argument” or “actual parameter.” 上網查到了這篇stack overfolow: https://stackoverflow.com/questions/4448661/what-is-the-exact-definition-of-token 看完一遍後，對token這個字的定義還是很模糊。 請問，token這個意思用中文表達的話，是代表著什麼意思呢? -- ※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 60.248.26.157 ※ 文章網址: https://www.ptt.cc/bbs/C_and_CPP/M.1508753553.A.5EC.html
→
10/23 18:32, 6年前 , 1F
以前再看yacc/lex時有看到，跟語法分析有關？
10/23 18:32, 1F
推
10/23 19:38, 6年前 , 2F
10/23 19:38, 2F
→
10/23 19:39, 6年前 , 3F
我自己的簡單理解是"一個有意義的最小單位" (?)
10/23 19:39, 3F
推
10/23 20:03, 6年前 , 4F
counter的感覺？
10/23 20:03, 4F
→
10/23 21:26, 6年前 , 5F
在講 token 的時候 我們一般不會說它具有語意
10/23 21:26, 5F
→
10/23 21:27, 6年前 , 6F
因為程式碼是一個連續的位元流 沒有實體的切割
10/23 21:27, 6F
推
10/23 21:27, 6年前 , 7F
衍生物（誤
10/23 21:27, 7F
→
10/23 21:28, 6年前 , 8F
所以我們要定義一組規則去把程式碼切斷成數個單元
10/23 21:28, 8F
→
10/23 21:29, 6年前 , 9F
這個過程叫做 tokenization 來提供語法分析器調用
10/23 21:29, 9F
→
10/23 21:30, 6年前 , 10F
一但語法分析器建立出語法樹後 程式碼變有了意義
10/23 21:30, 10F
推
10/24 00:42, 6年前 , 11F
就代幣(誤
10/24 00:42, 11F
→
10/24 00:43, 6年前 , 12F
個人的理解 "一片小東西上面有寫字"
10/24 00:43, 12F
推
10/24 03:12, 6年前 , 13F
就是能證明你身份的一樣物品啊
10/24 03:12, 13F
→
10/24 03:16, 6年前 , 14F
證明身分那是寫網路程式的時候好嗎
10/24 03:16, 14F
→
10/24 03:18, 6年前 , 15F
token就如上述 程式碼是一個大字串 把這個大字串依照
10/24 03:18, 15F
→
10/24 03:19, 6年前 , 16F
規則切成小段 就是token
10/24 03:19, 16F
→
10/24 03:19, 6年前 , 17F
考慮意義 你可以稱它為「單字」 反正電腦語言的WORD是
10/24 03:19, 17F
→
10/24 03:20, 6年前 , 18F
別的意思不會混淆 而token是合乎語法的基本片段
10/24 03:20, 18F
→
10/24 03:21, 6年前 , 19F
(syntactic element) 稱為「單字」也並無問題
10/24 03:21, 19F
→
10/24 03:31, 6年前 , 20F
叫「字彙」或更模糊的「片段」也行 「字串」也勉強
10/24 03:31, 20F
→
10/24 03:32, 6年前 , 21F
類似很難搞的詞還有"handle" 那比token還頭大
10/24 03:32, 21F
推
10/24 04:29, 6年前 , 22F
原來我那個解釋還真的可以用在寫程式上啊 XDDD
10/24 04:29, 22F
推
10/24 09:40, 6年前 , 23F
在分析運算式時，運算元、運算子、括號 等都是 token。
10/24 09:40, 23F
問一下題外話，請問網路上哪裡可以抓到比較清楚版本的C89/C90 Spec?這個版本看得我眼 睛好痛苦 ※ 編輯: zzss2003 (60.248.26.157), 10/24/2017 11:04:20
→
10/24 16:07, 6年前 , 24F
規格書不好看是一定的啊 準備一些基礎知識才比較好看
10/24 16:07, 24F
我指的不清楚是指印的不清楚QQ
推
10/24 22:15, 6年前 , 25F
讓我想到 latex3
10/24 22:15, 25F
※ 編輯: zzss2003 (60.248.26.157), 10/25/2017 09:48:18
→
10/25 14:02, 6年前 , 26F
那不是隨便找就有PDF嗎
10/25 14:02, 26F
→
10/25 14:05, 6年前 , 27F
Sorry正式的PDF是要錢的 但是你搜尋ISO 9899:1990
10/25 14:05, 27F
→
10/25 14:05, 6年前 , 28F
就有一堆非常接近的版本了 還可能在中國有意外驚喜
10/25 14:05, 28F
→
10/26 13:02, 6年前 , 29F
我是印出來慢慢看
10/26 13:02, 29F
‣ 更多 zzss2003 的文章
文章代碼(AID): #1PxS2HNi (C_and_CPP)
‣ 更多 zzss2003 的文章
文章代碼(AID): #1PxS2HNi (C_and_CPP)