[問題] UTF-8 Read / Write

看板C_and_CPP作者 (卡卡獸)時間6年前 (2018/03/17 02:51), 編輯推噓1(1017)
留言18則, 4人參與, 6年前最新討論串1/2 (看更多)
開發平台(Platform): (Ex: Win10, Linux, ...) Visual Studio 2017 , Console C/C++ 額外使用到的函數庫(Library Used): (Ex: OpenGL, ...) 問題(Question): [Q1] 目前我收到的檔案,用記事本開、notepad++開, 一般 asci 是用 1 byte , 繁中、簡中(非常少數)是用 2 byte 存, 再用記事本去開,預設是用 utf-8 存 (非 asci),且無 bom 檔頭 , 所以我是否可以假設這份檔案是以 utf-8 方式存檔? [Q2] 目前我嚐試過用 fopen / _wfopen 方式去開、讀檔 , 也試過指定 ccs=UTF-8 方式去開 , 再做簡單的 printf / wprintf , 不論怎麼改跑出來的一直都是亂碼 , 最後嚐試用 char , 直接輸出到檔案去 , 神奇的事發生了 console 輸出是亂碼 , 檔案全都解得出來 去細節後 code 摘要如下 FILE * fin = fopen(sfilename.c_str(), "rb,ccs=UTF-8"); char * pBuf = (char *)malloc(filesize + 32); fread((void*)pBuf, 1, filesize, fin); pBuf[filesize] = 0; FILE * fout = fopen("output.txt", "w"); pFind = pBuf; while (pFind = strstr(pFind, pszDesc)) { pFindNext = strstr(pFind + iDescLen, pszScore); if (pFindNext == NULL) break; *(pFindNext - 1) = 0; fprintf(stdout, "%s\n", pFind); \\ 亂碼 fprintf(fout, "%s\n", pFind); \\ 正常 pFind = pFindNext + 1; } fclose(fout); free(pBuf); 請問是不是我誤會了什麼東西? 若要解析這種檔案, 請問我的方法正確嗎? 另若有版友建議直接加入 ATL CString 處理編碼的話也請告知 (乍看只換 CString 問題應該不會改善) [Q3] 最後的問題是 , 這些截出來的字串會丟到簡易型 db, 之前碰過 sqlite , 但只用過 asci 編碼 , 查了下官網 , sqlite 應是支援 utf-8 , 請問這方面是否有人有過經驗能給些意見? 或是直接丟掉 sqlite , 有其他較簡易但字元編碼較佳的 sql lib ? 最後謝謝各位細心回覆,感激不盡。 -- 就算把新鮮的肝拿回去,還是一樣寫碼到禿頭,加班到天亮, 永遠當老闆的傀儡 你是不是想這麼做? 是的話你就拿回去~ 拿啊!! 九世宅男 : 下輩子不要再讓我幹工程師了 ~ < Kuso 星爺語錄 > -- ※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 180.177.72.2 ※ 文章網址: https://www.ptt.cc/bbs/C_and_CPP/M.1521226295.A.2A0.html

03/17 02:53, 6年前 , 1F
補註一下,我疑惑的其中一個點在於 , 之前用 char * 去接
03/17 02:53, 1F

03/17 02:54, 6年前 , 2F
中文字, 在當時 (Win7/WinXp) 的 console 輸出是正常的
03/17 02:54, 2F

03/17 02:55, 6年前 , 3F
(VS2010),也不知道是不是和 VS2017 + Win10 環境相依 ?
03/17 02:55, 3F

03/17 08:10, 6年前 , 4F
Windows 的 console 使用 cp950(big5 like) 編碼
03/17 08:10, 4F

03/17 08:11, 6年前 , 5F
如果你的 windows 是台灣版的話
03/17 08:11, 5F

03/17 08:13, 6年前 , 6F
如果在 cmd 裡使用 type 指令印出 utf8 的內容,也是亂碼
03/17 08:13, 6F

03/17 12:37, 6年前 , 7F
謝謝 Sanvean.
03/17 12:37, 7F

03/17 14:10, 6年前 , 8F
sqlite3 有支援 UTF-8 喔。也有提供 UTF-16 的 API。
03/17 14:10, 8F

03/17 14:12, 6年前 , 9F
如果嘗試把 UTF-16 字串存進 UTF-8 資料庫的話,sqlite3
03/17 14:12, 9F

03/17 14:12, 6年前 , 10F
會自動幫你做轉換。
03/17 14:12, 10F

03/17 14:14, 6年前 , 11F
(如果使用 UTF-16 的 API 的話)
03/17 14:14, 11F

03/17 15:15, 6年前 , 12F
太棒了 , 謝謝 stucode
03/17 15:15, 12F

03/17 15:22, 6年前 , 13F
_wfopen只是可以讀windows下的非ansi檔名而已
03/17 15:22, 13F

03/17 15:23, 6年前 , 14F
_wfopen不關心檔案內的文字,想在windows的console
03/17 15:23, 14F

03/17 15:25, 6年前 , 15F
正常輸出utf的話要使用WriteConsoleW這個windows API
03/17 15:25, 15F

03/17 15:27, 6年前 , 16F
我的習慣是絕大部分情況下使用utf-8格式,有必要才去
03/17 15:27, 16F

03/17 15:31, 6年前 , 17F
轉換成其他的萬國碼格式,自己轉換就不再需要去煩惱這
03/17 15:31, 17F

03/17 15:32, 6年前 , 18F
些跟編碼有關的問題了
03/17 15:32, 18F
文章代碼(AID): #1Qh18tAW (C_and_CPP)
討論串 (同標題文章)
文章代碼(AID): #1Qh18tAW (C_and_CPP)