作者查詢 / kenduest
作者 kenduest 在 PTT [ Python ] 看板的留言(推文), 共865則
限定看板:Python
看板排序:
全部MOD10001Linux2637Python865MAC376Siam-Star264Broad_Band226Network85DiscoveryNGC70Japandrama18StarTrek18HsinYi17Gossiping14movie13OTT13Test13Horror12IPv611NHK9EAseries6Soft_Job5BigBanciao4CTS4MobileComm4Stock4Aboriginal3ask2Baseball2BigSanchung2C_and_CPP2CTV2radio2Video2basketballTW1Digitalhome1Football1Olympics_ISG1Programming1Steam1Tech_Job1ThaiDrama1<< 收起看板(40)
1F推: POST json format 的話用 request.body 內找找04/22 00:35
1F推: 給一份檔案讓大家測試一下如何04/19 11:35
8F→: python 2 簡單方式一般可以用 gevent 來處理04/14 00:57
10F→: 另外若你是對同一個網站下達抓取資料,建議多利用04/09 00:40
11F→: HTTP/1.1 的 keep-alive 方式連續抓取04/09 00:40
12F→: 也就是一個 connection 下可以有多個 http request04/09 00:41
13F→: 上面寫法會變成切斷連線之後重新產生一個新的連線04/09 00:42
14F→: 建議可以裝 requests 替代要使用 keep alive 比較快04/09 01:07
1F→: 1. 可以用 pickle or cPickle 把這種資料存起來到04/08 21:59
2F→: 檔案內,後續可以重新讀取進來還原直接使用04/08 21:59
3F→: 2. re.search() 回傳不是一般的資料類型,一般無法存04/08 22:04
4F→: 需要就每次 runtime 重新跑就好,與上面第一種情況不同04/08 22:09
15F→: 題外話個人建議用 requests 取代內建那個 urllib 更好用04/02 14:49
16F→: 若你用 python3 urllib 會有異動,程式碼也要改04/02 14:50
1F推: 直接裝 activepython 已經整合 pywin32 比較少問題03/30 01:25
2F推: 另外用 pypm 等於一般點的 pip03/30 01:27
1F推: QT 這就是很大的 Library03/29 00:16
2F→: 另外有試看看 upx 看看壓縮是否可以改善一些03/29 00:17
1F→: 直接 multi-thread 方式以前景方式單純執行 ssh 就好03/28 20:44
2F→: 不管你用 os.system() 還是目前常見的 subprocess.*03/28 20:46
3F→: 就可以達成需求。用 subprocess mobule 有高度控制功能03/28 20:47
4F→: 用 -f 應該只會讓情況變比較複雜,除非你確定這是你要的03/28 20:48
4F→: 可能交代一下抓取的方式,要不然很難猜你的問題03/15 13:06
5F→: 另外要確認一下你所在的環境是在 windows or linux 上03/15 13:07
6F→: windows cmd 上一般預設編碼都是 big5, 而 linux 上03/15 13:07
7F→: 目前環境一般都 utf8, 終端機的編碼也直接是 utf803/15 13:07
8F→: 若你抓取要顯示的文字編碼與工作顯示環境編碼不同會亂碼03/15 13:08
9F→: 至於1,2 說那個是壓縮,我想應該是要問 charset 編碼03/15 13:09