作者查詢 / StubbornLin

總覽項目：發文 | 留言 | 暱稱

作者 StubbornLin 在 PTT [ Python ] 看板的留言(推文), 共470則

限定看板：Python

看板排序：

全部Soft_Job897Python470toberich448GameDesign366Suckcomic296C_and_CPP246FCU_Talk225Programming141Violin139AfterPhD98CODE_GEASS84Haruhi83love-vegetal62specialman58Jinmen56CSSE52TRXradio52WarCraft50CodeJob49Stock44Tech_Job44EZsoft42travian35SYSOP34paranormal28ESP26EAseries22soho22Windows22PushDoll20Oversea_Job19Steam19StarCraft17Ajax16AOE16SuperIdol15ck51st31813MusicGame13Flash12Gossiping12GTA12Key_Mou_Pad12KOTDFansClub12Lan-Yu12KMT10C_Chat9Fund9ascii_wanted8SanFrancisco8Android7Bitcoiners7DigiCurrency7Ecophilia7Little-Games7PHP7piano7SMSlife7THU-CHE967DeathNote6Geography6movie6TigerBlue6AudioPlayer5ComGame-Plan5hardware5BBSmovie4P2PSoftWare4ScienceNote4TFG05Book4Web_Design4XBOX4DirectSales3Hate3HatePolitics3IA3Kids_Sucker3MBA3Military3ONE_PIECE3PCSH91_3053TAXI3WarCraftChat3CareerPlan2Chan_Mou2Cloud2CSMU-MED972FCU_ECON_93B2FLAT_CLUB2Google2IAM_BioChip2kochikame2LittleNew2media-chaos2MRT2MuyaViolin2NARUTO2NCCU08_HISTO2NCCU09_PHILO2NCYU_Fst_982NKUTEE2NorthAmerica2NUK_AC982NUU_Talk2PeopleSeries2SFFamily2TA_AN2TFSHS64th3092transgender2VISA2W-Philosophy2WOW2AU_Talk1B97A013XX1Bank_Service1Beauty1Broad_Band1C_Sharp1CCSH_89_3171CCU_EPARC1CGSH3081CGU_EE981Cheer1ck50th3231ck56th3231ck_17_3011cksh76th171cksh79th011cksh84th3021cksh84th3121CLVSC1CMU_BST011CMU_M501Conan1consumer1CSMU-AC921CSMU-MED931CSMU-MED951dlsh-7th-3031ED1011Emergency1FCK-GARDEN1FCU_EE97A1FCU_EE97B1FCU_GoodLife1FCUMCAE-SB1FCUProblems1FEZ1FJU-Stat95A1FJU_CA_981foreigner1FSHS-89-3121FuMouDiscuss1GossipPicket1graduate1GUNNM1hc3141HCHS593051HCHS603091HCHS923021HK-movie1HLHS_10thU1Hokuto1HSNU_11181Hunter1Immigration1ISU_CS_93A1ISUEE93A1JinYong1KNU1KS93-3151KS93-3201KS94-3091KS95-3011KS95-3021KUAS1KUAS_CSIE1LHU1Linux1LIU-CHEN1Lost1LTK1Master_D1Minecraft1money1NCCU06FMGRAD1NCCU_SEED1NCHU-AGR021NDHU-His1001NDHU-MSE921NDHU-PA961NDMC-M1061NKFUST1NTUCGM1NTUE-CS981NTUFRC861NTUGIEE_RFIC1NTUST-ET-A961NTUST_Talk1NTUSTET-TEAM1NTUT_IPET4951NTUT_MMRE931NUTN_MS991NUU-MSE-971Ocean1PDA1PHAT-MEN1PhD1Policy1RSSH92_3051share1Simcity1SRW1SSSH-09th1141Stephen1STU1StupidClown1STUST1Sub_GTopics1TFSHS1TFSHS61st3211TFSHS65th3091THU_PH901TKU_IHM1TKU_Software1Tobacco1TTU-AFL1TTU-I90B1tutor1TuTsau1TWproducts1viatording971Wanhua1WRADPE1WuLing46-3171YH33rd3191YP85-3121YP90-3061YZU_CN99A1<< 收起看板(238)

首頁

尾頁

[心得] 用Python抓網頁的心得

[ Python ]43 留言, 推噓總分: +15

作者: StubbornLin - 發表於 2008/10/05 16:25(17年前)

5^F→StubbornLin:urllib不是不好而是不夠好10/05 17:31

6^F→StubbornLin:當你有一堆網頁想非同步抓取 urllib就顯得不適合10/05 17:31

7^F→StubbornLin:因問它是同步的函數而twisted整個都是非同步在跑的10/05 17:32

8^F→StubbornLin:一次只抓一頁的話整個時間都等在那個網頁上面10/05 17:34

9^F→StubbornLin:同時間很多個網頁一起抓誰先好先parse誰這樣比較快10/05 17:34

10^F→StubbornLin:cpu使用率和網路使用率也會比較高10/05 17:34

11^F→StubbornLin:而我在使用Twisted之前就是用urllib自己寫threadpool10/05 17:35

12^F→StubbornLin:發現Twisted可以用我寫threadpool根本是重覆twisted10/05 17:35

13^F→StubbornLin:Twisted的架構比我當初寫的好太多就沒理由用urlopen10/05 17:36

17^F→StubbornLin:Twisted有IOCP epoll等等reactor可以用10/05 17:47

18^F→StubbornLin:我的水管太小加上當時用BeautifulSoup10/05 17:48

19^F→StubbornLin:抓財報資料幾乎都卡在cpu使用率上10/05 17:49

20^F→StubbornLin:當水管大又有大量但小筆的資料時 Twisted的優勢10/05 17:49

21^F→StubbornLin:應該就可以表現出來還有它極度穩定等等好處10/05 17:49

22^F→StubbornLin:它的Deferred機制也很好用我都串起getPage10/05 17:51

23^F→StubbornLin:後面放Parser 接著存到資料庫等等10/05 17:51

24^F→StubbornLin:它本身就是一個責任鏈最麻煩的錯誤它也有處理10/05 17:52

25^F→StubbornLin:除此之外還可以用來包裝retry的功能10/05 17:58

26^F→StubbornLin:http://tinyurl.com/3qk6cm10/05 18:00

31^F→StubbornLin:= .= 你不覺得soup喝下去整個CPU快燒起來了嗎10/05 23:19

33^F→StubbornLin:我是指beautifulsoup太吃資源= =10/05 23:37

35^F→StubbornLin:re寫少還算輕鬆寫很多就很頭大= =10/05 23:51

36^F→StubbornLin:不管怎樣 lxml高效率又好用 XD10/05 23:52

39^F→StubbornLin:有錢鬼 Q_Q 用什麼cluster 有錢的話我也想分散阿 ><10/07 00:45

Python 2.6

[ Python ]6 留言, 推噓總分: +4

作者: mythnc - 發表於 2008/10/04 20:47(17年前)

1^F推StubbornLin:我也有在考慮要不要升級= =10/04 21:24

2^F→StubbornLin:不過寫一半project 到時出問題就頭大= =10/04 21:24

[問題] 一個計算誤差的問題

[ Python ]10 留言, 推噓總分: +4

作者: endroll0118 - 發表於 2008/10/04 15:25(17年前)

9^F推StubbornLin:我好像在Python 2.6的更新裡瞄到有分數可以用?10/04 23:42

[資訊] Python學習手冊第三版中文版即將出版??

[ Python ]4 留言, 推噓總分: +3

作者: max750111 - 發表於 2008/10/01 18:21(17年前)

2^F推StubbornLin:沒看過中文版的翻得怎樣= =?10/01 18:30

Re: [問題]一些觀念的釋疑?

[ Python ]2 留言, 推噓總分: 0

作者: StubbornLin - 發表於 2008/09/30 12:30(17年前)

2^F→StubbornLin:嗯可改變和不可改變09/30 13:50

[心得] 主機商 WebFaction

[ Python ]14 留言, 推噓總分: +5

作者: StubbornLin - 發表於 2008/09/28 23:47(17年前)

5^F→StubbornLin:SSH反應還好阿@@" 我打字很快可是它幾乎跟得上09/29 10:29

6^F→StubbornLin:新版TG? 應該可以自己安裝阿@@"09/29 10:31

7^F→StubbornLin:easy_install可以裝在HOME目錄下的樣子09/29 10:32

8^F→StubbornLin:所以理論上應該是你要裝什麼都沒有問題09/29 10:32

9^F→StubbornLin:我安裝WordPress 它提供的版本舊一個版本09/29 10:40

10^F→StubbornLin:我也是自己手動安裝就好了 FTP也可以用09/29 10:40

11^F→StubbornLin:加上console 所以應該都辦得到09/29 10:40

Re: [資訊] Python的討論區

[ Python ]11 留言, 推噓總分: +1

作者: StubbornLin - 發表於 2008/09/28 12:06(17年前)

2^F→StubbornLin:嗯?09/28 12:09

8^F→StubbornLin:資源是很多可是都是英文為主今天如果我不懂英文09/28 14:34

9^F→StubbornLin:看不懂英文文件就囧了 = =09/28 14:34

10^F→StubbornLin:所以對於入門而言門檻還得再低至少語言要能用中文09/28 14:34

Re: [資訊] Python的討論區

[ Python ]7 留言, 推噓總分: +3

作者: monomorium - 發表於 2008/09/28 09:14(17年前)

5^F推StubbornLin:同意三樓我也覺得繁中的文件很重要09/28 12:17

6^F→StubbornLin:只是那量翻譯起來可能會要人命= =09/28 12:17

Re: [資訊] Python的討論區

[ Python ]50 留言, 推噓總分: +2

作者: StubbornLin - 發表於 2008/09/27 23:09(17年前)

4^F→StubbornLin:樓上這樣說法的理由是....?09/28 00:55

6^F→StubbornLin:c/c++的不同是類比mailing list和web forum的不同09/28 00:57

7^F→StubbornLin:分散資源本來就會發生的事你今天選擇了Django09/28 00:58

8^F→StubbornLin:參加社群幫忙開發你還有多餘的心力去玩TurboGears嗎09/28 00:58

9^F→StubbornLin:就算你兩種都玩那三種四種呢?09/28 00:59

10^F→StubbornLin:我如果說得不對可以提出來我們可以討論09/28 01:00

11^F→StubbornLin:但是只丟一個結論不給我任何理由的說法我無法接受09/28 01:00

12^F→StubbornLin:你說你無法認同就請提出你的看法09/28 01:00

16^F→StubbornLin:政大應數《數理資訊》討論版我該說什麼= =?09/28 01:16

17^F→StubbornLin:你難道會跑去別人家裡討論功課嗎 XDDD?09/28 01:17

18^F→StubbornLin:爽是很重要沒錯可是你沒反駁到什麼= =||09/28 01:18

21^F→StubbornLin:當然你可以覺得很爛可是總要有個理由09/28 01:25

23^F→StubbornLin:你說設計哲學上不同可是討論區也是所以不成理由阿09/28 01:25

32^F→StubbornLin:可是性值相似但是卻有不同的東西的確會有此現像09/28 01:31

33^F→StubbornLin:同樣是網頁開發框架選擇TG和DJ都有機會成本09/28 01:32

34^F→StubbornLin:C/C++因為C++大至上包含C 情況比較不一樣09/28 01:33

35^F→StubbornLin:C/C++的確是不夠好的例子不過大至上來講是這樣09/28 01:34

36^F→StubbornLin:1. 性質相似但有不同09/28 01:35

37^F→StubbornLin:2. 選擇其中一種會有其機會成本09/28 01:35

43^F→StubbornLin:我要表達什麼= =? 你為何不問他們要表達什麼呢?09/28 01:51

45^F→StubbornLin:回了一個一行文說這就是分散資源的例子09/28 01:51

46^F→StubbornLin:你為何不問他要表達什麼反而問我要表達什麼= =??09/28 01:52

47^F→StubbornLin:我不明白耶 XD09/28 01:52

48^F→StubbornLin:我要表達的就只是並沒有分散到資源如此而已09/28 01:52

Re: [資訊] Python的討論區

[ Python ]4 留言, 推噓總分: 0

作者: qrtt1 - 發表於 2008/09/26 01:02(17年前)

1^F→StubbornLin:是沒錯啦可是很多人不用telnet玩bbs = =09/26 01:30

2^F→StubbornLin:web對初學者比較親切 XD09/26 01:31

3^F→StubbornLin:而且有討論過的東西web搜尋引擎也比較好找09/26 01:34

首頁

尾頁