[問卦] 八卦版資料結構化有沒有搞頭？已回收

看板Gossiping作者daviden (daviden)時間7年前 (2018/11/22 03:56)推噓8(8推 0噓 10→)

留言18則, 9人參與討論串1/1

最近看到越來越多用八卦版做資料分析的例子。像先前的異常爆文統計器，或是更早以前的推文時段分析我就在想，不知道做八卦版資料結構化有沒有搞頭？所謂資料結構化，就是把PO文、推文從人類可讀的格式轉成機器可讀的格式。例如表格。下面是我用手邊現有的程式爬取的資料 https://imgur.com/mYGzaKp.jpg

用網址做ID，紀錄文章分類(tag)，標題、作者、發文IP、日期、文章內文程式也順便統計了推、噓、箭頭的數量。推文部分，則記錄在另一個表格 https://imgur.com/t3IvHlf.jpg

用網址連接到文章(foreign key)。我現在的想法是，做一個自動化的流程，每天定時更新。更新的資料自動上傳到Dropbox，讓有需要的人下載。目前的困難有： 1. 需要一台固定的電腦/伺服器。這種例行的程式，用我的筆電執行太不穩定了。家裡斷網、出門旅行都會影響資料的收集。我先前是用一個雲端伺服器(Scrapy cloud)，但他們最近開始收費了，一個月9鎂。 2. 不知道output哪一種格式，對大家比較方便。目前是用csv，因為最簡單，也可以用excel開啟。但如果要整合長時間的資料，csv就不方便。可能用資料庫會比較好。總之，就是想問問這樣做有沒有搞頭，有沒有人想使用？如果有，我再來想怎麼解決上述的問題。如果沒有，嗯...我還是會把程式放在Github，讓有需要的人使用。以上 -- ※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 129.109.143.147 ※ 文章網址: https://www.ptt.cc/bbs/Gossiping/M.1542830177.A.ED4.html

推

Wraither

11/22 03:59, 7年前 , 1^F

11/22 03:59, 1^F

推

emptie

11/22 04:00, 7年前 , 2^F

11/22 04:00, 2^F

→

emptie

11/22 04:00, 7年前 , 3^F

11/22 04:00, 3^F