[請益] 取得大量數據的管道？

看板Soft_Job作者 (達)時間7年前 (2019/01/18 09:20), 編輯推噓24(26推 2噓 42→)
留言70則, 32人參與, 7年前最新討論串1/1
一般人能拿到的大數據資料 除了股市、政府公開資訊(例如氣象) 還有自己爬蟲爬網頁 之外可能還有什麼門路取得大量有品質的數據？ 且不用花什麼錢的 一般人指的是沒有身在什麼學術/研究單位 或相關的職場單位 thanks -- ※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 211.72.78.253 ※ 文章網址: https://www.ptt.cc/bbs/Soft_Job/M.1547774443.A.BED.html
→
01/18 09:24, 7年前 , 1F
你這種問法的答案就是沒有,最少給個領域吧
01/18 09:24, 1F
→
01/18 09:32, 7年前 , 2F
有品質 = 花錢整理過，你覺得對方為什麼要無償提供
01/18 09:32, 2F
推
01/18 09:32, 7年前 , 3F
國外是很多不過也都是本來就開放的，其他就要看相關社群
01/18 09:32, 3F
→
01/18 09:33, 7年前 , 4F
有沒有人放，剩下就是自己紀錄
01/18 09:33, 4F
推
01/18 09:43, 7年前 , 5F
kaggle啊
01/18 09:43, 5F
推
01/18 09:45, 7年前 , 6F
健保資料庫花錢就有摟
01/18 09:45, 6F
→
01/18 09:46, 7年前 , 7F
台灣醫療資料連整個家族都有紀錄
01/18 09:46, 7F
推
01/18 09:46, 7年前 , 8F
Microsoft Research
01/18 09:46, 8F
推
01/18 09:47, 7年前 , 9F
內行人都知道健保資料庫和垃圾沒兩樣...
01/18 09:47, 9F
→
01/18 09:48, 7年前 , 10F
一個一天看上百個患者的醫生,你認為他的診斷碼會多正確?
01/18 09:48, 10F
→
01/18 09:49, 7年前 , 11F
更不用說為了開藥而硬加上去的診斷碼..
01/18 09:49, 11F
→
01/18 09:50, 7年前 , 12F
診斷都有問題了,做出來搞笑的結論也不意外..........
01/18 09:50, 12F
推
01/18 10:01, 7年前 , 13F
美國官方很多問卷資料庫可以抓 以前玩過brfss
01/18 10:01, 13F
→
01/18 10:18, 7年前 , 14F
嘉實資訊 20年前就開始賣金融資料庫
01/18 10:18, 14F
噓
01/18 10:29, 7年前 , 15F
想要有品質又不想花錢，去自己爬自己整理
01/18 10:29, 15F
推
01/18 10:32, 7年前 , 16F
現在滿多資料政府都有開放OpenData了
01/18 10:32, 16F
推
01/18 10:37, 7年前 , 17F
我們系上教授很愛用健保資料庫發論文欸XD
01/18 10:37, 17F
推
01/18 11:59, 7年前 , 18F
跟詐騙集團買
01/18 11:59, 18F
推
01/18 12:01, 7年前 , 19F
01/18 12:01, 19F
推
01/18 12:16, 7年前 , 20F
曾經遇過期刊審稿意見說不要再用台灣健保資料庫了
01/18 12:16, 20F
推
01/18 12:17, 7年前 , 21F
github trending
01/18 12:17, 21F
推
01/18 13:19, 7年前 , 22F
花錢crowd sourcing呀
01/18 13:19, 22F
→
01/18 14:25, 7年前 , 23F
舊金山好像有opendata?
01/18 14:25, 23F
推
01/18 16:45, 7年前 , 24F
健保資料庫就是個聊勝於無的source
01/18 16:45, 24F
→
01/18 16:46, 7年前 , 25F
問卷資料又比健保資料更難處理
01/18 16:46, 25F
推
01/18 19:33, 7年前 , 26F
阿不就open data
01/18 19:33, 26F
→
01/18 20:49, 7年前 , 27F
九樓V大說這些有證據嗎？
01/18 20:49, 27F
→
01/18 20:49, 7年前 , 28F
剛好小弟也是這行的
01/18 20:49, 28F
→
01/18 20:49, 7年前 , 29F
您真的知道健保審查過程跟作法？
01/18 20:49, 29F
→
01/18 20:49, 7年前 , 30F
或許真的有這狀況但絕對是少數中的少數
01/18 20:49, 30F
→
01/18 20:49, 7年前 , 31F
不要以偏概全，不懂裝懂
01/18 20:49, 31F
→
01/18 20:59, 7年前 , 32F
他可能分不清甚麼是診斷碼跟醫囑
01/18 20:59, 32F
推
01/18 21:42, 7年前 , 33F
有品質就是有人整理過 所以...
01/18 21:42, 33F
→
01/19 00:59, 7年前 , 34F
推一二樓
01/19 00:59, 34F
推
01/19 02:20, 7年前 , 35F
Imagenet
01/19 02:20, 35F
推
01/19 07:59, 7年前 , 36F
呵呵,bean大,本人接觸到跟這方面看到的絕對不比你少....
01/19 07:59, 36F
推
01/19 07:59, 7年前 , 37F
GitHub
01/19 07:59, 37F
→
01/19 08:00, 7年前 , 38F
就曾有健保審查委員自己親口說看不懂就刪了再說...
01/19 08:00, 38F
→
01/19 08:01, 7年前 , 39F
然後健保局還規定要刪一定比例.所以都先刪再說..反正醫院
01/19 08:01, 39F
→
01/19 08:03, 7年前 , 40F
一定會回覆...
01/19 08:03, 40F
→
01/19 08:04, 7年前 , 41F
至於健保一堆規範才是造就出亂給診斷碼的禍源...
01/19 08:04, 41F
推
01/19 08:10, 7年前 , 42F
真正有用的資料根本不會在健保資料庫...
01/19 08:10, 42F
→
01/19 08:11, 7年前 , 43F
醫學方面的研究,很多都是從自己醫院的資料庫再另外拉資料
01/19 08:11, 43F
→
01/19 08:13, 7年前 , 44F
但對於其他領域的人,根本摸不到也不懂,只好從健保資料庫
01/19 08:13, 44F
→
01/19 08:14, 7年前 , 45F
去玩一下皮毛...
01/19 08:14, 45F
→
01/19 14:00, 7年前 , 46F
中國政府
01/19 14:00, 46F
噓
01/19 14:11, 7年前 , 47F
要馬兒好又要馬兒不吃草。你要不要當那隻馬
01/19 14:11, 47F
推
01/19 15:21, 7年前 , 48F
請問有人知道製造業的資料要去哪邊找嗎? 需要自費的也可以
01/19 15:21, 48F
→
01/19 15:21, 7年前 , 49F
謝謝
01/19 15:21, 49F
→
01/19 23:52, 7年前 , 50F
vfgce 刪資料有好有壞，好是提高品質
01/19 23:52, 50F
→
01/19 23:53, 7年前 , 51F
壞是，刪 data 等於在挑 data，資料跟實際狀況會不同
01/19 23:53, 51F
→
01/19 23:58, 7年前 , 52F
政府有 opendata 但品質堪慮
01/19 23:58, 52F
→
01/19 23:59, 7年前 , 53F
除非醫院真正想研發 DATA 這塊
01/19 23:59, 53F
→
01/19 23:59, 7年前 , 54F
不然資料庫都外包，品質真的很爛
01/19 23:59, 54F
→
01/20 00:01, 7年前 , 55F
製造業的話，kaggle 有生產線分析的比賽
01/20 00:01, 55F
→
01/20 00:01, 7年前 , 56F
真的要玩 DATA ，選國外的絕對比台灣好
01/20 00:01, 56F
推
01/20 12:42, 7年前 , 57F
政府有 open data 你是說這個嗎
01/20 12:42, 57F
推
01/20 16:33, 7年前 , 58F
已找到製造業數據，感謝f49提供相關資訊。
01/20 16:33, 58F
推
01/20 22:11, 7年前 , 59F
你說的都是 google 一直做的呀
01/20 22:11, 59F
推
01/20 22:13, 7年前 , 60F
做免費軟體或服務再從裡面撈你要的
01/20 22:13, 60F
推
01/21 10:19, 7年前 , 61F
健保資料庫頂多用於流病公衛,而且其中的labeling是有問題的
01/21 10:19, 61F
→
01/21 10:19, 7年前 , 62F
請小心服用....
01/21 10:19, 62F
→
01/21 10:20, 7年前 , 63F
很多真正的醫學研究,用醫院的資料庫是因為真正有用的病人
01/21 10:20, 63F
→
01/21 10:22, 7年前 , 64F
資訊是存在醫院端的資料庫,不會上傳到健保資料庫去
01/21 10:22, 64F
→
01/21 10:24, 7年前 , 65F
資料庫的內容有沒有用,是看存的是怎樣的資料,跟外包沒有
01/21 10:24, 65F
→
01/21 10:24, 7年前 , 66F
很大關係..
01/21 10:24, 66F
→
01/21 10:25, 7年前 , 67F
再差的醫院端資料庫,有用的東西可能還比健保資料庫有用.
01/21 10:25, 67F
→
01/21 10:26, 7年前 , 68F
健保資料庫其實比較像流水帳,除了資料量超大,跨院區外,並沒
01/21 10:26, 68F
→
01/21 10:26, 7年前 , 69F
有比醫院端資料庫好
01/21 10:26, 69F
→
01/21 21:23, 7年前 , 70F
AWS Public Dataset.
01/21 21:23, 70F
‣ 更多 dharma 的文章
文章代碼(AID): #1SGIdhlj (Soft_Job)