[問題] 爬蟲資料存入db 並製作成api

看板Python作者 (Nine9)時間6年前 (2018/04/19 17:39), 6年前編輯推噓9(9推 0噓 18→)
留言27則, 10人參與, 6年前最新討論串1/1
目前的需求是想要將資料爬下來之後，再將資料存起來 並且可以做成一支api，讓手機app呼叫直接取得json資料 google之後的想法如下: 1. 寫好一個爬蟲的py檔, 並且將資料存到db 2. 要找一個平臺, 可以定時執行py檔（這樣app才能一直撈到最新日期的資料) 3. 要找一個平臺, 可以將db的資料變成api, 直接讓其它人撈取 (想要讓app可以call一段網址就能拿到資料, 就像openData一樣) -- 目前找到好像（？）可以實作的平臺是heroku 發現按照想法做，好像還要花上很多時間研究 例如爬到的資料要存到heroku的db 一點也沒看懂怎麼做3口3 更不要說怎麼弄成api 實在不是複製貼上馬上就可以看到測試結果的XD||| 想先確認想法沒有完全走歪囧 請問這樣的想法有問題嗎？或是有沒有其它的方式呢？ -- 目的是想要練習自幹前後端XD~~ 後端負責把資料弄好, 手機app只要拿資料就對了XD" -- ※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 111.241.179.223 ※ 文章網址: https://www.ptt.cc/bbs/Python/M.1524130786.A.536.html
推
04/19 17:45, 6年前 , 1F
第2點可以用windows內建的工作排程器定期執行py檔
04/19 17:45, 1F
唔 可是電腦會關機...@"@>
→
04/19 17:50, 6年前 , 2F
Heroku 確實可以
04/19 17:50, 2F
感謝XD!
推
04/19 17:59, 6年前 , 3F
api可以用flask或hug來做
04/19 17:59, 3F
→
04/19 17:59, 6年前 , 4F
上傳到heroku就能寫手機app去call這支api
04/19 17:59, 4F
如果熊熊搞不定heroku的db跟排程, 就用內建排程+flask試試@"@+
推
04/19 19:33, 6年前 , 5F
用flask 寫個Restful 的API server再用uwsgi運行，放d
04/19 19:33, 5F
→
04/19 19:33, 6年前 , 6F
igitalocean也可以
04/19 19:33, 6F
感謝提供其它方法 查了一下DigitalOcean居然沒有free(驚 暫排後補解法+v+>|||
推
04/19 19:48, 6年前 , 7F
我有做過類似的 是存在MongoDB然後用Flask做一個rest A
04/19 19:48, 7F
→
04/19 19:48, 6年前 , 8F
PI
04/19 19:48, 8F
→
04/19 19:49, 6年前 , 9F
補充一下排程我是用Linux的crontab就是了 要有server就
04/19 19:49, 9F
→
04/19 19:49, 6年前 , 10F
是了
04/19 19:49, 10F
感謝提供其它解法 嗯？直接用Flask就可以做API出來？我好好研究一下Flask是什麼囧
→
04/19 22:13, 6年前 , 11F
google cloud platform
04/19 22:13, 11F
感謝提供其它解法 google居然也有這種功能@口@+ 插隊先研究googleXD!!
推
04/19 23:28, 6年前 , 12F
可以用 MySQL 免費好架
04/19 23:28, 12F
→
04/19 23:29, 6年前 , 13F
我目前是用 crontab 每天抓data 存在MySQL
04/19 23:29, 13F
→
04/19 23:29, 6年前 , 14F
也有對外IP 只差在手機 app
04/19 23:29, 14F
→
04/19 23:30, 6年前 , 15F
如果是用中華電信 可以免費申請固定IP
04/19 23:30, 15F
→
04/19 23:30, 6年前 , 16F
再用 NO-IP 去轉成實體網址
04/19 23:30, 16F
咦？MySQL是指搭配phpMyAdmin那個嗎？那不就是把自己電腦當server嗎？ 這樣電腦關了不就問網址就會拿到404嗎@_@？
→
04/20 00:27, 6年前 , 17F
回樓上，既然都用no-ip了 ddns也可以處理這類問題
04/20 00:27, 17F
推
04/20 12:14, 6年前 , 18F
AWS lambda可以考慮一下
04/20 12:14, 18F
感謝提供其它解法 哦哦 是amazon的 也有免費用 加入口袋名單@_@+
推
04/20 13:15, 6年前 , 19F
資料量體不大的話說不定google app script就可以解決
04/20 13:15, 19F
→
04/20 13:16, 6年前 , 20F
也有排程可以設定，也可以透過get或post拿資料
04/20 13:16, 20F
感謝速解法@口@ google試算表有那麼厲害@口@!!!! 再...再插隊研究這個XD!! 如果可以最快最簡單弄出一個會動的東西 實在是很大的動力啊TvT ※ 編輯: relievezaoc (61.231.52.105), 04/20/2018 13:32:58
→
04/20 20:54, 6年前 , 21F
04/20 20:54, 21F
→
04/20 20:54, 6年前 , 22F
04/20 20:54, 22F
→
04/20 20:57, 6年前 , 23F
04/20 20:57, 23F
→
04/20 20:57, 6年前 , 24F
可以參考這幾篇，基本上運用方式很多元，小而巧
04/20 20:57, 24F
→
04/20 21:00, 6年前 , 25F
臨時搭建小服務很方便，我也有掛line bot的服務在這
04/20 21:00, 25F
推
04/20 22:16, 6年前 , 26F
感謝分享 原來app script也能寫api
04/20 22:16, 26F
推
04/21 11:14, 6年前 , 27F
推
04/21 11:14, 27F
‣ 更多 relievezaoc 的文章
文章代碼(AID): #1Qs6FYKs (Python)