[ＰＴ] GD File Stream為冷門種長期作種？

看板P2PSoftWare作者 (囧rz)時間6年前 (2017/12/11 13:42), 6年前編輯推噓10(10推 0噓 28→)
留言38則, 11人參與, 7年前最新討論串1/1
Google 前幾個月公告了 Backup & Sync 以及 Drive File Stream 這兩個新的程式。搭配無空間上限的教育版 G Suite，前者能達成無限備份的效果，後者我猜想或許有機會可能幫助長期 PT 的冷門種作種，但幾乎沒見過國內外的相關討論，因此在這邊貼出來看大家是否有經驗： 對於作種時間能換成積分的PT站，作種越久越好，可換成上傳量。華人的各站都有積分制，而國外的 BTN、PTP 的積分制下，冷門種作種時間越長，每個月自動產生的積分量是隨作種時間成正變的增長。 這些長期作種的冷門種，其實很少有人上傳，佔硬碟空間，但刪了又可惜。 Google 的 Drive File Stream 能讓人將檔案放上 G Suite，不佔本地硬碟空間，mount 成自己電腦的一個碟，看起來就像本地碟，用檔案總管就看得到了，用到其中的檔案時，Drive File Stream 會自動將該檔抓到本地，就可使用了。 因此我想到，如果硬碟空間不夠了，與其將作種的檔案刪除，是否可將已經極少人在存取的檔案移至 Drive File Stream？只要用 BT client 的 set download location 換個磁碟即可（例如從 D:\Seeding 換成 G:\雲端磁碟\Seeding），在外界看到的還是一模一樣。 當然，有人要那檔時，系統得先從雲端下傳再上傳，速度會很慢，但這種冷門檔本來就很少人會下載，速度本來就快不起來，留著比起刪除還是好些？ 看有沒有人試過，有什麼心得？長期來說可行嗎？ 我擺了幾個檔案幾天，目前的片面經驗： 1. QBtorrent 沒問題，utorrent 無法移至 Drive File Stream 的目錄下，可能是因 Drive File Stream 的目錄有中文。有辦法將 Drive File Stream 的目錄改為英文嗎？（我改不了目錄名。） 2. 如果偶爾因為網路問題或是 Drive File Stream 沒開而導致 file error， resume 就可以恢復正常。 3. C槽是SSD的人，記得將 Google 的各項暫存目錄改為 junction 連結到HDD上，以減少對SSD的不必要的寫入動作。（這無關PT。） -- -- ※ 文章網址: https://www.ptt.cc/bbs/P2PSoftWare/M.1512970951.A.378.html
→
12/11 14:56, 6年前 , 1F
這陣子比較常聽到傳統硬碟掛掉，SSD反而少些
12/11 14:56, 1F
的確什麼碟都有災情，重要檔案實在得備份啊 :Q SSD是不怕震，傳統SSD一震就容易壞。 但SSD的寫入有壽命，雖然說那壽命是超過一般人用的寫入次數。 BT對磁碟的寫入量真得蠻驚人的，不只是寫檔本身，還有儲存各個torrents狀態的檔案，像Qbittorrent因為每個種子是一個檔案，相當於每幾分鐘就重寫入暫存檔，我之前作種五千個種子時，每十五分鐘SSD會被Qbittorrent操到滿載40秒。後來看了一下SSD管理軟體，一個小小的SSD竟已寫入幾十TB的資料量了，趕緊把 QBittorrent 的目錄 mklink 到可儲存狀態的 RAM Disk 上，關機時才自動存回SSD上。 Utorrent 由於所有種子是同一個暫存檔，因此理論上暫存檔沒有寫入得像Qbittorrent 這麼凶。 另外，我們公司給客戶有用大台的伺服器，用最貴的企業級的SSD以及企業級的HDD，也是照樣一台接著一台壞，這些都是機率問題，只能用RAID及備份減少災情。
→
12/11 16:02, 6年前 , 2F
不小心有人下載造成announce數過高的時候
12/11 16:02, 2F
→
12/11 16:03, 6年前 , 3F
當天你的帳可能會被禁用上下傳24小時
12/11 16:03, 3F
→
12/11 16:50, 6年前 , 4F
這是把檔案放雲端，有人需要時才從雲端讀取檔案到
12/11 16:50, 4F
→
12/11 16:50, 6年前 , 5F
本地，所以實際上連線到雲端的還是只有自己吧。
12/11 16:50, 5F
→
12/11 18:03, 6年前 , 6F
是只有自己沒錯 但GD跟GCP有單日的announce數上限
12/11 18:03, 6F
→
12/11 18:03, 6年前 , 7F
這種掛種法很容易造成announce數超標
12/11 18:03, 7F
謝謝 fromPtoZ 提出的這議題，的確是須要多探討這點。目前我找到的 GD 的限制如下： There is a bandwidth limitation per viewer and per owner, and a limitation on the number of times a document can be viewed. The limits are 10TB/day and 50,000 views/day with bursts up to 900/min (15 QPS) per document. Also, in June 2017 a quota for creating blobs of 100Gb/day was established. It’s possible to create files of bigger size, but after this quota is exceeded all subsequent blob creation operations will fail. 一般 Hinet 光世代不會超過流量的上限，因此只怕單檔 100GB 的限制，以及 50,000 views/day with bursts up to 900/min (15 QPS) per document 的限制。 後者我想就是 fromPtoZ 提醒的議題。不知道有沒有人知道在 Drive File Stream 的使用模式下，從 GD 端看到的是一個 request 然後把整個檔或檔案的某一大段搬回家，還是每次是一小點的 request? 先前我個人猜比較像某檔整個搬回家，但這樣的缺點就是某人縱使只抓一小段，整個幾十GB的檔案就會被搬回家，有點浪費頻寬 XD 只適合存真正冷門的檔。 如果是一次只讀取檔案的一小部分，雖然耗的頻寬就很小，但就會有 fromPtoZ 提醒的這個問題了。 還好超過限制後 GD 只是自動中止服務24小時，不會停權？因此看有沒有仁人志士能測試看看 XD
推
12/11 22:16, 6年前 , 8F
要把GD的目錄改英文 先試試看GD的語系改英文
12/11 22:16, 8F
→
12/11 22:53, 6年前 , 9F
嗯，語系改英文過，結果沒用 :Q
12/11 22:53, 9F
→
12/11 22:55, 6年前 , 10F
或許在安裝時就釘死了。
12/11 22:55, 10F
推
12/13 10:32, 6年前 , 11F
很酷的思維
12/13 10:32, 11F
→
12/13 12:38, 6年前 , 12F
這篇的做法其實在以前windows的netdrive跟unix的
12/13 12:38, 12F
→
12/13 12:38, 6年前 , 13F
google-drive-ocamlfuse都有人試過了
12/13 12:38, 13F
→
12/13 12:39, 6年前 , 14F
我朋友測試結果就是有被禁用上下傳過
12/13 12:39, 14F
剛終於找到相關討論了，在PTP上，有帳號的人可參考： http://0rz.tw/2acMs 去年的討論，是基於 Amazon Cloud Drive + rclone 加密。可以 random read。 畢竟是PT站內討論，不方便PO出原討論內容，但許多人都表示成功，有人在ACD放了30TB作種了六個月，沒有任何問題，並提到有其他人在GD放了160TB沒問題。 不過不確定那時GD的限制是否有現在這麼嚴。 另一方面，就我目前的觀察，Google File Stream 是全檔下載到暫存目錄，因此不適合作種特大的檔案（檔案傳回電腦就要花很久），只適合作種幾分鐘以內能下載完的檔案。 目前我在本地作種超過一萬五千個檔案，過陣子會慢慢將小檔搬上去試試。 fromPtoZ 提到朋友測試後被擋，我猜有三種可能性： 1. 若直接以 GD 的連結公開分享出來，而不是經由自己電腦，立刻被檔。（但這不是在PT作種，應該不是站友提到的狀況。） 2. 在PTP討論串中，成功的人幾乎都是用 rclone，用其它的方法問題不少，有可能 netdrive 和 google-drive-ocamlfuse 的效果沒這麼好。 3. 或許那時 GD 的限制較少？ 單就 Google 的限制來看，我估計用 GD File Stream 來作這事，不會遇上 Google 的限制，因為是整檔下載，讀取次數不多，只是由於整檔下載，因此不適合大檔，而且沒有加密。Google 目前為止都沒有取締未公開的版權檔案，但未來難講，這是一個風險。 用 rclone 搭配加密應該還是較好的方法，只是這樣子 random read 就有可能遇到 fromPtoZ 提到的 Google 限制，需要有仁人志士仔細計算或測試。 ※ 編輯: lnyan (106.104.121.159), 12/13/2017 19:03:47
推
12/13 19:33, 6年前 , 15F
如果要全部下來再上傳 那你硬碟要留不少給GD 如果冷
12/13 19:33, 15F
→
12/13 19:33, 6年前 , 16F
門檔有人一次一起抓全集 可能就好幾百GB了
12/13 19:33, 16F
推
12/13 21:50, 6年前 , 17F
原PO玩PT到這種程度肯定花了不少時間跟心血,如果目
12/13 21:50, 17F
→
12/13 21:54, 6年前 , 18F
的只是要進某些站,我並不認同,真有興趣倒不如去美國
12/13 21:54, 18F
→
12/13 21:56, 6年前 , 19F
念CS(computer science)作人生更好的規劃~
12/13 21:56, 19F
→
12/13 22:01, 6年前 , 20F
我目前定居美國,回台兩個月,在美國寫軟體的工作好找
12/13 22:01, 20F
→
12/13 22:01, 6年前 , 21F
待遇又不錯~
12/13 22:01, 21F
感謝 hangsh 前輩的金玉良言! 的確玩PT不划算，尤其外站更不划算，現在 Netflix 這麼成功了，PT在沒落... 我是剛好學CS，所以手癢當興趣玩一玩，習慣性想找最佳解，然後會寫程式所以事半功倍。只是凡是作為興趣的東西通常是浪費錢和時間 :Q 也覺得蠻幸運的當初學電腦 XD 在一頭熱的時候，能有人提醒避免浪費太多時間，是蠻重要的。謝謝！
推
12/13 23:45, 6年前 , 22F
...
12/13 23:45, 22F
推
12/14 06:51, 6年前 , 23F
rclone也不能random read要才從頭下
12/14 06:51, 23F
推
12/14 12:27, 6年前 , 24F
rclone mount 可以seek read
12/14 12:27, 24F
→
12/14 12:28, 6年前 , 25F
目前使用rclone + rtorrent，可以seeding
12/14 12:28, 25F
→
12/14 12:29, 6年前 , 26F
download完copy到GD，再重新seeding
12/14 12:29, 26F
→
12/14 12:30, 6年前 , 27F
copy to GD, 10 thread, seeding from GD, 5 thread
12/14 12:30, 27F
→
12/14 12:31, 6年前 , 28F
QPS大約0.45左右，離15QPS還很遠，不用太擔心。
12/14 12:31, 28F
→
12/14 12:32, 6年前 , 29F
GD限制每日流出10T，每日流入750G。超過後24HR解BAN
12/14 12:32, 29F
感謝高手的分享！ 使用 Google 新的二套系統 (Backup and Sync, 以及 Drive File Stream）到目前為止的感想（無關PT，單純從備份等方面來看）：還是用 rclone 較好，Google 內附的系統還是太陽春，且不太穩定，使用 Google 內附那二套唯一的好處是省事。
推
12/15 12:42, 6年前 , 30F
要小心Google的裏規則，很多人都還是中招。
12/15 12:42, 30F
→
12/15 12:43, 6年前 , 31F
這部份是用裏規則在運作的，與10TB/15QPS無關
12/15 12:43, 31F
→
12/15 12:46, 6年前 , 32F
rclone的參數設置可能要參考那個160TB大神的設置了
12/15 12:46, 32F
推
12/20 16:26, 6年前 , 33F
只有有經驗的人才好找美國寫軟體工作吧
12/20 16:26, 33F
→
12/20 16:28, 6年前 , 34F
至於怎樣算 "有經驗" 就難說,台灣公司有多少家會被
12/20 16:28, 34F
→
12/20 16:29, 6年前 , 35F
認可為有經驗很難說, 我這邊是回 h 大
12/20 16:29, 35F
→
12/21 00:25, 6年前 , 36F
其實問題很簡單,只要一面試問幾個問題,高手一出招,
12/21 00:25, 36F
→
12/21 00:25, 6年前 , 37F
便知有沒有~
12/21 00:25, 37F
推
01/07 00:25, 7年前 , 38F
想請問一下樓上提到的裏規則是什麼
01/07 00:25, 38F
※ 編輯: lnyan (220.133.14.84), 04/20/2018 00:38:03
‣ 更多 lnyan 的文章
文章代碼(AID): #1QBXh7Du (P2PSoftWare)