[請益] 大型Git版本庫的備份或替代方案

看板Soft_Job作者 (道可道非常道)時間2年前 (2022/02/01 23:17), 2年前編輯推噓42(43推 1噓 61→)
留言105則, 52人參與, 2年前最新討論串1/3 (看更多)
我有一些大型的Git版本庫，存放特定專案要用到的文獻資料。 目前檔案大約2000餘個，大多是pdf、doc(x)檔案及一些文字檔， 單檔大小可達數百MB，版本庫總大小約數十GB。 由於總版本庫過大，無法同步到 GitHub、GitLab 備份。 使用Git管理的原因是這些檔案修改內容時希望有版本回溯機制， 有時也會有資料夾層級的重整（移動至其他資料夾、更改檔名等）， 一樣希望有資料夾層級的版本回溯機制。 此外希望版本記錄是可自訂的（類似 Google 雲端硬碟的永久保存版本）， 並且以開放格式儲存（而不是只存在 NAS 內部）。 目前是 Git 用得比較順手，但如果有更好的備份及版控方案會考慮。 不曉得各位先進有這麼大的Git版本庫時，會用什麼方式做備份？ 除了備份到外接硬碟可以直接在本機操作 push, pull 以外， 如果想備份到其他電腦，遠端桌面連線無法做Git同步... Syncthing 之類的檔案同步方式也不適合用於Git... 有在想架設 NAS， 但不曉得 NAS 是否允許 Git 同步以及內部操作 repack 等維護？ （repack 大型 repo 怕因為記憶體或 CPU 限制而無法完成， 或過程中整個 NAS 掛掉） 或者有其他比Git更好的替代方案？ （目前沒看到更適合討論Git問題的版，如有更適合的版歡迎告知） -- 《終結內容農場》瀏覽器套件 Chrome: http://bit.ly/CFTGC (桌機 & Kiwi Browser on Android) Firefox: http://bit.ly/CFTFx (桌機 & Firefox for Android) 真相：http://bit.ly/CFTss1、http://bit.ly/CFTss2 詳細介紹：http://bit.ly/CFTinfo -- ※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 220.137.15.240 (臺灣) ※ 文章網址: https://www.ptt.cc/bbs/Soft_Job/M.1643728676.A.1B4.html ※ 編輯: danny0838 (220.137.15.240 臺灣), 02/01/2022 23:21:44
→
02/01 23:21, 2年前 , 1F
自己架Git Server 在弄一套Mirror 就備份完了
02/01 23:21, 1F
想問有什麼具體的架設方案嗎？ 假如兩台都是 Windows 電腦，有什麼簡單的架設方案嗎？ 考慮過 NAS，擔心的問題如上所述。 我知道還有一招是租 VPS 架 Git server， 不過 VPS 普遍是用於架網站，單位容量價格偏高， 如果是純做資料備份似乎不太划算，因此打算作為最後線備案。 ※ 編輯: danny0838 (220.137.15.240 臺灣), 02/01/2022 23:29:07
推
02/01 23:28, 2年前 , 2F
自己組電腦，裝一個gitserver這樣，然後多備份一個?
02/01 23:28, 2F
推
02/01 23:53, 2年前 , 3F
02/01 23:53, 3F
→
02/01 23:53, 2年前 , 4F
ur-own-git-server/
02/01 23:53, 4F
→
02/01 23:54, 2年前 , 5F
02/01 23:54, 5F
→
02/01 23:54, 2年前 , 6F
h-files/managing-large-files/about-git-large-file-s
02/01 23:54, 6F
→
02/01 23:54, 2年前 , 7F
torage
02/01 23:54, 7F
目前的問題應該是 Windows。 對於另一台 Linux 電腦，只要架起 SSH 就可以 git remote 了。 但是 Windows 的 OpenSSH 似乎不能這樣做。 專門組一台 Linux 電腦理論上是做得到， 但只為了幾十 GB 的版本庫組一台電腦不太划算， 希望能可以的話能和其他資料備份用同一台 NAS 解決。 （NAS 還在評估可行性未入手。如果無解可能只好架一台 Linux server 當 NAS？） ※ 編輯: danny0838 (220.137.15.240 臺灣), 02/02/2022 00:10:15
推
02/02 00:13, 2年前 , 8F
你的東西都是binary 不適合git吧 那個也很難看diff
02/02 00:13, 8F
→
02/02 00:13, 2年前 , 9F
s3/gcs那種的容量便宜每個檔案加個timestamp上去
02/02 00:13, 9F
doc 檔案的話其實 TortoiseGit 就有支援 diff，其實不差。 pdf 目前還沒找到 diff 方案，不過有版控總是聊勝於無。 你所謂加個 timestamp 是指手動檔案命名像 myfile.20220202.docx 這樣嗎？ 這樣不是比 git 更傳統原始？XD
推
02/02 00:35, 2年前 , 10F
binary用git版控很怪吧... 不如自己出個hash管理
02/02 00:35, 10F
→
02/02 00:37, 2年前 , 11F
不然你乾脆用 amazon s3 直接用 versioning 功能最快
02/02 00:37, 11F
不太懂「自己出個hash管理」具體是指什麼？XD 目前主要仍是以本地作業為主，只是要找備份方案。 Amazon S3 似乎是純雲端服務？不曉得如何能滿足目前的需求？
推
02/02 00:37, 2年前 , 12F
1. Perforce 2. Mecurial
02/02 00:37, 12F
Mercurial 我以前用過，基本上沒 Git 好用，看不出來哪裡能解決問題？ Perforce 似乎是付費VCS，能否說說有什麼feature能幫我解決問題？ ※ 編輯: danny0838 (220.137.15.240 臺灣), 02/02/2022 00:51:15
→
02/02 00:49, 2年前 , 13F
直接上aws codecommit 他也是git 你的量應該是免費
02/02 00:49, 13F
AWS 應該沒有免費支援數十GB的私人repo...
推
02/02 00:59, 2年前 , 14F
pdf或圖片這種東西本來就不適合用git
02/02 00:59, 14F
→
02/02 01:00, 2年前 , 15F
這種東西還不如用單純用檔名+日期
02/02 01:00, 15F
推
02/02 01:03, 2年前 , 16F
你單檔能百mb一定是大量圖片的doc或pdf
02/02 01:03, 16F
推
02/02 01:05, 2年前 , 17F
我有一招很鬧，但我現在的確正在使用，Mac的時光機
02/02 01:05, 17F
推
02/02 01:06, 2年前 , 18F
除非你用latex或markdown或html
02/02 01:06, 18F
→
02/02 01:06, 2年前 , 19F
不然一堆圖片的檔案 你就算版控每次都超佔容量
02/02 01:06, 19F
推
02/02 01:26, 2年前 , 20F
搞個VM呢 邏輯上的 stand alone server
02/02 01:26, 20F
本機使用時用 VM 效能會變差... 不過如果真的沒有 Windows to Windows 的同步方案， 可能最後會選擇用 VM 架一個 Linux git server 吧...
→
02/02 01:47, 2年前 , 21F
windows你用gitblit這套免費的，硬碟容量你裝幾T應該夠
02/02 01:47, 21F
→
02/02 01:49, 2年前 , 22F
基本上自己組一台桌上型最省錢，容量要多大有多大
02/02 01:49, 22F
→
02/02 02:00, 2年前 , 23F
聽起來直接用nas檔案管理就好吧？
02/02 02:00, 23F
→
02/02 02:00, 2年前 , 24F
一堆pdf你git也看不出改什麼吧
02/02 02:00, 24F
推
02/02 02:04, 2年前 , 25F
檔案用git ?
02/02 02:04, 25F
推
02/02 02:05, 2年前 , 26F
乾脆ftp nas 快照備份
02/02 02:05, 26F
→
02/02 03:06, 2年前 , 27F
git lfs
02/02 03:06, 27F
→
02/02 03:37, 2年前 , 28F
AWS S3 啊，開啟 versioning，同檔名的可以有版本區別，
02/02 03:37, 28F
→
02/02 03:37, 2年前 , 29F
所以你只要無腦蓋過去就好了
02/02 03:37, 29F
推
02/02 03:56, 2年前 , 30F
git lfs 正解
02/02 03:56, 30F
不曉得 LFS 如何解決 Git 跨機器同步的問題？
→
02/02 07:25, 2年前 , 31F
s3加版控功能
02/02 07:25, 31F
還有 34 則推文
還有 7 段內文
→
02/02 22:30, 2年前 , 66F
Dropbox 不錯 只是版本付費到最頂 應該也只能看到半
02/02 22:30, 66F
→
02/02 22:30, 2年前 , 67F
年前的
02/02 22:30, 67F
→
02/02 22:33, 2年前 , 68F
Git 的設計一開始就為 Linux Kernel 開發/維護而生
02/02 22:33, 68F
→
02/02 22:33, 2年前 , 69F
的，而這個東東經歷過了百萬以上的 commit 你去上面
02/02 22:33, 69F
→
02/02 22:33, 2年前 , 70F
拉下來大概 1G 多而已
02/02 22:33, 70F
→
02/02 22:35, 2年前 , 71F
應該不適合用在原PO的需求上，因為人家是在維護軟體
02/02 22:35, 71F
→
02/02 22:35, 2年前 , 72F
工程的啊XD.
02/02 22:35, 72F
推
02/02 22:38, 2年前 , 73F
試試git Dropbox 混搭如何。最適合你的工作流程
02/02 22:38, 73F
→
02/03 00:01, 2年前 , 74F
你有試過 OpenSSH 的 server 設定嗎?
02/03 00:01, 74F
→
02/03 00:48, 2年前 , 75F
幾百G算滿小了拉,gcp/aws起個容器 定時鏡像就解決了
02/03 00:48, 75F
→
02/03 00:49, 2年前 , 76F
也沒多少錢,絕對比你架nas還要安全
02/03 00:49, 76F
推
02/03 01:24, 2年前 , 77F
GoodSync?
02/03 01:24, 77F
→
02/03 01:47, 2年前 , 78F
不會改內容的東西用普通的雲端硬碟就好了吧
02/03 01:47, 78F
推
02/03 10:25, 2年前 , 79F
生魚片刀切牛好不好用？
02/03 10:25, 79F
推
02/03 11:08, 2年前 , 80F
一般都指定檔案吧？有指定資料夾層級的？
02/03 11:08, 80F
推
02/03 11:18, 2年前 , 81F
往備份套件的方向找呢? 這類軟體可以滿足資料夾回復，使
02/03 11:18, 81F
→
02/03 11:18, 2年前 , 82F
用增量備份佔的空間也不大 e.g. Duplicati, Acronis
02/03 11:18, 82F
→
02/03 12:40, 2年前 , 83F
gitea + dropbox
02/03 12:40, 83F
推
02/03 17:21, 2年前 , 84F
問一下gitea有比gitlab好用嗎
02/03 17:21, 84F
推
02/03 18:51, 2年前 , 85F
那是不同量級的東西
02/03 18:51, 85F
推
02/03 19:10, 2年前 , 86F
感覺 one drive就夠了 還剛好買office 365
02/03 19:10, 86F
→
02/04 19:50, 2年前 , 87F
哪那麼麻煩 資料夾歸檔用 script 批次指定 symlink 就
02/04 19:50, 87F
→
02/04 19:50, 2年前 , 88F
好，symlink 用 git 建立歷史資訊
02/04 19:50, 88F
推
02/04 23:09, 2年前 , 89F
繼續用 GitHub, 檔案先分類，每個分類開一個 sub mod
02/04 23:09, 89F
→
02/04 23:09, 2年前 , 90F
ule , 如果未來單一 sub module 超過上限，可以考慮a
02/04 23:09, 90F
→
02/04 23:09, 2年前 , 91F
rchive 一份進雲端，然後移除久遠的記錄
02/04 23:09, 91F
推
02/05 00:14, 2年前 , 92F
這種需求反而比較適合裝 CVS 或 SVN 來用
02/05 00:14, 92F
推
02/05 02:50, 2年前 , 93F
兩台Windows可以用shared folder 建立bare repo
02/05 02:50, 93F
→
02/05 02:50, 2年前 , 94F
設定好remote 路徑 push上去即可
02/05 02:50, 94F
→
02/05 09:30, 2年前 , 95F
gitlib功能多很多，較耗資源。少人的gitea會較省資源。
02/05 09:30, 95F
→
02/05 20:11, 2年前 , 96F
喔喔喔喔喔喔～找廠商。
02/05 20:11, 96F
推
02/06 01:50, 2年前 , 97F
binary 不能diff 的，想跟 code 一樣的管理思維
02/06 01:50, 97F
→
02/06 01:52, 2年前 , 98F
要看你打算付出多少成本才好給建議吧
02/06 01:52, 98F
→
02/06 01:54, 2年前 , 99F
每一個版本，等同是一份拷貝，加上備份，這用git跑越久
02/06 01:54, 99F
→
02/06 01:57, 2年前 , 100F
儲存成本越是巨大。真的有需要搞成這樣嗎？
02/06 01:57, 100F
推
02/06 12:01, 2年前 , 101F
也不是不能 diff，看檔案性質
02/06 12:01, 101F
推
02/08 09:52, 2年前 , 102F
rsync incremental backup
02/08 09:52, 102F
推
02/09 14:10, 2年前 , 103F
AWS S3
02/09 14:10, 103F
推
02/11 04:55, 2年前 , 104F
你這種就別git了，AWS S3開versioning照三餐丟檔案就好
02/11 04:55, 104F
推
02/12 01:04, 2年前 , 105F
對啊 pdf是在git什麼？
02/12 01:04, 105F
‣ 更多 danny0838 的文章
文章代碼(AID): #1X-Kya6q (Soft_Job)
‣ 更多 danny0838 的文章
文章代碼(AID): #1X-Kya6q (Soft_Job)