PTT數位生活區 / Free_box (免費空間 免空板)

[問題] 兩個Google Drive帳號的檔案傳送

看板Free_box (免費空間 免空板)作者 (ak77now)時間7年前 (2017/04/13 13:29), 7年前編輯推噓21(21推 0噓 44→)
留言65則, 16人參與, 最新討論串1/7 (看更多)
我手上有兩個Google無限空間的帳號 比如說A、B兩個帳號好了 我現在要將A的某個資料夾(大概有3T大) 整個複製一份給B帳號 不是分享喔 是B帳號底下確實也有一份檔案 以前我試過檔案不大的話用 https://goo.gl/A7LBGm Chrome的擴充套件Copy, URL to Google Drive 都可以順利用 可是這次可能是檔案比較多比較大 用了一陣子後開始有一堆錯誤訊息 https://i.imgur.com/bE4kTFF.png
我有稍微查一下 好像是說api的流量限制到了之類的 因為檔案太大了 實在不希望下載下來又再傳上去一次 請問還有些什麼辦法呢? -- ※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 122.254.30.65 ※ 文章網址: https://www.ptt.cc/bbs/Free_box/M.1492061375.A.EAE.html
→
04/13 13:48, , 1F
求低調
04/13 13:48, 1F
→
04/13 13:54, , 2F
分批傳 零碎檔越多越容易有錯誤
04/13 13:54, 2F
推
04/13 14:21, , 3F
1.用rclone
04/13 14:21, 3F
→
04/13 14:21, , 4F
2.用multcloud
04/13 14:21, 4F
推
04/13 14:56, , 5F
會遇到API限制的幾乎都是影片檔 打包再傳都沒事
04/13 14:56, 5F
→
04/13 14:58, , 6F
rclone現在還能解 搞不好哪天也不行了 封裝才是正解
04/13 14:58, 6F
推
04/13 17:30, , 7F
我寫script去跑看到的API限制應該是在request目錄下的
04/13 17:30, 7F
→
04/13 17:30, , 8F
檔案 1分鐘超過幾次這樣 就會有問題
04/13 17:30, 8F
→
04/13 17:31, , 9F
應該不是檔案太大 我的20幾T都可以備份完了
04/13 17:31, 9F
我再用Copy, URL to Google Drive測試一次 這次我只搬一個2.6G的mp4檔 才單單一個檔 就出現Error. User rate limit exceeded了... 我只能研究Error. User rate limit exceeded以外的方法了~~
→
04/13 19:39, , 10F
既然有可能是針對影片檔 那先試試把副檔名改掉吧
04/13 19:39, 10F
推
04/13 22:17, , 11F
推
04/13 22:17, 11F
推
04/14 03:00, , 12F
google有內建建立副本的功能啊，怎麼都沒有人使用呢？
04/14 03:00, 12F
推
04/14 07:45, , 13F
內建副本不能整個資料夾
04/14 07:45, 13F
我目前暫時先用 https://www.multcloud.com 跑了 速度很慢 不曉得付費的話是不是速度會快非常多? rclone的研究好久還是不會 我手上的影片是放在NAS上 但主要目的還是希望雲端上兩個Google帳號可以同步這樣 也試過了好幾個類似 https://goo.gl/Bi07NH 的工具 幾乎都是卡在影片上 (Error. User rate limit exceeded) 但影片太多了 不太可能會去做改檔名或壓縮之類的 好像只能靠multcloud的是嗎?
→
04/14 10:14, , 14F
air explorer也可以GD互傳(會耗網路流量) mult以前用過
04/14 10:14, 14F
→
04/14 10:15, , 15F
速度極差 聽說付費後也沒多好 建議別跳這個坑
04/14 10:15, 15F
謝謝喔 正在試用中 如果是雲端A對雲端B的話 他這軟體看起來還滿像是透過PC做一個中介 一邊從A下載到電腦的暫存空間後馬上又同時上傳到B那邊去 其實算是可以用的 如果不靠這軟體的話 純手動把整個A下載下來再上傳B 除了麻煩外 還怕自己本地端的容量太小 靠這軟體好像就可以順利解決
→
04/14 12:28, , 16F
對 rclone也有這功能 只是rclone是cli
04/14 12:28, 16F
→
04/14 12:28, , 17F
air explorer則有圖形界面 操作起來比較簡單
04/14 12:28, 17F
真的是滿滿的感動! 我再多摸一下 滿有可能就買他了~ 太謝謝了
推
04/14 13:39, , 18F
與其用air explorer 我會推薦smartftp但要付費
04/14 13:39, 18F
→
04/14 13:40, , 19F
速度穩定許多 之前用air explorer 速度上下起伏超大
04/14 13:40, 19F
→
04/14 16:30, , 20F
我都能吃滿100Mbps頻寬...
04/14 16:30, 20F
→
04/14 16:31, , 21F
*穩定吃滿
04/14 16:31, 21F
air explorer用了一個下午 還不錯 起伏的話比較容易發生在零碎的小檔(幾十KB那種大小) 當開始傳幾十MB、好幾G的那種大小的影片時速度很穩定 我的頻寬都有吃滿 smartftp的話我找時間研究一下 不曉得是不是跟以往的FTP軟體操作模式一樣: 先下載下來後，再自行手動上傳到另一端 還是跟air explorer一樣 可以直接A傳B (電腦本身中繼暫存檔)
推
04/14 18:41, , 22F
smartftp當然也是直接A傳B阿 (電腦本身中繼暫存檔)
04/14 18:41, 22F
→
04/14 18:42, , 23F
如果air explorer穩定的話 那就用air吧 至少它有免費版
04/14 18:42, 23F
推
04/14 20:07, , 24F
rclone可以不用中繼直接複製
04/14 20:07, 24F
感謝以上所有推文 讓我知道兩個Google Drive帳號間檔案的傳送方式 目前看起來是 MultCloud ( https://www.multcloud.com/ ) cloudHQ ( https://www.cloudhq.net ) rclone Air Explorer (本機端軟體) GoodSync (本機端軟體) SmartFTP (本機端軟體) 我都會再花時間都研究看看 還有其他可用的方法我再繼續整理在這篇 不過我很納悶的是rclone https://i.imgur.com/7NomBgp.png
不用中繼的話 總是會有個平台之類的去處理 畢竟也是要消耗些資源 那這平台是誰提供的? 因為如果有中繼到自己電腦的話 電腦可以負責處理這方面橋接的問題 MultCloud也是他們網站的主機負責 是說如果rclone設定好以後 腳本(指令)上傳到某個地方就可以電腦關機讓他雲端離線處理了嗎? 當然最佳解就是速度快+可雲端處理免一直開著電腦是最好了 對rclone還是不太了解
推
04/14 21:25, , 25F
rclone應該是吃自己的資源吧 不然他哪來這麼大的server
04/14 21:25, 25F
→
04/14 21:25, , 26F
讓你跑
04/14 21:25, 26F
→
04/14 21:27, , 27F
除了可以拖拉那種網頁搬移的以外
04/14 21:27, 27F
→
04/14 21:27, , 28F
應該都是吃自己的資源
04/14 21:27, 28F
對喔! 這樣感覺合理多了 畢竟總要有個平台或資源去處理這方面的動作才是 不可能這麼神奇憑空就這樣將雲端上A、B兩個檔案直接傳過去 可惜google本身不提供 不然他願意的話 檔案都是在他們上面 這樣做對他們沒什麼難度才是
推
04/14 23:25, , 29F
分享之後再複製一次？
04/14 23:25, 29F
我有找到類似的教學 https://goo.gl/gJ88e1 有操作過了 處理到影片檔的部分就會失敗 如果是壓縮檔(好像好幾G吧) 用這種複製+分享的操作有成功過~
推
04/15 06:47, , 30F
因為google有提供直接複製檔案的API而rclone是直接call
04/15 06:47, 30F
→
04/15 06:47, , 31F
api複製檔案 所以不會有下載再上傳的動作
04/15 06:47, 31F
推
04/15 06:49, , 32F
需要注意的是只有來源和目標路徑是同帳號rclone才會複製
04/15 06:49, 32F
→
04/15 06:49, , 33F
檔案 否則它會下載後再上傳
04/15 06:49, 33F
→
04/15 06:50, , 34F
你一開始貼的那個網站就是用api複製檔案
04/15 06:50, 34F
→
04/15 06:52, , 35F
至於為什麼rclone比較不會遇到api限制就不清楚了
04/15 06:52, 35F
推
04/15 06:53, , 36F
甚至是連在GD網頁上直接按建立副本會報錯的檔案 rclone
04/15 06:53, 36F
→
04/15 06:53, , 37F
都能成功複製
04/15 06:53, 37F
→
04/15 06:57, , 38F
知道方法的就低調用吧 一堆人操下去遲早也會吃apo限制
04/15 06:57, 38F
→
04/15 07:51, , 39F
rclone 可以用自己申請的 Google API
04/15 07:51, 39F
→
04/15 09:44, , 40F
rclone轉存的api碰到零碎檔案的時候會漏檔
04/15 09:44, 40F
→
04/15 09:45, , 41F
個人不推薦用rclone轉存 我跟我朋友都被坑過好幾次了
04/15 09:45, 41F
→
04/15 09:46, , 42F
(我是指直接複製檔案的轉存 如果是中繼需要消耗網路流量
04/15 09:46, 42F
→
04/15 09:47, , 43F
的轉存 rclone不會出問題
04/15 09:47, 43F
→
04/15 11:17, , 44F
先用直接複製搞定大體積影片檔 再用中繼模式補齊零碎檔
04/15 11:17, 44F
→
04/15 11:18, , 45F
我還是傾向包起來再傳 什麼毛病都沒有 就是不方便了點
04/15 11:18, 45F
我有試到一個東西 比如說A帳號要丟檔案到B帳號時 B開個共享資料夾(有新增權限的)給A A將檔案移動到被共享的資料夾以後 B將整個共享權限收回後 雖然檔案一樣擁有者掛名是A 但A那邊將檔案刪掉、垃圾桶清空後 B收到的那個檔案不會不見 有種情況會不見 就是B如果收到的是個資料夾且裡面有裝一些檔案 你把裡面個別檔案移出去就會消失掉 等於是檔案一定要跟著原本過來的資料夾底下 所以說剛剛的例子的話 如果A能把要丟給人的檔案或資料夾先複製一份出來 用剛的方式去搬移就可以了 但問題是純粹複製一份自己帳號本身的東西 都有時成功、有時失敗了 (失敗時會有類似User rate limit exceeded訊息) 如果這部分不能解決也沒用就是 檔案小的話還可以 量大一點的話這招好像行不通 還是要依照推文中的方法 老老實實去處理
推
04/15 17:20, , 46F
或者 花錢買API用量
04/15 17:20, 46F
→
04/15 21:05, , 47F
試了一下連rar也吃API限制了..應該最近有改過規則
04/15 21:05, 47F
→
04/15 21:06, , 48F
大概只能花錢買API或是租大水管當中繼來傳了
04/15 21:06, 48F
推
04/16 00:04, , 49F
GOODSYNC 有30天試用 可以兩邊比對 也是PC當中繼
04/16 00:04, 49F
→
04/16 00:05, , 50F
multcloud付費還會掉檔 不推
04/16 00:05, 50F
感謝 又多了些選擇了
推
04/16 09:56, , 51F
新手太菜 不知道api怎麼收費的 有10T靠網速實在搬不動@@
04/16 09:56, 51F
動輒數T的東西 搬起來很絕望啊! 我上傳每秒3.5MB 隨時都有種想辦至少是100M/100M的衝動..
推
04/16 10:15, , 52F
100/100搬了30T的路過
04/16 10:15, 52F
→
04/16 10:15, , 53F
目前改用VPS搬 早上實測上傳速度110MB/S www
04/16 10:15, 53F
推
04/16 14:01, , 54F
用good sync或nas
04/16 14:01, 54F
自從搞了個無限空間後 上傳速度變得超重要的啊! 我的NAS是Synology DS716+ 可以讓NAS端與雲端之間做同步 但等之後NAS端硬碟不夠 改成單向上傳的話 雲端檔案量遠大於NAS端時 接下來勢必就是空間夠大的雲端對雲端同步了 NAS目前沒看到類似air explorer的套件 之後大概就是要長期把電腦開著掛機了 欸幹 30T到底是啥小! 為什麼這麼大 突然才想到這問題 (我的5T都是電影檔)
推
04/17 10:47, , 55F
這個東西有script啊，17T成功複製
04/17 10:47, 55F
→
04/17 10:48, , 56F
04/17 10:48, 56F
→
04/17 10:49, , 57F
不過複製這麼多當然是要跑好幾天就是了
04/17 10:49, 57F
→
04/17 10:51, , 58F
使用方式，先共享到B，然後用B帳號打開網站，啟動腳本
04/17 10:51, 58F
這類腳本類的小工具我用了好幾款 都會有類似的錯誤訊息 https://i.imgur.com/z9HS3cA.png
Error, GoogleJsonResponseException: User rate limit exceeded 我看上面有成功的都是小的檔案 影片檔都會失敗 後來我有寫信並附上以上那張圖去問作者: 我問: 我的Google帳號是無限空間的 會有這樣的錯誤訊息是因為我的檔案太大還是什麼原因呢? 這是他回信給我的答覆: This isn't related to your account type, it is just a bug in the app. Also related to the way Google allows free services to run. Unfortunately there is no solution at this time. I works recommend trying again in a few hours.
推
04/18 07:22, , 59F
推原po用心～以前不知道備份 現在想備份 變得好費工@@
04/18 07:22, 59F
→
04/18 17:33, , 60F
剛才重新試了轉存 連非影片檔都會被限制了
04/18 17:33, 60F
→
04/18 17:33, , 61F
轉了2500個rar後開始出現user rate limit exceeded....
04/18 17:33, 61F
這年頭有大檔要傳的需求的話 網路沒用個100M/100M的還真不夠用 :( ※ 編輯: ak77now (122.254.30.65), 04/18/2017 20:17:17
→
04/20 04:32, , 62F
銀彈夠的話，歐美那邊租一台 100TB 流量、1Gbps 頻寬的
04/20 04:32, 62F
→
04/20 04:32, , 63F
獨立主機，拼命傳拼命灌好幾家雲端都隨便你。
04/20 04:32, 63F
→
04/20 04:33, , 64F
或者台灣這邊 NAS 開 http server 給外國主機開 IDM 抓，
04/20 04:33, 64F
→
04/20 04:33, , 65F
保證上傳滿速外，上了獨立主機以後分流各雲端就超快。
04/20 04:33, 65F
‣ 更多 ak77now 的文章
文章代碼(AID): #1Oxmo_wk (Free_box)
討論串 (同標題文章)
以下文章回應了本文：
完整討論串 (本文為第 1 之 7 篇)：
排序： 最舊先 | 最新先 | 留言數
在新視窗開啟完整討論串 (共7篇)
Free_box 近期熱門文章
更多 近期熱門文章 >>
PTT數位生活區 即時熱門文章
更多 即時熱門文章 >>
‣ 更多 ak77now 的文章
文章代碼(AID): #1Oxmo_wk (Free_box)