Rclone od podstaw do masteringu kopii zapasowych w chmurze, szyfrowania i automatyzacji

Rclone stał się scyzorykiem szwajcarskim w dziedzinie przechowywania danych w chmurze Dla każdego, kto chce przestać zmagać się z przeciętnymi oficjalnymi klientami, niestandardowymi skryptami i absurdalnymi ograniczeniami dostawców. Dzięki jednemu plikowi binarnemu i składni bardzo podobnej do rsync, możesz zarządzać kopiami zapasowymi, synchronizacjami, montowaniami i szyfrowaniem w ponad 70 usługach: Dysk Google, OneDrive, Dropbox, S3, Backblaze B2, Wasabi, pCloud, MEGA, Proton Drive, Nextcloud, WebDAV, SFTP... i wiele innych.

Piękno Rclone polega na tym, że nie ogranicza się do „kopiowania plików do chmury”Rozumie każdy back-end, wykorzystuje interfejsy API dla zwiększenia szybkości, umożliwia transparentne szyfrowanie, montowanie FUSE, planowanie kopii zapasowych i operacje międzychmurowe bez dostępu do dysku. Od laptopa z systemem macOS, przez Raspberry Pi z małym dyskiem, po serwer produkcyjny o pojemności wielu terabajtów, możesz zbudować solidną, szyfrowaną i zautomatyzowaną strategię tworzenia kopii zapasowych, jeśli zrozumiesz jej komponenty.

Czym jest Rclone i dlaczego jest ciekawszy niż rsync dla chmury?

Rclone to narzędzie wiersza poleceń o otwartym kodzie źródłowym Zaprojektowany specjalnie do obsługi zdalnych i chmurowych pamięci masowych, Rclone różni się od rsync, który jest ukierunkowany na pliki lokalne lub zdalne za pośrednictwem SSH. Rclone obsługuje API usług takich jak Google Drive, S3 i Dropbox, zarządza ich limitami, limitami i konkretnymi funkcjami, a także oferuje polecenia wysokiego poziomu do listowania, kopiowania, synchronizowania, montowania i udostępniania treści.

Często określa się go mianem „rsync dla chmury”Ale w rzeczywistości idzie o wiele dalej: obsługuje ponad 70 dostawców, integruje warstwy szyfrowania (zaplecze) krypta), wirtualny system plików (VFS) do stabilnych zespołów, moduł rozdrabniacz do dzielenia dużych plików oraz warstwa abstrakcji zaplecza, dzięki której to samo polecenie działa tak samo na Dysku Google, S3, B2 lub SFTP.

W porównaniu do rsync, Rclone wyróżnia się pod kilkoma względami:może korzystać z transferów wielowątkowych (--multi-thread-streams i parametry --transfers / --checkersi zazwyczaj osiąga kilkukrotnie wyższą prędkość, gdy wąskim gardłem są interfejsy API w chmurze. Co więcej, rozumie takie koncepcje jak kosz, wersje, limity dzienne i limity żądań, i zapewnia określone flagi, aby optymalizować działanie każdego dostawcy bez żadnych problemów.

Na poziomie architektury wewnętrznejTo pojedynczy plik binarny, który zawiera rdzeń (Rclone Core) i kilka warstw: VFS do montowania i buforowania, Crypt do szyfrowania po stronie klienta, Chunker do fragmentacji dużych plików oraz zestaw zapleczy implementujących specyficzną komunikację z każdą usługą (S3/R2, Google Drive, B2, WebDAV, SFTP itp.). Ta modułowość pozwala na przykład połączyć zdalny serwer S3 z warstwą kryptograficzną, a następnie zamontować go za pomocą FUSE.

Obsługiwane usługi pamięci masowej i typowe przypadki użycia

Katalog usług obsługiwanych przez Rclone jest ogromnyWarto jednak zapoznać się z krótkim przeglądem najczęściej używanych opcji, aby prawidłowo zorganizować kopie zapasowe.

Dla codziennych użytkowników Zazwyczaj podkreślają:

• Dysk Google / Zdjęcia Google: dla kont osobistych i firmowych, w tym dysków współdzielonych (dysków zespołowych).
• Microsoft OneDrive i SharePoint:zarówno osobiste jak i biznesowe.
• Dropbox, Box, MEGA, pCloud, Proton Drive: szeroko stosowany do tworzenia kopii zapasowych danych osobistych, zdjęć, dokumentów i małych repozytoriów.

W środowiskach zawodowych i rozwojowych Zazwyczaj obiekty przechowuje się w pamięci masowej:

• Amazon S3 i kompatybilne (MinIO, Wasabi, Ceph, Oracle itp.) do tworzenia kopii zapasowych, zawartości statycznej i archiwalnej.
• Google Cloud Storage, Azure Blob y R2 w chmurze jeśli już znajdujesz się w tych ekosystemach.
• Backblaze B2 jako tania alternatywa dla dużych ilości zimnych danych.

Do serwerów hostowanych samodzielnie i domowychRclone bardzo dobrze pasuje do:

• SFTP/FTP przeciwko innym serwerom.
• WebDAV dla Nextcloud / ownCloud.
• SMB / CIFS y HTTP gdy zachodzi potrzeba integracji serwerów NAS i WWW.

Często stosowanym pomysłem jest łączenie kilku chmur za pomocą „Union”.Tworzysz pilota union: które grupy, na przykład, gdrive:, onedrive: y dropbox:i działasz tak, jakby to był jeden gigantyczny system plików. Bardzo przydatne do korzystania z darmowych kont lub dystrybucji kopii zapasowych między różnymi dostawcami.

Wymagania, podstawowa instalacja i aktualizacja

Rclone jest lekki, ale nie magiczny:W przypadku małego serwera VPS lub Raspberry Pi z niewielką ilością pamięci RAM ważne jest, aby znać jego wymagania, aby uniknąć przeciążenia go agresywnymi konfiguracjami lub wieloma równoległymi transferami.

Na poziomie sprzętu i systemu, jako rozsądny punkt odniesienia:

• Minimalna ilość pamięci RAM512 MB (2 GB lub więcej w przypadku mocowań z agresywnym buforowaniem VFS).
• CPU1 vCPU wystarczy, ale przy 2+ zauważysz lepszą jakość transferów równoległych.
• magazynowaniePlik binarny zajmuje mało miejsca, ale pamięć podręczna może wymagać 1 GB lub więcej, w zależności od parametrów.
• Jądro:Działa od wersji 3.10; na nowszych kernelach (5.4+) i FUSE3 zestawy działają płynniej.

Jeśli chodzi o instalację, masz kilka opcji. w zależności od tego, co wolisz: wygodę, kontrolę wersji czy powtarzalność.

Oficjalny skrypt (Linux, zaleca się aktualizację):

curl -fsSL https://rclone.org/install.sh | sudo bash
rclone version

Ręczna instalacja pakietu .deb w systemie Debian/Ubuntu:

wget https://downloads.rclone.org/v1.71.0/rclone-v1.71.0-linux-amd64.deb
sudo dpkg -i rclone-v1.71.0-linux-amd64.deb
sudo apt -f install   # si pide dependencias

W systemie macOS Homebrew jest najwygodniejszą opcją.:

brew install rclone
rclone version --check

W systemie Windows możesz wybrać pomiędzy instalatorem, wingetem lub Chocolatey:

• Pobieranie pliku ZIP i wyjście rclone.exe en C:\rclone\ i dodając do ścieżka.
• Ze skrzydełkiem:
  winget install Rclone.Rclone
• Z Chocolatey:
  choco install rclone
choco install winfsp (do montażu jednostek)

W każdym przypadku aktualizacja jest tak prosta, jak biegać:

rclone selfupdate

Pierwsze kroki: koncepcja konfiguracji „zdalnej” i interaktywnej

Podstawową jednostką w Rclone jest „pilot”Wpis konfiguracji opisujący sposób łączenia się z określoną usługą. Na przykład: gdrive: dla osobistego Dysku Google, s3-backup: dla kontenera S3 lub nombre_en: dla zaszyfrowanego folderu.

Wszystkim zarządza asystent. rclone config, który zapisuje ustawienia domyślne w ~/.config/rclone/rclone.conf w formacie INI. Ten plik to prawdziwe złoto: obowiązkowa kopia zapasowa (a co lepsze, zaszyfruj ją).

Szybki przykład: tworzenie zdalnego konta Google Drive na komputerze z przeglądarką:

rclone config
# n) New remote
# name> gdrive
# Storage> drive
# client_id>      (vacío para usar el cliente por defecto de rclone)
# client_secret> (vacío)
# scope> 1       (acceso completo)
# service_account_file>  (vacío)
# Edit advanced config? n
# Use auto config? y   (abre el navegador, inicias sesión y aceptas permisos)

Na serwerze bez środowiska graficznego film ulega nieznacznej zmianie.Gdy pojawi się pytanie, czy chcesz użyć ustawień automatycznych, wybierz nPokaże Ci się takie polecenie:

rclone authorize "drive"

Wykonujesz to polecenie na komputerze stacjonarnym., jeśli posiadasz przeglądarkę, autoryzujesz konto i kopiujesz powstały token JSON, aby wkleić go na serwer po wyświetleniu monitu (config_token> {...}Dzięki temu masz funkcjonalny pilot, nawet jeśli serwer nie ma interfejsu.

Przykład z życia wzięty: nieograniczony i szyfrowany współdzielony Dysk Google

Przez pewien czas w Dysku Google krążyły linki umożliwiające tworzenie „nieograniczonych” dysków współdzielonych powiązane z uniwersytetami i podobnymi instytucjami. Ci, którzy wykorzystali tę sztuczkę, często używają ich jako „studni” do przesyłania dużych ilości danych multimedialnych ze swojego serwera lub Raspberry Pi.

Typowy przepływ pracy podczas korzystania z jednej z tych jednostek z Rclone jest:

• Zdobądź Identyfikator dysku współdzielonego wprowadzając go przez przeglądarkę i kopiując ostatnią część adresu URL (coś takiego 0AKXXD2qTbW50Uk9PVA).
• Utwórz normalny zdalny dysk Google (Storage> drive) i w terenie root_folder_id>, wklej ten identyfikator.
• Gdy Rclone zapyta, czy traktować go jako Dysk Zespołowy, odpowiedz twierdząco i wybierz odpowiedni dysk.

Gdy już masz dostęp do dysku, następnym logicznym krokiem jest jego zaszyfrowanie.Bo tak naprawdę nie wiadomo, kto jeszcze może zobaczyć te dane po drugiej stronie. Tu właśnie wkracza zaplecze. krypta.

Utwórz zaszyfrowaną warstwę na tym dysku współdzielonym To byłoby coś takiego:

• Znowu rclone config → Nowy pilot → na przykład imię nombre_en.
• Wybierz Przechowywanie > krypta.
• En remote> umieścić nombre: o nombre:carpeta/, który jest poprzednim pilotem (tym z Dysku) wskazującym na folder.
• Wybierać szyfrowanie_nazwy_pliku = standardowe y szyfrowanie_nazwy_katalogu = prawda tak aby nazwy plików i katalogów również były ukryte.
• Wygeneruj jedno lub dwa silne hasła (hasło i sól), ręcznie lub za pomocą wbudowanego generatora.

Od tego momentu wszystko, co prześlesz do nombre_en: zostanie zaszyfrowany A na stronie Google Drive zobaczysz dziwne i nieczytelne nazwy. Tylko Rclone z tymi kluczami może je przetłumaczyć.

Podstawowe polecenia: lista, kopiowanie, synchronizacja i usuwanie

Ogólna składnia Rclone jest dość spójna.: rclone <subcomando> origen destino [flags]Sztuka polega na przyswojeniu kilku poleceń i kilku kluczowych opcji.

Aby eksplorować zdalne i treści ty masz:

• rclone listremotes: wyświetla wszystkie skonfigurowane piloty.
• rclone ls remote:: lista plików wraz z rozmiarem.
• rclone lsd remote::tylko katalogi/zasobniki.
• rclone tree remote: o rclone tree remote:carpeta -d aby zobaczyć strukturę przypominającą drzewo.
• rclone ncdu remote:: typ interfejsu ncdu aby zobaczyć wszystko w pełnej okazałości, nie gubiąc się.

Kopiuj bez usuwania czegokolwiek w miejscu docelowym Jest zrobione z copy:

# Local → nube
rclone copy /home/usuario/fotos drive:fotos/verano -P

# Nube → local
rclone copy gdrive:Documentos/ ~/Documentos/ -P

# Nube → nube (server-side cuando el backend lo permite)
rclone copy gdrive:proyecto/ s3-backup:proyecto/ -P

Synchronizacja (odbicie lustrzane) odbywa się za pomocą syncI tutaj trzeba być ostrożnym.ponieważ usuwa z miejsca docelowego to, czego nie ma już w miejscu początkowym:

# Sincronización unidireccional
rclone sync /srv/data onedrive:data -P

# Simulación sin tocar nada
rclone sync /srv/data onedrive:data --dry-run

Do operacji czyszczenia Istnieje kilka przydatnych poleceń:

• rclone delete remote:carpeta: usuwa pliki ze ścieżki, pozostawia katalogi.
• rclone purge remote:carpeta: usuwa ścieżkę i całą jej zawartość.
• rclone rmdirs remote: --leave-root: usuwa puste katalogi.
• rclone cleanup drive::opróżnij kosz (na przykład w Dysku Google).

Najważniejsze flagi krzyżowe Te, z których będziesz korzystać cały czas to:

• -P o --progress aby zobaczyć postęp.
• -v, -vv y --log-level aby zwiększyć szczegółowość.
• --transfers N y --checkers N aby kontrolować paralelizm.
• --bwlimit aby ograniczyć przepustowość, nawet według przedziałów czasowych ("08:00,1M 18:00,off").
• --include, --exclude y --filter-from aby dopracować to, co jest kopiowane.

Zamontuj chmurę tak, jakby była innym dyskiem (FUSE/VFS)

Jedną z głównych funkcji Rclone jest montowanie urządzeń zdalnych jako systemów plikówJest to niezwykle przydatne rozwiązanie dla Plex/Jellyfin, umożliwiające bezpośrednią pracę z dokumentami w Dysku lub udostępnianie kontenera S3 aplikacji, która nie potrafi korzystać z S3.

W systemie Linux konieczne jest zainstalowanie i włączenie programu FUSE3 allow_other en /etc/fuse.conf aby inni użytkownicy mogli uzyskać dostęp do montowania. W systemie Windows korzysta z WinFsp.

Przykład montowania w systemie Linux:

mkdir -p /mnt/gdrive
rclone mount gdrive: /mnt/gdrive \
  --daemon \
  --allow-other \
  --vfs-cache-mode full \
  --vfs-cache-max-size 20G \
  --dir-cache-time 48h \
  --log-file /var/log/rclone/gdrive.log \
  --log-level INFO

Parametr --vfs-cache-mode Zaznacz różnicę zachowania:

• poza: brak pamięci podręcznej; tylko do prostego odczytu.
• minimalnyWystarczająco dużo, żeby wszystko zadziałało.
• pisze,: przechowuje teksty do momentu ich przesłania.
• pełny: buforuje odczyty i zapisy; idealne do multimediów, aplikacji biurowych itp., ale kosztem większej ilości miejsca na dysku.

Jeśli chcesz, aby konfiguracja przetrwała ponowne uruchomieniaPowszechną praktyką jest tworzenie dedykowanej usługi systemd. Powszechnie stosowanym wzorcem jest usługa sparametryzowana. rclone-remote@.service który montuje dowolny pilot /cloud/<nombre> a następnie aktywuj go za pomocą:

sudo systemctl enable --now rclone-gdrive.service

W systemie Windows zamontuj OneDrive lub Dysk jako literę X:

rclone mount onedrive: X: --vfs-cache-mode full

Zaawansowane szyfrowanie z zapleczem kryptograficznym i bezpieczeństwem konfiguracji

Jeśli chodzi o Rclone, to jest to kwestia bezpieczeństwa.:plik rclone.conf Zawiera tokeny OAuth, klucze dostępu S3, zaszyfrowane hasła… i każdy, kto je skopiuje, będzie mógł w praktyce uzyskać dostęp do Twoich chmur.

z tyłu crypt Umożliwia szyfrowanie plików, nazw plików i nazw katalogów. transparentnie. Podczas konfiguracji wybierasz:

• zdalny:podstawowy back-end (na przykład gdrive:encrypted).
• szyfrowanie_nazwy_pliku: off, standard u obfuscate.
• szyfrowanie_nazwy_katalogu: prawda/fałsz.
• password y password2 (opcjonalnie sól).

Wynikowa konfiguracja wygląda następująco (podsumowanie):

[gdrive-crypt]
type = crypt
remote = gdrive:encrypted/
password = ENCRYPTED_PASSWORD_HASH
password2 = ENCRYPTED_SALT_HASH
filename_encryption = standard
directory_name_encryption = true

Rclone pozwala również na szyfrowanie własnego pliku konfiguracyjnegotak, że nawet jeśli ktoś je ukradnie, nie będzie mógł odczytać sekretów bez hasła głównego:

rclone config password
# te pedirá una contraseña y a partir de ese momento
# Rclone te la pedirá en cada ejecución

Aby zautomatyzować skrypty bez konieczności wpisywania hasła W cron lub systemd możesz użyć zmiennej środowiskowej RCLONE_CONFIG_PASS lub mały skrypt, który eksportuje go, odczytując go z chronionego pliku (właściciel root, uprawnienia 600) lub z menedżera sekretów:

export RCLONE_CONFIG_PASS="contraseña_muy_larga"
rclone lsd gdrive: --ask-password=false

Optymalizacja wydajności: duże pliki, wiele małych plików i ograniczenia

Domyślnie Rclone działa całkiem dobrze, ale wprowadzając kilka poprawek, można uzyskać o wiele więcej.szczególnie w przypadku przenoszenia terabajtów danych lub milionów małych plików.

W przypadku dużych plików (obrazy maszyn wirtualnych, skompresowane kopie zapasowe, długie filmy) ważne jest zwiększenie rozmiaru fragmentów i paralelizmu:

rclone copy backup.tar.gz gdrive:backups \
  --drive-chunk-size=256M \
  --transfers=8 \
  --progress

Dla wielu małych plików (zdjęcia, logi, strony statyczne) liczba kontrolerów i transferów ma większe znaczenie i jest wykorzystywana --fast-list Jeśli pamięć RAM na to pozwala:

rclone copy fotos/ onedrive:fotos/ \
  --transfers=32 \
  --checkers=16 \
  --fast-list \
  --progress

Kiedy należy przestrzegać limitów przepustowości lub API (jak słynny limit 750 GB/dzień przesyłania danych do Dysku Google czy limity żądań na sekundę) masz do dyspozycji narzędzia takie jak:

• --bwlimit "08:00,1M 18:00,off" pracować powoli w godzinach pracy i odkręcać kran na noc.
• --tpslimit y --tpslimit-burst zawierać błąd 403 „przekroczono limit szybkości”.

Automatyzacja kopii zapasowych: cron, systemd i pełne skrypty

zrobić rclone copy Instrukcja jest dobra do testowaniaCiekawostką jest możliwość zaplanowania cyklicznych kopii zapasowych z dziennikami, rotacją wersji i powiadomieniami, gdy coś pójdzie nie tak.

W systemie Linux najłatwiej jest użyć cronNa przykład, aby uruchomić synchronizację dokumentów z Dyskiem Google każdej nocy o godzinie 2:00:

crontab -e

0 2 * * * /usr/bin/rclone sync /home/user/documents gdrive:backup \
  --log-file=/var/log/rclone-backup.log --log-level=INFO

Kiedy chcesz czegoś poważniejszego, z blokadą, przytrzymaniem i powiadomieniamiWarto mieć dedykowany skrypt. Typowy schemat obejmuje:

• Zmienne z pochodzeniem, miejscem docelowym, limitami przepustowości i dniami przechowywania.
• Użycie flock lub plik blokady, aby zapobiec jednoczesnym wystąpieniom.
• Użycie --backup-dir i sufiksy .bak do wersjonowania.
• Czyszczenie starych kopii zapasowych za pomocą --min-age y --rmdirs.
• Opcjonalne wysyłanie powiadomień na Slack/Discord/e-mail w przypadku awarii.

Jeśli wolisz systemd od crona, możesz zdefiniować rclone-backup.service który wykonuje skrypt i rclone-backup.timer który oznacza rytm (na przykład o 2:00 małym, losowym symbolem, aby nie zawsze się pokrywał).

Interfejs graficzny i użytkowanie w systemie Android

Nie każdy czuje się komfortowo z wierszem poleceńA w przypadku niektórych zadań (np. przeglądania treści, sprawdzania, czy coś znajduje się we właściwym miejscu) graficzny interfejs użytkownika może zaoszczędzić czas.

Rclone wprowadza oficjalny interfejs graficzny (eksperymentalny, ale funkcjonalny), który wzrasta wraz z:

rclone rcd --rc-web-gui --rc-user=admin --rc-pass=password
# luego abres http://localhost:5572 en el navegador

Ponadto istnieją zewnętrzne interfejsy graficzne, takie jak Rclone Browser lub nowoczesne forki, takie jak „Rclone UI”Narzędzia te umożliwiają przeciąganie i upuszczanie, planowanie zadań z poziomu okna i przeglądanie postępów w atrakcyjny wizualnie sposób. W systemie Linux można je zainstalować z repozytoriów lub użyć obrazu AppImage; dostępne są również obrazy Dockera, które udostępniają interfejs na porcie HTTP.

W systemie Android sztuczka polega na ponownym wykorzystaniu pliku rclone.confWiele aplikacji klienckich Rclone pozwala na jego importowanie (lub umieszczenie w folderze) rclone/ (w pamięci wewnętrznej) i stamtąd masz dostęp do wszystkich zdefiniowanych pilotów, tak jak na serwerze. Idealne do strumieniowego przesyłania zaszyfrowanych treści multimedialnych z urządzenia mobilnego.

Rozwiązywanie typowych problemów i diagnostyka

Praca z interfejsami API w chmurze wiąże się z koniecznością radzenia sobie z błędami uwierzytelniania i ograniczeniami usług.Wiedza o tym, jak odczytać wiadomość i posiadanie odpowiedniej flagi pod ręką może zaoszczędzić wiele kłopotów.

Błędy uwierzytelniania („nie udało się utworzyć klienta OAuth” lub wygasłe tokeny) Zazwyczaj naprawia się je za pomocą:

• rclone config reconnect remote: odnowić uprawnienia.
• W skrajnych przypadkach należy usunąć pilota i skonfigurować go od nowa.

Błędy limitu częstotliwości 403, szczególnie w Dysku GoogleSą one redukowane poprzez obniżenie agresywności:

rclone copy source: dest: \
  --transfers 2 --checkers 4 \
  --tpslimit 2 --tpslimit-burst 0

Jeśli mocowanie FUSE zwróci komunikat „odmowa dostępu”, sprawdzać:

• Co w /etc/fuse.conf opcja user_allow_other jest bez komentarza.
• Czym jedziesz? --allow-other i odpowiedniego użytkownika.

Gdy podejrzewasz, że po synchronizacji brakuje plikówZdrowa rzecz to:

• Próbowałem wcześniej z --dry-run.
• Użyj rclone check origen destino --one-way i przejrzyj raport zbiorczy.
• Sprawdź wzorce --exclude / --include że mogli wyciec więcej, niż powinni.

Do rafinacji precyzyjnej, -vv i flagi --dump headers / --dump bodies Pokazują żądania HTTP wysłane przez Rclone i rclone backend features remote: o rclone test Pomagają dokładnie zobaczyć, co obsługuje każdy system zaplecza i jak działa połączenie.

Rclone pozwala na zamontowanie wszystkiego, od skromnej kopii zapasowej folderu Dokumenty w Dropboxie po wielochmurowy system replikacji z szyfrowaniem, trwałymi montowaniami i monitorowaniem za pomocą Prometheusa.Krzywa uczenia się może być na początku nieco onieśmielająca, ale gdy ją opanujesz, rclone config, copy, sync, mount y cryptReszta to dodawanie kolejnych warstw: automatyzacja z cron lub systemd, zaawansowane filtrowanie, szczegółowe logi i drobne poprawki wydajnościowe, aby dostosować go do środowisk sieciowych i chmurowych. Po połączeniu tych wszystkich elementów, przestaje być „kolejnym narzędziem konsolowym”, a staje się cichym filarem, który zapewnia bezpieczeństwo, szyfrowanie i redundancję danych, bez konieczności codziennego myślenia o nim.