Скрипт Python для синхронизации каталогов
Одной из задач, с которой сталкиваются разработчики Python, является синхронизация папок. Она позволяет управлять резервными копиями, синхронизировать несколько устройств или поддерживать порядок в файлах.
Существует несколько готовых инструментов, но большую свободу вы получаете при создании скрипта на Python.
В этой статье мы рассмотрим пример написания скрипта на Python, который синхронизирует файлы между двумя папками.
Введение в Скрипт
Скрипт начинает свою раблту с импорта нескольких библиотек Python.
Скрипт начинается с импорта нескольких основных библиотек Python.
В их число входит ОС для взаимодействия с операционной системой, shutil для работы с файлами на высоком уровне, filecmp для сравнения файлов, argparse для обработки аргументов командной строки и tqdm для отображения индикатора прогресса при длительных операциях.
Совместная работа этих библиотек обеспечивает надежную систему синхронизации каталогов.
import os
import shutil
import filecmp
import argparse
from tqdm import tqdmСкрипт в основном используют встроенные модули Python, но для визуализации прогресса задействована библиотека tqdm, котрая устанавливается командой:
pip install tqdmШаг 1. Проверить и подготовить каталоги
До начала синхронизации скрипт проверяет существование исходного каталога. Если окажется, что целевой каталог отсутствует, то скрипт просто его создаст.
Это важный шаг при создании проекта, так как обеспечивается бесперебойный процесс синхронизации без ошибок.
# Function to check if the source and destination directories exist
def check_directories(src_dir, dst_dir):
# Check if the source directory exists
if not os.path.exists(src_dir):
print(f"\nSource directory '{src_dir}' does not exist.")
return False
# Create the destination directory if it does not exist
if not os.path.exists(dst_dir):
os.makedirs(dst_dir)
print(f"\nDestination directory '{dst_dir}' created.")
return True
В этом коде мы увидим, что функция check_directories проверяет готовность исходного и конечного каталогов. Рассмотрим подробнее как это происходит:
- Функция
os.path.exists()проверяет существование каталогов; - Если исходного каталога нет, то сообщается об этом пользователю и работа прекращается.
- При отсутствии целевого каталога, скриптом автоматически создается новый с помощью
os.makedirs(). Так гарантируется наличие необходимой структуры каталогов.
Шаг 2. Синхронизировать файлы между каталогами
Скрипт должен придерживаться основной задачи: синхронизировать файлы между исходным и целевым каталогами. Для этого можно использовать функцию sync_directories, которая просматривает исходный каталог и собирает список всех файлов и подкаталогов.
Для генерации наименований файлов в дереве каталогов воспользуемся функцией os.walk, позволяя скрипту захватывать каждый файл и папку в исходном каталоге.
# Function to synchronize files between two directories
def sync_directories(src_dir, dst_dir, delete=False):
# Get a list of all files and directories in the source directory
files_to_sync = []
for root, dirs, files in os.walk(src_dir):
for directory in dirs:
files_to_sync.append(os.path.join(root, directory))
for file in files:
files_to_sync.append(os.path.join(root, file))
# Iterate over each file in the source directory with a progress bar
with tqdm(total=len(files_to_sync), desc="Syncing files", unit="file") as pbar:
# Iterate over each file in the source directory
for source_path in files_to_sync:
# Get the corresponding path in the replica directory
replica_path = os.path.join(dst_dir, os.path.relpath(source_path, src_dir))
# Check if path is a directory and create it in the replica directory if it does not exist
if os.path.isdir(source_path):
if not os.path.exists(replica_path):
os.makedirs(replica_path)
# Copy all files from the source directory to the replica directory
else:
# Check if the file exists in the replica directory and if it is different from the source file
if not os.path.exists(replica_path) or not filecmp.cmp(source_path, replica_path, shallow=False):
# Set the description of the progress bar and print the file being copied
pbar.set_description(f"Processing '{source_path}'")
print(f"\nCopying {source_path} to {replica_path}")
# Copy the file from the source directory to the replica directory
shutil.copy2(source_path, replica_path)
# Update the progress bar
pbar.update(1)После того, как скрипт составил список файлов и папок, он использует индикатор прогресса от tqdm, чтобы предоставить пользователю информацию о ходе синхронизации.
Для каждого файла и папки в исходном каталоге скрипт вычисляет соответствующий путь в целевом каталоге. Если путь указывает на папку, скрипт создает ее в целевом каталоге, если она еще не существует. Если путь указывает на файл, скрипт проверяет, существует ли этот файл в целевом каталоге и совпадает ли он с исходным файлом. Если файл отсутствует или отличается, скрипт копирует его в целевой каталог. Таким образом, скрипт поддерживает актуальность содержимого целевого каталога по отношению к исходному.
Шаг 3, Удалить лишние файлы
Скрипт также умеет удалять файлы из целевого каталога, которых нет в исходном. Эта функция включается флагом `--delete`, который может задать пользователь.
При использовании этого флага скрипт проходит по целевому каталогу, сравнивая каждый файл и папку с исходным каталогом. Если в целевом каталоге обнаруживается что-либо, чего нет в исходном, скрипт удаляет это. Это гарантирует, что целевой каталог будет точной копией исходного.
# Clean up files in the destination directory that are not in the source directory, if delete flag is set
if delete:
# Get a list of all files in the destination directory
files_to_delete = []
for root, dirs, files in os.walk(dst_dir):
for directory in dirs:
files_to_delete.append(os.path.join(root, directory))
for file in files:
files_to_delete.append(os.path.join(root, file))
# Iterate over each file in the destination directory with a progress bar
with tqdm(total=len(files_to_delete), desc="Deleting files", unit="file") as pbar:
# Iterate over each file in the destination directory
for replica_path in files_to_delete:
# Check if the file exists in the source directory
source_path = os.path.join(src_dir, os.path.relpath(replica_path, dst_dir))
if not os.path.exists(source_path):
# Set the description of the progress bar
pbar.set_description(f"Processing '{replica_path}'")
print(f"\nDeleting {replica_path}")
# Check if the path is a directory and remove it
if os.path.isdir(replica_path):
shutil.rmtree(replica_path)
else:
# Remove the file from the destination directory
os.remove(replica_path)
# Update the progress bar
pbar.update(1)В этой части сценария используются те же методы, что и при синхронизации: os.walk() для рекурсивного обхода каталогов и tqdm для индикатора прогресса. Для удаления каталогов используется shutil.rmtree(), а для удаления отдельных файлов — os.remove().
Шаг 4. Запустить скрипт
Скрипт предназначен для запуска из командной строки, принимая в качестве аргументов исходный и целевой каталоги. Модуль argparse упрощает обработку этих аргументов, позволяя пользователю просто указать необходимые пути и параметры при запуске скрипта.
# Main function to parse command line arguments and synchronize directories
if __name__ == "__main__":
# Parse command line arguments
parser = argparse.ArgumentParser(description="Synchronize files between two directories.")
parser.add_argument("source_directory", help="The source directory to synchronize from.")
parser.add_argument("destination_directory", help="The destination directory to synchronize to.")
parser.add_argument("-d", "--delete", action="store_true",
help="Delete files in destination that are not in source.")
args = parser.parse_args()
# If the delete flag is set, print a warning message
if args.delete:
print("\nExtraneous files in the destination will be deleted.")
# Check the source and destination directories
if not check_directories(args.source_directory, args.destination_directory):
exit(1)
# Synchronize the directories
sync_directories(args.source_directory, args.destination_directory, args.delete)
print("\nSynchronization complete.")Основная функция объединяет все части сценария: она обрабатывает аргументы командной строки, проверяет каталоги, а затем запускает процесс синхронизации. Если флаг --delete установлен, то после синхронизации происходит удаление лишних файлов.
Примеры
Рассмотрим несколько примеров запуска скрипта с разными параметрами:
Синхронизация из исходного каталога в целевой:
python file_sync.py d:\sync d:\sync_copy Destination directory 'd:\sync2' created.
Processing 'd:\sync\video.mp4': 0%| | 0/5 [00:00<?, ?file/s]
Copying d:\sync\video.mp4 to d:\sync2\video.mp4
Processing 'd:\sync\video_final.mp4': 20%|██████████████████▌ | 1/5 [00:00<?, ?file/s]
Copying d:\sync\video_final.mp4 to d:\sync2\video_final.mp4
Processing 'd:\sync\video_single - Copy (2).mp4': 40%|████████████████████████████████▍ | 2/5 [00:00<?, ?file/s]
Copying d:\sync\video_single - Copy (2).mp4 to d:\sync2\video_single - Copy (2).mp4
Processing 'd:\sync\video_single - Copy.mp4': 60%|█████████████████████████████████████████████▌ | 3/5 [00:00<00:00, 205.83file/s]
Copying d:\sync\video_single - Copy.mp4 to d:\sync2\video_single - Copy.mp4
Processing 'd:\sync\video_single.mp4': 80%|██████████████████████████████████████████████████████████████████▍ | 4/5 [00:00<00:00, 274.44file/s]
Copying d:\sync\video_single.mp4 to d:\sync2\video_single.mp4
Processing 'd:\sync\video_single.mp4': 100%|███████████████████████████████████████████████████████████████████████████████████| 5/5 [00:00<00:00, 343.05file/s]
Synchronization complete.Исходный файл в пункт назначения с очисткой лишних файлов
python file_sync.py d:\sync d:\sync_copy -dExtraneous files in the destination will be deleted.
Syncing files: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████| 5/5 [00:00<00:00, 63.29file/s]
Deleting files: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 5/5 [00:00<?, ?file/s]
Synchronization complete.Заключение
Этот скрипт Python представляет собой удобный и гибкий инструмент для синхронизации файлов между двумя каталогами. Он использует ключевые библиотеки Python, такие как `os`, `shutil` и `filecmp`, а также `tqdm` для визуализации прогресса. Скрипт обеспечивает надежную и эффективную синхронизацию данных.
Этот скрипт может быть полезен для различных задач: от резервного копирования данных до поддержания согласованности между разными хранилищами.
