Duplicate 2 что это

Резервное копирование, часть 3: Обзор и тестирование duplicity, duplicati

В данной статье рассмотрены средства резервного копирования, которые выполняют резервное копирование путем создания архивов на резервном сервере.

Из тех, которые удовлетворяют требованиям — duplicity (к которому есть приятный интерфейс в виде deja dup) и duplicati.

Еще одно весьма примечательное средство резервного копирования — dar, но поскольку у него имеется весьма обширный список опций — методика тестирования покрывает едва ли 10% от того, на что он способен, — его в рамках текущего цикла не тестируем.

Ожидаемые результаты

Поскольку оба кандидата так или иначе создают архивы, то в качестве ориентира можно использовать обычный tar.

Дополнительно оценим, насколько хорошо оптимизируется хранение данных на сервере хранения путем создания резервных копий, содержащих только разницу между полной копией и текущим состоянием файлов, или между прошлым и текущим архивами (инкрементальные, декрементальные и т.п.).

Поведение при создании резервных копий:

В качестве эталонного значения запустим следующую команду:

Результаты выполнения получились такие:

Время выполнения 3m12s. Видно, что скорость уперлась в дисковую подсистему сервера хранения резервных копий, как и в примере с rsync. Только чуть быстрее, т.к. запись идет в один файл.

Также для оценки сжатия запустим тот же вариант, но включим сжатие на стороне сервера резервного копирования:

Время выполнения 10m11s. Вероятнее всего, узкое место — однопоточный компрессор на принимающей стороне.

Та же команда, но с переносом сжатия на сервер с исходными данными для проверки гипотезы, что узкое место — однопоточный компрессор.

Время выполнения составило 9m37s. Явно видно загрузку одного ядра компрессором, т.к. скорость передачи по сети и нагрузка на дисковую подсистему источника — аналогичные.

Для оценки шифрования можно использовать openssl или gpg, подключая дополнительную команду openssl или gpg в pipe. Для ориентира будет такая команда:

Результаты вышли такие:

Время выполнения получилось 10m30s, поскольку запущено 2 процесса на принимающей стороне — узкое место опять однопоточный компрессор, плюс небольшие накладные расходы на шифрование.

UPD: По просьбе bliznezz добавляю тесты с pigz. Если использовать только компрессор — получилось за 6m30s, если еще добавить и шифрование — примерно 7m. Провал на нижнем графике — несброшенный дисковый кэш:

Тестирование duplicity

Duplicity — программное обеспечение на python для резервного копирования путем создания шифрованных архивов в формате tar.

Для инкрементальных архивов применяется librsync, следовательно, можно ожидать поведения, описанного в предыдущей заметке цикла.

Резервные копии могут шифроваться и подписываться с помощью gnupg, что немаловажно при использовании различных провайдеров для хранения резервных копий (s3, backblaze, gdrive и т.п.)

Посмотрим, какие будут результаты:

Время работы каждого тестового запуска:

А вот результаты при включении шифрования gnupg, с размером ключа 2048 бит:

Время работы на тех же данных, с шифрованием:

Был указан размер блока — 512 мегабайт, что отчетливо видно на графиках; загрузка процессора фактически держалась на уровне 50%, значит, программа утилизирует не более одного процессорного ядра.

Также достаточно хорошо видно принцип работы программы: взяли кусочек данных, пожали его, отправили на сервер хранения резервных копий, который может быть достаточно медленным.
Еще одна особенность — предсказуемое время работы программы, которое зависит только от размера измененных данных.

Включение шифрования не особенно увеличило время работы программы, но повысило загрузку процессора примерно на 10%, что может быть весьма неплохим приятным бонусом.

К сожалению, данная программа не смогла корректно обнаружить ситуацию с переименованием каталога, и результирующий размер репозитория оказался равен размеру изменений (т.е. все 18гб), но возможность использовать недоверенный сервер для резервного копирования однозначно перекрывает такое поведение.

Тестирование duplicati

Данное программное обеспечение написано на C#, запускается, используя набор библиотек от Mono. Имеется GUI, а также cli версия.

Примерный список основных возможностей близок к duplicity, включая различных провайдеров для хранения резервных копий, однако, в отличие от duplicity, большинство возможностей доступно без сторонних средств. Плюс это или минус — зависит от конкретного случая, однако для новичков, вероятнее всего, проще иметь перед глазами список сразу всех возможностей, нежели доустанавливать пакеты для python, как в случае с duplicity.

Еще один небольшой нюанс — программа активно пишет локальную базу sqlite от имени того пользователя, который запускает резервное копирование, поэтому нужно дополнительно следить за корректным указанием нужной базы при каждом запуске процесса используя cli. При работе через GUI или WEBGUI детали будут скрыты от пользователя.

Если выключить шифрование (причем WEBGUI делать этого не рекомендует), результаты таковы:

С включенным шифрованием, используя aes, получается так:

А если использовать внешнюю программу gnupg, выходят такие результаты:

Как видно — программа умеет работать в несколько потоков, но от этого не является более производительным решением, а если сравнивать работу шифрования — запуск внешней программы
получился более быстрым, чем применение библиотеки из набора Mono. Возможно, это связано с тем, что внешняя программа больше оптимизирована.

Приятным моментом также стал тот факт, что размер репозитория занимает ровно столько, сколько реально было измененных данных, т.е. duplicati обнаружил переименование каталога и корректно обработал данную ситуацию. Это можно увидить при прогоне второго теста.

В целом, достаточно положительные впечатления от программы, включая достаточную дружелюбность к новичкам.

Результаты

Оба кандидата достаточно неспешно отработали, но в целом, по сравнению с обычным tar, есть прогресс, как минимум у duplicati. Цена такого прогресса также понятна — заметная нагрузка
процессора. В целом, никаких особых отклонений при прогнозировании результатов нет.

Выводы

Если никуда спешить не нужно, а также есть запас по процессору — подойдет любое из рассмотренных решений, во всяком случае проделана достаточно большая работа, которую не стоит повторять путем написания скриптов-оберток поверх tar. Наличие шифрования весьма нужное свойство, если сервер для хранения резервных копий не может быть полностью доверенным.

Если сравнивать с решениями на основе rsync — производительность может быть хуже в несколько раз, несмотря на то, что в чистом виде tar отработал быстрее rsync на 20-30%.
Экономия на размере репозитория есть, но только у duplicati.

Источник

Installation

Duplicati components¶

Before installing Duplicati, you should know how the different components relate to each other and how they can be configured. This makes it easier to decide how the software can be installed the way that matches your needs. The main components are:

When a backup is made, Duplicati has the same permissions to the file system as the user context it is running in. If Duplicati is started with the Tray Icon tool, a user starts the Server component, or the command line tools are used, a backup can be made from all files that the user has read access to. Probably personal documents of other users that log on the same computer cannot be backed up by this instance.

However, other users can run their own Duplicati server instance (using different port numbers for the web server), which will give them access to their own personal files. The settings and backup configurations are stored at separate locations, so all users will see their own Duplicati environment.

If you want to be able to access all files on your computer and backup files from multiple users with the same Duplicati instance, the best option is to register Duplicati as a Windows service. Services are started by default with the Local System account. This account has NTFS permissions to the complete file system. Note that this will give the backup operator access to the files from all users that log on to the computer by using the source file picker in the Duplicati Web interface. It is highly recommended to secure the web interface with a strong password in this case.

Registering Duplicati as a service could also be a solution if you want to make use of Volume Shadowcopy Services (VSS), but your user account does not have administrative privileges.

Prerequisites¶

Источник

Обзор Duplicati 2

Duplicati 2 был разработан для резервного копирования в облако. Он прекрасно справляется с сетевыми проблемами. Например, прерванные задачи резервного копирования на Windows 10 и 7 могут быть возобновлены, и Duplicati 2 регулярно проверяет содержимое резервных копий. Таким образом, резервные копии с проблемами на поврежденных системах хранения могут быть обнаружены.

Характеристики и преимущества Duplicati 2

Видео установка компонентов Duplicati

Перед установкой Duplicati вы должны знать, как различные компоненты связаны друг с другом и как их можно настроить. Это упрощает принятие решения о том, как установить программное обеспечение в соответствии с вашими потребностями. Основные компоненты:

Когда сервер Duplicati запущен, Duplicati может выполнять задачи в фоновом режиме, например создавать резервные копии, выполнять операции восстановления и выполнять задачи обслуживания. Серверная часть имеет встроенный планировщик для автоматического запуска заданий резервного копирования через определенные промежутки времени. Для настройки новых (или изменения существующих) заданий резервного копирования, изменения настроек и мониторинга выполнения резервного копирования в компонент сервера включен веб-сервер. Если серверный компонент запускается, веб-сервис прослушивает интерфейс обратной петли, делая его доступным только с локального хоста. Сервер пытается начать прослушивание TCP-порта 8200. Если этот порт недоступен (из-за другого запущенного экземпляра сервера Duplicati или другого процесса, который использует порт 8200), будет произведена попытка порта 8300, увеличивая его до тех пор, пока не будет найден неиспользуемый порт. Порт и интерфейс можно настроить, указав некоторые параметры командной строки.

Duplicati может создавать резервные копии без загрузки серверного компонента, используя инструменты командной строки. Для планирования резервного копирования без использования серверного компонента можно использовать почти все планировщики задач, например, планировщик задач Windows (Windows) или Cron (Linux). Другие инструменты командной строки могут помочь с операциями восстановления, восстановлением файлов из поврежденных резервных копий, установкой серверного компонента в качестве сервера, анализом связи с серверными модулями или обновлением программного обеспечения.

При запуске инструмент «Значок Duplicati Tray» создает небольшой значок на панели задач для быстрого доступа к веб-интерфейсу Duplicati. Серверный компонент включен в инструмент Tray Icon. После установки по умолчанию инструмент Tray Icon будет автоматически запущен после входа пользователя в систему, что избавляет от необходимости настраивать серверный компонент в повседневном использовании.

В основном это то же самое, что и компонент Duplicati Server, но работает как служба Windows. Если Duplicati зарегистрирован как служба Windows, небольшой агент запускает серверный компонент и отправляет эхо-запрос на сервер, чтобы убедиться, что он запущен. Если компонент сервера недоступен, агент перезапустит его. Когда создается резервная копия, Duplicati имеет те же права доступа к файловой системе, что и пользовательский контекст, в котором она запущена. Если Duplicati запускается с помощью инструмента Tray Icon, пользователь запускает компонент Server или используются инструменты командной строки, резервное копирование может быть выполнено из всех файлов, к которым у пользователя есть доступ на чтение. Возможно, этот экземпляр не может создать резервную копию личных документов других пользователей, которые входят на тот же компьютер.

Однако другие пользователи могут запустить свой собственный экземпляр сервера Duplicati (используя другие номера портов для веб-сервера), что даст им доступ к их личным файлам. Настройки и конфигурации резервного копирования хранятся в разных местах, поэтому все пользователи будут видеть свою собственную среду Duplicati.

Если вы хотите иметь доступ ко всем файлам на вашем компьютере и создавать резервные копии файлов от нескольких пользователей с помощью одного и того же экземпляра Duplicati, лучшим вариантом будет зарегистрировать Duplicati как службу Windows. По умолчанию службы запускаются с учетной записью локальной системы. Эта учетная запись имеет разрешения NTFS для всей файловой системы. Обратите внимание, что это предоставит оператору резервного копирования доступ к файлам от всех пользователей, которые входят в систему с помощью средства выбора исходных файлов в веб-интерфейсе Duplicati. В этом случае настоятельно рекомендуется защитить веб-интерфейс надежным паролем.

Регистрация Duplicati в качестве службы также может быть решением, если вы хотите использовать службы теневого копирования томов (VSS), но ваша учетная запись пользователя не имеет прав администратора.

Источник

Заметки дядюшки Раджи

Всякая всячина, которую дядюшка Раджа находит в интернете и хочет поделиться с читателями.

Об авторе

Архив блога

Мой блог смотрят

17 августа 2019

Как я Duplicati 2 в Windows устанавливал и настраивал.

После установки с помощью MSI-пакета программа запустилась, в системном лотке рядом с часами появился значок, в браузере открылся web-интерфейс для настройки программы и создания заданий. Для простого архивирования документов хватит за глаза, но есть в таком режиме кое-какие ограничения.
Во-первых, при запуске от имени пользователя не работает теневое копирование, т.е. открытые и заблокированные файлы при выполнении резервного копирования будут пропущены.
Во-вторых, настройки самой программы и задания лежат в недрах пользовательского каталога » AppData «, и их таким образом можно потерять.

Решение проблем я нашёл за вечер.

Сначала я удалил программу совсем. Перед этим необходимо экспортировать настройки заданий в JSON-файлы, но у меня задания настроены ещё не были, а тестовые задания ценности не представляли. Потом я скачал со страницы релизов последнюю доступную версию в виде zip-архива с бинарниками для Windows («duplicati-2.0.4.23_beta_2019-07-14.zip» на момент написания статьи). Распаковал архив в нужный мне каталог и приступил к настройке.

Сначала я запустил командную строку от имени администратора и перешёл в каталог с файлами программы. Из него я установил службу такой командой:

Но в таком варианте настройки хранятся уже внутри каталога » \Windows\System32\config\systemprofile\AppData «, что тоже не очень хорошо. Поэтому я удалил службу и переустановил её с параметром «—portable-mode«:

В таком режиме настройки хранятся в каталоге » data » вместе с программой.

Теперь расскажу об использовании механизма теневых копий.

Он включается с помощью добавления параметра «snapshot-policy» и выставления его в положение «on» в разделе «Параметры по умолчанию» настроек программы или в разделе «Расширенные параметры» на 5-м шаге мастера добавления задания.

Ещё в этой программе мне понравилась настройка хранения резервных копий, которая задаётся в виде » Период:Количество «. Например, » 7D:1D,4W:1W » расшифровывается как «В течении 7 дней (7D) хранить по одной копии за каждый день (1D), в течение 4 недель (4W), хранить одну копию за каждую неделю (1W), белее старые копии удалять». Можно довольно гибко настроить хранение и удаление.

А не понравилось мне в программе то, что нельзя просто открыть архив и извлечь нужный файл, потому что данные там хранятся в своём хитром формате. При открытии архива обычным архиватором видны файлы с именами вида «_KGCmOF5iOWsglfcz31luskPsj7NooyjiyXD8sXQDO8=«

Источник

Свободная программа для резервного копирования в Windows 10 и 7. Используется веб-интерфейс на русском языке. Позволяет создавать зашифрованные резервные копии.

Свободный клиент резервного копирования Windows 7 и 10, который надежно сохранит данные благодаря шифрованию. Инкрементные, сжатые резервные копии могут быть перемещены в облачные хранилища и на удаленные файловые сервера. Вторая версия программы работает через веб-интерфейс. Переведен на русский язык.

Duplicati 2 работает с:

Duplicati 2 работает с распространенными протоколами, например, FTP, SSH, WebDAV, и популярные сервисы, например, Microsoft OneDrive, Amazon Cloud Drive и S3, Google Drive, box.com, Mega, hubiC и множество других.

Резервное копирование в Windows 10 и 7 файлов и папок с мощным шифрованием AES-256. Сохранение пространства с использованием инкрементными резервными копиями и дедупликацией данных. Существует возможность запускать резервное копирование на любом компьютере через веб-интерфейс или через интерфейс командной строки. У Duplicati есть встроенный планировщик и автообновление.

Duplicati 2 использует мощное шифрование AES-256 для защиты конфиденциальности. Также можно использовать GPG для шифрования резервной копии.

Duplicati 2 был разработан для резервного копирования в облако. Он прекрасно справляется с сетевыми проблемами. Например, прерванные задачи резервного копирования на Windows 10 и 7 могут быть возобновлены, и Duplicati 2 регулярно проверяет содержимое резервных копий. Таким образом, резервные копии с проблемами на поврежденных системах хранения могут быть обнаружены.

Характеристики:

Источник