s3data.ru
Попробовать

Справка

Документация

Пошаговые инструкции, таблица совместимости S3, миграция и безопасность — на одном экране с боковым меню, без выхода из раздела.

Написать в поддержку
Меню разделов▾

Документация

Миграция S3 и перенос бэкапов на s3data

Перенос данных и хранение бэкапов из AWS S3, Yandex Object Storage, Selectel, MinIO или другого S3-совместимого хранилища — привычными инструментами mc, rclone и aws-cli. Ниже — готовые команды и типичные ограничения.

Быстрый стартЦена и калькулятор

Подходит

Архивы, бэкапы и медиа из S3

Перенос бакетов до десятков терабайт через mc или rclone, когда на источнике стандартный S3 API без экзотических расширений.

Проверить отдельно

Сложные политики и versioning

Если критичны версии объектов, object lock или нестандартные bucket policy — сверьте ограничения в совместимости S3 и согласуйте план с поддержкой.

Что переносится вместе с объектами

  • Тело объекта и пользовательские метаданные.
  • Заголовки Content-Type, Content-Encoding, Cache-Control.
  • Структура «каталогов» за счёт префиксов в ключе объекта.

Что нужно перенести отдельно

  • Версии объектов, если на источнике включён versioning.
  • Политики жизненного цикла и правила автоудаления.
  • Бакетные политики и настройки публичного доступа.

Способ 1 — MinIO mc (рекомендуем)

Удобен для миграции: есть непрерывная синхронизация (--watch) и хорошая совместимость с разными S3-провайдерами.

bash
# Подключите оба endpoint
mc alias set source https://s3.amazonaws.com           АКЛЮЧ_ИСТОЧНИКА   АСЕКРЕТ_ИСТОЧНИКА
mc alias set s3data https://s3.s3data.ru ВАШ_КЛЮЧ          ВАШ_СЕКРЕТ

# Сухой прогон — посмотреть, что будет скопировано
mc mirror --watch --dry-run source/исходный-бакет s3data/новое-хранилище

# Реальный перенос (зеркало с сохранением структуры)
mc mirror --preserve source/исходный-бакет s3data/новое-хранилище

# Проверка совпадения
mc diff source/исходный-бакет s3data/новое-хранилище

Способ 2 — rclone

Подходит, если rclone уже стоит в инфраструктуре: наглядный прогресс и гибкие параметры параллелизма.

rclone.conf + bash
# rclone.conf — добавьте оба удалённых хранилища (см. раздел «Быстрый старт» в документации)

# Перенос с сохранением структуры
rclone sync --progress \
    source:исходный-бакет \
    s3data:новое-хранилище

# Только проверка различий
rclone check source:исходный-бакет s3data:новое-хранилище

# Параллельность и устойчивость
rclone sync --transfers 16 --checkers 32 --retries 5 \
    source:исходный-бакет s3data:новое-хранилище

Способ 3 — AWS CLI

Имеет смысл, если уже есть скрипты на aws-cli и не хочется добавлять новые утилиты.

bash
# Если переносите между двумя S3-хранилищами через aws-cli:
aws --profile source --endpoint-url https://s3.amazonaws.com \
    s3 cp s3://исходный-бакет/ - --recursive \
| aws --profile s3data --endpoint-url https://s3.s3data.ru \
    s3 cp - s3://новое-хранилище/ --recursive

# Чаще удобнее качать в локальный буфер и заливать:
aws --profile source --endpoint-url https://s3.amazonaws.com \
    s3 sync s3://исходный-бакет/ ./буфер/

aws --profile s3data --endpoint-url https://s3.s3data.ru \
    s3 sync ./буфер/ s3://новое-хранилище/

На что обратить внимание

Метаданные пользователя сохраняются, системные — нет
Заголовки x-amz-meta-* копируются, как и Content-Type, Content-Encoding. Историю изменений (versioning) и серверные настройки (lifecycle, ACL) переносите отдельно — после копирования объектов.
Сравнивайте контрольные суммы
После переноса запускайте mc diff или rclone check — сверяются ETag и размер объектов. Для объектов, загруженных multipart, ETag не равен MD5 целиком; надёжно проверяют только diff/check, а не ручная сверка по MD5.
Большие объёмы — планируйте окно переноса
У исходного провайдера могут быть свои правила тарификации на исходящий трафик. Имеет смысл заранее согласовать нагрузку и этапы; по корпоративному договору подскажем оптимальное расписание.
Миграция без простоя приложения
Обычно два шага: первичная синхронизация → переключение DNS или конфигурации приложения → короткая догонка изменений (mc mirror --watch или rclone sync). Так можно перейти без даунтайма.

Помощь с переездом

При переносе больших объёмов (от десятков терабайт) или критичных нагрузок помогаем спланировать миграцию: окно перехода, сетевые параметры, скрипты-обвязки. Напишите на info@s3data.ru.

К быстрому старту