Подробный обзор облачного хранилища: что лучше — объект, блок или файл?

Метки хранилища быстро накапливаются: S3, NFS, iSCSI, CIFS — что угодно. Если вы используете растущий стек SaaS или аналитики на VPS, выбор между объектным, блочным и файловым хранилищем может показаться популярной викториной, к которой вы никогда не готовились. Зачастую командам неизбежно приходится проходить один и тот же процесс принятия решений, и закономерность ясна: сопоставьте IOPS, пропускную способность и потребности в сохранении данных с нужным уровнем, и затраты уменьшатся, а производительность увеличится.

В течение следующих десяти минут вы увидите объяснение всех типов облачных хранилищ без лишнего маркетинга. Я укажу, когда использовать объектное хранилище, почему Block по-прежнему управляет базами данных и где подходят варианты хранения файлов VPS, когда общие папки имеют значение. Я даже отмечу несколько ловушек — задержку, скрытую плату за исходящий трафик и ужасный потолок масштабируемости — чтобы вы могли их обойти.

В конце концов, вопрос об объекте, блоке и файловом хранилище будет больше похож на меню, а не на загадку.

Каковы основы облачного хранилища?

Прежде чем назвать победителей, давайте остановимся на показателях, которые на самом деле определяют производительность и стоимость.

• Задержка: Время между запросом на чтение или запись и возвращением первого байта.
• IOPS (операций ввода/вывода в секунду): Указывает, сколько небольших случайных операций может выполнить диск.
• Пропускная способность: Постоянный объем данных, передаваемых в секунду, важен для резервного копирования и носителей.
• Масштабируемость хранилища: Насколько легко вы можете увеличить производительность без модернизации вилочного погрузчика.
• Постоянство и долговечность данных: Шансы немного проиграть за определенный период; ведущие объектные службы нацелены на одиннадцать девяток.
• Протокольный комфорт: Совместимые с S3 API, монтирование NFS или SMB/CIFS разделяют усилия разработчиков.

Понимание этих строительных блоков превращает стену жаргона в практические рычаги. Держите их близко; мы вернемся к вам, когда каждая модель выйдет на ринг.

Почему важны основы

Подумайте о реальной информационной панели SaaS, которая хранит большой двоичный объект JSON размером 2 ГБ в кеше, поддерживаемом оперативной памятью; В тот момент, когда пользователь переключает фильтр, приложению требуется всего пара блоков по 4 КБ от тома NVMe. Здесь сокращение задержки на две миллисекунды обеспечивает заметно более быстрые графики, поэтому количество операций ввода-вывода в секунду и класс диска выходят на первое место в списке приоритетов.

Теперь обратимся к розничной сети, которая хранит 500 ТБ систем видеонаблюдения ночного видения и должна хранить отснятый материал в течение семи лет. Никто не против подождать минутку и просмотреть видео прошлой зимы с пятым проходом, но финансы следят за каждым центом. Размещение этих данных в архивной корзине, совместимой с S3, по цене четыре доллара за терабайт, а затем перемещение отснятого материала годовой давности в течение всего жизненного цикла в глубокое хранилище примерно за доллар со сдачей — вполне удовлетворяет сотрудников по соблюдению нормативных требований и бухгалтеров. Разные критерии, разные победители.

Надежная конструкция хранилища по-прежнему опирается на герметичную защиту; Сначала усильте защиту IAM и ключи шифрования, а затем определите размер томов. Чтобы быстро узнать, как устранить эти пробелы, просмотрите нашу руководство по облачной безопасности, который устраняет ошибки общей ответственности и практики быстрого реагирования.

Разбивка блочного хранилища: варианты использования и ограничения

Блочное хранилище разделяет виртуальные диски на блоки фиксированного размера, имитирующие локальные диски. Ваша операционная система форматирует их, а затем базы данных или образы виртуальных машин обрабатывают их как любой другой диск.

Отлично подходит

• Базы данных OLTP с большим количеством транзакций, которым требуется предсказуемое количество операций ввода-вывода в секунду.
• Загрузочные тома с малой задержкой для вычислительных экземпляров.
• Буферы агрегирования журналов, которые быстро обновляются, но должны выдерживать перезапуск экземпляра.

Жесткие ограничения

• Масштабирование означает увеличение или увеличение объемов, а не бесконечных сегментов.
• Собственные снимки находятся в одной зоне, поэтому для защиты за пределами площадки требуется репликация вручную.
• Метаданные находятся за пределами тома, что снижает возможности поиска по сравнению с одноранговыми объектами.

Когда вы суммируете числа, Block по-прежнему снижает задержку записи, но часто обходится дороже за гигабайт. Имейте это в виду всякий раз, когда разговор об объектном, блочном и файловом хранилище смещается в сторону бюджета.

Понимание объектного хранилища: масштабируемость и преимущества

Объектные хранилища хранят данные-оболочки и расширенные метаданные внутри плоского пространства имен, доступ к которому осуществляется через вызовы REST или S3-совместимые SDK.

Почему он светится

• Почти бесконечные ведра: Масштабируемость хранилища достигается без перераспределения.
• Пользовательские метаданные: Помечайте файлы идентификаторами проектов или флагами хранения для упрощения управления.
• Встроенные правила управления версиями и жизненным циклом: Идеально подходит для архивирования данных и юридического хранения.

Вы можете задаться вопросом, когда использовать объектное хранилище вместо надежного блочного тома. Мой ярлык: сюда относится все, что превышает 100 ГБ, что пользователи редко изменяют, но могут читать из разных регионов. Установите этот флажок для озер больших данных, статических веб-ресурсов и обучающих наборов для машинного обучения. Повторяйте мантру — когда использовать объектное хранилище, когда использовать объектное хранилище, когда использовать объектное хранилище — и вы быстро определите крайние случаи, в которых по-прежнему предпочитаются блоки.

Объяснение хранилища файлов: знакомство и варианты использования

Хранилище файлов представляет собой иерархическое дерево, напоминающее общий диск. Подключите его с помощью NFS или CIFS, установите разрешения, и ваши сценарии DevOps останутся прежними.

Почему командам до сих пор это нравится

• Унаследованные приложения, способные поднимать и менять, которые ожидают /mnt/проекты.
• Конвейеры медиапроизводства, в которых редакторы совместно работают над одним и тем же файлом.
• Простое управление квотами по каталогам.

Современные варианты хранения файлов VPS отражают эту привычку, добавляя емкость с оплатой по мере роста. Тем не менее, помните, что каждый дополнительный вызов метаданных увеличивает задержку по сравнению с вводом-выводом необработанных блоков. Измерьте дважды, сопоставьте один раз и используйте параметры хранения файлов VPS в выделенном сегменте сети с низким уровнем джиттера для достижения наилучших результатов.

Ключевые отличия: сравнительная таблица

Иногда слова сливаются воедино. В таблице ниже собраны ключевые моменты, чтобы ваши глаза могли определить победителя за считанные секунды.

Посмотрите, как трио «объект», «блок» и «файловое хранилище» распределяет ответственность. Блокирует собственную задержку, объекты обеспечивают масштабируемость хранилища, а файлы обеспечивают удобство совместной работы.

Как подходят варианты хранения VPS

Запускаете свой стек на виртуальном частном сервере? Хорошие новости: большинство провайдеров теперь объединяют все три услуги, поэтому вам редко придется мигрировать в облака, чтобы получить желаемое сочетание. Мое практическое правило:

• Подключите высокопроизводительный блочный том к каждому узлу базы данных.
• Повесьте общий ресурс NFS для ресурсов группы и конвейеров CI.
• Направьте резервное копирование и экспорт журналов на корзину S3, расположенную в том же центре обработки данных.

Внедрение этого трио в одном арендаторе сокращает задержку между уровнями и позволяет избежать платы за исходящий трафик. публичные облака. Если вы ищете выгодные предложения, сравнивайте предложения под эгидой альтернатив Google Cloud. А еще лучше, запустите тестовый экземпляр сегодня — ознакомьтесь с нашим решения для облачных вычислений, запустите карманный VPS и протестируйте реальные рабочие нагрузки менее чем за пять минут. Соедините это с нашей статьей о понимании компонентов облачных сетей для эффективной передачи пакетов, и вы получите множество вариантов хранения файлов VPS без неожиданной позиции.

Выбор подходящего хранилища для вашего проекта

Паралич принятия решений исчезает, как только вы сопоставляете характеристики рабочей нагрузки с характеристиками хранилища. Используйте приведенный ниже контрольный список в следующий раз, когда товарищ по команде спросит, какой сегмент или том выделить.

Быстрый контрольный список

• Являются ли данные транзакционными? Иди заблокируй; не идите на компромисс с IOPS.
• Набор данных в основном предназначен для одной записи и многократного чтения? Вот когда следует использовать объектное хранилище.
• Нужны ли нескольким серверам одни и те же файлы? Общие файловые ресурсы превосходят ручную rsync.
• Вырастет ли объем данных за терабайт в течение года? Планируйте масштабирование хранилища заранее, а не делайте переезды в последнюю минуту.
• Действуют ли правила аудита или архивирования данных? Политики управления версиями и жизненным циклом объектов упрощают соблюдение требований.
• Приложение работает на VPS с устойчивым трафиком? Используйте локальные тома и варианты хранения файлов VPS для получения предсказуемых счетов.

Объедините ответы, и загадка «Объект, блок или хранилище файлов» решится сама собой. Сохраните нашу таблицу основных принципов в закладках, возвращайтесь к ней вместе с пояснениями по типам облачных хранилищ со своей командой, и вы опередите поставщиков, предлагающих универсальные предложения.

Заключительные мысли

Выбор между объектным, блочным и файловым хранилищем зависит не столько от моды, сколько от установки правильного болта на правильную гайку. Сопоставление задержки, пропускной способности и устойчивости данных нацелено на каждый уровень, а все остальное встает на свои места. Ваше будущее «я» — с более быстрыми запросами, меньшими счетами и более простыми аудитами — будет вам благодарно.

Требуется повышение квалификации по магистральной сети по каждому протоколу хранения данных? Наш учебник по облачные вычисления размещает уровни IaaS, PaaS и SaaS, чтобы вы могли определить, где находятся блок, объект и файл.

Часто задаваемые вопросы