Что лучше подойдет для хранения данных

Вопрос о выборе накопителя для длительного хранения данных

Отсюда вытекает вопрос о приобретении собственного носителя информации, но какого? HDD, SSD? Я нацелен хранить фото и видео, текста и аудио из своей жизни на протяжении (я надеюсь и молю Аллаха одновременно) как минимум 50 лет, что лучше выбрать, что бы в один день не потерять все накопленные воспоминания в следствии какой-то ошибки или непредусмотренности? Что прослужит дольше и даст больше уверенности в сохранности, при условии что храниться этот накопитель будет в сейфе, в сухости и вдали от магнитных полей электросети и прочих приборов? Спасибо тому, кто ответит)

речь о десятилетиях.
Магнитная лента. До сих пор используется для долговременного хранения.

Не в домашних условиях, потому что оборудование для чтения-записи имеет шестизначные ценники. В долларах.

Ну ладно-ладно, пятизначный ценник (новый привод 3200 бакинских стоит). Считай уел.

На Авито б/у модели стримеров по 7к рублей есть. С картриджами по 1-2к к ним. Думаю, домой можно и не новый.

Это всё конечно звучит здорово в теории, но на практике так не работает. Я так говорю потому, что у меня есть подобный домашний архив, который я не могу потерять. И мне нужна АБСОЛЮТНАЯ гарантия, что данные у меня никуда не отъедут.

И вот я воображаю, что взял такой стример за 10-20к рублей, чуть поюзанный, но в отличном состоянии. А через 15 лет он накрылся и других таких на Авито уже совсем нет, а есть на ебее из Штатов за 5к баксов. Вот насколько радостно мне будет оказаться в такой ситуации?

Ну тогда только HDD, да

В такой ситуации проще всего будет обратиться в фирму по работе с данными, где тебе перепишут на HDD с любого носителя

NAS + бекапы + облака и периодически синхронизировать между друг другами.

Я нацелен хранить фото и видео, текста и аудио из своей жизни на протяжении (я надеюсь и молю Аллаха одновременно) как минимум 50 лет, что лучше выбрать, что бы в один день не потерять все накопленные воспоминания в следствии какой-то ошибки или непредусмотренности?
NAS с RAID 1
У меня такой, с головой хватает

Но ведь «десятилетий» ещё не прошло. Как ты можешь такое утверждать?

Далеко не всем.
Многие считают, что вопрос сохранности данных это про выбор какого-то одного надежного устройства, куда можно их записать и забыть, а не про комплекс мероприятий, который необходим выполнять постоянно (бэкапы, хранение копий данных в разных местах и т.д.).

Смотря на сколько для него ценна информация, чтобы так заморачиваться.

Думаю, настолько и ценна)

Данные на дисках в компьютере + Внешний HDD на полочке + дополнительно несколько M-DISC записал.

Читал про это, хотя сам не пользовался ещё.
От 1$ за терабайт\месяц
Очень дешёво хранить, но за выгрузку берут деньги, и доступ не мгновенный.

Компакт-диски точно отпадают, там гарантия сохранения данных до 10 лет всего, в самом лучшем случае.
Хард тоже не совсем надежен, ячейки со временем теряют магнитный заряд даже в дали от паразитных магнитных полей.
Остаются только накопители на основе кварца, способные хранить данные до 1000 лет, но все они пока в лабораториях.
___
ССД возможно, но для длительного хранения данных нужно чтобы он постоянно был подключен к компьютеру. Дело в том, что со временем ячейки в ссд теряют заряд и контроллер постоянно перезаряжает такие ячейки. И если ССД будет постоянно подключен к компу, то можно и на нем, ведь при подпитке ячейки могут хранить данные миллионы часов, что больше 100 лет.
https://prnt.sc/1t7l6o9

Хорошие nas довольно дорогие.
Автору не помешало бы бюджет указать.

Можно же собрать минимальный комп на пентиуме в корпусе c нужным количеством мест под 3.5 и установить на него FreeNAS, выйдет гораздо дешевле

Главное чтобы сами диски, которые и без того находятся в изолированном состоянии остались целыми и им не нужна постоянная подпитка.

по факту это такой же аналоговый способ записи и чтения, как и жесткие диски

Да что ты черт побери такое несёшь? (С)

Вы хотите сказать что ссд это не аналоговая система записи? 🙂

Вы не понимаете, что значит «аналоговый». Не нужно изучать информатику на Ютубе 😉

Но в реальности SSD не стал аналоговым, а просто увеличил ёмкость ячейки с 1 до 8 бит.

Не нужно изучать информатику
Это не информатика, а инженерия от знающего человека. Мы говорим о программировании на уровне электронов, которое интерпретируется высшими системами.

ёмкость ячейки с 1 до 8 бит.
Тогда уж система начала интерпретировать 8битные данные и переводить их в двубитные. На ССД информация содержится в значениях заряда, которые интерпретируются в данные.

то в многобитных ячейках, под записью понимается не факт наличия или отсутствия заряда, а величина этого заряда и уже эта величина должна быть оцифрована таким образом чтобы её можно было записать в более чем в 1 бит информации. И при оцифровывании любого аналогово сигнала, емкость его данных в цифровом виде зависит от получаемой дискретности, уровня распознавания сигнала.

по мне, всё достаточно ясно.

Источник

Выбираем способ хранения данных и важной информации: руководство Overclockers.ru (страница 2)

Магнитные ленты

А ведь многие пользователи уже не знают, что это такое – стример (по-английски – «tape drive», а не «streamer», кстати). Опять-таки, в девяностых годах прошлого века такой способ хранения считался практически вечным – кассеты с магнитными лентами не подходили для ежедневного чтения информации, но для долговременного более чем.

Как и сегодня; лентам дают минимум двадцать пять лет жизни, а то и больше. И не теоретической: вспомните, сколько уже десятков лет исполнилось данному способу хранения информации.

реклама

Большой минус стримеров и расходников к ним – цена. И да, их все еще выпускают. Стоимость стримера на Амазоне составляет от 100 евро, еще пару десятков нужно выложить за многотерабайтные кассеты (объемом от 320 Гбайт до 50 Тбайт) – в общем, такой способ бэкапирования данных и создания файлопомоек подойдет лишь организациям или людям, которым не очень жалко денег.

Да и организациям-то не самым маленьким, потому что фирмы поменьше подумают и выложат деньги за что-нибудь подоступнее, поскольку в их случае объем информации уместится на одну кассету.

В принципе, стримеры являются практически идеальным долговременным хранилищем, если не брать в расчет стоимость мегабайта. Потому как она запредельная. И, кстати, желательно помнить о том, что кассеты можно размагнитить. Но лучше не нужно.

Жесткие диски (HDD)

Жесткие диски сегодня являются самым дешевым устройством для хранения данных при учете фактора «цена за мегабайт». Легко можно купить трехтерабайтный «винчестер» менее чем за 100 евро, и он будет служить верой и правдой, пока у него не «полетят головки» (худший вариант) или же он просто однажды не посыплется «бэдами». В таких случаях пользователи обычно нецензурно выражаются – да так, что грузчики в порту позавидуют. Потому что накопленные за долгие годы данные могут умереть в момент.

Технологии в производстве HDD кардинально не развиваются уже лет пятнадцать, за исключением повышения оборотов шпинделей; а различные многобуквенные сочетания надежности по большому счету не добавляют, разве что информированности. Кроме того, восстановление данных с жесткого диска в случае безвременной кончины последнего – весьма дорогостоящая процедура, а если модель еще и десятилетней давности или более, сумма возрастает совершенно непропорционально.

Да, трава раньше была зеленее, а «винчестеры» – надежнее. Потому что, к примеру, восстановление «голов» может вам обойтись далеко не в один десяток тысяч рублей, и критическая информация станет поистине золотой.

реклама

Выходом из этого может служить вышеупомянутый способ зеркалирования. Это значит, вы покупаете два HDD одинакового объема, но разных производителей, и проводите ежедневное автоматическое копирование данных с одного на другой. Такой способ можно назвать максимально бюджетным и при этом достаточно надежным (да и найти бесплатное приложение для зеркалирования не проблема). Можно, конечно, и в RAID их запихать – только вот развалится массив, и плакали ваши данные. Поэтому рекомендую проверенный годами способ.

Твердотельные накопители (SSD)

Твердотельные накопители – это новый и очень удобный способ хранения информации на рабочем компьютере, поскольку при большей раз в десять скорости (если говорить о нормальных SDD) относительно HDD они уже не стоят заоблачных многих сотен долларов. Но у них по-прежнему остается проблема ограниченного числа часов работы и циклов записи/чтения, и это всего лишь несколько лет.

Поэтому SSD можно рассматривать как прекрасное средство для работы, но в качестве средства для хранения данных о них нужно вспоминать в последнюю очередь. Как минимум потому, что цена за мегабайт у них значительно выше, чем в случае HDD.

С другой стороны, умирают такие накопители гораздо медленнее и с уведомлениями (в зависимости от модели) об этом. Можно успеть и купить новый, и переписать на него все данные, и даже устроить грандиозную вечеринку, и не раз – прежде чем твердотельный отдаст концы. Кроме того, восстановить информацию с SSD бывает проще, чем с HDD, из-за более простой структуры и отсутствия движущихся частей.

Наконец, никто не заставляет вас пользоваться таким способом хранения данных постоянно: то есть записали – отключили и забыли. По идее, если SSD не дергать, он проживет долгие декады. Хотя никто пока еще не знает, как и в случае с CD.

Резюмирую: хранить данные на них можно, если вас не смущает высокая цена за мегабайт, сильно превосходящая таковую для HDD. В крайнем случае, успеете спасти.

Кстати, в качестве экзотического варианта можно рассмотреть хранение данных на флэшках. У которых ровно те же проблемы, разве что скорость ниже, чем у SSD как таковых. Впрочем, возиться с такими крошечными объемами никто не захочет, так ведь?

Муки выбора

Если у вас после прочтения так и не появилось ясности, попробую ее внести. В случае если необходим наиболее выгодный вариант цены за мегабайт – выбирайте жесткие диски и/или DVD. Последние выглядят предпочтительнее в плане надежности, поскольку HDD достаточно капризны и могут умереть, даже лежа на диване круглые сутки; в отличие от них, диски DVD обладают более устойчивой психикой.

реклама

К тому же, пишущий привод сегодня стоит менее тысячи рублей, а набор из десяти «болванок» 4.37 Гбайт так и вообще пару сотен. Ну а не самый дешевый жесткий диск объемом три терабайта будет стоить от шести тысяч, причем о надежности можно думать очень долго.

Если же финансовый вопрос не стоит остро – присмотритесь к SSD-драйвам. Да, они дороги, но, если не использовать SSD с сенситивными данными в постоянном режиме, то он может прожить долго и счастливо. Если же у вас денег куры не клюют – выбирайте стримеры. С другой стороны, можно купить какой-нибудь отремонтированный или бывший в употреблении экземпляр – например, один такой производства HP в комплекте с пятью трехтерабайтными кассетами формата LTO5 продается в момент написания этой статьи на eBay всего за 150 евро. Нетрудно подсчитать, что это будет даже выгоднее HDD.

В случае «а мне забить на все» можно воспользоваться облачным хранилищем. Но желательно каким-нибудь надежным – тем же Google или его вечным конкурентом Microsoft. А если хочется почувствовать себя совсем крутым – купить за неразумные деньги терабайта два на Dropbox. А еще лучше не ограничиться двумя, и сделать одну половинку зеркалом второй.

Заключение

Одним словом, выхода нет только из гроба. А найти идеальные для себя способы хранения и бэкапирования информации можно достаточно легко, если воспользоваться рекомендациями выше. Главное – делать это в принципе. Ибо надежность превыше всего.

Источник

Сетевое хранилище NAS против внешних HDD: что лучше и практичнее?

Содержание

Содержание

Данные, данные, данные… Мы постоянно имеем дело с разными цифровыми данными. Документы по работе или фотографии из отпуска, коллекции любимых фильмов где-то нужно хранить. И если раньше хватало USB флешки, то с каждым годом требуется все больше места. Приоритетом становятся внешние жесткие диски и сетевые хранилища NAS. Но какой вариант накопителя подходит лучше для универсального использования?

Внешние жесткие диски на базе 3,5” HDD

Первыми внешними накопителями стали устройства на базе жестких дисков HDD, которые подключались к ПК по USB. Во внешних жестких дисках использовались стандартные HDD формата 3,5 дюйма. Но, так как интерфейс USB не способен выдать достаточную силу тока для раскручивания магнитного диска внутри такого HHD, необходим внешний блок питания. И именно это ограничивает круг использования такого накопителя, потому что рядом с ПК или ноутбуком необходима розетка. К тому же внешние жесткие не особо компактные.

Когда они только появились, то их популярность была оправдана — по сравнению с флэшками внешние HDD предлагали гораздо больше объема. Но сейчас они нужны разве что как резервный накопитель, который подключается через USB. Чтобы такие накопители хоть как-то продавались, производители начали снабжать их USB-разъемами для зарядки гаджетов.

Внешние жесткие диски на базе 2,5” HDD

Внешние жесткие диски на базе 2,5-дюймовых HDD стали гораздо проще в использовании. Блок питания им уже не нужен — достаточно подключить по USB и все.

При использовании USB 2.0 внешник приходилось подключать к двум разъемам USB сразу для дополнительного питания устройства. С переходом на USB 3.0 такая необходимость отпала, и теперь все работает на одном кабеле USB 3.0.

Во внешних жестких дисках используются медленные HDD со скоростью вращения 5400 оборотов в минуту. С одной стороны — ниже скорость доступа к данным, с другой — тихая работа. За счет использования компактного жесткого диска уменьшился и размер корпуса — теперь внешник удобно брать с собой куда угодно, да и розетку искать не надо для подключения.

Сетевые хранилища (NAS)

В одно время с появлением внешних жестких дисков на рынок выходят новые устройства хранения — сетевые хранилища NAS (Network Attached Storage). Они не были внешними и не были компактными, но тоже строились на базе жестких дисков. Однако здесь пользователь получает доступ к данным через локальную сеть.

Позже NAS стали подключаться к интернету, и стало еще удобнее — использовать свои данные можно в любой точке мира, где есть выход в сеть. Сетевые хранилища стали своего рода личными, защищенными облачными хранилищами. И именно с этих пор NAS стали популярными среди простых пользователей. Теперь нет нужно брать с собой отдельное устройство, так как вы в любой момент можете подключиться к сетевому хранилищу, которое физически находится у вас дома.

Сетевое хранилище — это ваш маленький сервер, который хранит данные и организует доступ к ним. В них можно использовать от одного жесткого диска до нескольких десятков. Конечно, для дома достаточно одного или нескольких дисков, но в некоторых моделях можно расширить количество накопителей при необходимости. При работе от двух дисков можно резервировать данные при помощи RAID-массивов — они повышают надежность хранения данных. Подробнее про RAID-массивы мы писали в этой статье.

Более того, у NAS своя операционная система, поэтому сетевое хранилище может стать не только базой данных, но и медиа-сервером в домашней сети для просмотра контента дома или на вашем мобильном устройстве, где бы вы ни были. Операционки настолько гибкие, что вы можете организовать видеонаблюдение при подключении IP-камер или использовать NAS как WEB-сервер для работы ваших сайтов. Доступ к даным можно разграничить при помощи политики учетных записей, а при необходимости привязать к домену компании.

Сегодня лидером по производству и удобству использования является компания Synology, которая разработала универсальную и максимально простую в использовании операционную систему DSM (Disk Station Manager) на базе Linux. Помимо перечисленных задач, вы всегда можете установить дополнительные приложения через «Центр пакетов», которые расширят функционал вашего сетевого хранилища, будь то построение телефонии на базе ASTERISK в вашем офисе или торрент-качалка из интернета без участия вашего ПК. Дополнительные расширения постоянно обновляются и добавляются новые, поэтому возможности вашего сетевого хранилища ограничены лишь аппаратной частью.

Сетевое хранилище против внешнего жесткого диска

Итак, что все-таки лучше? Давайте рассмотрим в таблице сравнения.

Сетевое хранилище (NAS)

Внешний жесткий диск

Плюсы:

Минусы:

Плюсы:

Минусы:

Всегда ли NAS лучше?

Если вам часто приходится копировать большие объемы данных с накопителя и обратно, а также иметь их с собой всегда при себе, то тут предпочтительнее будет все же внешний жесткий диск 2,5”. Вы всегда сможете получить доступ к данным через USB разъем независимо от интернета. Тоже касается и дисков форм-фактора 3,5”, но они большие и нужна розетка. А еще, если вы имеете дело с небольшими по объему данными, то сетевое хранилище будет не выгодно по цене, в отличии от внешнего диска. Тем более если эти файлы не имеют особой ценности, например, фильм скачанный в дорогу с интернета. Даже если вы случайно потеряете жесткий диск, фильм всегда можно скачать с интернета снова.

Во всех остальных случаях сетевое хранилище впереди. Это удобный и простой доступ к данным через интернет. Решили посмотреть фильм в дороге, который скачали ранее? Просто подключились к сетевому хранилищу через интернет и посмотрели его онлайн или скачали на смартфон. Подключили камеры видеонаблюдения к хранилищу через сеть? Теперь всегда будете в курсе, что творится у вас на участке. Нет времени для скачивания данных с торрентов? Предоставьте это вашему NAS, и все данные буду скачаны на хранилище, даже когда вы спите. Любите фотографировать на смартфон, и там всегда заканчивается место в самый не подходящий момент? Включите синхронизацию, и пусть все фотографии отправляются на облако. Кстати, там все удобно сортируется, а при необходимости можно создавать альбомы и делиться с друзьями. Вариантов использования сетевого хранилища множество, но каждый найдет там то, что устроит именно его. Что не скажешь про внешние жесткие диски.

Сравнение по цене

Однодисковое сетевое хранилище и внешний жесткий диск

Внешний жесткий диск

Как можно увидеть из сравнения выше, внешний жесткий диск всегда будет выигрывать по цене. А при увеличении максимального количества дисков в хранилище, разница будет только расти.

Итоги

Сетевое хранилище выгодно отличается от внешнего жесткого диска. Интернет сейчас есть практически везде, значит доступ к вашим данным возможен с любого устройства, имеющего подключение к сети— смартфон, планшет, ноутбук и даже телевизор. Теперь нет необходимости хранить фотографии, отснятые в путешествии, на внешнем жестком диске, уязвимом к физическим повреждениям. Можно сразу перенести все снимки на сетевое хранилище, которое находится от вас за тысячи километров, и быть уверенным, что с ними ничего не произойдет. И точно так же можно скачать все необходимые данные с вашего NAS из любой точки мира или безопасно поделиться данными с другом.

Но сетевое хранилище проигрывает внешним жестким дискам по цене, ведь за производительность, масштабируемость и удобство надо платить, пусть и обоснованно. Поэтому внешние жесткие диски по цене пока вне конкуренции.

Источник

Выбираем способ хранения данных и важной информации: руководство Overclockers.ru

Оглавление

Вступление

реклама

Выбор устройства для хранения информации в 2017 году – это очень и очень спорная тема. Прошли уж те времена, когда можно было выбирать только из жестких дисков небольшого объема или компакт-дисков (для мажоров, ага): сегодня спектр решений для хранения данных велик, как никогда.

Для начала определимся с тем, а зачем нам, собственно, что-то хранить – в эпоху интернета? Когда все «в небесах» – в облаках?

В первую очередь сегодня мы погребены под обилием информации. Петабайты нужных и ненужных (чаще) данных обрушиваются на нас снежной лавиной, и здесь речь идет даже не о новостях, а о данных физических: фотографиях, гигантском количестве пиратской и не очень музыки и фильмов. Сюда же отнесем и приложения, «которые когда-нибудь пригодятся»; фильмы, которые посмотрели один раз, «может быть, посмотрю во второй»… Не все же все удаляют, верно? Встает вопрос о том, где все это хранить.

Потом – «бэкапы». Опять же, ни для кого не секрет, что современные и самые дешевые с точки зрения фактора «цена за мегабайт» жесткие диски (традиционные, «блинные») страдают от низкого качества. К примеру, у меня настроено почти полное ежедневное зеркалирование системного жесткого диска и диска с данными на идентичные по объему модели. Почему? Именно потому, что «полететь в голубые небеса» может любой «винчестер» в любое время и в любом месте.

Увы, но сегодняшнее общество потребления признает только то, что стоит дешево, служит недолго и умирает быстро. Поэтому надежные жесткие диски конца 1990-х годов (а у меня до сих пор жив HDD IBM 1998 года выпуска – как раритет!) остались легендами, в которые современные 128-битные люди уже не верят. С другой стороны, на рубеже веков лично у меня померло два «винчестера» Quantum, поэтому надежность зависела и от производителя. Кстати, наследники Quantum в энном поколении ныне известны под именем Seagate. Информация просто для размышления.

Одним словом, хранение данных все равно актуально, и интернет этого не заменит.

Источник

Как выбрать облачную систему хранения данных, чтобы получить лучшую производительность и оптимизировать стоимость

Многие компании активно переносят свои данные в облако, обеспечивая тем самым гибкость и масштабируемость своих приложений. Но те, кто впервые пробуют облачные технологии, нередко сталкиваются с проблемой выбора правильного облачного хранилища под конкретную задачу. Какой тип диска подключить? Когда использовать объектное хранилище, а когда файловое? Какие преимущества и недостатки у каждого из них в облаке? Как можно использовать их совместно, чтобы улучшить утилизацию ресурсов?

Я Хамзет Шогенов, архитектор облачной платформы Mail.ru Cloud Solutions, расскажу о системах хранения данных, доступных на нашей платформе, подробно остановлюсь на их технических характеристиках и оптимальных вариантах использования.

Типы дисков, которые вы можете использовать в облаке

Диски в облаке специально предоставляются в том виде, в котором классическим операционным системам «привычнее» с ними работать, то есть они имитируют физические носители информации, такие как HDD и SSD. При подключении к инстансам виртуальных машин такие диски можно использовать как обычное блочное устройство с «сырым» дисковым пространством — блоками, на которые разбивается все дисковое пространство, когда оно размечается под ту или иную файловую систему, чтобы уже на размеченном пространстве размещать данные операционных систем и приложений.

Но так как это все-таки виртуальные диски, для них доступны дополнительные возможности, например создание снимков состояния и шаблонов для новых дисков на их основе, смена типов дисков «на лету» и так далее. Эта функциональность была бы невозможна, если бы вы имели дело с физическим оборудованием, либо возможна, но за счет неоправданно высокой стоимости.

Особенности облачных (блочных) дисков:

Есть определенная гарантированная производительность в единицу времени на единицу объема хранения данных, выражаемая в операциях на диске в секунду (IOPS, пропускная способность).

Широкий выбор типов дисков. Возможность изменения типа диска «на лету».

Возможность создания снапшотов и образов (шаблонов) дисков.

Гибкость управления. При масштабировании диска можно не выключать инстанс, к которому он подключен. Можно создавать и подключать к работающей ВМ новые диски.

Совместимость. Диски можно рассматривать как локально подключенные накопители. Это позволяет разбивать их, форматировать и управлять ими с помощью знакомых инструментов и методов.

По сравнению с традиционными физическими носителями при использовании дисков в облаке нет необходимости задумываться о типах RAID, количестве шпинделей и прочем. За обслуживание оборудования и программной части отвечают инженеры облачного провайдера.

Отличия облачных (блочных) дисков от других облачных систем хранения данных:

Масштабирование производится вручную.

Уменьшение размера существующего диска недоступно: потребуется пересоздание.

Доступ возможен из любой зоны доступности (AZ), но ресурс локализован в одной AZ. Размещение диска и виртуальной машины в разных ЦОДах не рекомендуется, хотя это и возможно.

Непригодны для одновременного доступа при работе как с блочным устройством.

Наибольшая стоимость среди всех типов облачных хранилищ, если говорить про наиболее производительные типы дисков.

На нашей платформе поддерживаются несколько типов дисков: HDD, SSD, SSD High IOPS и Low Latency NVMe. Вначале рассмотрим характеристики, которые будут общими для всех дисков, затем остановимся более подробно на каждом из них.

Примечание. Для каждого типа облачных дисков есть ближайший аналог из мира физических устройств. Но это не означает их полного технического соответствия. Также следует учесть, что бюджет на операции ввода-вывода в секунду для облачных дисков всегда определяется на определенный шаг дискового пространства. Я буду приводить значения SLA для 2 Тб пространства. С полным перечнем SLA для различных типов дисков можно ознакомиться здесь.

Общие характеристики для всех типов облачных дисков

Capacity. Рекомендуемый максимальный размер диска — 2 Тб.

Масштабирование. Вручную через веб-консоль управления облаком или OpenStack CLI (Command Line Interface). Возможно только увеличение размера диска. Уменьшение недоступно, так как подобная процедура может негативно сказаться на работе файловой системы и целостности данных.

Доступность. Гарантируется SLA, общий для облака, — 99,95%.

Бэкапы и восстановление. Для всех дисков поддерживаются снапшоты и резервные копии. Создание снапшотов доступно через консоль управления облаком и OpenStack CLI. Создание бэкапов возможно через встроенный механизм MCS либо с использованием сторонних решений наших партнеров: Acronis и Veeam Backup & Replication. Встроенный механизм хорош интеграцией с облачной платформой, сохранением бэкапов в S3, что дешевле, и платой только за хранение данных. Однако в этом случае нет возможности восстановления данных в ту же виртуальную машину и восстановления отдельных файлов.

Границы доступности. Ресурс локализован в рамках одной зоны доступности (AZ, Availability Zone). Чтобы избежать потенциального снижения производительности работы, при создании диска, подключаемого к существующему инстансу, рекомендуется выбирать зону доступности инстанса.

Безопасность. Доступ к данным ограничен механизмами изоляции ресурсов (различные Namespace) проекта.

Механизм расчета стоимости. Цена определяется запрошенным объемом диска. При изменении размера стоимость автоматически пересчитывается.

Диски HDD

Базовые диски, самые недорогие и наименее производительные. В традиционной инфраструктуре этому классу хранения соответствуют обычные диски HDD. Чаще всего используются в качестве загрузочных разделов ОС и файловых хранилищ.

Характеристики, специфичные для HDD

IOPS (количество операций в секунду на 2 Тб пространства)

Показатель SLA для чтения — 2000, для записи — 800.

Throughput (пропускная способность на 2 Тб пространства при размере блока 1М)

Показатель SLA для чтения — 250 Мб/с, для записи — 100 Мб/с.

Поведение при выходе физического оборудования из строя

Происходит без прерывания обслуживания и потери данных, так как для дисков обеспечивается двойная и тройная репликация данных.

Диски SSD

Стандартные диски, опережающие HDD по производительности естественно и более дорогие. По соответствию физическим дискам они существенно быстрее, чем любые HDD, но медленнее традиционных физических SSD, в основном из-за того, что добавляются накладные расходы на сеть и репликацию. Чаще всего используют для хранения файлов данных СУБД, телеметрии и очередей сообщений.

Характеристики, специфичные для SSD

IOPS (количество операций в секунду на 2 Тб пространства)

Показатель SLA для чтения — 16 000, для записи — 8000.

Throughput (пропускная способность на 2 Тб пространства, при размере блока 1М)

Показатель SLA для чтения и записи — 400 Мб/с.

Поведение при выходе физического оборудования из строя

Происходит без прерывания обслуживания и потери данных, так как для дисков обеспечивается тройная репликация данных.

Диски High IOPS SSD

Быстрые диски, более производительные и дорогие по сравнению с SSD. Соответствуют физическим дискам SSD потребительского класса. Чаще всего используются для хранения файлов данных СУБД, данных аналитики и телеметрии, работа с которыми связана с большими требованиями к производительности, чем у SSD.

Характеристики, специфичные для High IOPS SSD

IOPS (количество операций в секунду на 2 Тб пространства)

Показатель SLA для чтения — 45 000, для записи — 30 000.

Throughput (пропускная способность на 2 Тб пространства, при размере блока 1М)

Показатель SLA для чтения и записи 500 Мб/с.

Поведение при выходе физического оборудования из строя

Возможна временная недоступность данных, сами данные не теряются. Необходимо дополнительно позаботиться о реализации отказоустойчивости на уровне приложения (application-aware). С лучшими практиками по созданию отказоустойчивых приложений можно ознакомиться по ссылке.

Low Latency NVMe

Сверхбыстрые диски с минимальными задержками, доступные на высокочастотных конфигурациях ВМ. Самые производительные и дорогие. Этому классу хранения соответствуют физические диски NVMe установленные локально в гипервизорах. За счет дополнительно примененного слоя абстрагирования работы с данными у этих дисков есть все те же преимущества, что и у остальных виртуальных дисков. Но при этом физическое расположение диска в том же шасси, где в оперативную память загружена работающая с ней виртуальная машина, обеспечивает размеры задержек на накладные расходы, стремящиеся к нулю.

Используются там, где важно обеспечить минимальные задержки: высокопроизводительные СУБД, аналитика, кэш.

Характеристики, специфичные для Low Latency NVMe

IOPS (количество операций в секунду на 2 Тб пространства)

Показатель SLA для чтения — 75 000, для записи 50 000.

Throughput (пропускная способность на 2 Тб пространства, при размере блока 1М)

Показатель SLA для чтения — 1200 Мб/с, для записи 900 Мб/с.

SLA — максимум 0,5 мс. Устойчивы к отказу сети, виртуальная машина с такими дисками максимально близка к bare metal.

Поведение при выходе физического оборудования из строя

Возможна временная недоступность данных, есть риск потери данных. Необходимо дополнительно позаботиться о реализации отказоустойчивости на уровне приложения (application-aware). С лучшими практиками по созданию отказоустойчивых приложений можно ознакомиться по ссылке.

Объектные хранилища S3 — еще один тип хранения данных в облаке

В S3 данные хранятся в виде объектов. Объект — это некая совокупность данных с уникальным идентификатором и бесконечным количеством метаданных. Для группировки объектов есть дополнительная сущность — бакеты. Это контейнеры для объектов, похожие на папки, но не являющиеся их полным аналогом. В проекте может быть один или несколько бакетов.

Лучше всего S3 подходит для хранения неструктурированных данных и обработки большого количества объектов малого и среднего размера, которые редко изменяются и часто требуют параллельного доступа большого числа пользователей. Для обработки больших объектов доступна дополнительная функциональность — мультипоточная загрузка.

S3 может выступать в качестве более надежной и дешевой альтернативы дискам HDD для большей части сценариев их использования.

Мы используем реализацию объектного хранилища S3 собственной разработки

В нашем облаке доступны три класса объектных хранилищ S3, которые различаются по своему назначению и стоимости:

S3 HotBox предназначен для хранения горячих данных — с частым доступом. В первую очередь это онлайн-сервисы с повышенной нагрузкой, работа которых требует хранения и раздачи контента: потоковая раздача мультимедиа, хостинг статических сайтов, хранилища для Backend-платформ. Могут также использоваться для анализа данных в Big Data, Data Mining и так далее. В HotBox хранение дороже, а исходящий трафик дешевле, входящий трафик не тарифицируется.

S3 IceBox используют для хранения холодных данных — с редким доступом, например несколько раз в месяц. Чаще всего это годовая и месячная отчетность, документы, бэкапы и журналы, к которым периодически нужен быстрый доступ. По сравнению с HotBox в IceBox хранение дешевле, а исходящий трафик дороже, входящий трафик также не тарифицируется.

Glacier подходит для хранения ледяных данных — массивных данных (от 100 Тб) с очень редким доступом. Это бэкапы, архивы и логи, к которым доступ может потребоваться несколько раз в год и реже. Из трех типов хранилищ в Glacier самая низкая цена на хранение данных, а весь трафик бесплатный. Такое хранилище подключается по отдельному запросу клиента.

Что хорошего в S3-хранилище:

Неограниченный объем хранимых данных (петабайты).

Подходит для неструктурированных данных за счет хранения дополнительной информации (метаданных) рядом с объектами.

Разграничение доступа за счет ACL и префиксных ключей.

Возможность одновременного использования большим количеством приложений.

Стабильная скорость раздачи любых объектов независимо от числа одновременных обращений.

Автоматическое и виртуально неограниченное масштабирование.

Возможность настройки Webhooks для автоматической обработки при создании/удалении объектов (например, автообработка фото и видео).

Возможность настройки жизненного цикла объектов. Например, удаление архивных данных по истечении максимального срока их хранения.

У S3 нет понятия зоны доступности: это глобальный сервис. Его доступность обеспечивается из пяти ЦОД MCS.

Наименьшая стоимость среди всех типов облачных хранилищ.

Основное отличие S3-хранилища от других облачных (блочных) систем хранения — блочные хранилища предназначены для использования виртуальными машинами и представляются как диски, а объектное хранилище S3 доступно только по HTTP.

Основные особенности S3

Capacity. Нет ограничений на общий объем — можно хранить петабайты данных. В одном хранилище может быть до 25 бакетов, размер одного бакета произвольный. Число объектов в одном бакете не ограничено — свыше 1 млрд. Для конкретных объектов действуют следующие рейт-лимиты: 32 ГБ для обычного файла, 320 ТБ для multipart.

IOPS (количество операций в секунду). Действуют следующие рейт-лимиты: для обычных запросов — 500 запросов в секунду, 10 млн запросов в день, для запросов на листинг — 15 запросов в секунду, 10 млн запросов в день.

Throughput (пропускная способность). Поддерживается скорость передачи объектов 1 Гбит/с. Для быстрой доставки контента хранилище S3 можно интегрировать с сетью доставки контента (CDN, Content Delivery Network), имеющей более 400 точек присутствия во всем мире и емкость канала 1,5 ТБит/с.

Масштабирование. Размеры S3 не лимитированы. Масштабирование происходит вверх и вниз автоматически, без дополнительных настроек со стороны пользователя.

Доступность. Гарантируется SLA, общий для облака — 99,95%. Надежность хранения при этом составляет 99,99999%.

Поведение при выходе физического оборудования из строя. Происходит без прерывания обслуживания и потери данных.

Бэкапы и восстановление. Обеспечивается георепликация данных. В разработке функциональность версионирования объектов с возвратом к определенному номеру версии.

Границы доступности. Возможен доступ из всех зон доступности региона, а также из любого места в интернете с использованием URL объектов.

Методы доступа. S3 API. Главная особенность решения от MCS — полная совместимость с API S3.

Безопасность. Обеспечивается за счет списков управления доступом (ACL, Access Control Lists) и префиксных ключей. На уровне каждого бакета можно определять, кто может создавать, удалять и перечислять объекты в нем. При организации внешнего доступа вне облака можно использовать HTTPS.

Механизм расчета стоимости. Оплачивается за фактически использованные ресурсы и рассчитывается посекундно. Тарифный план зависит от типа выбранного хранилища: HotBox, IceBox или Glacier.

Файловые хранилища в облаке

Файловое хранилище в облаке представляет собой систему хранения файлов, в которой все данные организованы иерархически в нисходящую сеть папок. На платформе MCS файловое хранилище предоставляется как сервис. С его помощью можно создать удаленную файловую систему, смонтировать ее на виртуальных машинах, а затем читать и записывать данные из инстансов в файловую систему и из нее.

Чаще всего файловое хранилище используют в качестве системы хранения документов, общего пользовательского файлового пространства или общего персистентного хранилища данных для Docker-контейнеров в составе кластера Kubernetes.

Преимущества файловых хранилищ:

Есть возможность как увеличения, так и уменьшения размера хранилища.

Есть возможность создания снапшотов.

Оптимальный вариант хранения для Legacy-приложений, требующих протокола SMB/NFS.

Поддерживаются большим количеством классических систем.

Недостатки файловых хранилищ:

Масштабирование производится вручную.

Одновременный доступ ограничен полосой пропускания стандартного сетевого интерфейса.

В настоящий момент для файловых хранилищ нет возможности выбрать другой тип диска, кроме HDD, в будущем появится возможность использовать SSD.

Основные характеристики файловых хранилищ

Capacity. Рекомендуемый максимальный размер хранилища — 2 Тб. Максимальный размер файла — не больше запрошенного размера хранилища.

IOPS (количество операций в секунду на 2 Тб пространства). Так как файловое хранилище базируется на дисках HDD, показатель SLA будет тем же: для чтения — 2000, для записи — 800.

Throughput (пропускная способность на 2 Тб пространства, при размере блока 1М). Аналогично, как для HDD: для чтения — 250 Мб/с, для записи — 100 Мб/с.

Масштабирование. Проводится вручную — через web-консоль управления облаком или OpenStack CLI (Command Line Interface). В отличие от облачных дисков возможно как увеличение, так и уменьшение размера файлового хранилища.

Доступность. Гарантируется SLA, общий для облака, — 99,95%.

Поведение при выходе физического оборудования из строя. При выходе из строя оборудования, с которого предоставляется дисковое пространство, сервис продолжает предоставляться. Но выход из строя компонентов самого сервиса, конечно, ведет к его прерыванию.

Бэкапы и восстановление. Возможно создание снапшотов, бэкапирование из веб-консоли недоступно. Механизмы те же, что и для облачных дисков.

Границы доступности. Доступ осуществим из сетей, которые имеют возможность маршрутизации IP-пакетов с сетью, где размещено файловое хранилище.

Протоколы доступа. Подключить файловое хранилище к инстансам проекта можно по протоколам CIFS (SMB v3) или NFS.

Безопасность. Доступ к файловым хранилищам осуществляется только из виртуальных машин внутри проекта (Namespace) MCS. При этом дается возможность настроить правила доступа к хранилищу в зависимости от IP клиента.

Механизм расчета стоимости. Цена определяется в зависимости от запрошенного при создании объема хранилища. При изменении размера в дальнейшем стоимость автоматически пересчитывается.

Как выбрать облачную систему хранения с учетом потребностей компании: основные критерии

Преобладающий тип операций (чтение/запись) и их частота. В первую очередь необходимо оценить, каким образом планируется обращаться к хранимым данным.

Объектное хранилище S3 ориентировано на операции WORM. Оно не подойдет для частых модификаций объектов, обладающих большими размерами. Если для таких объектов скорость доступа критична и данные часто модифицируются, следует предпочесть файловые хранилища и, в зависимости от ситуации, облачные диски. Выбор конкретного типа дисков будет зависеть от требуемой производительности.

При выборе S3 необходимо дополнительно определить частоту доступа к данным и выбрать соответствующий тип хранилища: HotBox, IceBox или Glacier.

Требуемая производительность: IOPS, Throughput, Latency. Для систем, требующих низкой задержки и одновременно высокой пропускной способности, рекомендуется использовать блочное хранилище, оно же виртуальный диск. В объектных хранилищах модифицируемый объект перезаписывается целиком, в отличие от обычных дисков, где изменение всегда происходит на уровне конкретного блока данных.

В порядке возрастания производительности диски можно расположить следующим образом: HDD, SSD, SSD High IOPS, Low Latency NVMe. Если требуется обеспечить минимальную задержку, Low Latency NVMe будет лучшим выбором, так как для этого типа диска определено SLA на данный показатель — 0,5 мс.

Методы доступа к данным, используемые в классических приложениях (в первую очередь протоколы доступа, так как контроль над интерфейсами напрямую заказчику недоступен). Очень часто при переносе Legacy-приложений клиентов в облако требуется обеспечить наличие конкретных, уже используемых ими протоколов. Конечно, обновление систем возможно, но, как правило, требует дополнительных затрат. В таких случаях выбор облачного хранилища полностью зависит от требований переносимого ПО. Например, файловые хранилища чаще всего выбирают, когда необходимы протоколы SMB/NFS. И это стало в свое время основной причиной того, почему у нас появилось файловое хранилище как сервис.

Требования к организации доступа к данным. Доступ к дисковым и файловым хранилищам возможен из разных AZ, но ресурс локализован в одной AZ, то есть при недоступности этой AZ хранилище тоже может стать недоступным. Поэтому для доступа из нескольких зон доступности или из любой точки интернета вне облака S3 будет лучшим выбором.

Цена. Среди облачных систем хранения данных минимальная стоимость у S3, она автоматически может меняться в зависимости от того, какое количество данных вы будете хранить. Важное преимущество S3 — необходимость оплаты только фактически используемых ресурсов.

Для файловых хранилищ и обычных дисков цена определяется запрошенным объемом ресурсов. При этом цена дисков возрастает по мере увеличения их производительности: HDD, SSD, SSD High IOPS, Low Latency NVMe. Рекомендуем выбирать тот тип диска, который при достаточной для вас производительности будет дешевле всего, так как в дальнейшем при необходимости его можно будет изменить «на лету».

Схема выбора оптимальной системы хранения данных с учетом описанных параметров в очень упрощенном виде приведена ниже. Она носит рекомендательный характер. Естественно, в зависимости от ситуации данные рекомендации могут быть и абсолютно нерелевантными, но для общих случаев они чаще всего корректны.

Упрощенная схема выбора облачного хранилища

Как показывает опыт, описанные выше требования во многом определяются типом хранимых данных. Поэтому можно выделить наиболее типичные сценарии использования для каждой системы хранения данных. В таблице ниже показано, как выбрать облачное хранилище в зависимости от того, какие данные планируется размещать.

Система хранения данных

Типичные сценарии использования

Массивные данные (от 100 Тб) с очень редким доступом: бэкапы, архивы, журналы, системные сообщения, логи.

Данные с редким доступом: архивы корпоративных файлов, годовая/месячная отчетность, документы маленьких рабочих групп, бэкапы, системные сообщения, lоg-файлы.

Потоковая раздача мультимедиа, хранилища для Backend-платформ, хостинг статических файлов и веб-сайтов, хранение данных для обработки (Big Data, Data Mining).

Файловые хранилища, воссоздание схемы Legacy-приложения, общее персистентное хранилище данных для групп контейнеров.

Файловые хранилища, загрузочные разделы.

СУБД, телеметрия, очереди сообщений, загрузочные разделы.

СУБД, аналитика, телеметрия. С большими требованиями к производительности, чем у SSD, но меньшими, чем у Low Latency NVMe.

Высокопроизводительные СУБД, аналитика, кэш.

Расчет необходимой производительности облачной системы хранения при переносе Legacy-приложений

Один из основных критериев выбора типа облачного хранилища — это требуемая производительность для переносимых в облако Legacy-приложений. Как ее правильнее рассчитать?

Предлагаем руководствоваться следующим набором правил:

Определите критерии успешности прохождения тестирования. Это может быть выполнение операций за заданное количество времени, расходование определенного количества ресурсов на заданный набор данных и так далее.

Настройте и запустите процесс снятия метрик на исходном сервере:

количество потребляемых ядер;

потребляемая частота CPU;

количество операций ввода/вывода в секунду;

задержки чтения/записи на дисках;

эффективность использования ОЗУ.

Подготовьте синтетические данные для нагрузочного тестирования.

Создайте тестовый стенд, выделив на нем минимальное достаточное количество ресурсов в соответствии с расчетами. Расчеты стоит осуществлять с учетом фактического потребления ресурсов в часы наиболее высокой нагрузки. Далее, используя показатели из SLA MCS, пересчитать на ресурсы MCS.

Предварительно настроив сбор данных (в соответствии с шагом 2) на тестовом сервере, выполните нагрузочное тестирование и определите степень достижения показателей, выбранных на шаге 1.

Если показатели успешности не достигнуты, проведите диагностику для выявления «узкого места», исходя из анализа данных, собранных на шаге 5. Добавьте необходимый тип ресурса или пересмотрите архитектуру и вновь приступайте к тестированию.

При успешном тестировании можно производить миграцию и начинать промышленную эксплуатацию.

Как сочетать облачные системы хранения между собой

Мы рассмотрели, как выбрать конкретное облачное хранилище под задачи и требования проекта. Но на практике различные виды облачных хранилищ можно и нужно комбинировать друг с другом. Это позволяет задействовать преимущества каждого типа хранилища для оптимальной утилизации ресурсов.

Например, возможна следующая комбинация блочных дисков: для ОС использовать HDD, СУБД построить с использованием SSD High IOPS, а для кэша взять Low Latency NVMe. S3 в такую схему можно подключить для размещения медиаконтента (картинок и видео) с возможностью внешнего доступа или для хранения резервных копий.

Если вы используете Kubernetes, S3 подойдет для хранения медиаконтента, а файловые хранилища — в качестве персистентного хранилища для групп контейнеров. Хотя здесь также в большинстве случаев с минимальными доработками можно научить ПО в контейнерах работать с более надежным и дешевым хранилищем S3.

Варианты комбинации различных типов облачных хранилищ представлены на рисунках ниже.

Вариант комбинации облачных дисков на примере построения инфраструктуры для интернет-магазина с применением облачных сервисов

Вариант комбинации облачных дисков на примере построения инфраструктуры для интернет-магазина с использованием кластера Kubernetes и хранилища S3

Итоговое сравнение облачных систем хранения данных

Я рассказал про наиболее важные технические характеристики, которые чаще всего влияют на итоговый выбор облачного хранилища. Результат проведенного сравнения наглядно демонстрирует таблица ниже. Важно понимать, что единого алгоритма для выбора облачного хранилища быть не может: для каждого бизнес-кейса потребуется индивидуальный анализ. Но надеюсь, что представленная в статье информация поможет вам сделать правильный выбор.

Источник

• ← Что лучше подойдет для хранения данных шифрование или хеширование
• Что лучше подорожник или единая карта петербуржца →