Что может хранить информацию
Сколько служат диски: HDD, SSD, флешки и пр.? Сколько времени на них можно хранить информацию?
Приветствую всех!
В нескольких заметках по резервному копированию меня не так давно упрекнули, что я не предупредил пользователей о сроках хранения информации на том или ином типе накопителей.
Вопрос этот несколько не однозначный, и часто сильно зависит даже не от типа накопителя, а от качества его изготовления.
Что же, попробую в этой заметке высказать свое мнение (навести тень на плетень. 😉)
2) Если вы не знаете, какой накопитель (SSD или HDD) у вас установлен на ПК / лежит на полке — рекомендую ознакомиться с этим.
Типы накопителей
HDD (жесткие диски)
Средний срок службы (при активной ежедневной работе): ∼5-10 лет
Как выглядит классический HDD
Вообще, есть много различных исследований по этой теме для разных моделей HDD (разумеется, цифры везде отличаются). Но на мой скромный взгляд продолжительность работы вашего HDD гораздо больше зависит от:
Однако, позволю себе дать пару советов:
SSD (твердотельные накопители)
Средний срок службы:
5-10 лет* (пока нет достаточной статистики)
SSD (Solid State Drive). Твердотельный накопитель
С SSD накопителями всё несколько «сложнее». С одной стороны в них нет механики как в HDD (ничего не крутится, не перемещается и пр.) — что хорошо, с другой — у них на первый план выходит показатель TBW.
Дело в том, что информация на SSD диске хранится в спец. микросхемах (чипах памяти). В зависимости от их типа — они выдерживают лишь определенное число циклов записи/перезаписи. Этот показатель и характеризуется значением TBW (например, если у вашего диска TBW = 100 ТБ, а вы каждый день на него записываете и удаляете информацию в 1 ТБ — то диск вам прослужит 100 дней!).
На практике у «среднего» SSD-диска показатель TBW гораздо выше, да и за день большинство пользователей 1 ТБ не записывает. Поэтому средний срок службы по этому показателю у SSD составляет 5-10 лет (в каждом случае можно посчитать самостоятельно).
Технические характеристики с официального сайта Kingston
Но есть у SSD и еще пару особенностей, которые делают их не очень «удобными» для долговременного хранения каких-либо файлов:
Плюс к этому нельзя не сказать, что SSD-накопители пока еще стоят несколько дороже, чем HDD и для хранения больших объемов данных они не очень оправданы.
SD-карты, USB-флешки
Средний срок службы: ∼5-7 лет
Эти виды накопителей одни из самых удобных и сподручных (благодаря своей компактности и относительной «стойкости» к мех. воздействиям). Для хранения небольших документов, файлов, образов — лучше что-то пока найти сложно.
Что касается длительности и усл. хранения — то они схожи с SSD. У них также есть определенное значение (порог) циклов записи/перезаписи, и их также рекомендуется периодически подкл. к ПК/телефону.
Примечание : некоторые производители флешек рекомендуют заменять их по прошествии 5 лет.
CD/DVD-диски
Срок службы: ∼5-20+ лет
CD-RW — компакт диск
Довольно надежный тип накопителей для долговременного хранения информации. Такой большой разброс в сроке службы ☝ я поставил не случайно — дело в том, что те же CD-диски могут быть нескольких типов:
Важно отметить еще один момент: условия хранения компакт-диска. Если он у вас лежит в машине, где постоянно идет вибрация (мех. воздействия) — срок его службы существенно будет меньше, чем у того, который хранится на полочке в доме.
Также по сравнению с SSD — CD/DVD выигрывают и в том плане, что их не нужно подкл. периодически к ПК. Если CD/DVD изготовлен из качественного материала, лежит в пластиковой коробке в норм. условиях — информация на нем может храниться десятилетиями. (проверено и проверяется на своих накопителях).
Для макс. длительной сохранности информации на CD/DVD:
Дискеты (5,25 / 3,5 )
Средний срок службы: ∼10 лет.
Дискеты 3,5 (объем 1,44 МБ)
У многих современных пользователей, наверное, вряд ли остались подобные накопители (и уж тем более, вряд ли их кто-то сейчас использует. 😉). Однако не отметить не мог, у меня на полке до сих пор лежат несколько десятков экземпляров.
Вообще, дискета достаточно «продуманное» устройство. Гибкий диск, куда и записывается информация, надежно спрятан в пластиковую коробочку и защищен от пыли и пр. мусора. К тому же, у дискет есть «рычажок», который запрещает запись (форматирование и пр.) — это придает доп. защиту всем хранящимся на ним данным!
Если вы аккуратно используете дискету, и она качественно была изготовлена — ее срок службы может исчисляться годами: 5-10 лет легко! (правда ввиду совсем небольшого объема в неск. МБ — непонятно, что на ней сейчас можно хранить. )
Примечание : у меня на полке лежат пару дискет (Verbatim и Samsung), с которыми я 4 года отходил на учебу 👇. Прошло вот уже
15 лет, а лабораторным на них хоть бы что. Ностальгия. 👀
Мои дискеты Verbatim и Samsung
Краткие выводы
👉 Если вам нужно хранить что-то очень долго (и желательно без особого «надзора») — то на мой взгляд лучшим решением будет классический HDD или CD/DVD диск (одноразовой записи). При этом важно соблюсти норм. усл. хранения — если вы оставите накопитель где-то в не отапливаемом пыльном гараже — ни о каких длительных сроках не может идти речи.
Кстати, обратите внимание, чтобы на ваши накопители не падали прямые солнечные лучи!
👉 Если вам нужно периодически что-то «быстро» скидывать в резервную копию (так, на всякий случай) на месяц-другой — то хорошим решением может стать SSD. Информация на него копируется в неск. раз быстрее, чем на HDD, что существенно ускорит работу.
👉 Для удобного «переноса» каких-то относительно небольших объемов данных между ПК (+ в качестве резервного накопителя) — отличным решением будут классические USB-флешки и облачные диски.
Дополнения по теме — приветствуются в комментариях!
Выбираем способ хранения данных и важной информации: руководство Overclockers.ru (страница 2)
Магнитные ленты
А ведь многие пользователи уже не знают, что это такое – стример (по-английски – «tape drive», а не «streamer», кстати). Опять-таки, в девяностых годах прошлого века такой способ хранения считался практически вечным – кассеты с магнитными лентами не подходили для ежедневного чтения информации, но для долговременного более чем.
Как и сегодня; лентам дают минимум двадцать пять лет жизни, а то и больше. И не теоретической: вспомните, сколько уже десятков лет исполнилось данному способу хранения информации.
реклама
Большой минус стримеров и расходников к ним – цена. И да, их все еще выпускают. Стоимость стримера на Амазоне составляет от 100 евро, еще пару десятков нужно выложить за многотерабайтные кассеты (объемом от 320 Гбайт до 50 Тбайт) – в общем, такой способ бэкапирования данных и создания файлопомоек подойдет лишь организациям или людям, которым не очень жалко денег.
Да и организациям-то не самым маленьким, потому что фирмы поменьше подумают и выложат деньги за что-нибудь подоступнее, поскольку в их случае объем информации уместится на одну кассету.
В принципе, стримеры являются практически идеальным долговременным хранилищем, если не брать в расчет стоимость мегабайта. Потому как она запредельная. И, кстати, желательно помнить о том, что кассеты можно размагнитить. Но лучше не нужно.
Жесткие диски (HDD)
Жесткие диски сегодня являются самым дешевым устройством для хранения данных при учете фактора «цена за мегабайт». Легко можно купить трехтерабайтный «винчестер» менее чем за 100 евро, и он будет служить верой и правдой, пока у него не «полетят головки» (худший вариант) или же он просто однажды не посыплется «бэдами». В таких случаях пользователи обычно нецензурно выражаются – да так, что грузчики в порту позавидуют. Потому что накопленные за долгие годы данные могут умереть в момент.
Технологии в производстве HDD кардинально не развиваются уже лет пятнадцать, за исключением повышения оборотов шпинделей; а различные многобуквенные сочетания надежности по большому счету не добавляют, разве что информированности. Кроме того, восстановление данных с жесткого диска в случае безвременной кончины последнего – весьма дорогостоящая процедура, а если модель еще и десятилетней давности или более, сумма возрастает совершенно непропорционально.
Да, трава раньше была зеленее, а «винчестеры» – надежнее. Потому что, к примеру, восстановление «голов» может вам обойтись далеко не в один десяток тысяч рублей, и критическая информация станет поистине золотой.
реклама
Выходом из этого может служить вышеупомянутый способ зеркалирования. Это значит, вы покупаете два HDD одинакового объема, но разных производителей, и проводите ежедневное автоматическое копирование данных с одного на другой. Такой способ можно назвать максимально бюджетным и при этом достаточно надежным (да и найти бесплатное приложение для зеркалирования не проблема). Можно, конечно, и в RAID их запихать – только вот развалится массив, и плакали ваши данные. Поэтому рекомендую проверенный годами способ.
Твердотельные накопители (SSD)
Твердотельные накопители – это новый и очень удобный способ хранения информации на рабочем компьютере, поскольку при большей раз в десять скорости (если говорить о нормальных SDD) относительно HDD они уже не стоят заоблачных многих сотен долларов. Но у них по-прежнему остается проблема ограниченного числа часов работы и циклов записи/чтения, и это всего лишь несколько лет.
Поэтому SSD можно рассматривать как прекрасное средство для работы, но в качестве средства для хранения данных о них нужно вспоминать в последнюю очередь. Как минимум потому, что цена за мегабайт у них значительно выше, чем в случае HDD.
С другой стороны, умирают такие накопители гораздо медленнее и с уведомлениями (в зависимости от модели) об этом. Можно успеть и купить новый, и переписать на него все данные, и даже устроить грандиозную вечеринку, и не раз – прежде чем твердотельный отдаст концы. Кроме того, восстановить информацию с SSD бывает проще, чем с HDD, из-за более простой структуры и отсутствия движущихся частей.
Наконец, никто не заставляет вас пользоваться таким способом хранения данных постоянно: то есть записали – отключили и забыли. По идее, если SSD не дергать, он проживет долгие декады. Хотя никто пока еще не знает, как и в случае с CD.
Резюмирую: хранить данные на них можно, если вас не смущает высокая цена за мегабайт, сильно превосходящая таковую для HDD. В крайнем случае, успеете спасти.
Кстати, в качестве экзотического варианта можно рассмотреть хранение данных на флэшках. У которых ровно те же проблемы, разве что скорость ниже, чем у SSD как таковых. Впрочем, возиться с такими крошечными объемами никто не захочет, так ведь?
Муки выбора
Если у вас после прочтения так и не появилось ясности, попробую ее внести. В случае если необходим наиболее выгодный вариант цены за мегабайт – выбирайте жесткие диски и/или DVD. Последние выглядят предпочтительнее в плане надежности, поскольку HDD достаточно капризны и могут умереть, даже лежа на диване круглые сутки; в отличие от них, диски DVD обладают более устойчивой психикой.
реклама
К тому же, пишущий привод сегодня стоит менее тысячи рублей, а набор из десяти «болванок» 4.37 Гбайт так и вообще пару сотен. Ну а не самый дешевый жесткий диск объемом три терабайта будет стоить от шести тысяч, причем о надежности можно думать очень долго.
Если же финансовый вопрос не стоит остро – присмотритесь к SSD-драйвам. Да, они дороги, но, если не использовать SSD с сенситивными данными в постоянном режиме, то он может прожить долго и счастливо. Если же у вас денег куры не клюют – выбирайте стримеры. С другой стороны, можно купить какой-нибудь отремонтированный или бывший в употреблении экземпляр – например, один такой производства HP в комплекте с пятью трехтерабайтными кассетами формата LTO5 продается в момент написания этой статьи на eBay всего за 150 евро. Нетрудно подсчитать, что это будет даже выгоднее HDD.
В случае «а мне забить на все» можно воспользоваться облачным хранилищем. Но желательно каким-нибудь надежным – тем же Google или его вечным конкурентом Microsoft. А если хочется почувствовать себя совсем крутым – купить за неразумные деньги терабайта два на Dropbox. А еще лучше не ограничиться двумя, и сделать одну половинку зеркалом второй.
Заключение
Одним словом, выхода нет только из гроба. А найти идеальные для себя способы хранения и бэкапирования информации можно достаточно легко, если воспользоваться рекомендациями выше. Главное – делать это в принципе. Ибо надежность превыше всего.
Системы хранения данных будущего: от фотопленки до бактерий
Долгосрочное хранение огромных объемов данных — одна из крайне актуальных технологий. Человечество генерирует все больше информации, и часть этих данных особенно важна. Бумага со временем превращается в труху, магнитные накопители деградируют, лазерные диски страдают от «гниения» и «бронзования» несущего слоя.
Какие технологии помогут человечеству хранить важные данные в течение сотен и тысяч лет? Оказывается, их не так уж и мало, и большая часть — вовсе не фантастика, а проекты, которые либо уже можно использовать, либо будут реализованы в ближайшем будущем.
Сервис долгосрочного хранения данных на фотопленке
Норвежская компания Piql и индийский оператор дата-центров Yotta разработали и запустили сервис долгосрочного хранения информации на фотопленке. Новая система получила название Yotta Preserve, она предназначена в первую очередь для компаний и организаций, которым нужны объемные архивы с информацией разного типа — от текста до изображений.
Данные записываются на производимую Piql крайне светочувствительную полиэфирную фотопленку piqlFilm. Ее достоинство — в долговечности: пленка не деградирует несколько сотен лет. Гарантированный срок хранения данных — 500 лет, но производитель заявляет, что данные останутся доступными для считывания вплоть до 1000 лет.
По словам авторов проекта, у него два преимущества:
Хранить можно любой тип контента, включая видео, аудио, рукописные документы, изображения и т.п. Формат пленки — привычные фотографам 35 мм. Вместе с архивами хранятся иллюстрации и инструкции по расшифровке данных — на случай, если доступ к ним нужно будет получить через несколько поколений.
Кстати, Piql известна еще тем, что компания оцифровала и записала на пленке данные GitHub объемом в 21 Тбайт. Хранится архив в специально оборудованной шахте на острове Шпицберген — пресловутое «Хранилище судного дня».
Кварцевые носители — технология от команды Университета Саутгемптона
Впервые о создании рабочей технологии записи данных на кварцевый носитель стало известно в 2013 году. В так называемых «кристаллах памяти» из кварца информация записывается с пятью разными характеристиками, включая координаты в трех измерениях, ориентацию и объем. Два последних параметра создатели технологии научились контролировать при помощи поляризации и интенсивности лазерного луча.
В 2013 году на кварцевый диск был записан текстовый файл объемом 300 килобайт. Тогда данные записали при помощи фемтосекундного лазера с длиной волны 1030 нм, импульсами по 8 микроджоулей продолжительностью 280 фемтосекунд с частотой 200 кГц. Лазер применялся для выжигания в кристалле точек, расположенных слоями. Расстояние между ними составляло 5 мкм.
Выжженные точки меняют поляризацию проходящего через кварц света. При помощи специализированной системы, которая включает оптический микроскоп и поляризатор, информацию можно считать. Проект постепенно развивается, хотя и не особенно быстро. С момента создания технологии на кварцевые диски записали такие документы и книги, как Всеобщая декларация прав человека, Ньютоновская оптика, Великая хартия вольностей, Библия.
По словам разработчиков, технология идеально подходит для организаций, которым нужно хранить большие объемы данных в неизменном виде продолжительное время. Это, главным образом, музеи, библиотеки, промышленные предприятия. «Удивительно даже думать о том, что мы создали технологию, позволяющую сохранять документы и другую информацию для будущих поколений. Эта технология может сохранить все, что мы изучили», — говорит профессор Питер Казански (Peter Kazansky), глава проекта.
Срок хранения информации на таком диске, в принципе, неограничен. Главное, чтобы диск не царапался и не повреждался иными способами.
Кварцевое стекло — технология от Microsoft и Warner Bros.
Схожую технологию два года назад представили две известные компании — Microsoft и Warner Bros. Объединенная команда специалистов создала метод записи видео на кварцевое стекло размером 75×75 мм и толщиной 2 мм. Конечно, этот способ предназначен не для распространения по домашним медиатекам, а для долгосрочного хранения записанных данных в течение миллионов лет. Конечно, через миллион лет может просто не оказаться существ, которые в состоянии считать эту информацию, но теоретически срок хранения ничем не ограничен.
Это уже рабочая технология, с ее помощью партнеры записали оригинальную картину «Супермен» 1978 года. Объем записанной информации — 75,6 ГБ.
Технология, разработанная Microsoft, базируется на более современных, чем в предыдущем случае, наработках. Компания использует сверхбыструю лазерную оптику и машинное обучение для записи и хранения на кварцевом стекле. Лазер создает объемные слои деформаций кварца на разной глубине и под разными углами. Машинное обучение помогает корректно считать записанные данные, декодируя их.
Warner Bros., как, вероятно, и другие компании, занимающиеся производством фильмов, нуждается в надежных методах хранения медиаконтента. Сейчас фильмы хранятся в трех копиях, которые распределены географически. Две копии цифровые и одна — на пленке. Кинопленка — весьма ненадежный хранитель информации, а кварцевое стекло, теоретически, позволяет хранить данные в течение сотен миллионов лет.
Нити ДНК
Системы хранения данных, основанные на ДНК, могут стать выходом для человечества, которое генерирует все большие объемы информации. По сравнению со всеми прочими носителями у ДНК просто феноменальная плотность записи данных. Еще одно преимущество — в случае ДНК для хранения данных в оптимальных условиях не нужна энергия, причем информацию можно хранить сотни лет. Через несколько веков данные можно без проблем считать — конечно, при наличии соответствующих технологий.
Основа недавно разработанной технологии — капсулы из диоксида кремния, в которых хранятся отдельные файлы. К каждой капсуле прикрепляются ДНК-метки, которые показывают, что в файле. Размер такой капсулы составляет около 6 микрометров. Благодаря такой системе ученым удалось научиться извлекать отдельные изображения с точностью 100%. Набор файлов, который они создали, не очень велик — их всего 20. Но если учитывать возможности ДНК, то масштабировать такую систему можно до секстиллиона файлов.
Закодированы эти 20 файлов были во фрагменты ДНК длиной около 3000 нуклеотидов, это около 100 байт данных. В одну капсулу из кремнезема можно поместить файл размером до гигабайта. После того, как файл помещен в оболочку, на его поверхность помещаются метки из одноцепочечной ДНК. К одной оболочке можно прикрепить несколько меток, которые служат ключевыми словами. Например, «рыжий», «кот», «животное». Помеченные таким образом капсулы из кремнезема объединяются в единую библиотеку данных. Она не так компактна, как хранилище из чистой ДНК, но зато данные в этом случае не повреждаются.
Для поиска файлов используется группа ключевых слов — меток. Например, если нужно найти изображение кошки, используются метки «оранжевый», «кошка» и «домашний». Для поиска тигра только «оранжевый» и «кошка». Скорость поиска в такой системе пока что очень невелика — что-то около 1 КБ в секунду.
Еще одна хитрость связана с тем, что каждая метка связана с флуоресцентными молекулами разного цвета. Поэтому в ходе запроса любые капсулы с нужными метками будут светиться определенным цветом. Сейчас уже есть устройства, которые используют лазеры для разделения объектов по цвету флуоресценции, так что выделить нужные данные технически возможно.
При этом остальная часть библиотеки затрагиваться не будет, а значит, не пострадают данные. Стог сена ради поиска одной иголки сжигать уже не требуется. Дополнительный плюс в возможности логического поиска с разными критериями. Например, условия запроса могут быть сложными: true для «кот», false для «домашний», true для «черный» и т.п.
Бактериальные нанопоры
Это еще более сложная, чем в предыдущем случае, технология, основа которой — тоже ДНК. Ученые из EPFL предложили использовать для хранения носителя, т.е. нитей ДНК, нанопоры. Их создают бактерии EPFL в живых клетках при помощи токсина аэрозилина. По мнению ученых, нанопоры могут использоваться для записи и декодирования информации в цифровом виде.
Считывание производится при помощи полимеров — чтобы процесс проходил достаточно быстро, скорость их прохождения через нанопору оптимизирована. При этом сигнал прохождения полимера должен быть идентифицирован в 100% случаев, чтобы избежать ошибок в исходных данных.
Здесь также используется машинное обучение — оно помогает декодировать информацию из полимеров, правда, пока что в очень небольшом объеме. Такая система, по словам создателей метода, гораздо дешевле, чем использование нитей ДНК в чистом виде или в тех же стеклянных капсулах, о которых говорилось выше.
Насколько можно понять, сейчас технология еще слишком сложная, чтобы ее можно было использовать для решения практических задач. Но в качестве задела на будущее это отличный вариант. «Наш метод открывает новые горизонты для хранения данных на основе полимеров с важными преимуществами в виде сверхвысокой плотности, длительного хранения и портативности устройств», — заявили ученые.
Молекулярные накопители
Еще одно исследование, на этот раз ученых из Университета Брауна (Brown University, США), открыло новые возможности для хранения огромных массивов данных на крайне небольшой площади накопителя. Здесь в качестве носителя используется уже не ДНК, а низкомолекулярные метаболиты. Запись информации производится путем взаимодействия молекул метаболитов между собой. В результате этого взаимодействия образуются новые электрически нейтральные частицы, которые и являются элементами записываемой информации.
Это еще более далекий от практической реализации метод, чем нанопоры, поскольку считывание информации здесь возможно лишь в случае проведения химического анализа в специализированной лаборатории. Но в качестве задела на будущее метод вполне пригоден.
Хранение данных. Или что такое NAS, SAN и прочие умные сокращения простыми словами
TL;DR: Вводная статья с описанием разных вариантов хранения данных. Будут рассмотрены принципы, описаны преимущества и недостатки, а также предпочтительные варианты использования.
Зачем это все?
Хранение данных — одно из важнейших направлений развития компьютеров, возникшее после появления энергонезависимых запоминающих устройств. Системы хранения данных разных масштабов применяются повсеместно: в банках, магазинах, предприятиях. По мере роста требований к хранимым данным растет сложность хранилищ данных.
Надежно хранить данные в больших объемах, а также выдерживать отказы физических носителей — весьма интересная и сложная инженерная задача.
Хранение данных
Под хранением обычно понимают запись данных на некоторые накопители данных, с целью их (данных) дальнейшего использования. Опустим исторические варианты организации хранения, рассмотрим подробнее классификацию систем хранения по разным критериям. Я выбрал следующие критерии для классификации: по способу подключения, по типу используемых носителей, по форме хранения данных, по реализации.
По способу подключения есть следующие варианты:
подключение дисков в сервере
дисковая полка, подключаемая по FC
По типу используемых накопителей возможно выделить:
Если рассматривать форму хранения данных, то явно выделяются следующие:
По реализации достаточно сложно провести четкие границы, однако можно отметить:
RAID контроллер от компании Fujitsu
пример организации LVM с шифрованием и избыточностью в виртуальной машине Linux в облаке Azure
Давайте рассмотрим более детально некоторые технологии, их достоинства и недостатки.
Direct Attached Storage — это исторически первый вариант подключения носителей, применяемый до сих пор. Накопитель, с точки зрения компьютера, в котором он установлен, используется монопольно, обращение с накопителем происходит поблочно, обеспечивая максимальную скорость обмена данными с накопителем с минимальными задержками. Также это наиболее дешевый вариант организации системы хранения данных, однако не лишенный своих недостатков. К примеру если нужно организовать хранение данных предприятия на нескольких серверах, то такой способ организации не позволяет совместное использование дисков разных серверов между собой, так что система хранения данных будет не оптимальной: некоторые сервера будут испытывать недостаток дискового пространства, другие же — не будут полностью его утилизировать:
Конфигурации систем с единственным накопителем применяются чаще всего для нетребовательных нагрузок, обычно для домашнего применения. Для профессиональных целей, а также промышленного применения чаще всего используется несколько накопителей, объединенных в RAID-массив программно, либо с помощью аппаратной карты RAID для достижения отказоустойчивости и\или более высокой скорости работы, чем единичный накопитель. Также есть возможность организации кэширования наиболее часто используемых данных на более быстром, но менее емком твердотельном накопителе для достижения и большой емкости и большой скорости работы дисковой подсистемы компьютера.
Storage area network, она же сеть хранения данных, является технологией организации системы хранения данных с использованием выделенной сети, позволяя таким образом подключать диски к серверам с использованием специализированного оборудования. Так решается вопрос с утилизацией дискового пространства серверами, а также устраняются точки отказа, неизбежно присутствующие в системах хранения данных на основе DAS. Сеть хранения данных чаще всего использует технологию Fibre Channel, однако явной привязки к технологии передачи данных — нет. Накопители используются в блочном режиме, для общения с накопителями используются протоколы SCSI и NVMe, инкапсулируемые в кадры FC, либо в стандартные пакеты TCP, например в случае использования SAN на основе iSCSI.
Давайте разберем более детально устройство SAN, для этого логически разделим ее на две важных части, сервера с HBA и дисковые полки, как оконечные устройства, а также коммутаторы (в больших системах — маршрутизаторы) и кабели, как средства построения сети. HBA — специализированный контроллер, размещаемый в сервере, подключаемом к SAN. Через этот контроллер сервер будет «видеть» диски, размещаемые в дисковых полках. Сервера и дисковые полки не обязательно должны размещаться рядом, хотя для достижения высокой производительности и малых задержек это рекомендуется. Сервера и полки подключаются к коммутатору, который организует общую среду передачи данных. Коммутаторы могут также соединяться с собой с помощью межкоммутаторных соединений, совокупность всех коммутаторов и их соединений называется фабрикой. Есть разные варианты реализации фабрики, я не буду тут останавливаться подробно. Для отказоустойчивости рекомендуется подключать минимум две фабрики к каждому HBA в сервере (иногда ставят несколько HBA) и к каждой дисковой полке, чтобы коммутаторы не стали точкой отказа SAN.
Недостатками такой системы являются большая стоимость и сложность, поскольку для обеспечения отказоустойчивости требуется обеспечить несколько путей доступа (multipath) серверов к дисковым полкам, а значит, как минимум, задублировать фабрики. Также в силу физических ограничений (скорость света в общем и емкость передачи данных в информационной матрице коммутаторов в частности) хоть и существует возможность неограниченного подключения устройств между собой, на практике чаще всего есть ограничения по числу соединений (в том числе и между коммутаторами), числу дисковых полок и тому подобное.
Network attached storage, или сетевое файловое хранилище, представляет дисковые ресурсы в виде файлов (или объектов) с использованием сетевых протоколов, например NFS, SMB и прочих. Принципиально базируется на DAS, но ключевым отличием является предоставление общего файлового доступа. Так как работа ведется по сети — сама система хранения может быть сколько угодно далеко от потребителей (в разумных пределах разумеется), но это же является и недостатком в случае организации на предприятиях или в датацентрах, поскольку для работы утилизируется полоса пропускания основной сети — что, однако, может быть нивелировано с использованием выделенных сетевых карт для доступа к NAS. Также по сравнению с SAN упрощается работа клиентов, поскольку сервер NAS берет на себя все вопросы по общему доступу и т.п.
Unified storage
Универсальные системы, позволяющие совмещать в себе как функции NAS так и SAN. Чаще всего по реализации это SAN, в которой есть возможность активировать файловый доступ к дисковому пространству. Для этого устанавливаются дополнительные сетевые карты (или используются уже существующие, если SAN построена на их основе), после чего создается файловая система на некотором блочном устройстве — и уже она раздается по сети клиентам через некоторый файловый протокол, например NFS.
Software-defined storage — программно определяемое хранилище данных, основанное на DAS, при котором дисковые подсистемы нескольких серверов логически объединяются между собой в кластер, который дает своим клиентам доступ к общему дисковому пространству.
Наиболее яркими представителями являются GlusterFS и Ceph, но также подобные вещи можно сделать и традиционными средствами (например на основе LVM2, программной реализации iSCSI и NFS).
N.B. редактора: У вас есть возможность изучить технологию сетевого хранилища Ceph, чтобы использовать в своих проектах для повышения отказоустойчивости, на нашем практическим курсе по Ceph. В начале курса вы получите системные знания по базовым понятиям и терминам, а по окончании научитесь полноценно устанавливать, настраивать и управлять Ceph. Детали и полная программа курса здесь.
Пример SDS на основе GlusterFS
Из преимуществ SDS — можно построить отказоустойчивую производительную реплицируемую систему хранения данных с использованием обычного, возможно даже устаревшего оборудования. Если убрать зависимость от основной сети, то есть добавить выделенные сетевые карты для работы SDS, то получается решение с преимуществами больших SAN\NAS, но без присущих им недостатков. Я считаю, что за подобными системами — будущее, особенно с учетом того, что быстрая сетевая инфраструктура более универсальная (ее можно использовать и для других целей), а также дешевеет гораздо быстрее, чем специализированное оборудование для построения SAN. Недостатком можно назвать увеличение сложности по сравнению с обычным NAS, а также излишней перегруженностью (нужно больше оборудования) в условиях малых систем хранения данных.
Гиперконвергентные системы
Подавляющее большинство систем хранения данных используется для организации дисков виртуальных машин, при использовании SAN неизбежно происходит удорожание инфраструктуры. Но если объединить дисковые системы серверов с помощью SDS, а процессорные ресурсы и оперативную память с помощью гипервизоров отдавать виртуальным машинам, использующим дисковые ресурсы этой SDS — получится неплохо сэкономить. Такой подход с тесной интеграцией хранилища совместно с другими ресурсами называется гиперконвергентностью. Ключевой особенностью тут является способность почти бесконечного роста при нехватке ресурсов, поскольку если не хватает ресурсов, достаточно добавить еще один сервер с дисками к общей системе, чтобы нарастить ее. На практике обычно есть ограничения, но в целом наращивать получается гораздо проще, чем чистую SAN. Недостатком является обычно достаточно высокая стоимость подобных решений, но в целом совокупная стоимость владения обычно снижается.
Облака и эфемерные хранилища
Логическим продолжением перехода на виртуализацию является запуск сервисов в облаках. В предельном случае сервисы разбиваются на функции, запускаемые по требованию (бессерверные вычисления, serverless). Важной особенностью тут является отсутствие состояния, то есть сервисы запускаются по требованию и потенциально могут быть запущены столько экземпляров приложения, сколько требуется для текущей нагрузки. Большинство поставщиков (GCP, Azure, Amazon и прочие) облачных решений предлагают также и доступ к хранилищам, включая файловые и блочные, а также объектные. Некоторые предлагают дополнительно облачные базы, так что приложение, рассчитанное на запуск в таком облаке, легко может работать с подобными системами хранения данных. Для того, чтобы все работало, достаточно оплатить вовремя эти услуги, для небольших приложений поставщики вообще предлагают бесплатное использование ресурсов в течение некоторого срока, либо вообще навсегда.
Из недостатков: могут заблокировать аккаунт, на котором все работает, что может привести к простоям в работе. Также могут быть проблемы со связностью и\или доступностью таких сервисов по сети, поскольку такие хранилища полностью зависят от корректной и правильной работы глобальной сети.
Заключение
Надеюсь, статья была полезной не только новичкам. Предлагаю обсудить в комментариях дополнительные возможности систем хранения данных, написать о своем опыте построения систем хранения данных.