Поддержка nvme что это

Что такое NVMe у твердотельных накопителей?

Поддержка nvme что это. Смотреть фото Поддержка nvme что это. Смотреть картинку Поддержка nvme что это. Картинка про Поддержка nvme что это. Фото Поддержка nvme что это

Поддержка nvme что это. Смотреть фото Поддержка nvme что это. Смотреть картинку Поддержка nvme что это. Картинка про Поддержка nvme что это. Фото Поддержка nvme что это

Содержание

Содержание

Аббревиатура NVMe сейчас на слуху. То тут, то там можно услышать или прочитать, что-то вроде «Не хочу SATA, это старье. Хочу NVMe!» А что же это вообще такое? Давайте разбираться.

Что же такое NVMe?

Поддержка nvme что это. Смотреть фото Поддержка nvme что это. Смотреть картинку Поддержка nvme что это. Картинка про Поддержка nvme что это. Фото Поддержка nvme что это

NVM Express или NVMe (от англ. Non-Volatile Memory Express) — это спецификация протокола (упрощенно — протокол) обмена данными через линии PCI Express. Создавалась специально для твердотельных накопителей и ориентировалась на достижение максимальной производительности и масштабируемости в дальнейшем.

Следует отметить, что NVMe — это именно протокол, поэтому распространенное выражение «NVME накопитель/SSD» применяется не совсем корректно. Ведь под этим пользователи практически всегда понимают устройство в формате M.2, тем самым объединяя под одним названием и протокол, и форм-фактор накопителя.

Какие преимущества дает использование NVMe в накопителях?

Использованием линий PCIe означает высокий максимальный предел теоретических скоростных характеристик дисков, что было показано еще накопителями, не поддерживающими NVMe. Тогда зачем нужна была вся затея с ее разработкой?

Увеличение глубины очереди команд и количества очередей

Первые диски хоть и показывали высокие скорости, используя преимущества шины PCIe, но использовали эмуляцию AHCI, где была лишь одна очередь на 32 команды. Использование одной очереди обусловлено тем, что AHCI создавался для жестких дисков, а у них ни о каком параллелизме при работе думать не приходилось. С появлением SSD все изменилось. В спецификации NVMe заложено использование до 65535 очередей и до 65535 команд в каждой очереди с указанием приоритета очередей и четким арбитражем последних. Эти огромные показатели хоть и не нужны сейчас, но задел на будущее оставляют приличный.

Представьте бригадира и некоторое количество рабочих, очень быстрых рабочих. Если бригадир один и выдает по небольшому количеству поручений одному рабочему сразу, то пока он раздает указания остальным, предыдущие уже могут всю работу выполнить и простаивать. А если бригадиров столько же, сколько рабочих и они выдают поручения сразу на полдня, то утилизация ресурсов будет гораздо выше.

Работа с многоядерными/многопроцессорными системами, внедрение механизма прерываний и поддержка виртуализации

Совместно с первым пунктом это нацелено на увеличение параллелизма в работе, что в результате приводит к улучшение скоростных характеристик. Каждое ядро процессора может управлять несколькими очередями (отправка/завершение). Управление прерываниями (MSI-X — Message Signaled Interrupt Extended) позволяет при поступлении приоритетной задачи быстрее поставить ее на выполнение. Также была произведена оптимизация по поддержке работы с технологиями виртуализации, которая обязательна для серверов, куда NVMe в первую очередь и были нужны.

Поддержка nvme что это. Смотреть фото Поддержка nvme что это. Смотреть картинку Поддержка nvme что это. Картинка про Поддержка nvme что это. Фото Поддержка nvme что это

Проведем параллель с дорогой. Ясно, что пропускная способность однополосной дороги существенно меньше, чем у четырехполосной. Если только у нее не одна полоса (ядро) для въезда, иначе это колосс на глиняных ногах. А если по дороге будет ехать пожарная машина, то все расступятся и она проедет первой (спасибо прерываниям и приоритизации).

Сокращение задержек при работе

Чтобы убрать задержки при выполнении команд накопителем нужен простой и короткий путь. Поэтому посредники в лице SATA-контроллера были исключены. Также был написан более простой и эффективный набор команд для работы протокола, использующий меньше процессорного времени.

Поддержка nvme что это. Смотреть фото Поддержка nvme что это. Смотреть картинку Поддержка nvme что это. Картинка про Поддержка nvme что это. Фото Поддержка nvme что это

Примерной аналогией будет ситуация, когда вам нужно пробежать обычную стометровку и с препятствиями. Первую, конечно, пробежать проще и быстрее, особенно если у вас ноги длиннее (проще команды) и быстрее двигаются (меньше расходуют ресурсов).

Ускорение работы с оперативной памятью

Если AHCI требовалось два запроса в DRAM, то NVMe использует один запрос на чтение 4 Кб, обеспечивая эффективную работу небольших операций ввода/вывода. Опять же сокращает накладные расходы, позволяя увеличить эффективность в единицу времени в сравнении с AHCI. Ведь быстрее оплатить покупку просто приложив карту, чем еще дополнительно вводить пин-код.

Это лишь несколько основных важных отличий NVMe, по которым виден основной вектор при работе над протоколом. SSD, в отличие от HDD, обладает некоторой степенью параллелизма — контроллер поддерживает несколько каналов для подключения микросхем памяти. В итоге большой пласт работы направлен на максимальную возможность распараллеливания операций. Несколько очередей с большой очередью команд — сценарий, в котором накопители показывают лучшие результаты. Работа с многоядерными процессорами также позволяет максимально загрузить работой диск.

Другой целью разработки было исключение промежуточных звеньев. Так удаление контроллера SATA из цепочки «процессор — накопитель», новые команды и драйвер позволили снизить задержки в обработке команд так, что основным фактором, влияющим на латентность, стали сами микросхемы NAND. Они же и остаются лимитирующим фактором в скорости записи. 3DXpoint от Intel сделала первый шаг в направлении уменьшения латентности памяти. Будем ждать, что смогут преподнести будущие типы микросхем.

Поддержка nvme что это. Смотреть фото Поддержка nvme что это. Смотреть картинку Поддержка nvme что это. Картинка про Поддержка nvme что это. Фото Поддержка nvme что это

Все внесенные изменения обеспечили не только и не столько скачок в скоростных показателях (это сделал еще переход на PCIe в SSD, эмулировавших AHCI), а существенное увеличение числа операций ввода-вывода (IOPS), что особенно важно в высоконагруженных сценариях/режимах работы.

Опять же если вернуться к AHCI, то ее разработка зиждилась на максимальном сохранении совместимости с разными устройствами. NVMe же возводили практически с нуля, основываясь лишь на использовании линий PCI-Express. И это наложило некоторые особенности реализации в конечном итоге.

Так для работы NVMe необходима поддержка со стороны операционной системы (ОС). Впрочем, сейчас драйвер есть во всех современных ОС: Windows, Mac OS и ядрах Linux/BSD. А для использования в качестве загрузочного накопителя, потребуется наличие драйвера в UEFI материнской платы. Как его добавить в старые модели плат, можно прочитать здесь.

Источник

SATA SSD, NVMe SSD и HDD: изучаем разницу в реальных приложениях

Поддержка nvme что это. Смотреть фото Поддержка nvme что это. Смотреть картинку Поддержка nvme что это. Картинка про Поддержка nvme что это. Фото Поддержка nvme что это

Поддержка nvme что это. Смотреть фото Поддержка nvme что это. Смотреть картинку Поддержка nvme что это. Картинка про Поддержка nvme что это. Фото Поддержка nvme что это

Агитировать в 2018 году за установку SSD в настольные компьютеры и ноутбуки – это как рекомендовать сменить наконец старый кнопочный Ericsson на современный смартфон. Потому что SSD (как и смартфоны) сейчас можно игнорировать только по двум причинам: вы принципиально не хотите связываться с флэш-памятью или последние 10 лет вы провели на урановых рудниках Марса, не получая вестей с Земли.

Установка SSD в старый компьютер даст ему вторую жизнь, даже если процессор разменял первый десяток, а оперативной памяти едва набралось на минимальные системные требования операционной системы. Возвращение к ПК, где ОС установлена на обычный HDD поначалу вызывает шок – кажется, что компьютер заражен вирусней и вообще работает не так, как должен. Загрузка Windows за семь секунд, мгновенная реакция на действия пользователя – это всё про SSD.

Окей, с необходимостью присутствия в системе твердотельного накопителя всё понятно, и хорошо, если в ноутбуке или ПК он был еще при покупке. А если вы только готовитесь с опозданием купить свой первый SSD, то какой накопитель выбрать? Если с магнитными жесткими дисками всё было относительно просто и понятно, то SSD за последние пять лет успели поменять и форм-факторы, и интерфейсы, а уж сколько развелось контроллеров – подумать страшно. Причем в зависимости от используемых компонентов цена на SSD с одинаковым объемом памяти может запросто отличаться в два, а то и три раза.

В этой статье мы попробуем быстро и максимально просто разобраться, стоит ли переплачивать за самые современные технологии в SSD, имеет ли смысл покупать самые скоростные диски и какой прирост производительности в реальных задачах можно получить от SSD относительно традиционных жестких дисков.

AHCI или NVMe?

Для жестких дисков был и остается актуальным интерфейс SATA 3.0 с пропускной способностью до 600 Мбайт/с – HDD до этого предела едва ли вообще когда-нибудь доберутся. SSD же не просто уткнулись в эту планку, но и благополучно ее миновали, перейдя на форм-фактор M.2 и прямое подключение к скоростной шине PCI Express. SSD в размере 2,5’’ и интерфейсом SATA выпускаются до сих пор, но исключительно в низком ценовом сегменте. Конечно, даже такой накопитель даст чумовой прирост скорости реакции компьютера после обычного HDD, но если деньги на новый диск вы собирали не по рублю с завтраков, то можно выбрать что-нибудь поновее и побыстрее. А именно, SSD в форм-факторе M.2.

Вот тут и начинается разлюли-балалайка. Дело в том, что M.2 – это типоразмер компактных накопителей, которые устанавливают в ноутбуки или монтируют прямо на материнскую плату компьютера. M.2 сам по себе не является интерфейсом, это лишь слот. Поэтому дешевый SSD в размере M.2 вполне может гонять данные через шину SATA с соответствующим скоростным ограничением в 600 Мбайт/с – этот момент лучше уточнить в характеристиках устройства перед его покупкой.

Как понять, что перед нами суперскоростный накопитель? Удостовериться, что это NVMe-диск. В отличие от AHCI-контроллеров, которыми управляются SATA-накопители, NVMe-контроллер подключает хранилище прямо к шине PCI Express. Поэтому пределом пропускной способности для NVMe-диска будут не жалкие 600 Мбайт/с, как у SATA, а в шесть раз больше – 3,94 Гбайт/с (по факту, конечно, меньше). Скорость современных NVMe-SSD уже перешагнула за 2000 Мбайт/с, поэтому эффект от перехода на новый интерфейс налицо. Помимо этого, протокол NVMe принес ряд оптимизаций для работы с SSD, например, расширенную очередь команд.

Разъем M.2 начал появляться на материнских платах, но пока еще остается атрибутом дорогих моделей, поэтому NVMe-диски часто имеют версии с дополнительной платой-переходником в комплекте, которая вставляется в обычный слот PCI Express.

Пруфы будут?

Будут. Для этого возьмем три SSD от одного производителя, отличающихся друг от друга интерфейсом, контроллерами и, соответственно, ценой. Но прогоним их через тестирование в рабочих приложениях, а не синтетических бенчмарках. Синтетика, вроде CrystalDiskMark, позволяет узнать абсолютные скоростные показатели дисков в идеальных условиях, однако в реальности нагрузка и, как следствие, скорости, бывают совсем иными. Ну а чтобы не осталось сомнений в целесообразности покупки даже самого бюджетного SSD, присовокупим к тестам один из самых быстрых HDD.

Места подопытных кроликов великодушно согласились занять три модуля производства Kingston и один жесткий диск WD. А конкретно: Kingston SM2280S3G2/240G, Kingston SA1000M8/480G, Kingston SKC1000/480G и WD Black WD10003FZEX.

Поддержка nvme что это. Смотреть фото Поддержка nvme что это. Смотреть картинку Поддержка nvme что это. Картинка про Поддержка nvme что это. Фото Поддержка nvme что это

SM2280S3G2/240G, несмотря на достойный для системного диска объем 240 Гбайт, является самым бюджетным решением – всего 6750 рублей в среднем. Учитывая курс валют, это и правда ВСЕГО, зато 240 гигов гарантированно хватит и для операционной системы, и для многих необходимых программ, и даже пары-тройки игр с долгой загрузкой. Еще есть варианты на 120 и 480 Гбайт. Этот SSD – как раз тот случай, когда в современном компактном форм-факторе M.2 мы получаем накопитель, работающий по шине SATA. То есть выше теоретических 600 Мбайт/с скорости мы не увидим. Заявленная скорость чтения 550 Мбайт/с и записи 330 Мбайт/с уже намекает, что здесь не пахнет NVMe.

Поддержка nvme что это. Смотреть фото Поддержка nvme что это. Смотреть картинку Поддержка nvme что это. Картинка про Поддержка nvme что это. Фото Поддержка nvme что это

Модель SA1000M8/480G уже насчитывает 480 Гбайт, что даже избыточно для диска C:. Грамотно распоряжаться таким объемом помогает протокол NVMe, контроллер Phison PS5008-E8 и поддержка двух линий PCI Express. То есть, это не полноценный четырехлинейный NVMe, но все равно значительно превосходящий SATA интерфейс. Даже заявленные скоростные показатели составляют 1500 Мбайт/с на чтение и 900 Мбайт/с на запись, что несравнимо выше, чем у предыдущего SSD. Kingston позиционирует эту модификацию как универсальное решение ввиду наличия сразу двух вырезов (ключей) слотов M.2 – универсального B и скоростного M.

Поддержка nvme что это. Смотреть фото Поддержка nvme что это. Смотреть картинку Поддержка nvme что это. Картинка про Поддержка nvme что это. Фото Поддержка nvme что это

SKC1000/480G является самым производительным SSD компании. Он построен на мощнейшем четырехъядерном контроллере Phison PS5007-E7. Вообще Phison до недавних пор считались мэйнстримовыми контроллерами с весьма средненькой производительностью, уступавшей изделиям Marvell, но внезапно компания буквально выстрелила новыми контроллерами, уложившими конкурентов на лопатки.

Kingston обещают скорость чтения до 2700 Мбайт/с и записи до 1600 Мбайт/с. А теперь поднимитесь на несколько абзацев выше и посмотрите характеристики первого в тесте SSD. Трудно представить, зачем такая скорость может вообще потребоваться – чтобы быстро перегонять данные с диска на диск, потребуется второй такой же быстрый SSD, а при обработке данных (сжатие, кодирование) уже процессор не будет успевать справляться с ними.

Примечательное, что накопители серии SKC1000 опционально поставляются с HHHL-переходником на полноразмерный PCI Express на тот случай, если в настольном компьютере не обнаружится слота M.2.

Что же до жесткого диска, то WD Black WD10003FZEX на 1 Тбайт, то он принадлежит к самой быстрой серии WD Black, отличается отличными скоростными показателями и внушительной для малого объема ценой – около 5500 рублей.

Ожидания и реальность

Именно так можно назвать результаты синтетических и более реальных тестов. Бенчи, искусственно моделирующие нагрузку, могут показывать впечатляющие цифры, тогда как при повседневном использовании накопитель поведет себя гораздо скромнее. Тем не менее, синтетика помогает оценить весь потенциал диска – если цифры хилые, то в жизни всё будет еще хуже.

Сперва прогоним стандартные бенчмарки.

Поддержка nvme что это. Смотреть фото Поддержка nvme что это. Смотреть картинку Поддержка nvme что это. Картинка про Поддержка nvme что это. Фото Поддержка nvme что это

Поддержка nvme что это. Смотреть фото Поддержка nvme что это. Смотреть картинку Поддержка nvme что это. Картинка про Поддержка nvme что это. Фото Поддержка nvme что это

Поддержка nvme что это. Смотреть фото Поддержка nvme что это. Смотреть картинку Поддержка nvme что это. Картинка про Поддержка nvme что это. Фото Поддержка nvme что это

WD Black WD10003FZEX

Поддержка nvme что это. Смотреть фото Поддержка nvme что это. Смотреть картинку Поддержка nvme что это. Картинка про Поддержка nvme что это. Фото Поддержка nvme что это

Между первым и вторым скриншотом буквально пропасть, отлично характеризующая разницу между SATA и NVMe-дисками. Что же HDD, то в тесте на чтение и запись маленьких блоков по 4 Кбайта всё совсем тоскливо. Особенно хорошо видно, как NVMe-накопители хорошо работают с очередью команд (CrystalDiskMark, строки Q32T1), обеспечивая двойной и больший отрыв от SATA-модификации. К тому же все SSD превзошли заявленные скоростные характеристики. Честность Kingston достойна уважения.

А теперь проверим диски в реальных сценариях в самых популярных отраслевых приложениях. Далеко не все из них завязаны на скорость хранилища, но всё же они демонстрируют влияние SSD на повседневную производительность.

Поддержка nvme что это. Смотреть фото Поддержка nvme что это. Смотреть картинку Поддержка nvme что это. Картинка про Поддержка nvme что это. Фото Поддержка nvme что это

Поддержка nvme что это. Смотреть фото Поддержка nvme что это. Смотреть картинку Поддержка nvme что это. Картинка про Поддержка nvme что это. Фото Поддержка nvme что это

Поддержка nvme что это. Смотреть фото Поддержка nvme что это. Смотреть картинку Поддержка nvme что это. Картинка про Поддержка nvme что это. Фото Поддержка nvme что это

Поддержка nvme что это. Смотреть фото Поддержка nvme что это. Смотреть картинку Поддержка nvme что это. Картинка про Поддержка nvme что это. Фото Поддержка nvme что это

Поддержка nvme что это. Смотреть фото Поддержка nvme что это. Смотреть картинку Поддержка nvme что это. Картинка про Поддержка nvme что это. Фото Поддержка nvme что это

Поддержка nvme что это. Смотреть фото Поддержка nvme что это. Смотреть картинку Поддержка nvme что это. Картинка про Поддержка nvme что это. Фото Поддержка nvme что это

Поддержка nvme что это. Смотреть фото Поддержка nvme что это. Смотреть картинку Поддержка nvme что это. Картинка про Поддержка nvme что это. Фото Поддержка nvme что это

Поддержка nvme что это. Смотреть фото Поддержка nvme что это. Смотреть картинку Поддержка nvme что это. Картинка про Поддержка nvme что это. Фото Поддержка nvme что это

До странного равные столбики? Отнюдь, как раз-таки очень предсказуемый финал. Дело в том, что приложения для рендеринга, кодирования или шифрования, такие как Blender, CINEBENCH, True Crypt, прежде всего утилизируют процессорную мощь, лишь понемногу загружая накопитель своими запросами. Получается, что на ту же скорость рендеринга 3D-модели быстрый SSD никак не влияет – подгруженные данные уходят в оперативную память, да там и крутятся, пока процессор трудится над визуализацией. Даже в играх установка SSD практически никак бы не повлияла на частоту кадров. Зато скорость загрузки сократилась бы в разы, если не на порядок.

Совсем другая картина наблюдается в приложениях, ведущих активное одновременное чтение и запись на диск. Это фото- и видеорендены (Premiere Pro, After Effects, Lightroom) и архиватор WinRAR. Жесткий диск явно проигрывает, не успевая одновременно вести запись и чтения ввиду особенностей работы HDD. А вот SSD совершенно побоку, что от него требуют одновременно считать и записать сразу несколько файлов – нет магнитных дисков, нет дорожек на них, нет магнитных движущихся головок, нет огромных задержек доступа к разным частям диска.

Реальные тесты выглядят не так эффектно, как дисковая синтетика, именно потому, что в жизни приложения нагружают и процессор, и накопитель, и оперативную память, и видеокарту. На загрузке Windows или тяжелых игр NVMe-SSD сказался бы крайне позитивно, а в деле 3D-моделинга пользы от него с гулькин клюв.

И как с этим жить?

Спокойно, потому что вы узнали правду, которую от вас скрывали: супербыстрые и супердорогие SSD щеголяют фантастическими скоростными показателями, но в ежедневном использовании разница с моделями попроще не так заметна. Конечно, это не значит, что SSD можно спокойно променять на емкий HDD – нельзя, потому что в первую очередь пострадает скорость случайного доступа, а вместе с ней скорость загрузки системы, приложений и реакции на действия пользователя.

Если при выборе SSD вы не руководствуетесь в первую очередь ценой, то лучше отдать предпочтение NVMe-модели с колоссальным запасом производительности, чем сэкономить тысячу рублей и получить устаревший еще несколько лет назад SATA-диск. 1500 или 2500 Мбайт/с на чтение показывает SSD – не важно, выбирайте согласно своему кошельку и предпочтениям.

Гораздо важнее стоит вопрос надежности SSD, которые имеют свойство «умирать» внезапно и без предварительных симптомов. Это одна из причин, почему лучше отдавать предпочтение брендовым накопителям с длительной гарантией и высоким временем наработки на отказ (или объемом записываемых данных). Kingston – бесспорный гранд мира флэш-памяти, который очень вовремя адаптировал для своих SSD контроллеры Phison.

Источник

Преимущества NVMe

Технология NVMe обеспечивает превосходное хранение данных, превосходную скорость и превосходную совместимость. Поскольку в технологии NVMe используются разъемы PCIe, она обеспечивает передачу в 25 раз большего объема данных по сравнению с аналогичными устройствами SATA. Наряду с большим объемом данных команды NVMe выполняются в 2 раза быстрее, чем в накопителях AHCI. Кроме того, количество операций ввода-вывода в секунду (IOPS) в устройствах NVMe превышает 1 миллион, и операции выполняются до 900% быстрее по сравнению с накопителями AHCI. NVMe также напрямую связывается с ЦП системы, обеспечивая невероятную скорость благодаря своей совместимости. Накопители NVMe работают со всеми основными операционными системами независимо от форм-фактора.

NVMe (Non-Volatile Memory Express) — это интерфейс связи и драйвер, который использует преимущества увеличенной полосы пропускания, обеспечиваемой PCIe. Он разработан для повышения производительности и эффективности, обеспечивая при этом совместимость с широким спектром корпоративных и клиентских систем. Технология NVMe была разработан для твердотельных накопителей и обменивается данными между интерфейсом хранилища и процессором системы, используя высокоскоростные разъемы PCIe без ограничений форм-фактора.

Протокол NVMe использует параллельные пути передачи данных с малой задержкой к базовому носителю, подобно архитектурам высокопроизводительных процессоров. Это обеспечивает значительно более высокую производительность и меньшие задержки по сравнению с протоколами SAS и SATA. NVMe может поддерживать множество очередей ввода-вывода — до 64 тыс. очередей глубиной 64 тыс. записей каждая. В результате задачи ввода/вывода могут передавать больший объем данных быстрее, чем старые модели хранения данных с использованием устаревших драйверов, таких как AHCI (Advanced Host Controller Interface). Поскольку протокол NVMe разработан специально для твердотельных накопителей, он неизбежно станет новым отраслевым стандартом.

Твердотельные накопители: тогда и сейчас

Поддержка nvme что это. Смотреть фото Поддержка nvme что это. Смотреть картинку Поддержка nvme что это. Картинка про Поддержка nvme что это. Фото Поддержка nvme что это

Шины данных передают данные внутри системы, и когда впервые появились твердотельные накопители на базе технологии NAND, для отрасли стало очевидно, что необходимы новая шина и новый протокол.

Решение использовать имеющуюся технологию шины с более высокой пропускной способностью привело к замене протоколов SATA на технологию PCIe. Технология PCIe появилась за несколько лет до NVMe, но поскольку предыдущие решения были ограничены старыми протоколами передачи данных, такими как SATA и AHCI, они не могли быть использованы в полной мере до последнего времени. Технология NVMe устранила узкие места и сняла ограничения, обеспечивая выполнение команд с малой задержкой и очереди глубиной 64 тыс. записей. Большое количество очередей обеспечивает более быструю передачу данных, поскольку данные записываются на твердотельные накопители рассредоточенно с использованием ячеек и блоков, а не на вращающихся дисках, таких как жесткие диски.

Коммуникационные драйверы AHCI и NVMe

Коммуникационные драйверы используются операционными системами для обмена данными с устройствами хранения. Драйверы NVMe работают быстрее, чем драйверы AHCI, которые обычно используются в интерфейсах SATA.

Драйвер NVMe напрямую взаимодействует с системным процессором, а AHCI должен связываться с контроллером SATA. AHCI имеет показатель IOPS (число операций ввода/вывода в секунду) до 100 тыс., в то время как для NVMe IOPS составляет более 1 миллиона. IOPS (число операций ввода-вывода в секунду, произносится «ай-опс») — это стандартный показатель производительности, используемый для тестирования компьютерных запоминающих устройств.

Источник

Добавить комментарий

Ваш адрес email не будет опубликован. Обязательные поля помечены *