HPE

StoreVirtual – семейство СХД типа SAN, выпускаемых компанией HPE. Существуют 2 линейки СХД StoreVirtual: традиционная SV 4000 и новая SV 3000. Серия 4000 готовится к снятию с производства. Серия 3000 недавно вышла на рынок, и на февраль 2017 года представлена единственной моделью – SV3200.

СХД StoreVirtual работает под управлением специальной операционной системы. В серии SV 4000 данная ОС носила название LeftHand, и иногда под этим названием подразумевают всю СХД SV целиком. В серии SV 3000 ОС имеет уже другое название – StoreVirtual OS.

SV3200 реализовано в виде шасси размером 2U. Спереди находится 25 SFF либо 12 LFF слотов под накопители, а сзади размещаются блоки питания, вентиляторы и контроллеры в отказоустойчивой конфигурации (каждый элемент в количестве 2).

Контроллеры обеспечивают работу всего массива и управление им. Кроме того, именно контроллеры оснащены портами, позволяющие подключить СХД к SAN сети и обеспечить блочный доступ к хранилищу для серверов.

SV3200 поддерживает подключение по iSCSI 1 и 10 Гбит, а так же по Fibre Channel 8 и 16 Гбит (в рамках одной СХД возможен только один тип подключений).

• При подключении iSCSI 1 Гбит используется 2 или 4 порта на контроллер, порты медные
• При подключении iSCSI 10 Гбит используется 2 порта на контроллер, возможны как медные порты, так и оптические SFP+ трансиверы
• При подключении FC 8/16 Гбит используется 2 порта на контроллер, оптические SFP+ трансиверы SV3200 подключается к серверам через SAN коммутаторы (Ethernet/FC). На февраль 2017 года, прямое подключение от SV3200 непосредственно к серверам не поддерживается.

Ключевой особенностью StoreVirtual 3200 является возможность объединения нескольких СХД в кластер и построения сетевых RAID конфигураций на базе данного кластера. Сетевой RAID по принципу своей работы аналогичен классическому RAID, только его элементами являются не отдельные диски, а отдельные контроллеры СХД. Каждый том (LUN), находящийся в кластере, может иметь свой собственный уровень сетевого RAID. На февраль 2017 года, поддерживается объединение в кластер до двух SV3200.

Передача данных между разными СХД в рамках кластера и сетевых RAID конфигураций осуществляется за счет синхронной репликации. При наличии адекватного канала связи, можно разместить участвующие в кластере СХД на географически удаленных площадках и получить катастрофоустойчивое решение (которое обеспечивает полную сохранность данных и автоматическое переключение клиентов при аварии на одной из площадок).

Помимо сетевых RAID и синхронной репликации, StoreVirtual 3200 имеет большинство функций современных СХД:

• Тома с динамическим выделением емкости, занимающие лишь то место, которое реально занято пользовательскими данными. Размер томов увеличивается или уменьшается в зависимости от изменений объемов пользовательских данных (англ. Thin Provisioning, Space Reclamation);
• Перемещение томов между СХД или кластерами в онлайн-режиме, без остановки работы приложений, использующих данные тома (англ. Peer Motion);
• Традиционные снимки данных, а также снимки с учетом состояния приложений;
• Автоматический тиринг;
• Асинхронная репликация.

Тиринг и репликация требуют дополнительную лицензию Advanced Data Services. Данная лицензия также требуется для построения сетевого RAID между двумя СХД, поскольку он работает именно за счет синхронной репликации.

Дополнительно можно приобрести файловый шлюз StoreVirtual 3000 File Controller, который добавит поддержку файлового доступа по всем основным протоколам (SMB, CIFS, NFS и т.д.) для SV3200. Кроме того, он добавит дедупликацию на уровне элементов файлов и ряд функций для файлового хранилища (классификация, файловые квоты и т.д.).

StoreVirtual 3200 – одна из трех основных SAN СХД компании HPE (наряду с MSA и 3PAR).

StoreVirtual 3200 по своим характеристикам и цене ближе к MSA, она так же относится к бюджетному сегменту. Но, с другой стороны, SV3200 имеет ряд функций, которых нет в MSA и которые встречаются в массивах более высокого уровня, таких как 3PAR.

Преимущества SV3200 по сравнению с MSA:

• имеет меньшую цену (на 6-7% меньше чем даже MSA 1040 при одинаковых конфигурациях)
• имеет более богатый функционал (присутствует сетевой RAID, Peer Motion, которых нет в MSA)

Недостатки SV3200 по сравнению с MSA:

• хуже производительность – и при стандартной конфигурации MSA, и тем более при использовании на MSA функции кэширования на SSD, которой нет в SV3200
• не поддерживается (на февраль 2017 года) прямое подключение SV3200 к серверам, что может потребовать дополнительных затрат на покупку SAN коммутаторов

StoreVirtual 3200 хорошо подойдет:

• при необходимости синхронной репликации между СХД (резервная площадка, катастрофоустойчивое решение)
• как более бюджетный аналог MSA для всех основных корпоративных задач (файловая помойка, резервное копирование, телефония, почта, виртуализация и т.д.), особенно если в инфраструктуре заказчика уже имеется SAN сеть с коммутаторами

HPE MSA (англ. Modular Smart Array) – семейство SAN СХД начального уровня. В него как правило, входят три модели с индексами MSA 10X0, MSA 20X0 и MSA 20X2, где X указывает на поколение модели. Фактически, MSA 20X2 является той же самой MSA 20X0, только в определенной комплектации. В состав MSA 20X2 обязательно входят следующие компоненты:

1. Стандартное шасси MSA
   На 12 LFF, либо 24 SFF накопителей, с 2 кабелями питания и комплектом направляющих для стойки.

   

2. Два контроллера
   Пара контроллеров типа SAS, FibreChannel или iSCSI с 4 портами в каждом, с поддержкой до 9 корзин накопителей (Разные поколения имеют различия по максимальному количеству подключаемых корзин).

   

3. Два SSD накопителя
   Для обеспечения тиринга. Используются диски с интерфейсом SAS 12 Гбит/с, различных типов: Read intensive (Повышенная способность считывания/записи), SSD типа Mainstream Endurance (С повышенным показателем Drive Writes per Day) или Mixed use SSD.
4. Лицензия Advanced Data Services
   Открывает все расширенные функции для MSA - Два уровня хранения (Performance Tiering), до 512 снапшотов на систему (у MSA 10X0 и 20X0 без лицензии – 64 снапшота), Функция RSR (Remote Snap Replication).

Для моделей MSA 10X0 и 20X0 лицензия ADS Suite (Advanced Data Services) является опциональной. Лицензия потребуется, если необходимо разделение на уровень производительности (Performance tier) и нижние уровни (Standard и Archive) в рамках одного HDD-пула.

MSA 20X2 имеет преимущество в цене по сравнению с аналогичной конфигурацией на MSA 20X0, и стоит примерно на 20% меньше.

Массивы HPE Nimble Storage состоят из основного шасси и опциональных полок расширения. Шасси имеет размер 4U и включает 2 контроллера, 2 блока питания и накопители. Полки расширения также имеют размер 4U и включают аналогичные элементы. Полки расширения бывают all-flash (состоящие полностью из SSD), либо гибридные (включающие HDD и SSD под кэш).

Контроллеры основного шасси снабжены двумя встроенными медными портами 10 Гбит, которые по умолчанию настроены для сети управления, но могут использоваться и для клиентских подключений. Также контроллеры имеют 3 слота расширения, в которые можно устанавливать сетевые карты 1/10 Гбит iSCSI и 8/16 Гбит FC. На начало 2018 года, нельзя использовать одновременное подключение по iSCSI и FC (исключение – iSCSI используется для репликации, FC для клиентского доступа). В планах заявлено скорое добавление данной возможности, а также карт 40 Гбит iSCSI и 32 Гбит FC. Контроллеры работают по схеме Active-Passive, то есть один из них является активным, а другой находится в режиме ожидания и берет на себя функции управления в случае отключения первого. Данная схема позволяет легко производить последовательную замену контроллеров при апгрейде. Кроме того, в ней отсутствуют ограничения по загрузке контроллера не более чем на 50%, присущие архитектурам Active-Active.

Массивы серии AF включают до 48 SSD накопителей. Они установлены парами в специальных модулях (англ. Bank), каждая пара находится в LFF салазках DFC (англ. Dual Flash Carrier). Нижние накопители каждой пары принадлежат к модулю А и образуют первую RAID-группу. Верхние накопители каждой пары принадлежат к модулю В и образуют вторую RAID-группу. Массивы серии AF поддерживают до 2 all-flash полок расширения. Заказчик может приобрести основное шасси с 24 (заполнены только модули А) или 48 SSD.

Массивы серий CS (за исключением CS1000H) и SF включают до 6 SSD (в 3 DFC) и 21 LFF HDD накопитель. SSD используются под кэш на чтение, и в основном шасси их может быть 3 (только модули А) либо 6. HDD всегда устанавливаются в количестве 21 и собираются в RAID-группу. Массивы серии CS поддерживают до 6 гибридных полок расширения. Кроме того, вместо 1 из них можно поставить полку all-flash. Массивы серии SF поддерживают до 2 гибридных полок расширения.

CS1000H представляет собой наиболее бюджетный вариант, он включает до 4 SSD (в 2 DFC) и до 22 HDD накопителей в основном шасси. В данном массиве можно начать с конфигурации 2 SSD (только модули А) и 11 HDD (верхние), а затем добавить группу 11 нижних HDD и, при необходимости, SSD модулей В.

Массивы серий AF и CS поддерживают апгрейд на более старшие модели путем замены контроллеров. С модели уровня 1000 можно последовательно обновиться до модели уровня 5000, с модели уровня 3000 – до уровня 9000. К примеру, можно получить AF7000 из AF3000 следующим образом: AF3000 обновляется до AF5000, затем AF5000 обновляется до AF7000. Модель CS1000H поддерживает обновление только до CS3000.

Кроме того, массивы серий AF и CS можно объединять в кластер с единым управлением и возможностью распределения данных томов между СХД (до 4 СХД). Для оптимальной балансировки ввода/вывода требуется установка специального драйвера на хосты.

Семейство HPE Nimble Storage включает три продуктовые линейки, различающиеся по архитектуре и назначению:

• AF-Series (англ. All-Flash) – массивы, полностью построенные на базе SSD накопителей; позиционируются для наиболее критичных рабочих нагрузок.
• CS-Series (англ. Converged Storage) – адаптивные массивы, в которых данные хранятся на HDD, а SSD используются в качестве кэша; позиционируются для большинства основных нагрузок.
• SF-Series (англ. Secondary Flash) – дополнительные массивы, которые по архитектуре аналогичны адаптивным, но имеют сниженную производительность и повышенные коэффициенты дедупликации; позиционируются для резервного копирования и некритичных нагрузок.

В указанные линейки массивов входят следующие модели:

*с учетом работающих дедупликации и компрессии

**с учетом RAID, дедупликации и компрессии

Необходимо отметить, что приведенные показатели по IOPS носят маркетинговый характер, они получены в результатах лабораторных тестов при оптимальных условиях. В условиях реальной эксплуатации, в зависимости от профиля нагрузки, массивы серии AF могут иметь лучшую производительность, чем модели того же уровня серии CS.

Стример или ленточный накопитель — устройство хранения данных, основанное на принципе магнитной записи на ленточный носитель (называется картриджем или кассетой). Стример работает через последовательный доступ к данным, и по своей организации он очень похож на обычный магнитофон. Для записи или чтения информации необходимо загрузить кассету в привод. Поскольку, с одной стороны, кассеты отличаются невысокой стоимостью и большой емкостью, а с другой, стример имеет низкую скорость произвольного доступа (лента должна прокрутиться к нужному месту), данные устройства чаще всего используются для резервного копирования и архивирования информации. Стримеры бывают внутренние (устанавливаются в корпус сервера, как дисковод) и внешние (отдельные устройства). Они могут подключаться через интерфейсы USB, SCSI или SAS. В портфеле решений HPE стримеры представлены семейством StoreEver Ultrium. Они поддерживают кассеты серии LTO-7 емкостью 15 ТБ (с учетом сжатия), а также более ранних серий вплоть до LTO-3 (зависит от модели стримера).

Стример StoreEver LTO-7 Ultrium 15000

Ленточный автозагрузчик – устройство хранения данных, объединяющее стример и магазин автоматической подачи, в который можно установить несколько кассет. Далее они будут последовательно, в автоматическом режиме загружаться в стример для записи. Ручная замена кассет в пределах магазина не требуется. Автозагрузчик может иметь интерфейс FC, SCSI или SAS. HPE в качестве автозагрузчика предлагает модель StoreEver 1/8 G2, поддерживающую магазин на 8 кассет.

Автозагрузчик StoreEver 1/8 G2

Ленточная библиотека – система, объединяющая в своем составе до десятков стримеров и позволяющая автоматически управлять записью на десятки и сотни лент. Может иметь внешний интерфейс FC или SAS. Ленточные библиотеки поддерживают очень большие объемы данных, они предназначены для автоматического резервного копирования и архивирования целых ИТ-инфраструктур. В портфеле решений HPE ленточные библиотеки представлены семейством StoreEver MSL (емкость до 8,4 ПБ* на LTO-7 с учетом сжатия, в зависимости от модели), а также моделями премиум-класса T950 (до 300 ПБ на LTO-8 с учетом сжатия) и TFinity ExaScale (до 1,6 ЭБ** на LTO-8 с учетом сжатия).

Ленточная библиотека StoreEver MSL2024

* ПБ – петабайт, 1 ПБ равен 1000 ТБ

** ЭБ – эксабайт, 1 ЭБ равен 1000 ПБ

Файловый шлюз – NAS* устройство, которое может подключаться к блочной SAN** СХД и превращать ее в NAS хранилище, добавляя поддержку файловых служб и протоколов. Подключение файлового шлюза к SAN СХД происходит посредством SAS, iSCSI или FC. Оно может идти непосредственно к массиву, либо через SAN сеть. Далее все клиентские подключения к СХД осуществляются через файловый шлюз по Ethernet LAN.

HPE в качестве файловых шлюзов предлагает решения StoreEasy 3850 Gateway Storage и StoreEasy 3850 Gateway Storage Blade. Первое выполнено в форм-факторе стоечного сервера, второе – в виде блейд-сервера. Данные шлюзы имеют предустановленную ОС Windows Storage Server 2016 и предоставляют все имеющиеся в ней сервисы (SMB, NFS, HTTP/HTTPS, FTP/FTPS, iSCSI, QoS, файловую дедупликацию и т.д.).

Решения StoreEasy 3850 Gateway Storage поддерживают следующие СХД: MSA, StoreVirtual, Nimble Storage, 3PAR, XP.

* NAS – англ. Network Attached Storage, сетевое файловое хранилище

** SAN – англ. Storage Area Network, сеть хранения данных

HPE MSA – семейство систем хранения данных начального уровня. Осенью 2020 года вендор анонсировал 6е поколение СХД MSA и появились модели MSA 1060, MSA 2060 и MSA 2062 (третья цифра в названии указывает на поколение). На начало осени 2020 года, продолжают также официально поставляться модели MSA 5го поколения (MSA 1050/2050/2052). По сравнению с ними, СХД нового поколения имеют следующие преимущества и особенности:

1. Максимальная производительность MSA 2060/2062 выше примерно в 1,5 раза по сравнению с аналогичными конфигурациями на 2050/2052 (согласно тестам HPE, 2050/2052 выдает до 220 тыс. IOPS, 2060/2062 – более 320 тыс. IOPS).
2. MSA 2062 комплектуется двумя SSD по 1,92 ТБа (в 2052 входят два по 800 ГБ).
3. Новое поколение комплектуется контроллерами, поддерживающими один из вариантов подключения: Fiber Channel (8\16Gb), iSCSI (1\10Gb) и SAS (12Gb). Контроллеры старших моделей MSA 2060 и MSA 2062 имеют по четыре порта. Модель MSA 1060 поставляются с двумя контроллерами, по два порта на каждом, с поддержкой кабеля «SAS Fan-out cable Y», позволяющим удвоить число портов до восьми.
4. MSA 1060 может дополняться четырьмя корзинами с 24 дисками SFF или тремя корзинами от MSA 2060 на 24 SFF или 12 LFF, с возможностью комбинирования. Модели MSA 2060 и MSA 2062 поддерживают до девяти корзин накопителей. С системами MSA Gen6 нельзя использовать корзины расширения от систем предыдущих поколений. Так же диски 6го поколения MSA не подходят для систем других поколений.
5. Новое поколение получило более производительные CPU и микросхемы ASIC для разгрузки RAID;
6. Новый тип группы дисков – MSA-DP+. Он использует интегрированное резервирование, не оставляющее не работающих дисков. Обеспечивает поддержку дисков разной ёмкости, гибкое расширение от 12 до 128 дисков и существенно более быстрое восстановление массива.
7. Обновленная версия механизма многоуровневого хранения «Tiering v2.0». По заявлению HPE, улучшенный алгоритм анализа «горячих» данных может обеспечить прибавку к IOPS до 45%.
8. Поддержка сервиса HPE Cloud Volumes Backup, использующегося для быстрого и простого резервного копирования в облако.

Модель MSA 1060 поставляется только с корзинами под форм-фактор SFF-накопителей, но есть возможность использовать корзины от MSA 2060 (до трёх). В такой конфигурации накопители SFF и LFF могут использоваться вместе.

Апгрейд с MSA 1050/2050/2052 на соответствующие модели 6го должен производиться через резервное копирование и восстановление данных с помощью специальных средств, чтобы перенести данные с бывшего массива на новый массив Gen6.

HPE 3PAR StoreServ 9450 – новая модель в семействе систем хранения данных 3PAR, анонсированная вендором летом 2017 года. Данная СХД позиционируется как All-Flash, то есть построенная только на SSD накопителях (добавление HDD официально не поддерживается). Она относится к среднему классу (англ. Midrange) и занимает нишу между линейкой начального уровня 8000 и линейкой премиум-класса 20000 R2.

По сравнению с линейкой 8000 и своим ближайшим аналогом 8450 (тоже All-Flash модель), 9450 имеет улучшенную аппаратную платформу, которая позволяет достигать гораздо более высоких показателей производительности и масштабируемости. Согласно исследованиям HPE, 3PAR 9450 может выдавать до 2 миллионов IOPS и иметь до 18 ПБ* полезной емкости (с учетом дедупликации и компрессии). С другой стороны, 8450 обеспечивает более высокую плотность размещения в стойке благодаря компактному основному шасси, которое поддерживает установку накопителей.

Основные отличия 3PAR 8450 и 9450:

На начало 2018 года, HPE не планирует исключать 3PAR 8450 из портфеля решений. Для заказа будут доступны обе модели. Вендор рекомендует выбирать 9450 в тех случаях, где важна производительность, а 8450 – когда необходима плотность размещения.

* ПБ – петабайт, 1 ПБ равен 1000 ТБ

** ГиБ – гибибайт, 1 ГиБ равен 2³⁰ байт (1 ГБ равен 10⁹ байт)

*** Без учета RAID, дедупликации и компрессии

**** ТиБ – тебибайт, 1 ТиБ равен 1024 ГиБ

Программно-определяемое хранилище – способ построения системы хранения данных, при котором на серверной платформе (или нескольких платформах) с локальными накопителями разворачивается специальное ПО, превращающее локальные дисковые емкости в СХД с общим доступом. Данные емкости становятся доступны не только серверу, к которому они физически подключены, но и всем серверам, образующим SDS-группу, а в некоторых случаях – и другим устройствам по стандартным протоколам (iSCSI, FC, SMB и т.д.).

Существуют два основных способа организации подобного хранилища. В первом случае функционал SDS встроен в платформу виртуализации (гипервизор). При таком подходе программно-определяемое хранилище жестко зависит от конкретного гипервизора и работает только в связке с ним. Примерами подобных решений служат VMware vSAN, Microsoft Storage Spaces.

VMware vSAN работает только вместе с платформой виртуализации vSphere. Данное решение позволяет объединить емкости локальных накопителей серверов виртуализации в общий пул, полный доступ к которому имеет каждый узел. Подобная схема логически образует гиперконвергентную систему – на аппаратных серверах работают виртуальные машины (ВМ), используя емкости хранилища тех же самых серверов. Microsoft Storage Spaces помогает организовать как аналогичное гиперконвергентное решение, так и конвергентное, где одни узлы используются для вычислений и работы ВМ, а другие объединены в логическое виртуализованное NAS* хранилище.

Организация гиперконвергентного решения в VMware vSAN

Организация конвергентного решения в Microsoft Storage Spaces

При втором способе функционал SDS заключен в специальной ВМ, которая должна быть запущена на сервере или серверах, выделенных под организацию хранилища. Эта ВМ может запускаться на любом аппаратном сервере при условии поддержки ее гипервизором. Наряду с ней на данной вычислительной платформе могут работать и другие ВМ с приложениями заказчика. Примерами подобных решений служат Dell EMC ScaleIO, HPE StoreVirtual VSA. Данные решения позволяют на базе стандартных серверов с локальными накопителями организовать блочную SAN** СХД, доступ к которой могут осуществлять все устройства по протоколу iSCSI.

Схема работы HPE StoreVirtual VSA

Преимуществами SDS решений являются:

1. Гибкость в выборе аппаратной платформы и накопителей.
2. Широкие возможности масштабирования.
3. Возможность сокращения количества оборудования при гиперконвергентных развертываниях.
4. Возможность организации сетевых RAID для повышения производительности и/или отказоустойчивости.
5. Управление хранилищем через те же инструменты, что и виртуализацией (для SDS, функционал которых встроен в платформу виртуализации).

* NAS – англ. Network Attached Storage, сетевое файловое хранилище

** SAN – англ. Storage Area Network, сеть хранения данных

Виртуальная ленточная библиотека (англ. Virtual Tape Library, VTL) – дисковая СХД, эмулирующая ленточную библиотеку. Используется для резервного копирования (РК) ИТ-инфраструктур и приложений, для которых нецелесообразно применять традиционные ленточные устройства по таким причинам, как производительность. Преимущества виртуальных ленточных библиотек перед обычными:

1. Дисковая СХД характеризуется гораздо более высокой производительностью при записи резервных копий и их последующем восстановлении.
2. Дисковые массивы, в отличие от лент, в большинстве своем поддерживают дедупликацию, что увеличивает фактическую емкость СХД.
3. Также VTL могут поддерживать репликацию, что упрощает передачу данных между площадками и консолидацию в главном ЦОД.
4. Одна VTL может эмулировать сразу несколько библиотек, что позволяет осуществлять одновременное РК разных приложений или производить восстановление одного приложения параллельно с РК другого.

Современные виртуальные библиотеки совместимы с большинством ПО резервного копирования, что обеспечивает дополнительное удобство при организации процесса РК.

В портфеле решений HPE виртуальные ленточные библиотеки представлены семейством StoreOnce. Оно включает ряд аппаратных дисковых массивов, различающихся по максимальной емкости и производительности, а также решение StoreOnce VSA. VSA представляет собой виртуальную машину для VMware ESXi / Microsoft Hyper-V / Linux KVM, которая при развертывании на любом аппаратном сервере превратит его в программно-определяемую систему StoreOnce. Последние версии VSA можно также разворачивать на облачной платформе Microsoft Azure. VSA лицензируется по объему данных, который планируется в ней хранить, при этом лицензия на 1 ТБ доступна бесплатно.

Системы StoreOnce в качестве целевых ресурсов для РК поддерживают эмуляцию ленточных библиотек с подключением по iSCSI / FC, создание общих папок SMB / NFS, а также специальных ресурсов StoreOnce Catalyst. Протокол Catalyst, разработанный компанией HPE, позволяет (при условии поддержки ПО РК) осуществлять дедупликацию по выбору администратора на источнике, на локальном либо облачном StoreOnce. Это обеспечивает дополнительную гибкость решения и, в частности, помогает уменьшить нагрузку на сетевые каналы связи.

HPE StoreOnce 3540

HPE 3PAR StoreServ – семейство систем хранения данных, отличающихся уникальной аппаратной архитектурой. К ее особенностям относятся низкоуровневая виртуализация хранилища, когда данные любого тома распределяются по всем накопителям, использование специальных вычислительных микросхем ASIC, и принцип работы контроллеров Full Mesh, когда все они обслуживают каждый том. Указанные решения позволяют достичь весьма высоких показателей производительности и надежности, близких к показателям систем премиум-класса (англ. High-End). Они реализованы во всех массивах 3PAR, от самого младшего до самого старшего. Кроме того, все СХД имеют одну и ту же операционную систему (3PAR OS) и единый интерфейс управления (3PAR StoreServ Management Console).

К семейству относятся 3 линейки – линейка начального уровня 3PAR 8000, линейка среднего класса 3PAR 9000 и линейка премиум-класса 3PAR 20000 R2. В линейку 9000 входит только одна модель – 3PAR 9450. В каждую из оставшихся линеек входят 4 модели.

К линейке 3PAR 8000 относятся следующие модели:

• 3PAR 8200
• 3PAR 8400
• 3PAR 8440
• 3PAR 8450 All-Flash*

Основными различиями между данными моделями является максимальное количество контроллеров (2 или 4), а также максимальное количество HDD/SSD накопителей и полок расширения. Более подробное описание различий приведено в таблице:

HPE 3PAR StoreServ 8450

* Построенная только на SSD (HDD официально не поддерживаются)

** ГиБ – гибибайт, 1 ГиБ равен 2³⁰ байт (1 ГБ равен 10⁹ байт)

*** Без учета RAID, дедупликации и компрессии

**** ТиБ – тебибайт, 1 ТиБ равен 1024 ГиБ

Массивы HPE 3PAR StoreServ линейки 8000 состоят из основного шасси и полок расширения. Основное шасси имеет размер 2U, включает 24 накопителя SFF, 2 блока питания и 2 контроллера. В моделях 3PAR 8400, 8440, 8450 поддерживается установка 4 контроллеров на массив – соответственно, можно использовать 2 основных шасси. Полки расширения являются опциональными. Они могут содержать 24 SFF (размер 2U) или 24 LFF (размер 4U) накопителя. Полки подключаются к основному шасси по SAS.

Каждый контроллер по умолчанию имеет 2 оптических FC 16 Гбит порта, 1 медный 1 Гбит порт для управления и 1 медный 1 Гбит порт для репликации по IP. Также каждый контроллер имеет 1 слот расширения PCIe. В него можно добавлять сетевые адаптеры – FC 16 Гбит, iSCSI/FCoE 10 Гбит, Ethernet 1 Гбит и 10 Гбит для файлового доступа, а также комбинированные (по 2 порта на каждый протокол) FC/Ethernet и iSCSI/Ethernet.

HPE 3PAR StoreServ линейки 8000 – основное шасси, вид спереди

HPE 3PAR StoreServ линейки 8000 – основное шасси, вид сзади

Во всех массивах 3PAR реализована технология низкоуровневой виртуализации хранилища. Емкость каждого накопителя в СХД разделяется на блочные элементы (англ. Chunklets) равного объема (1 ГиБ*), идущих последовательно друг за другом в пределах данного накопителя. Затем блочные элементы с разных накопителей объединяются в группы, аналогичные RAID группам с заданным уровнем (5, 6, 10), в которых единицей выступает не накопитель, а блочный элемент. Данные группы носят название логических дисков. Далее для нескольких логических дисков задается набор политик CPG (англ. Common Provisioning Group), который определяет, на каких накопителях и в рамках какой RAID группы будет располагаться виртуальный том. Виртуальные тома – это и есть те тома (LUN), которые предоставляются серверам по SAN**. Резервные накопители в 3PAR отсутствуют – под данную задачу также выделяется дополнительная распределенная по всему хранилищу емкость из блочных элементов. Технология виртуализации позволяет достичь отказоустойчивости на уровне не только накопителя, но и целой полки расширения благодаря тому, что блочные элементы, входящие в один LUN, распределяются по всем полкам в пределах массива.

HPE 3PAR StoreServ – схема виртуализации хранилища

Кроме того, в контроллерах всех массивов 3PAR, наряду с процессорами, присутствуют специальные микросхемы ASIC. Они несут ряд вычислительных задач, в частности выполняют расчет RAID и дедупликацию. Это позволяет разгрузить ЦПУ и значительно повысить общую производительность массивов. Сами контроллеры функционируют по схеме Full-Mesh – каждый из них обслуживает все тома, а в 4-контроллерных конфигурациях каждый контроллер связан с каждым другим. Это позволяет, при отказе какого-либо контроллера, сохранить данные из кэша на запись (они копируются на оставшиеся контроллеры) и избежать значительной потери производительности.

HPE 3PAR StoreServ – схема соединений контроллеров Full-Mesh

Все массивы 3PAR работают под управлением одной операционной системы (3PAR OS), имеют единый интерфейс администрирования (3PAR StoreServ Management Console) и общий набор программных функций. Также данные СХД связаны с платформой облачной аналитики StoreFront Remote, которая позволяет отслеживать состояние работы массивов и производительность, планировать расход емкости, определять неверные настройки и необходимость обновления прошивок и ПО.

* ГиБ – гибибайт, 1 ГиБ равен 2³⁰ байт (1 ГБ равен 10⁹ байт)

** SAN – англ. Storage Area Network, сеть хранения данных

Все технологии и программные функции, доступные в массивах HPE 3PAR StoreServ*, с точки зрения лицензирования объединены в 2 больших набора – All Inclusive Single System Software и All Inclusive Multi-System Software.

Набор All Inclusive Single System Software включает следующие технологии и функции:

• 3PAR OS со всеми функциями;
• Консоль администрирования StoreServ Management Console;
• Virtual Copy;
• Dynamic Optimization;
• Adaptive Optimization;
• Priority Optimization;
• Virtual Domains;
• Virtual Lock;
• File Persona;
• Smart SAN;
• Online Import;
• System Reporter;
• Virtual Service Processor (не включен в 3PAR 20000);
• Recovery Manager Central (RMC);
• Расширения RMC для создания консистентных (с сохранением данных приложений из оперативной памяти) снимков для VMware vSphere, Microsoft Hyper-V, SQL Server и Exchange, а также СУБД Oracle;
• ПО для запуска на вычислительных узлах (хостах).

Набор All Inclusive Multi-System Software включает следующие технологии и функции:

• Remote Copy;
• Peer Persistence;
• Cluster Extension (CLX);
• Объединение нескольких массивов в федерацию с поддержкой Peer Motion.

Набор All Inclusive Single System Software поставляется по умолчанию с любым массивом 3PAR и не требует дополнительного приобретения каких-либо лицензий. Набор All Inclusive Multi-System Software является опциональным и требует приобретения одной лицензии на массив. Кроме того, функционал шифрования с накопителями Self-Encrypting Drives не входит в указанные наборы функций и должен лицензироваться отдельно (также одна лицензия на массив).

* здесь и далее имеются в виду текущие линейки массивов 3PAR – 8000, 9000 и 20000.

Service Processor (SP) – решение, обеспечивающее удаленный мониторинг и удаленный доступ к массиву 3PAR для службы технической поддержки HPE. SP является связующим звеном между массивом заказчика и сервисным центром HPE. Доступ происходит по защищенному HTTPS каналу. Он необходим в случаях удаленной диагностики, решения проблем и обновления ПО специалистом поддержки. SP требуется для каждого массива HPE 3PAR StoreServ линейки 8000.

SP может поставляться в одном из двух вариантов – как виртуальная машина для VMware ESXi или Microsoft Hyper-V (Virtual SP), либо как аппаратный сервер размером 1U (Physical SP). Лицензия на Virtual SP включается в набор функций All Inclusive Single System Software, который входит в поставку каждого массива 3PAR. Данный вариант выбирается по умолчанию при заказе массива. Physical SP должен приобретаться дополнительно и доступен в конфигурациях с одним либо двумя блоками питания.

На начало 2018 года, из поставляемых HPE систем хранения прямое (без необходимости в SAN-коммутаторах*) подключение к серверам поддерживают следующие модели:

• СХД MSA 1040, 2040, 2042, 1050, 2050, 2052.
• СХД 3PAR StoreServ линеек 8000, 9000 и 20000 (только по FC с некоторыми моделями адаптеров главной шины).
• DAS** решения D2700, D3600, D3610, D3700, D3710, D6020.

* SAN (англ. Storage Area Network) – сеть хранения данных.

** DAS (англ. Direct Attached Storage) – полки с накопителями без собственных контроллеров, подключаемые к контроллеру сервера или СХД и принадлежащие только данному серверу/СХД. Существует также зонированный DAS, когда полка подключается к нескольким серверам, но каждому принадлежит только конкретная группа накопителей, без общего доступа.

В настоящее время, имеют распространение следующие технологии организации оперативной памяти:

UDIMM (англ. Unbuffered DIMM) – небуферизованная память. Обычные планки ОЗУ, которые устанавливаются в персональных компьютерах и некоторых серверах начального уровня. Поддерживается установка до двух планок памяти на канал. Как правило, память типа UDIMM поддерживает технологию автоматической коррекции ошибок ECC, а объем одной планки составляет не более 16 ГБ.

RDIMM (англ. Registered DIMM) – регистровая память. Планки ОЗУ, широко применяющиеся в серверах. Снабжены специальным регистром, который буферизует управляющие и адресные команды контроллера памяти. Благодаря этому, снижается нагрузка на контроллер и появляется возможность использовать более объемные планки памяти и в большем количестве в рамках одного сервера. Объем планки типа RDIMM может достигать 32 ГБ.

LRDIMM (англ. Load-Reduced DIMM) – память со сниженной нагрузкой. Еще один тип ОЗУ с механизмом буферизации. В отличие от RDIMM, здесь в буфер отправляются не только управляющие и адресные команды, но и собственно данные. Эта технология позволяет значительно снизить нагрузку на контроллер памяти и использовать планки емкостью до 128 ГБ. Кроме того, в отличие от RDIMM, при использовании более двух планок LRDIMM на канал не снижается скорость работы памяти.

NVDIMM (англ. Non-Volatile DIMM) – энергонезависимая память. Технология организации ОЗУ с возможностью сохранения загруженных в память данных при штатном либо аварийном завершении работы системы. Память типа NVDIMM может использовать емкости флэш-накопителей (например, SSD) в качестве энергонезависимого хранилища, либо иметь специальный резервный модуль энергонезависимой флэш-памяти, в который будут переписываться данные при завершении работы.

Комбинировать память UDIMM, RDIMM и LRDIMM в рамках одного сервера не допускается. Требования к NVDIMM могут быть разными у разных производителей. Компания HPE в рамках новой серии Persistent Memory анонсировала планки NVDIMM на 8 ГБ для серверов DL360 Gen.9 и DL380 Gen.9. Для одного сервера допускается установка до 16 планок NVDIMM и имеется возможность совмещать их с RDIMM. При использовании HPE NVDIMM требуются процессоры Intel Xeon E5-2600 v4, наличие батареи поддержки кэш-памяти HPE Smart Storage Battery (в качестве источника питания при перезаписи данных в энергонезависимый модуль) и как минимум одной планки RDIMM.

Репликация – процесс передачи данных с одного устройства хранения на другие с целью создания резервной копии этих данных, обеспечения сценариев высокой доступности или катастрофоустойчивости. Существует 2 типа репликации: синхронная и асинхронная.

В системах хранения компании HPE имеются следующие решения по репликации:

• Remote Snap – асинхронная репликация в MSA.
• Remote Copy – асинхронная репликация в StoreVirtual.
• Remote Copy Software – комплексное решение в 3PAR, включающее асинхронную и синхронную репликацию с несколькими режимами работы.

При организации репликации для систем хранения обычно оперируют двумя показателями.

Recovery Point Objective (RPO) – допустимый объем возможных потерь данных в случае сбоя (потерю данных за какой промежуток времени мы можем допустить). Измеряется в секундах.

Recovery Time Objective (RTO) – допустимое время простоя системы в случае сбоя. Измеряется в секундах.

В случае с синхронной репликацией значение RPO стремится к 0, но зато предъявляются более высокие требования к каналам связи.

В случае с асинхронной репликацией значение RPO будет не 0. В системах хранения HPE, как правило, значение варьируется от 5 минут до 24 часов.

Тиринг (англ. Tiering) – это технология, с помощью которой СХД может самостоятельно перераспределять данные по накопителям на основе частоты их использования. Редко используемые данные перемещаются на более медленные накопители, а часто используемые – на более быстрые.

Тиринг дает возможность сэкономить на дорогих HDD или SSD, позволяя приобрести их в небольшом количестве и использовать более дешевые и объемные NLSAS/SATA для хранения основных данных, которые не используются в текущий момент. Согласно статистическим показателям, до 70% данных располагается на медленных дисках при использовании тиринга.

Как правило, в СХД выделяется 3 уровня или «тира» (от англ. Tier):

• Tier1 – самая производительная группа SSD накопителей;
• Tier2 – быстрые диски SAS Enterprise на высокопроизводительном массиве RAID10;
• Tier3 – самая низкопроизводительная группа дисков SATA/SAS (Midline или Nearline) в RAID5/6.

На большинстве современных СХД тиринг работает в автоматическом режиме. Система самостоятельно анализирует частоту обращений к различным блокам данных того или иного LUN и перемещает их между уровнями хранения. Данный режим называется sub-LUN tiering. У HPE в некоторых СХД для него принято название Adaptive Optimization. Некоторое время назад был распространен ручной режим тиринга, когда система могла осуществить перенос только всего LUN и только по команде администратора. Этот функционал у HPE носит название Dynamic Optimization.

Сегодня тиринг реализован на всех основных SAN СХД компании HPE: MSA, StoreVirtual, 3PAR. Для его активации может потребоваться приобретение дополнительной лицензии.

Virtual Tier Affinity – дополнительное улучшение для тиринга в массивах HPE MSA, приоритизация данных на уровне LUN (механизм «Quality of Service»). Администратор может выставить для каждого LUN высокий, либо низкий приоритет. В первом случае данные LUN быстрее станут попадать на самый производительный уровень хранения и дольше там находиться. Во втором случае данные по умолчанию будут записываться на архивный (наименее производительный) уровень и быстрее туда опускаться в случае последующего поднятия.

Дедупликация – это технология, которая позволяет находить и исключать одинаковые (дублирующиеся) данные в рамках системы хранения с целью экономии дисковых объемов. С включенной дедупликацией одинаковые данные не будут записываться на накопители при последующих циклах записи, а будет записываться лишь ссылка на те данные, что уже записаны. Дедупликация бывает файловая и аппаратная.

В случае с файловой дедупликацией, операционная система отслеживает полностью идентичные файлы и хранит только одну копию этих файлов. Например, когда сотрудник внутри организации делает рассылку с вложением, на почтовом сервере Exchange это вложение сохраняется в единственном экземпляре. Получатели данного письма при открытии вложения просто перейдут по ссылке на этот файл.

Аппаратная дедупликация работает не на уровне идентичных файлов, а на уровне блоков данных. В этом случае, проверкой блоков занимается не операционная система, а контроллер системы хранения.

В системах хранения HPE дедупликация реализована для следующих моделей:

• 3PAR StoreServ, StoreOnce – аппаратная дедупликация;
• StoreEasy – программная дедупликация средствами Windows Storage Server.

Компрессия (сжатие данных) – еще одна технология, позволяющая экономить объемы хранилища путем уменьшения размеров хранимых данных. В отличие от дедупликации, она не исключает копии, а посредством различных алгоритмов уменьшает размер (производит сжатие) имеющихся данных.

Как и дедупликация, компрессия бывает файловая и аппаратная.

При файловой компрессии, операционная система или специальное ПО пытается найти избыточные фрагменты в составе каждого файла и удалить их, что приведет к уменьшению его общего размера. Например, для текстового файла могут быть убраны ненужные пробелы в конце, а повторяющиеся слова или символы заменены особым, более компактным кодированием. Для изображений удаляются избыточные пиксели, в аудиофайлах исключаются малозаметные для слуха звуковые эффекты.

При аппаратной компрессии происходит сжатие блоков данных по специальным алгоритмам. Аппаратную компрессию выполняет контроллер системы хранения.

Процесс компрессии может происходить с потерями (англ. lossy), либо без потерь (англ. lossless). В первом случае исходные данные уже не могут быть полноценно восстановлены из сжатых данных. Такие результаты допустимы при сжатии изображений или аудио, где небольшое снижение качества является приемлемым. Во втором случае возможность восстановления предусматривается, что является предпочтительным для корпоративных СХД, хранящих важные данные.

Как правило, в системах хранения, поддерживающих и дедупликацию и компрессию, для оптимального использования вычислительных ресурсов вначале выполняется дедупликация, а затем – компрессия, которая затрагивает только оставшиеся данные и не применяется к тем данным, которые все равно будут удалены дедупликацией.

В системах хранения HPE реализация аппаратной компрессии в ближайшем будущем предполагается для 3PAR StoreServ.

Дедупликация и компрессия могут происходить в режиме реального времени (англ. inline), либо в режиме последующей обработки (англ. post-process). В первом случае данные подвергаются обработке, еще находясь в памяти, и уже затем записываются на накопители. Этот метод обеспечивает экономию места и меньшую нагрузку на дисковую подсистему, однако нагрузка на вычислительные ресурсы является существенной. Во втором случае данные записываются на накопители без изменений, а затем подвергаются дедупликации или компрессии согласно установленному расписанию. Это обеспечивает экономию вычислительных ресурсов и в некоторых случаях ускоряет первоначальную запись данных, однако требует больше места на дисках.

Важно отметить, что эффективность дедупликации и компрессии напрямую зависит от состава и структуры конкретных данных, к которым планируется применять указанные технологии. К примеру, для компрессии хорошо подходят транзакционные БД, где в рамках каждого экземпляра базы часто встречаются повторяющиеся последовательности данных. Дедупликация результативна в средах виртуализации и VDI, в которых попадается множество очень похожих файлов виртуальных машин. В некоторых же случаях, положительного эффекта от дедупликации и компрессии может не быть вовсе или он будет минимальным.

Количественным показателем эффективности указанных технологий в каждом конкретном случае является коэффициент дедупликации или компрессии, который записывается в формате A:B. Данное выражение показывает отношение объема, который должен был быть занят на СХД без учета действия технологий (значение A), к тому объему, который оказался реально занят после применения дедупликации или компрессии (значение B). Например, при коэффициенте дедупликации 2:1 данные, имеющие объем 2 ТБ, после применения технологии займут на СХД в 2 раза меньше места – лишь 1 ТБ.

Сетевой RAID по принципу своей работы аналогичен классическому RAID, только его элементами являются не отдельные диски, а отдельные контроллеры. Тома (LUN) обслуживаются всеми участвующими контроллерами, при этом уровень сетевого RAID мы можем задавать на уровне конкретного тома. К примеру, в рамках одного кластера для первого тома мы можем настроить сетевой RAID 10, а для второго – сетевой RAID 0. После этого, блоки данных в указанных томах будут записываться и распределяться соответственно уровню сетевого RAID.

В настоящее время, для SV3200 доступны следующие уровни сетевого RAID: 0, 10. Уровень 0 представляет собой обычное чередование записываемых блоков данных между контроллерами, и может быть реализован как в кластере, так и для единственной SV3200 (для двух ее контролеров). В случае сетевого RAID 10 при записи данных происходит чередование записываемых блоков между двумя контроллерами одной, а затем зеркалирование записанных данных на другую СХД. Данные уровни в сетевом RAID работают точно так же, как и в обычном (см. рисунок).

В 10м поколении серверов ProLiant HPE реализовал новые, не использовавшиеся ранее технологии. Это позволило улучшить показатели производительности, надежности и безопасности серверов.

Из основных усовершенствований стоит выделить:

1. Набор технологий HPE Intelligent System Tuning, позволяющий повысить производительность процессоров Intel Xeon и оптимизировать настройку BIOS. Включает следующие технологии:
   • Jitter Smoothing – уменьшение перепадов и выравнивание частоты процессора в режиме Turbo Boost. Позволяет уменьшить задержки обращения к памяти, что вызывает дополнительный прирост производительности в некоторых требовательных приложениях (например, Java). Требует лицензию iLO Advanced или выше.
   • Core Boosting – дополнительное повышение частоты активных ядер в режиме Turbo Boost. Позволяет оставаться на том же уровне производительности, используя меньшее число ядер. В схемах лицензирования по количеству ядер (например, в СУБД), может обеспечить экономию лицензий. Требует лицензию iLO Advanced или выше, работает только на определенных процессорах.
   • Workload Matching – использование предопределенных профилей настроек BIOS для распространенных серверных задач (виртуализация, СУБД, обработка графики и т.д.). Позволяет уменьшить число ошибок и повысить эффективность настройки BIOS (по сравнению с заданием каждого отдельного параметра вручную). По данным HPE, использование этой технологии увеличивает производительность системы до 9%.
2. Функция отказоустойчивости оперативной памяти HPE Fast Fault Tolerance. Данная функция ведет мониторинг сбоев и определяет местоположение ошибок. При обнаружении ошибки, соответствующая область памяти изолируется, и на время ее исправления скорость работы снижается только для этой области. Остальные области продолжают работу на своей обычной скорости. Использование Fast Fault Tolerance вместе со стандартными технологиями обеспечения высокой доступности памяти (исправление ошибок, резервирование ранков, зеркалирование и т.д.) снижает время среднегодового простоя серверов на 85% (по данным HPE).
3. Усовершенствования подсистемы хранения:
   • Увеличенное количество отсеков под накопители во многих серверах Gen.10.
   • Использование внутренней корзины под LFF накопители в DL380 Gen.10.
   • Поддержка увеличенного числа NVMe накопителей и внутренних M.2 накопителей на многих серверах Gen.10.
4. Новая версия контроллера удаленного управления iLO5:
   • В 2 раза более производительный по сравнению с iLO4 (по данным HPE).
   • Технология аппаратного ключа HPE Silicon Root of Trust:
     • Автоматическая проверка целостности и подлинности прошивок iLO и остальных компонентов сервера (BIOS, контроллеров, адаптеров и т.д.) в процессе работы. Исключает возможность злонамеренной подмены и модификации прошивок. Сторонние комплектующие при попытке установки их в сервер не пройдут проверку и с высокой вероятностью не будут распознаны. Для проверки iLO и BIOS требуется лицензия iLO Advanced Premium Security Edition.
     • Безопасная загрузка сервера с функцией автоматического восстановления прошивок iLO из репозитория в случае неполадки или взлома. Требуется лицензия iLO Advanced Premium Security Edition.
     • Безопасное (без возможности восстановления) удаление пользовательских данных и настроек с контроллера iLO. Требуется лицензия iLO Advanced Premium Security Edition.
     • Защита канала управления с использованием высочайшей коммерчески доступной стойкости шифрования. В зависимости от используемого алгоритма, может потребоваться лицензия iLO Advanced Premium Security Edition.
   • Сервисный порт iLO. Выделенный USB порт для iLO, к которому можно подключить ноутбук (через адаптер USB-Ethernet) с целью диагностики и управления. Также можно скопировать журналы Active Health System на USB флэш накопитель.
   • Соответствие iLO REST API интерфейсу Redfish API – стандарту управления серверами, пришедшему на смену IPMI. Администратор получает возможность использовать сторонние средства, поддерживающие этот интерфейс, для мониторинга и управления серверами HPE.

HPE Nimble Storage – семейство систем хранения данных. Отличительные черты этих СХД – частичное (наряду с HDD), либо полное (all-flash) использование SSD накопителей во всех моделях, а также очень высокий уровень надежности. HPE заявляет о доступности Nimble Storage в 99,9999%, что достигается благодаря применению платформы облачной аналитики InfoSight. Относительно недавно была добавлена поддержка линейки продуктов HPE 3PAR в InfoSight.

Данная технология позволяет СХД непрерывно в автоматическом режиме собирать большое количество данных как о собственном состоянии, так и об окружающей инфраструктуре (подключенные сети, серверы, платформы виртуализации). Затем эти показатели отправляются в облачную систему, где с помощью сложных аналитических алгоритмов выявляются текущие проблемы и делаются прогнозы о будущем состоянии инфраструктуры. На основе данных выводов заказчику предоставляются автоматические исправления и рекомендации для администратора СХД. Например, при обнаружении у одного из клиентов проблемы в совместимости микропрограммы контроллеров СХД с приложениями гипервизора система автоматически заблокирует возможность установки данной версии прошивки на СХД у других клиентов, а тем у кого уже установлена схожая конфигурация будет предложен критический апдейт системы.

Такой подход помогает предотвращать сбои до их возникновения, причем во многих случаях без вмешательства администратора. По данным вендора, при использовании InfoSight 86% проблем разрешаются без участия ИТ-службы. Сюда входят инциденты как с самой СХД, так и с окружающей инфраструктурой. Причем по данным HPE, более половины проблем, как правило, не связаны с СХД.

InfoSight позволяет значительно сократить время на поиск проблемных узлов инфраструктуры в случае деградации производительности. Система в удобном графическом виде показывает текущее время отклика и статистику задержек за определенный период по проблемной ВМ не только относительно самой СХД, но и сети передачи данных SAN, а также приложений гипервизора. Отклонение каких-либо показателей в кратчайшие сроки позволит определить «узкое место» инфраструктуры. Не нужно переключаться между несколькими системами мониторинга, все показатели доступны в едином портале, так как InfoSight интегрируется с VmWare VCenter.

Благодаря оценке статистической информации сразу по большому количеству СХД, система позволяет провести более точный сайзинг инфраструктуры, чем это бы делалось в любом оффлайн-сайзере. Тем самым становится возможно более точно строить планы апргрейда, сократив, возможно излишние затраты на покупку ненужных компонентов.

Облачная система InfoSight является единой для заказчиков Nimble Storage по всему миру. Она использует общие базы и машинное обучение на основе уже имеющихся данных для постоянного совершенствования своих прогнозов. Собранные данные хранятся на вычислительных мощностях InfoSight в США.

В процессе диагностики собирается только служебная информация, собственные данные заказчика не затрагиваются.

Информация передается по защищенному SSL каналу. Некоторые примеры передаваемых данных:

• Серийный номер массива.
• Базовая информация о работоспособности (health check).
• Системные журналы событий.
• Параметры настроек системы.
• Статистика работы системы.

Иногда, для устранения определенных проблем требуется снятие содержимого памяти контроллера (core data dump). В полученный снимок могут попасть некоторые пользовательские данные. В такой ситуации заказчик по своему желанию может разрешить передачу снимка в поддержку Nimble Storage. Передача не является обязательной, однако без нее возможности специалистов поддержки по работе над проблемой будут ограничены.

В случае своего согласия, заказчик оформляет письменное разрешение, отправляет его в поддержку Nimble и инициирует передачу снимка. Передача происходит по SSL каналу. HPE обязуется принять все необходимые технические меры для защиты конфиденциальности полученных данных заказчика, такие как контроль и аудит доступа персонала к данным, закрытие внешнего доступа через ACL, антивирусная защита, физическая защита серверных комнат и т.д.

Подключение СХД Nimble Storage к InfoSight осуществляется через сеть управления. Заказчик должен будет открыть следующие порты для исходящего трафика (никаких входящих соединений не требуется):

• 443/HTTPS – отправка диагностической информации, оповещений, доступ к обновлениям NimbleOS.
• 2222/SSH – установление защищенного канала через VPN и SSH для специалиста поддержки при устранении проблем.
• Также рекомендуется разрешить ICMP PING для оптимизации установления соединений.

Технология HPE SmartCache позволяет использовать SSD накопители в качестве дополнительной кэш-памяти. Данное решение применяется в среде DAS (внутренние накопители сервера, либо локально подключенные DAS полки).

SmartCache работает как на чтение, так и на запись. При операциях чтения часто запрашиваемые данные помещаются в кэш из SSD накопителей. Операции записи происходят вначале на SSD-кэш, а затем данные перемещаются на HDD. Благодаря тому, что SSD по сравнению с HDD имеют значительно более высокую производительность, увеличивается скорость работы приложений (по данным HPE – до 4 раз).

SmartCache доступна с контроллерами Smart Array P-класса, которые имеют кэш типа FBWC емкостью не менее 1 Гбайт. Технология может использоваться на серверах 8го и более новых поколений. Настройка производится через средство управления контроллерами Smart Array – HPE Smart Storage Administrator.

SmartCache имеет собственную лицензию, при этом для некоторых контроллеров (например, P816i-a SR Gen.10) она включается по умолчанию, а для других требуется приобретать ее отдельно.

1. QoS (англ. Quality of Service) по IOPS и/или пропускной способности. Данная технология позволяет установить нижние и верхние ограничения для отдельных томов по указанным параметрам производительности.
2. Гарантированная задержка менее 1 мс. Можно включать для отдельных томов.
3. Снимки (снапшоты) и копии (клоны) томов с «тонким» выделением емкости. При создании снимка или копии проставляются только ссылки на исходный том, а фактическая емкость не выделяется. Затем, по мере изменения основного тома, измененные данные записываются на накопители рядом с исходными, на которые ведут ссылки от снимка/копии. Снимки также являются консистентными, т.е. сохраняют данные приложений из оперативной памяти.
4. Шифрование и безопасное удаление данных томов. Шифрование работает на SSD и HDD, сжатие данных сохраняется. Возможно сохранение шифрования при репликации.
5. Кэш чтения на SSD в моделях серий CS и SF.
6. Сжатие и дедупликация в режиме реального времени. Сжатие применяется после дедупликации. Возможно включать и отключать данные функции на уровне отдельных томов. Используется алгоритм сжатия LZ4 и дедупликация с переменным блоком, с возможностью автонастройки оптимального размера блока для известных приложений.
7. Асинхронная репликация с поддержкой сжатия и шифрования. Ожидается скорое добавление синхронной репликации и механизма переключения между площадками без прерывания работы.
8. Использование файловой системы CASL (англ. Cache Accelerated Sequential Layout). В данной файловой системе запись всегда происходит полным блоком на все накопители в RAID группе. В фоновом режиме работает процесс очистки, который устраняет пустые блоки, образованные при удалении данных, путем объединения оставшихся блоков. Эта технология обеспечивает высокую и предсказуемую скорость записи, хорошую производительность дедупликации и сжатия.

   
   Схема работы файловой системы Nimble Storage

9. Triple+ Parity RAID в моделях серии AF. Собственная технология RAID с использованием тройной четности, резервного блока данных и внутренней четности накопителя. В RAID группу входят 24 накопителя (до 2 RAID-групп на массив). Технология позволяет выдержать одновременный отказ любых 3 накопителей, либо последовательный (по завершении перестроения RAID) отказ 4 накопителей (благодаря резервному блоку). Кроме того, внутренняя четность помогает восстановить 1 неисправный сектор в рамках каждого накопителя при операциях чтения.

   
   Схема работы Triple+ Parity RAID

В настоящее время, для подключения накопителей в персональных компьютерах, серверах и системах хранения наиболее часто используются 2 интерфейса: SAS и SATA. SAS (англ. Serial Attached SCSI) является преемником параллельной технологии SCSI (англ. Small Computer System Interface). SATA (англ. Serial ATA) – преемник параллельного интерфейса ATA (англ. Advanced Technology Attachment).

В отличие от своих предшественников, протоколы SAS и SATA предусматривают последовательную передачу данных, то есть вся информация передается единым потоком (в параллельных технологиях задействуется множество потоков). Последовательная передача данных позволяет достичь гораздо более высоких скоростей, чем параллельная. Кроме того, в протоколах SAS и SATA используется тип соединения «точка-точка» между контроллером и оконечным устройством, то есть каждый накопитель имеет полную полосу пропускания. В случае SCSI полоса пропускания общая, и она делится между всеми подключенными устройствами.

SAS по сравнению с SATA предоставляет более высокую пропускную способность и расширенную функциональность, а потому накопители на его основе чаще используются в серверах и системах хранения корпоративного класса. SATA, с другой стороны, имеет более низкую стоимость и применяется в большинстве персональных компьютеров, серверов и систем хранения начального уровня. Основные различия между протоколами:

* полудуплексный режим работы – возможность в определенный момент времени вести только прием, либо только передачу; полнодуплексный – возможность вести прием и передачу одновременно

** eSATA – англ. External SATA, интерфейс SATA для подключения внешних устройств

Общий обзор технологий и программных функций массивов HPE 3PAR StoreServ:

1. Набор технологий уменьшения занимаемой емкости Adaptive Data Reduction. Применяется к входящим данным до их записи на накопители. Включает следующие технологии:
   • Zero Detect – удаление в потоке записываемых данных последовательностей нулей, не представляющих фактической ценности (например, при инициализации виртуальных машин).
   • Дедупликация страниц памяти. Метаданные дедупликации обрабатываются в микросхемах ASIC.
   • Компрессия страниц памяти. Перед ее применением процессор контроллера анализирует, насколько эффективно могут быть сжаты данные, и сжимает только те, которые хорошо поддаются компрессии.
   • Data Packing – объединение сжатых страниц в блоки по 16 КиБ* для сохранения эффективности компрессии.
2. Технология построения файлового хранилища File Persona Software. Поддерживает широкий выбор функций и протоколов, включая SMB, NFS, FTP/FTPS.
3. Набор технологий организации тиринга, обеспечения качества обслуживания (англ. Quality of Service, QoS) и осуществления миграций томов (LUN) Data Optimization Software Suite. Включает следующие технологии:
   • Adaptive Optimization – автоматический перенос блоков данных между разными типами накопителей в соответствии с требованиями политик.
   • Dynamic Optimization – перенос целого тома (LUN) по команде администратора.
   • Priority Optimization – определение минимальных и/или максимальных допустимых значений по IOPS, пропускной способности и задержке для тома (LUN) или группы томов.
   • Peer Motion – осуществление миграций томов (LUN) между разными массивами 3PAR в режиме реального времени без прерывания работы приложений.
4. Набор технологий репликации, организации катастрофоустойчивых решений и снятия мгновенных снимков Replication Software Suite. Включает следующие технологии:
   • Virtual Copy – снятие снимков (снапшотов) без первоначального выделения емкости. Снимок начинает занимать фактическую емкость только по мере изменения основного тома. Повторяющиеся изменения не записываются.
   • Remote Copy – асинхронная и синхронная репликация.
   • Peer Persistence – организация катастрофоустойчивого решения с географически распределенным вычислительным кластером, когда потеря СХД на одной из площадок не приведет к потере доступа узлов к тому (LUN).
5. Набор средств мониторинга работы массива Reporting Software Suite. Включает следующие инструменты:
   • System Reporter – отчеты о производительности и использовании емкости в виде наглядных графиков и диаграмм.
   • 3PARinfo – утилита командной строки, используемая на сервере, подключенном к массиву, для отображения информации о предоставлении томов (LUN).
6. Набор технологий разграничения прав доступа Security Software Suite. Включает следующие технологии:
   • Virtual Domains – разграничение доступа пользователей, групп или приложений к хранилищу посредством создания виртуальных доменов.
   • Virtual Lock – защита томов (LUN) и снимков от удаления пользователем или администратором на заданный период времени.
7. Функция шифрования данных на накопителях Data at Rest Encryption. Используются специальные HDD/SSD с поддержкой шифрования (англ. Self-Encrypting Drives, SED). Шифровать можно только массив целиком, т.е. для использования данной функции все накопители должны быть SED.
8. Средство миграции данных Online Import. Позволяет в режиме реального времени производить миграцию томов с массивов HPE EVA, EMC CX4 или EMC VNX на HPE 3PAR.
9. Средство конфигурации Smart SAN for 3PAR. Позволяет автоматизировать настройку оборудования в SAN, задание параметров и политик. Работает с массивами HPE 3PAR, коммутаторами HPE StoreFabric B-series, адаптерами главной шины (HBA) FC 16 Гбит серий HPE Q и E.
10. Средство резервного копирования Recovery Manager Central (RMC). Реализовано в виде виртуальной машины для VMware ESXi. Позволяет производить резервное копирование данных напрямую с массива HPE 3PAR на дисковую библиотеку HPE StoreOnce. Устраняет необходимость в стороннем ПО резервного копирования.
11. ПО для запуска на вычислительных узлах (хостах):
    • Host Explorer – запускается как агент на сервере, собирает служебные и конфигурационные данные и отправляет их на 3PAR, устраняя необходимость ввода вручную.
    • Multipath I/O – реализует технологию множественных путей для некоторых серверных ОС. Позволяет серверу подключаться к массиву 3PAR по нескольким путям, распределять между ними нагрузку и обеспечивать высокую доступность.
    • Cluster Extension Software (CLX) – позволяет строить распределенные катастрофоустойчивые вычислительные кластеры на базе средств кластеризации Windows и репликации 3PAR Remote Copy.
    • Policy Server – устанавливается на отдельном сервере, позволяет задавать политики разрешения/запрета сервисных подключений к массиву 3PAR и подключений от массива во внешний Интернет. Также позволяет вести аудит отправки диагностических данных в службу поддержки HPE и действий в рамках разрешенных сервисных подключений.
12. Дополнительные функции 3PAR OS:
    • 3PAR OS Administration Tools – средства управления 3PAR OS, включающие графический интерфейс InForm Management Console и интерфейс командной строки с поддержкой сценариев (скриптов) InForm Command Line Interface.
    • 3PAR Web Services API – программный интерфейс для возможности объединения средств управления 3PAR с уже имеющимися у заказчика системами администрирования.
    • Autonomic Groups – группы управления, позволяющие объединить объекты в системе 3PAR (такие как виртуальные домены) для упрощения настройки, сбора статистики и других действий.
    • Autonomic Rebalance – автоматическое перераспределение томов (LUN) для оптимального использования емкости при добавлении новых накопителей в массив.
    • Access Guard – настройка прав доступа на уровне тома (LUN) для конкретных узлов или через конкретные порты.
    • 3PAR LDAP – поддержка протокола доступа к службе каталогов LDAP (англ. Lightweight Directory Access Protocol). Позволяет связать систему учетных данных консоли управления 3PAR с развернутой в организации службой каталогов. Это упрощает процедуры аутентификации и авторизации (для доступа к консоли могут использоваться доменные учетные данные) и обеспечивает централизацию управления учетными записями.
    • RAID MP (Multi-Parity) – ускоренное создание и перестроение RAID 6. Служебные расчеты производятся микросхемами ASIC.
    • Full Copy – создание мгновенных копий (клонов) томов (LUN).
    • Scheduler – автоматизация процедур создания и удаления снимков Virtual Copy.
    • Adaptive Flash Cache – использование SSD накопителей в качестве дополнительной кэш-памяти.
    • Persistent Cache – защита содержимого кэша на запись в конфигурациях с 4 и более контроллерами. При отказе контроллера данные из его кэша моментально копируются в кэш других контроллеров. Это позволяет избежать существенного падения производительности.
    • Persistent Ports – смена портов, через которые идут подключения от серверов, в режиме реального времени без потери соединения с томом (LUN) и без остановки работы массива при обновлении ПО на контроллерах. Также автоматическая смена портов происходит в случае отсоединения кабеля или отказа коммутатора (на начало 2018 г., только для FC подключений).
    • Persistent Checksum – проверка целостности записываемых данных по технологии контрольных сумм стандарта T10.
    • Thin Technologies – набор технологий, обеспечивающих «тонкое»** выделение емкости, преобразование обычных томов в «тонкие» и возвращение использованного «тонкими» томами места в пул свободной емкости при удалении данных.

* КиБ – кибибайт, 1 КиБ равен 1024 байт

** Емкость динамически выделяется только под фактически записываемые данные

Функционал репликации в массивах HPE 3PAR StoreServ носит название Remote Copy (RC). Поддерживаются следующие режимы репликации:

• Синхронный (RPO=0);
• Асинхронный периодический (минимальный RPO около 5 мин);
• Асинхронный потоковый (RPO около 10 сек).

При асинхронном периодическом режиме для репликации используются мгновенные снимки (снапшоты) томов (LUN), создаваемые через заданный интервал времени. На удаленный массив передаются только новые блоки данных, содержащиеся в снимке по сравнению с предыдущим снимком. При асинхронном потоковом режиме новые блоки накапливаются в локальном массиве в течение небольшого периода времени и затем реплицируются на удаленный массив.

С точки зрения среды передачи для репликации поддерживаются следующие варианты:

• Remote Copy over Fibre Channel (RCFC) – для репликации используются FC порты массива, данные передаются по FC каналу.
• Remote Copy over Internet Protocol (RCIP) — для репликации используются встроенные IP порты массива (1 Гбит или 10 Гбит, в зависимости от модели массива), данные передаются по IP каналу.
• Remote Copy over FCIP (Fibre Channel over IP) — для репликации используются FC порты массива, данные передаются по IP каналу. FCIP предполагает применение дополнительных устройств-преобразователей протоколов FC-IP.

С точки зрения схем, по которым происходит репликация (топологий) поддерживаются следующие варианты:

• Один-к-одному – репликация выполняется только между двумя массивами.
• Многие-ко-многим – N массивов могут реплицировать данные на другие M массивов. Репликация может происходить в обе стороны. Разные наборы томов (LUN) должны реплицироваться на разные массивы.

  

  Схема репликации Многие-ко-многим для 4 массивов. Каждый массив реплицирует данные на 4 других массива.

• Synchronous Long Distance (SLD) – репликация одного и того же набора томов (LUN) может происходить с одного массива одновременно на два других массива. При этом на один массив выполняется синхронная репликация, а на другой – асинхронная периодическая, благодаря чему он может быть расположен на значительном расстоянии от первых двух. Кроме того, между двумя удаленными массивами также настроена асинхронная периодическая репликация, которая в штатном режиме находится в пассивном состоянии. При отказе основного массива она автоматически активируется, что позволяет скопировать недостающие данные со второго массива (на который шла синхронная репликация от основного) на третий. Данное решение устраняет недостаток синхронной репликации по обычной схеме «один-к-одному», когда из-за требований к каналу связи нельзя значительно отдалить массивы друг от друга, что создает риск их общей потери при масштабной катастрофе. Схема SLD благодаря наличию третьего удаленного массива позволяет обеспечить нулевой RPO при последовательном отказе первых двух массивов, либо небольшой RPO (в районе 5 мин) при их одновременном отказе.

  

  Схема репликации SLD

Репликация по указанным схемам может происходить между любыми моделями массивов 3PAR. Например, в рамках одной топологии можно использовать 3PAR 8200, 8450, 20850.

Технология NPAR реализована на некоторых сетевых адаптерах для серверов HPE. Она позволяет разделить пропускную способность порта адаптера на 4 независимые партиции (физические PCI функции). Каждой физической функции назначается собственная полоса пропускания так, чтобы суммарная пропускная способность четырех партиций не превышала пропускную способность того порта, на котором они настроены. К примеру, для порта 10 Гбит/с можно создать партиции 5 Гбит/с, 2 Гбит/с, 1 Гбит/с и 2 Гбит/с.

Для ОС сервера и для подключенного сетевого оборудования каждая физическая функция представляется как отдельный физический порт. Технология NPAR обеспечивает более эффективное использование пропускной способности адаптеров, позволяя задействовать имеющуюся полосу пропускания для большего количества задач. В частности, это актуально в средах VMware, где рекомендуется использовать несколько физических портов под разные типы трафика (Service Console, VMkernel, VM Network).

NVMe (англ. Non-Volatile Memory Express) – протокол передачи данных для SSD накопителей, подразумевающий непосредственное подключение накопителя к шине PCIe*. Данный стандарт был разработан с целью преодоления ограничений, присущих интерфейсам SATA и SAS, которые ориентированы на работу с HDD и зачастую не позволяют раскрыть потенциал производительности SSD. Вследствие недостаточной пропускной способности и глубины очереди традиционные интерфейсы могут стать «узким местом» и причиной задержек между мощными вычислительными ресурсами и построенной на SSD подсистемой хранения.

Пропускная способность интерфейса NVMe зависит от количества используемых линий PCIe. Максимально может использоваться 16 линий, и при полосе пропускания 1 Гбит на линию для PCIe 3.0 пропускная способность интерфейса будет составлять 16 Гбит (против 6 Гбит для SATA и 12 Гбит для SAS). Кроме того, NVMe предусматривает одновременную организацию нескольких (до 65 000) очередей с глубиной до 65 000 команд (в отличие от SATA и SAS, где очередь только одна с 32 и 254 командами соответственно).

SSD накопители, работающие по протоколу NVMe, имеют несколько возможных форм-факторов и способов подключения. Во-первых, они могут быть выполнены в формате PCIe карты расширения и устанавливаться в стандартный слот PCIe.

NVMe SSD накопитель в формате карты расширения PCIe

Во-вторых, они могут иметь формат карты M.2 и устанавливаться в специальный слот M.2.

NVMe SSD накопитель в формате M.2

Разъем под M.2 NVMe SSD

В-третьих, они могут иметь форм-фактор SFF накопителя, устанавливаться в SFF корзину для накопителей и подключаться к райзер-плате PCIe (данный формат называется U.2).

NVMe SSD накопитель размером SFF в формате U.2

* PCIe (англ. Peripheral Component Interconnect Express) – высокоскоростная шина с последовательной передачей данных, используемая для подключения компонентов расширения к материнской плате.

Storage Class Memory (память класса хранилища) – семейство технологий энергонезависимой памяти. К Storage Class Memory (SCM) относятся такие технологии, как магниторезистивная оперативная память (англ. Magnetoresistive Random-Access Memory, MRAM), резистивная память с произвольным доступом (англ. Resistive RAM, ReRAM), память на основе фазового перехода (англ. Phase Change Memory, PCM), 3D XPoint от Intel и Micron.

По производительности SCM в несколько раз превосходит стандартные SSD накопители и приближается к оперативной памяти (DRAM). Принципы ее архитектуры отличаются от принятых в классических SSD (NAND), благодаря чему SCM обеспечивает гораздо более низкие задержки и высокую износостойкость. Стоимость SCM решений выше, чем у обычных NAND SSD, но ниже, чем у оперативной памяти DRAM. Предполагается, что SCM устройства смогут устанавливаться в слоты для оперативной памяти DDR4, либо в слоты расширения PCIe и M.2. Во втором случае они будут работать по протоколу NVMe.

В настоящее время, различные производители работают над развитием и продвижением технологий SCM. Примерами конкретных реализаций служат мемристоры HPE, накопители Intel Optane (на основе технологии 3D XPoint), Micron QuantX (на основе технологии 3D XPoint) и Samsung Z-SSD.

Intel Optane SSD

SCM решения могут использоваться для размещения наиболее критичных нагрузок в серверах, а также в качестве самого быстрого или кэширующего уровня в системах хранения. Последний подход был реализован HPE в СХД 3PAR StoreServ путем установки в контроллеры массива SSD Intel Optane. По результатам внутренних тестов вендора, это привело к снижению задержек на 50% и увеличению производительности в IOPS на 80% (использовалась двухконтроллерная модель 3PAR 20450 с восемью SSD 15,36 ТБ и одним Intel Optane в каждом контроллере). Данное решение получило название 3PAR 3D Cache. Ожидается, что коммерчески доступным оно станет после того, как Intel наладит производство и поставку SSD Optane в широких масштабах.

Компания HPE производит множество разных видов и продуктовых серий серверов, предназначенных для различных бюджетов, задач, рабочих нагрузок и категорий заказчиков. По конструктивному исполнению и архитектуре можно выделить пять основных типов серверного оборудования:

• Серверы для установки в стойку
• Башенные серверы (в форм-факторе системного блока)
• Блейд-серверы (для установки в блейд-систему, объединяющую серверы с модулями коммутации, хранения данных и управления в едином шасси)
• Конвергентные и компонуемые системы (данные решения аналогичны традиционным блейд-системам, но, как правило, включают также предустановленное ПО, разрабатываются под конкретные задачи, такие как виртуализация, поддерживают большие объемы хранилища и широкие возможности масштабирования)
• Специализированные серверы (не относящиеся к предыдущим типам, имеют особый форм-фактор и назначение – например, это компактные серверы HPE Edgeline, используемые в рамках промышленных систем на базе «Интернета вещей»)

К каждому из указанных типов относятся различные семейства серверов. Семейство – набор моделей серверов сходной организации, архитектуры и назначения внутри каждого из основных типов. В некоторые семейства входит только одна модель. Например, к стоечным серверам относятся семейства ProLiant DL Gen.9/Gen.10, к башенным – ProLiant ML Gen.9/Gen.10 и ProLiant MicroServer Gen.10, к блейд-серверам – ProLiant BL Gen.9/Gen.10 и Integrity BL i, к конвергентным и компонуемым системам – ConvergedSystem, Hyper Converged, SimpliVity, Synergy.

В России у СМБ и корпоративных заказчиков наибольшим спросом пользуются серверы семейств ProLiant Gen.9 и Gen.10 (9го и 10го поколения) DL, ML, BL. Данные семейства имеют небольшую в сравнении с другими серверными решениями HPE цену, предлагают широкий выбор моделей в пределах каждого семейства (от самых бюджетных до высокопроизводительных). Серверы указанных семейств могут использоваться для всех основных ИТ-задач (видеонаблюдение, почта, телефония, базы данных, виртуализация), отличаются большой гибкостью конфигураций, поддерживают все необходимые комплектующие и горячую замену большинства компонентов.

• DL (англ. Density Line) – серверы, оптимизированные для размещения в стойке (стоечные)
• ML (англ. Maximized for Internal Expansion Line) – серверы, оптимизированные для расширения (башенные)
• BL (англ. Blade Line) – серверы для блейд-систем (блейд-серверы)

Семейства ProLiant Gen.9/Gen.10 DL и ML дополнительно подразделяются на линейки, исходя из ценового сегмента и уровня производительности серверов. Принадлежность к той или иной линейке обозначается числом после названия семейства. Каждая линейка включает одну-три модели, наиболее схожих по цене, функциональным возможностям и поддержке комплектующих. Линейки обозначаются круглым десятком или сотней (10я, 100я, 300я, 500я), конкретные модели – числом в рамках показателя своей линейки (DL20 принадлежит 10й линейке, DL360 – 300й и т.д.).

Семейства DL и ML состоят из следующих линеек и моделей:

*ожидается летом 2018 года

Семейство ProLiant BL Gen.9 включает три модели: BL460c, BL660c и WS460c Graphics. Семейство ProLiant BL Gen.10 включает всего одну модель: BL460c.

Кроме того, в качестве наиболее бюджетного решения можно рассмотреть ProLiant MicroServer Gen.10 – башенный сервер малого форм-фактора с 1 процессором, стоимостью порядка 30 тыс. руб

В вычислительной технике, поколение (англ. generation) оборудования обозначает тот или иной важный этап в его развитии, на котором используются свои определенные архитектурные подходы, принципы, стандарты и технологии. Каждое следующее поколение, как правило, сопряжено с серьезными технологическими улучшениями и инновациями. Они поднимают производительность и эффективность оборудования на новый уровень, изменяют принципы его работы, добавляют новые функции и сокращают стоимость изготовления.

Существует множество классификаций различных типов оборудования по поколениям, среди которых встречаются как общепринятые, так и частные (введенные каким-либо производителем только для собственных продуктовых линеек).

Общепринятым может считаться широко известное разделение истории развития компьютеров на 4 поколения. Каждое из них соответствует ключевым архитектурным решениям и технологиям, по которым компьютеры проектировались, организовывались и производились. Так, в компьютерах 1го поколения использовались электронные лампы и магнитные барабаны, во 2м поколении применялись транзисторы, 3е поколение строилось на интегральных микросхемах, а нынешнее 4е основано на работе микропроцессоров (ЦПУ).

Компания HPE использует классификацию по поколениям для своих серверов, систем хранения и сетевого оборудования. Каждая конкретная классификация охватывает определенный тип оборудования (например, серверы) и определенное семейство, либо совокупность семейств данного типа.

Так, серверы семейств ProLiant (DL, ML, BL и т.д.) подразделяются на 10 поколений, что отражает историю их развития. С каждым следующим поколением вносились существенные изменения и улучшения. В серверах использовались все более мощные процессоры, более быстрая память, более производительные контроллеры, росли максимальные объемы памяти и дисковой подсистемы, увеличивались скорости внутренних и сетевых интерфейсов. С новыми поколениями добавлялись и новые функциональные возможности, поддерживаемые технологии, виды комплектующих, версии прошивок, а также изменялась структура продуктовых линеек и названия моделей. Самым актуальным для ProLiant на текущий момент является 10е поколение (англ. Gen.10); в продаже также остаются модели 9го поколения (англ. Gen.9). Все серверы ProLiant ниже 9го поколения сняты с производства и официально более не поставляются.

Семейство стоечных серверов HPE ProLiant DL Gen.9 состоит из четырех продуктовых линеек, которые позиционируются следующим образом:

• 10 – серверы начального уровня DL20, DL60, DL80
• 100 – серверы среднего класса DL120, DL160, DL180
• 300 – высокопроизводительные серверы DL360, DL380
• 500 – 4х процессорные серверы премиум класса DL560, DL580

Среди серверов 10й линейки DL20 имеет 1 процессор, DL60 2 процессора, а DL80 2 процессора и шасси размером 2U, что позволяет устанавливать увеличенное количество накопителей. Все три сервера поддерживают резервирование питания и SSD накопители.

Среди серверов 100й линейки DL120 имеет 1 процессор, DL160 2 процессора, а DL180 2 процессора и шасси размером 2U, что позволяет устанавливать увеличенное количество накопителей. Все серверы поддерживают резервирование питания и SSD накопители.

Обе модели 300й линейки поддерживают по два мощных многоядерных процессора и большие объемы памяти, а также различные графические процессоры. DL360 имеет форм-фактор 1U, а DL380 – 2U, что позволяет устанавливать увеличенное количество накопителей.

Обе модели 500й линейки поддерживают по четыре мощных многоядерных процессора и очень большие объемы памяти, а также различные графические процессоры. DL560 имеет форм-фактор 2U, что позволяет устанавливать увеличенное количество накопителей, а DL580 – 4U.

Основные отличия между 10й, 100й, 300й и 500й линейками серверов HPE ProLiant DL Gen.9:

1. Модели процессоров. Чем старше линейка, тем более мощные процессоры поддерживаются на серверах, то есть тем более высокую производительность и количество ядер процессоров мы можем получить.
2. Количество процессорных сокетов. Чем старше линейка, тем больше процессоров мы можем установить на один сервер.
3. Объемы оперативной памяти. Чем старше линейка, тем выше объем памяти, поддерживаемой на серверах.

Дополнительные отличия:

1. Количество встроенных сетевых портов, идущих по умолчанию с сервером.
2. Сроки стандартной гарантии.
3. Графические процессоры. 300я линейка и DL580 поддерживают более мощные и функциональные ГПУ.
4. Резервирование питания.
5. Новые технологии (NVDIMM, NVMe PCIe SSD).

Семейство башенных серверов HPE ProLiant ML Gen.9 состоит из трех продуктовых линеек, которые позиционируются следующим образом:

• 10 – серверы начального уровня ML10, ML30
• 100 – серверы среднего класса ML110, ML150
• 300 – высокопроизводительные серверы ML350

В 10й линейке, ML10 является наиболее простой и бюджетной моделью, близкой к уровню производительных рабочих станций. ML10 не поддерживает горячую замену компонентов, внутренние SAS контроллеры, SSD накопители, не имеет модуля удаленного управления iLO и возможности установки второго блока питания. Из карт расширения поддерживается только несколько сетевых адаптеров на 1 Гбит/с и внешний SAS HBA для подключения ленточного привода. В старшей модели ML30 все эти недостатки устранены. ML10 поддерживает до 6 LFF накопителей, ML30 – до 4 LFF/8 SFF накопителей. На ML10 предлагается гарантия 1-1-1, на ML30 – 3-1-1. Оба сервера поддерживают 1 процессор, до 64 ГБ памяти типа UDIMM (4 слота).

Среди серверов 100й линейки ML110 поддерживает 1 процессор, до 256 ГБ памяти типа RDIMM (8 слотов), до 8 LFF/16 SFF накопителей. ML150 поддерживает 2 процессора, до 512 ГБ памяти типа RDIMM/LRDIMM (16 слотов), до 10 LFF/16 SFF накопителей. На оба сервера предлагается гарантия 3-1-1. Оба сервера поддерживают резервирование питания и SSD накопители.

В 300й линейке, ML350 поддерживает 2 мощных многоядерных процессора, до 3 ТБ памяти типа LRDIMM (24 слота), до 24 LFF/48 SFF накопителей. На ML350 предлагается гарантия 3-3-3. Он поддерживает до 4 блоков питания и SSD накопители, включая NVMe PCIe SSD.

Башенные серверы имеют преимущество в цене по сравнению со стоечными серверами своего класса, и при аналогичных конфигурациях стоят в среднем на 15-20% меньше.

Основные отличия между 10й, 100й и 300й линейками серверов HPE ProLiant ML Gen.9:

1. Модели процессоров. Чем старше линейка, тем более мощные процессоры поддерживаются на серверах, то есть тем более высокую производительность и количество ядер процессоров мы можем получить.
2. Количество процессорных сокетов. Чем старше линейка, тем больше процессоров мы можем установить на один сервер.
3. Объемы оперативной памяти. Чем старше линейка, тем выше объем памяти, поддерживаемой на серверах.
4. Количество накопителей. Чем старше линейка, тем большее количество накопителей поддерживается на серверах.

Дополнительные отличия:

1. Количество слотов расширения PCIe.
2. Количество встроенных сетевых портов, идущих по умолчанию с сервером.
3. Сроки стандартной гарантии.
4. Графические процессоры. 300я линейка поддерживает более мощные и функциональные ГПУ.
5. Резервирование питания.
6. Новые технологии (NVMe PCIe SSD).

Блейд-система (англ. blade system) – это целая инфраструктура, которая может включать серверы, коммутаторы и системы хранения, установленные в едином корпусе и управляемые централизованно из общей консоли.

В состав блейд-системы входят следующие компоненты:

1. Шасси;
2. Блоки питания;
3. Вентиляторы;
4. Блейд-серверы;
5. Интерконнект-модули;
6. Модули управления;
7. Решения по резервному копированию и хранению данных в формате лезвий (опционально).

Основой блейд-системы является шасси – пассивный корпус («коробка»), куда устанавливаются остальные составляющие. Шасси включает мощные блоки питания и вентиляторы, которые являются общими для всех устанавливаемых в шасси компонентов. Данные компоненты – серверы, сетевые устройства, устройства для резервного копирования, хранения данных и управления – выполнены в виде компактных модулей («лезвий», от англ. blade), которые могут быстро и удобно вставляться в шасси и удаляться из него.

Серверы для блейд-систем носят название блейд-серверов. По своей внутренней архитектуре, принципам работы и функциональности они аналогичны обычным стоечным и башенным серверам. Блейд-серверы точно также комплектуются процессорами, памятью, RAID-контроллерами, дисками, мезанин-картами (карты расширения PCIe) и т.д. Блейд-серверы точно также могут использоваться для развертывания серверных приложений, виртуализации, терминальных служб, кластерных моделей.

Сетевые устройства для блейд-систем носят название интерконнект-модулей. Они устанавливаются в заднюю часть шасси и предназначены для подключения блейд-серверов к внешним локальным сетям (англ. LAN), а также к сетям хранения данных (англ. SAN) и внешним СХД. В качестве интерконнект-модулей могут выступать как обычные LAN/SAN коммутаторы, так и пассивные патч-панели с одинаковым количеством портов на внутренней и внешней стороне. Они предназначены для простой передачи сигналов от блейд-сервера на соответствующий ему внешний порт. Кроме того, у некоторых производителей могут встречаться специальные интерконнект-модули, не имеющие аналогов среди традиционного сетевого оборудования. У HPE, к примеру, это модули Virtual Connect, которые работают по особой технологии и используются только в блейд-системах.

Модули управления отвечают за централизованное управление всеми компонентами блейд-системы. Для возможности ее работы требуется по крайней мере один такой модуль; второй может устанавливаться дополнительно в целях отказоустойчивости.

Устройства резервного копирования и хранения данных для блейд-систем также изготавливаются в формате блейд-модулей и могут представлять собой, к примеру, DAS-модули с большим количеством накопителей, либо модули с ленточным приводом. Как правило, они подключаются к соседнему блейд-серверу и используются им.

Компания HPE предлагает традиционные блейд-решения в рамках семейства BladeSystem c-class. Кроме того, недавно в продажу было запущено новое семейство HPE Synergy, которое по своей архитектуре занимает промежуточное положение между блейд-решениями и интегрированными системами. Сам вендор называет систему Synergy «компонуемой инфраструктурой». Synergy включает шасси и все остальные компоненты блейд-решения (серверы, модули коммутации, хранения данных и управления), имеет широкие возможности масштабирования, а также поддерживает особый модуль – раздатчик загрузочных образов. Данный компонент позволяет с высокой скоростью передавать образа на бездисковые серверные модули. Управляется система Synergy с помощью программного обеспечения HPE OneView, предустановленного на компоновщиках (модулях управления).

Семейство BladeSystem включает 2 модели блейд-шасси: c3000 и c7000. Их основные отличия:

В эти шасси могут устанавливаться блейд-серверы семейств ProLiant BL и Integrity, различные варианты интерконнект-модулей, модули хранения D2220sb, ленточные приводы Ultrium, модули расширения для установки сторонних карт PCI/PCI-X/PCIe.

Основные преимущества блейд-систем HPE:

• Решение позволяет экономить место в стойке. Например, 8 серверов и средства коммутации в блейд-шасси HPE BladeSystem c3000 занимают всего 6U.
• Экономия на электропитании и тепловыделении. Блейд-шасси потребляют меньше электричества и производят меньшее тепловыделение, чем аналогичные мощности, но в традиционном исполнении (отдельные серверы и средства коммутации).
• Удобство последующего расширения. Если в дальнейшем потребуются новые мощности, то при наличии свободных слотов в шасси их достаточно просто нарастить. Нет необходимости подключать кабели к каждому новому серверу.
• Централизованное управление всей системой. Централизованное управление решениями BladeSystem осуществляется за счет модуля управления Onboard Administrator и может производиться удаленно из любого узла сети.

Основной недостаток блейд-систем HPE – высокая цена неполного комплекта. Только при достижении заполнения шасси порядка 70% мы получаем схожие с аналогичными решениями на традиционном оборудовании цены. Кроме того, блейд-серверы поддерживают меньшее количество накопителей и карт расширения PCIe, по сравнению со стоечными и башенными аналогами.

Конфигурация блейд-системы HPE BladeSystem минимально должна включать:

• Блейд-шасси с необходимым количеством блоков питания и вентиляторов (минимум 2 блока питания и 4 вентилятора).
• Блейд-серверы в требуемой комплектации.
• Один Onboard Administrator (желательно два для отказоустойчивости).
• По крайней мере один интерконнект-модуль (желательно два для отказоустойчивости) для подключения к Ethernet.

Инфраструктура Synergy – новая разработка компании HPE, представляющая собой усовершенствованную блейд-систему.

Система Synergy состоит из блейд-шасси (называемого фреймом), в которое устанавливаются необходимые компоненты – блейд-серверы (вычислительные модули), модули хранения, сетевые модули, модули управления. Блоки питания и вентиляторы охлаждения устанавливаются во фрейм и являются общими для всех компонентов.

Модуль управления (компоновщик) представляет собой специальный сервер с встроенным решением по управлению инфраструктурой HPE OneView. Компоновщик может управлять одним или несколькими, соединенными в общее кольцо управления, фреймами.

Отличия системы Synergy и блейд-систем c3000 и c7000:

1. Размеры и вместимость шасси.

2. Характеристики блейд-серверов (вычислительных модулей) 10го поколения.

3. Модули хранения.

c3000 и с7000 поддерживают модули D2220sb (только для блейд-серверов 9го поколения). Каждый модуль вмещает 12 SFF накопителей и устанавливается рядом с блейд-сервером. Лишь этот соседний блейд-сервер получает доступ к модулю. На одно шасси c3000 можно установить до 4 модулей D2220sb (суммарно 48 накопителей), на c7000 – до 8 модулей (суммарно 96 накопителей).

В системе Synergy используются модули D3940. При их установке необходимо также добавить 1 или 2 коммутационных модуля SAS. Модуль D3940 вмещает 40 SFF накопителей. Для вычислителей 10го поколения можно установить до 5 модулей на фрейм, что даст суммарно 200 накопителей. D3940 представляет собой зонированный DAS – любому вычислителю может быть предоставлено требуемое количество накопителей из общего их числа. Это не является общим хранилищем (диски, назначенные одному вычислителю, уже не будут видны остальным), однако снимает ограничение систем c-class, где каждому блейд-серверу дается ровно один модуль D2220sb с не более чем 12 дисками. Доступ вычислителей к модулям D3940 осуществляется через упомянутые SAS коммутаторы.

4. Раздатчик образов.

Система Synergy в качестве дополнительного опционального модуля управления поддерживает раздатчик образов. Данный модуль осуществляет настраиваемую раздачу загрузочных образов ОС (VMware ESXi, RHEL, SLES, скоро планируется Windows) на вычислители. Это особенно эффективно для бездисковых платформ и может служить альтернативой загрузке по LAN/SAN. Системы c-class подобных модулей не поддерживают.

5. Цена.

В настоящее время (лето-осень 2017 года), системы Synergy имеют значительно более высокую цену в сравнении с аналогичными конфигурациями на системах c-class. Разница в среднем составляет 35%.

6. Планы по развитию продуктовых линеек.

По заявлению HPE, системы c-class будут производиться и продаваться до 2019-2020 года, с продолжением поддержки на 5 лет после снятия оборудования с производства. Система Synergy является долгосрочным стратегическим приоритетом вендора и уже сейчас полностью готова к использованию новых технологий (Ethernet 100 Гбит и т.д.).

Гиперконвергентные системы представляют собой программно-аппаратный комплекс, включающий вычислительные ресурсы, ресурсы хранилища, платформу виртуализации и консоль управления в рамках единого шасси. Как правило, такие системы собираются и настраиваются производителем и поставляются заказчику в готовом к работе виде. Они предназначены для задач виртуализации (серверная виртуализация, виртуализация рабочих столов), и не могут быть использованы для физических рабочих нагрузок (т.н. «bare metal»).

Цель гиперконвергентных решений – снизить сложность и повысить эффективность инфраструктур виртуализации. Они заменяют множество разрозненного оборудования (серверы, СХД, коммутаторы), требующего для управления несколько различных специалистов, компактными унифицированными блоками. Для их поддержки достаточно одного администратора, а по мере роста инфраструктуры легко добавлять новые. Еще одно важное преимущество подобных систем – улучшенная совместимость между аппаратной частью и платформой виртуализации. Производитель берет на себя установку гипервизора и драйверов, настройку и тестирование. Поддержка по программной и аппаратной части идет через одного вендора.

Из недостатков гиперконвергентных решений стоит отметить недостаточную гибкость увеличения аппаратных ресурсов самого блока по сравнению с обычным сервером. Как правило, ресурсы могут увеличиваться только до жестко заданных вендором уровней, что объясняется особенностями архитектуры таких систем. К примеру, имея гиперконвергентный блок HPE HC380 со 128 ГБ оперативной памяти, мы можем увеличить объем памяти до 256 ГБ, но не можем добавить 16 или 32 ГБ. Максимальные объемы хранилища по сравнению с внешней СХД также ограничены.

Примеры гиперконвергентных систем от разных производителей: HPE HC 250, HC 380, SimpliVity 380; Dell EMC VxRail, XC; Cisco HyperFlex HX; решения от Nutanix.

В большинстве случаев установка клиентских ОС на серверы HPE ProLiant официально не поддерживается. Драйверы для серверов под данные ОС не выпускаются, что может привести к проблемам и сбоям, или даже неработоспособности системы, при попытке их установки. Однако, на некоторых специализированных серверах (таких как WS460c Gen.9), представляющих собой графические рабочие станции, установка клиентских ОС полостью поддерживается. Информацию по поддержке конкретной ОС на конкретном сервере HPE можно найти в официальном списке совместимости.

Серверы нового поколения HPE ProLiant Gen.10 появились в продаже летом 2017 года. Количество моделей в каждой продуктовой линейке сократилось с целью упрощения выбора для заказчика. Сама структура линеек осталась прежней:

1. DL (от англ. Density Line, "оптимизированные для размещения в стойке") – стоечные серверы. В настоящее время (конец 2017 года) доступны следующие модели:
   • DL360 (форм-фактор 1U) и DL380 (форм-фактор 2U) с двумя сокетами.
   • DL560 (форм-фактор 2U) и DL580 (форм-фактор 4U) с четырьмя сокетами.

     

2. ML (от англ. Maximized for Internal Expansion Line, "оптимизированные для расширения") – башенные серверы. В настоящее время доступны следующие модели:
   • ML110 с одним сокетом.
   • ML350 с двумя сокетами.

     

3. BL (от англ. Blade Line, "серверы для блейд-систем") – блейд-серверы для шасси c3000 и c7000. В настоящее время доступна модель BL460c с двумя сокетами.

   

4. MicroServer – небольшой односокетный сервер для дома и малого бизнеса. Развитие 10го поколения продолжается, и возможно появление новых моделей в будущем. В частности, летом 2018 года HPE планирует выпустить младшие модели – стоечный сервер DL20 и башенный ML30.

   

На начало 2018 года, HPE не планирует разрабатывать следующее поколение блейд-серверов BL и систем c-class, а также добавлять новые модели к линейкам BL Gen.9 и Gen.10. По заявлению вендора, имеющиеся продукты будут производиться как минимум до начала 2020 года, их дата EOL (англ. End Of Life – окончание жизненного цикла) еще не определена. После снятия блейд-систем с производства, запчасти для них будут доступны в течение следующих 5 лет.

Остановка в развитии блейд-систем связана с постепенным техническим устареванием шасси c-class, которые производятся с середины 2000х годов. В частности, внутренняя система коммутации шасси не может обеспечить требуемую пропускную способность для реализации новых технологий, таких как 100 Гбит Ethernet.

Как рекомендуемую замену системам с-class, HPE позиционирует компонуемую инфраструктуру Synergy. Данное решение является новым стратегическим приоритетом вендора. По своей архитектуре Synergy аналогична традиционным блейд-системам, но вместе с тем она отличается лучшими показателями масштабируемости, новыми подходами в управлении и полной готовностью ко всем будущим технологиям.

Семейство блейд-серверов ProLiant BL является одной из наиболее популярных серий блейд-серверов, производимых компанией HPE. Данные серверы имеют небольшую начальную стоимость и хорошие возможности масштабирования. Они поддерживают широкий выбор различных комплектующих и высокую плотность размещения в шасси (до 16 BL460c в шасси c7000).

На начало 2018 года, официально поставляются модели 9го (Gen.9) и 10го (Gen.10) поколений. К 9му поколению относятся блейд-серверы BL460c Gen.9 и BL660c Gen.9, а также WS460c Gen.9 Graphics. К 10му поколению относится лишь одна модель – BL460c Gen.10. Основные отличия между моделями BL:

Блейд-сервер BL460c Gen.10

Модель WS460c Gen.9 Graphics по своему внешнему виду и характеристикам очень похожа на BL460c Gen.9. Особенность ее заключается в том, что она поддерживает ряд графических процессоров (ГПУ) NVIDIA и AMD и позиционируется как высокопроизводительная рабочая станция. Кроме того, WS460c, в отличие от моделей BL, полностью поддерживает установку клиентских ОС (Windows 7 и более поздние, RHEL Desktop 6.5 и более поздние).

Графическая рабочая станция WS460c Gen.9 / Блейд-сервер BL460c Gen.9

Графические процессоры могут устанавливаться как в саму WS460c, так и в специальный модуль расширения. Он имеет форм-фактор блейд-сервера половинной высоты и присоединяется к рабочей станции сбоку, удваивая ее ширину. В подобный модуль можно установить до 6 ГПУ, тогда как в WS460c – только до 2.

Графическая рабочая станция WS460c Gen.9 с модулем расширения

В блейд-системах c3000 и c7000 передача данных от портов сетевых адаптеров блейд-сервера до сетевых модулей осуществляется через внутреннюю сигнальную панель. При этом, определенным адаптерам поставлены в соответствие определенные отсеки для сетевых модулей так, что электрический сигнал от данных адаптеров передается только в указанные отсеки. Нумерация отсеков для сетевых модулей идет сверху вниз и слева направо.

Нумерация отсеков для сетевых модулей в блейд-системе c3000

Нумерация отсеков для сетевых модулей в блейд-системе c7000

Схема внутренней коммутации зависит от установленного типа блейд-сервера – половинной или полной высоты. Сервер половинной высоты (BL460c Gen.9 и BL460c Gen.10) имеет 1 слот для адаптера FlexibleLOM и 2 мезанин-слота для дополнительных адаптеров. При этом, адаптеры FlexibleLOM и адаптеры для первого мезанин-слота могут иметь 2 порта, а адаптеры для второго мезанин-слота – 2 или 4 порта.

В системах c3000 внутренняя коммутация осуществляется следующим образом:

• 1й и 2й порты FlexibleLOM выведены на отсек 1.
• 1й и 2й порты адаптера в первом мезанин-слоте выведены на отсек 2.
• 1й и 3й порты адаптера во втором мезанин-слоте выведены на отсек 3.
• 2й и 4й порты адаптера во втором мезанин-слоте выведены на отсек 4.

Подключение адаптеров к сетевым модулям для блейд-сервера половинной высоты в системе c3000

В системах c7000 внутренняя коммутация осуществляется следующим образом:

• 1й и 2й порты FlexibleLOM выведены на отсеки 1 и 2 соответственно.
• 1й и 2й порты адаптера в первом мезанин-слоте выведены на отсеки 3 и 4 соответственно.
• 1й, 2й, 3й и 4й порты адаптера во втором мезанин-слоте выведены на отсеки 5, 6, 7 и 8 соответственно.

Подключение адаптеров к сетевым модулям для блейд-сервера половинной высоты в системе c7000

Сервер полной высоты (BL660c Gen.9) имеет 2 слота для адаптеров FlexibleLOM и 3 мезанин-слота для дополнительных адаптеров. При этом, адаптеры FlexibleLOM и адаптеры для первого мезанин-слота могут иметь 2 порта, а адаптеры для второго и третьего мезанин-слотов – 2 или 4 порта.

В системах c3000 внутренняя коммутация осуществляется следующим образом:

• 1й и 2й порты первого и второго FlexibleLOM выведены на отсек 1.
• 1й и 2й порты адаптера в первом мезанин-слоте выведены на отсек 2.
• 1й и 3й порты адаптера во втором и третьем мезанин-слоте выведены на отсек 3.
• 2й и 4й порты адаптера во втором и третьем мезанин-слоте выведены на отсек 4.

Подключение адаптеров к сетевым модулям для блейд-сервера полной высоты в системе c3000

В системах c7000 внутренняя коммутация осуществляется следующим образом:

• 1й и 2й порты первого FlexibleLOM выведены на отсеки 1 и 2 соответственно.
• 1й и 2й порты второго FlexibleLOM также выведены на отсеки 1 и 2 соответственно.
• 1й и 2й порты адаптера в первом мезанин-слоте выведены на отсеки 3 и 4 соответственно.
• 1й, 2й, 3й и 4й порты адаптера во втором мезанин-слоте выведены на отсеки 5, 6, 7 и 8 соответственно.
• 1й, 2й, 3й и 4й порты адаптера в третьем мезанин-слоте выведены на отсеки 7, 8, 5 и 6 соответственно.

Подключение адаптеров к сетевым модулям для блейд-сервера полной высоты в системе c7000

HPE Virtual Connect (VC) – сетевые модули, устанавливающиеся в блейд-системы c-class и системы Synergy. Они обеспечивают подключение блейд-серверов к внешним LAN* и SAN** сетям. Модули VC по принципу своей работы похожи на коммутаторы, однако не являются ими. В них не реализован весь функционал коммутаторов. Вместе с тем, модули VC имеют особый специальный функционал, о котором речь пойдет ниже.

Модули VC бывают двух типов: Fibre Channel (FC) и конвергентные. Модули VC FC поддерживают FC 8 Гбит или 16 Гбит на внутренних и внешних портах. Для их подключения требуется наличие в блейд-серверах адаптеров FC HBA с соответствующей пропускной способностью. Конвергентные модули VC на внешних портах поддерживают до 40 Гбит Ethernet, а также 8 Гбит Fibre Channel.

Конвергентные модули работают только с установленными в блейд-серверах конвергентными адаптерами (CNA в Synergy и FlexFabric в системах c-class). Данные адаптеры поддерживают аппаратный FCoE, и в случае его использования от адаптера до модуля VC будет передаваться трафик FCoE, далее он будет преобразовываться в чистый FC, и от модуля VC во внешние сети пойдет трафик FC. В системах Synergy для активации FC подключений на конвергентных модулях VC необходимо приобретение лицензии. Кроме того, конвергентные модули VC поддерживают технологию NPAR, что позволяет делить пропускную способность адаптера на 4 партиции, выступающие как независимые порты.

Все модули VC также поддерживают виртуализацию сетевых подключений. Эта функция дает возможность задать профили подключений, в которых будут указаны сетевые параметры (MAC-адрес***, WWN-адрес****, настройки загрузки по SAN и т.д.), и затем связать данные профили с отсеками в блейд-шасси. Указанные в профиле параметры автоматически будут применены к установленному в отсек серверу. Если в отсек установят другой сервер, параметры применятся к нему.

Решение VC обеспечивает следующие преимущества по сравнению с традиционными блейд-коммутаторами:

• Возможность сокращения количества сетевых модулей при использовании подключений FC в конвергентных VC.
• Возможность сокращения количества сетевых адаптеров при использовании конвергентных адаптеров и технологии NPAR.
• Более эффективное использование пропускной способности адаптеров при применении технологии NPAR.
• Упрощение взаимодействия между сетевым администратором и администратором блейд-системы – достаточно один раз задать настройки для профилей VC.
• Упрощение процедур замены блейд-серверов или миграций нагрузок на другой блейд-сервер – достаточно переназначить профиль на требуемый отсек.
• Наличие решения для централизованного управления сотнями блейд-систем с установленными модулями VC – Virtual Connect Enterprise Manager.

* LAN (англ. Local Area Network) – локальная вычислительная сеть.

** SAN (англ. Storage Area Network) – сеть хранения данных.

*** MAC (англ. Media Access Control) – адреса устройств, используемые для обмена данными в сетях Ethernet.

**** WWN (англ. Worldwide Name) – адреса устройств, используемые для обмена данными в сетях FC.

В системах HPE Synergy, для ряда сетевых модулей поддерживается разделение на 2 вида: «мастер» и «спутник». Модули «мастер» являются стандартными сетевыми модулями с внутренними и внешними портами, которые осуществляют коммутацию и обеспечивают подключение вычислителей к LAN* и SAN** сетям. Модули «спутник» с внутренней стороны имеют аналогичные порты для вычислителей, а с внешней – только порты для подключения к модулям «мастер». Они служат повторителями сигнала, расширителями портов для модулей «мастер», и осуществляют лишь пассивную ретрансляцию к ним от своих вычислителей. Модули «мастер» и «спутник» устанавливаются в разные шасси (фреймы) и позволяют связать их в единую систему коммутации (т.н. логическое шасси, англ. Logical Enclosure).

К модулям «мастер» относятся коммутационный модуль Ethernet Synergy 40Gb F8 Switch Module, а также конвергентный модуль Virtual Connect SE 40Gb F8 Module for Synergy. Данные модули имеют 12 внутренних портов с пропускной способностью до 20 Гбит/с, 8 внешних QSFP+ разъемов*** с пропускной способностью до 40 Гбит/с, и 4 внешних порта 120 Гбит/с для подключения модулей «спутник».

Сетевой модуль «мастер» (Switch Module / Virtual Connect)

Модули «спутник» могут работать только с вышеуказанными модулями «мастер». К ним относятся соединительные модули Synergy 10Gb Interconnect Link Module и Synergy 20Gb Interconnect Link Module. Первый имеет 12 внутренних портов 10 Гбит/с, а также 1 внешний порт 120 Гбит/с для подключения к модулю «мастер». Второй имеет 12 внутренних портов 20 Гбит/с, а также 2 внешних порта 120 Гбит/с для подключения к модулю «мастер».

Сетевой модуль «спутник» (10 Гбит)

Сетевой модуль «спутник» (20 Гбит)

Модуль «спутник» 10 Гбит подключается к модулю «мастер» одним портом. Соответственно, к одному модулю «мастер» можно подключить до 4 модулей «спутник» 10 Гбит и до 4 фреймов, если все они расположены в разных фреймах. Модуль «спутник» 20 Гбит подключается к модулю «мастер» двумя портами. Соответственно, к одному модулю «мастер» можно подключить до 2 модулей «спутник» 20 Гбит и до 2 фреймов, если они расположены в разных фреймах.

Если в качестве модулей «мастер» используются Virtual Connect, схема подключений может выглядеть так:

Архитектура «мастер-спутник» обеспечивает следующие преимущества:

• Устранение необходимости в коммутаторах уровня стойки (Top of the Rack), которые должны обеспечивать связь между разными серверами/шасси в стойке.
• Повышение скорости обмена данными между вычислителями в разных фреймах в пределах одной системы коммутации (трафик не должен подниматься на высшие уровни коммутации, сетевая архитектура является «плоской»).
• Обеспечение удобного способа связи между разными фреймами при использовании модулей Virtual Connect (поскольку сами VC не являются коммутаторами, они не могут быть напрямую подключены друг к другу).
• Снижение общей стоимости решения (модули «спутник» значительно дешевле модулей «мастер» и обычных коммутаторов).

* LAN (англ. Local Area Network) – локальная вычислительная сеть.

** SAN (англ. Storage Area Network) – сеть хранения данных.

*** QSFP+ (англ. Quad Small Form-factor Pluggable) разъем – разъем на сетевом оборудовании стандарта QSFP+, в который для получения готового порта/портов с определенной пропускной способностью необходимо установить совместимый трансивер.

В системе HPE Synergy передача данных от портов сетевых адаптеров вычислителей до сетевых модулей осуществляется через внутреннюю сигнальную панель шасси (фрейма). При этом, определенные мезанин-слоты связаны с определенными отсеками для сетевых модулей. Электрический сигнал от установленных в данных слотах адаптеров передается только соответствующим сетевым модулям.

Нумерация отсеков для сетевых модулей идет сверху вниз. Отсеки 1 и 4, 2 и 5, 3 и 6 связаны попарно в три структуры коммутации. В данные пары отсеков допускается ставить только одинаковые сетевые модули (за исключением модулей «мастер» и «спутник») в целях отказоустойчивости.

Нумерация отсеков для сетевых модулей в системе Synergy

Схема внутренней коммутации зависит от установленного типа вычислительного модуля – половинной или полной высоты. Вычислитель половинной высоты (SY 480 Gen.9 и SY 480 Gen.10) имеет 3 мезанин-слота для сетевых адаптеров. Все адаптеры могут иметь 2 порта. В системах Synergy для вычислителей половинной высоты внутренняя коммутация осуществляется следующим образом:

• 1й и 2й порты адаптера в первом мезанин-слоте выведены на отсеки 1 и 4 соответственно.
• 1й и 2й порты адаптера во втором мезанин-слоте выведены на отсеки 2 и 5 соответственно. Требуется наличие второго процессора.
• 1й и 2й порты адаптера в третьем мезанин-слоте выведены на отсеки 3 и 6 соответственно.

Подключение мезанин-слотов к сетевым отсекам для вычислителя половинной высоты в системе Synergy

Вычислители полной высоты SY 660 Gen.9, SY 660 Gen.10 имеют 6 мезанин-слотов для сетевых адаптеров. Все адаптеры могут иметь 2 порта. В системах Synergy для вычислителей полной высоты SY 660 Gen.9, SY 660 Gen.10 внутренняя коммутация осуществляется следующим образом:

• 1й и 2й порты адаптера в первом мезанин-слоте выведены на отсеки 1 и 4 соответственно.
• 1й и 2й порты адаптера во втором мезанин-слоте выведены на отсеки 2 и 5 соответственно. Требуется наличие третьего и четвертого процессора.
• 1й и 2й порты адаптера в третьем мезанин-слоте выведены на отсеки 3 и 6 соответственно.
• 1й и 2й порты адаптера в четвертом мезанин-слоте выведены на отсеки 1 и 4 соответственно.
• 1й и 2й порты адаптера в пятом мезанин-слоте выведены на отсеки 2 и 5 соответственно. Требуется наличие третьего и четвертого процессора.
• 1й и 2й порты адаптера в шестом мезанин-слоте выведены на отсеки 3 и 6 соответственно.

Подключение мезанин-слотов к сетевым отсекам для вычислителей полной высоты SY 660 Gen.9, SY 660 Gen.10 в системе Synergy

Вычислители полной высоты SY 620 Gen.9, SY 680 Gen.9 имеют 5 и 10 мезанин-слотов для сетевых адаптеров соответственно. Все адаптеры могут иметь 2 порта. В системах Synergy для вычислителей полной высоты SY 620 Gen.9, SY 680 Gen.9 внутренняя коммутация осуществляется следующим образом (для SY 680 обязательно наличие 4 процессоров):

• 1й и 2й порты адаптера в первом (и шестом для SY 680) мезанин-слоте выведены на отсеки 1 и 4 соответственно. Требуется наличие второго процессора для SY 620.
• 1й и 2й порты адаптера во втором (и седьмом для SY 680) мезанин-слоте выведены на отсеки 2 и 5 соответственно. Требуется наличие второго процессора для SY 620.
• 1й и 2й порты адаптера в третьем (и восьмом для SY 680) мезанин-слоте выведены на отсеки 3 и 6 соответственно. Требуется наличие второго процессора для SY 620.
• 1й и 2й порты адаптера в четвертом (и девятом для SY 680) мезанин-слоте выведены на отсеки 1 и 4 соответственно.
• 1й и 2й порты адаптера в пятом (и десятом для SY 680) мезанин-слоте выведены на отсеки 3 и 6 соответственно.

Подключение мезанин-слотов к сетевым отсекам для вычислителей полной высоты SY 620 Gen.9, SY 680 Gen.9 в системе Synergy

С точки зрения размещения сетевых модулей, HPE предлагает следующие рекомендации:

1. Модули Ethernet (патч-панель и коммутатор), а также конвергентные Virtual Connect следует размещать в отсеках 3 (первый модуль) и 6 (второй модуль, при наличии). Допускается устанавливать одинаковые модули «мастер», либо одинаковые модули «спутник», либо комбинировать «мастер» и «спутник» (второй и третий случай – если фрейм подключается к модулю «мастер» другого фрейма). Если модули SAS/FC не требуются, а вместо них имеются дополнительные модули Ethernet / конвергентные VC, то, после заполнения отсеков 3 и 6, следует заполнить отсеки 1 и 4, и затем 2 и 5.
2. Модули SAS, в случае их использования, следует размещать:
   • Если DAS модуль D3940 расположен в пределах фронтальных отсеков 1-6 (см. рисунок ниже) – в отсеках 1 (первый модуль) и 4 (второй модуль, при наличии и использовании резервного адаптера ввода/вывода).
   • Если DAS модуль D3940 расположен в пределах фронтальных отсеков 7-12 (см. рисунок ниже) – в отсеках 4 (первый модуль) и 1 (второй модуль, при наличии и использовании резервного адаптера ввода/вывода).
3. Модули FC (коммутатор и Virtual Connect), в случае их использования, следует размещать:
   • Если SAS коммутаторы используются – в отсеках 2 (первый модуль) и 5 (второй модуль, при наличии).
   • Если SAS коммутаторы не используются – в отсеках 1 (первый модуль) и 4 (второй модуль, при наличии).

Данные рекомендации связаны с тем, что SAS контроллер, отвечающий за подключение вычислительного модуля к SAS коммутаторам, из-за своих размеров может быть установлен только в первый мезанин-слот вычислителя. Соответственно, для корректного подключения SAS коммутаторы должны ставиться в связанные с первым мезанин-слотом отсеки – 1 и 4. С другой стороны, Ethernet и конвергентные адаптеры имеют самые маленькие размеры, а потому их удобно размещать в небольшом третьем мезанин-слоте, связанном с отсеками 3 и 6.

Нумерация фронтальных отсеков для вычислителей в системе Synergy

Серверы HPE поддерживают сетевые адаптеры на 10 Гбит/с в форматах PCIe (для установки в стандартный слот PCI Express) и FlexibleLOM (для установки в специальный выделенный слот). Некоторые типовые модели стоечных серверов ProLiant DL Gen9/Gen10 поставляются с уже установленным FlexibleLOM адаптером на 10 Гбит/с.

В СХД HPE порты под 10 Гбит/с встроены в контроллер, их тип и количество непосредственно зависят от типа контроллера. Некоторые СХД (например, 3PAR StoreServ) поддерживают установку в контроллеры специальных плат расширения с дополнительными портами 10 Гбит/с. В различных моделях СХД могут присутствовать медные порты на 10 Гбит/с (например, StoreVirtual 3200), либо SFP+ разъемы. В данные разъемы для получения портов вставляются оптические трансиверы, либо медные DAC кабели.

Аналогично, в коммутаторах HPE интерфейсы 10 Гбит/с могут быть представлены как встроенные медные порты или в виде SFP+ разъемов.

1. Подключение серверов. Адаптер с медными портами 10 Гбит/с

Для подключения потребуется медный кабель (витая пара) категории 6 (расстояние до 55м), 6a (расстояние до 100м) со стандартным коннектором 8P8C (часто называют RJ45).

Примеры парт-номеров адаптеров:

HPE Ethernet 10Gb 2-port 561T Adapter 716591-B21
HPE FlexFabric* 10Gb 4-port 536FLR-T Adapter 764302-B21

* Для справки: FlexFabric – конвергентный тип адаптера, позволяющий в рамках Ethernet передавать в том числе и FC (технология FCoE).

Совместимость

В данном варианте производитель коммутатора не важен, подойдет любой коммутатор с медным портом 10 Гбит/с.

2. Подключение серверов. Адаптер с разъемами SFP+ 10 Гбит/с

На данном адаптере находятся пустые разъемы типа SFP+. Для получения портов требуется использовать соответствующие трансиверы, которые вставляются в SFP+ разъемы. Другой вариант – использовать DAC-кабели.

Необходимо отметить, что в настоящее время (лето 2017 года) оптические трансиверы SFP+ 10 Гбит доступны для всех типов оборудования HPE (серверные адаптеры, СХД, коммутаторы), а медные SFP+ 10 Гбит – только для некоторых моделей (например, СХД MSA).

Примеры парт-номеров адаптеров:

HPE Ethernet 10Gb 2-port 546SFP+ Adapter 779793-B21

2.1 Для подключения используются трансиверы SFP+ и оптический кабель

Тип трансивера зависит от типа используемой оптики и расстояния:

LRM - до 220м, MMF (многомод)
SR – до 300м, MMF (многомод)
LR – до 10км, SMF (одномод)
ER* – до 40км, SMF (одномод)
* Для справки: устаревший тип трансивера

Примеры парт-номеров:

HPE BladeSystem c-Class* 10Gb SFP+ SR Transceiver 455883-B21
HPE BladeSystem c-Class* 10Gb SFP+ LR Transceiver 455886-B21
HPE BladeSystem c-Class* 10Gb SFP+ LRM Transceiver 455889-B21
* Для справки: несмотря на присутствие BladeSystem c-Class в названии данных трансиверов, они могут применяться не только для блейд-систем, но и для адаптеров в стоечных серверах HPE.

Для непосредственно коммутации потребуется оптический патч-корд. Разъём на трансивере имеет тип LC.

Совместимость

В данном варианте производитель коммутатора не важен. Мы можем купить сервер HPE и установить на другой стороне, например, коммутатор Cisco с трансивером Cisco для нужного типа оптики.

2.2 Для подключения используется кабель типа Direct Attach Copper (DAC)

Кабель DAC представляет собой медный кабель с впаянными с двух сторон трансиверами SFP+. Более экономичное решение по сравнению с использованием оптических трансиверов и кабелей. Расстояние до 7м.

Примеры парт-номеров (различная длина):

HPE X242 10G SFP+ to SFP+ 1m Direct Attach Copper Cable J9281B
HPE X242 10G SFP+ to SFP+ 3m Direct Attach Copper Cable J9283B
HPE X242 10G SFP+ to SFP+ 7m Direct Attach Copper Cable J9285B

Совместимость

При выборе DAC-кабеля необходимо учитывать, что трансиверы одного вендора официально совместимы только с оборудованием (серверные адаптеры, коммутаторы, СХД) этого же вендора. То есть, в случае подключения сервера HPE через DAC-кабель необходим коммутатор HPE с разъемом SFP+. Официальная позиция HPE – «The HPE DAC cables do not work with Cisco switches».

На сегодняшний день принято выделять 3 типа SSD накопителей: SLC, MLC, TLC. Вся разница между ними заключается в объеме данных, который хранится в каждой ячейке накопителя.

• SLC - Single Level Cell (1 бит информации в ячейке). Самый надежный тип накопителей (имеется в виду устойчивость к износу флеш-памяти вследствие перезаписи ячеек), самый быстрый и самый дорогой. Чаще всего используется в серверах и системах хранения корпоративного класса.
• MLC - Multi Level Cell (2 бита информации в ячейке). Второй по надежности, скорости и цене. Встречается также разновидность Enterprise MLC (eMLC), по надежности более близкая к SLC. Такие накопители используются в большинстве серверов и производительных рабочих станций.
• TLC - Triple Level Cell (3 бита информации в ячейке). Наименее надежный, самый медленный, стоимость ниже, объемы выше. Может использоваться в бюджетных серверах, рабочих станциях и персональных компьютерах.

Кроме того, каждый производитель может использовать собственную классификацию своих SSD накопителей. Компания HPE делит свои SSD на 3 вида - Read Intensive (RI), Write Intensive (WI), Mixed Use (MU). Вот чем они отличаются:

• Read Intensive. Использует тип MLC и TLC. Оптимизирован для операций чтения, DWPD* равно или меньше 1.
• Write Intensive. Использует SLC или eMLC. Оптимизирован для операций записи. DWPD* равно или больше 10.
• Mixed Use. Использует eMLC или MLC. Оптимизирован для равномерной нагрузки по чтению и записи. DWPD* от 1 до 10.

* Для справки: DWPD – Drive Writes per Day. Данный показатель означает, сколько раз можно перезаписать весь объем SSD накопителя в день по отношению к гарантийному сроку. То есть, если накопитель имеет объем 240 ГБ и DWPD равно 1, то это означает, что в день можно перезаписать не более 240 ГБ, и так все время на протяжении гарантийного срока. Превышение данного ограничения может повлечь сокращение срока службы накопителя.

HDD диски, поддерживаемые на серверах и системах хранения HPE, различаются по нескольким основным параметрам:

1. Форм-фактор – поддерживаются диски формата LFF (3,5 дюйма) и SFF (2,5 дюйма);
2. Объем – поддерживаются диски объемом от 300 ГБ до 10 ТБ;
3. Скорость вращения шпинделя – поддерживаются диски со скоростями 15000 (15K), 10000 (10K) и 7200 (7.2K) оборотов в минуту;
4. Интерфейс подключения – поддерживаются диски с интерфейсом SAS 12 Гбит, либо SATA 6 Гбит.

У некоторых производителей (в т.ч. HPE) для обозначения дисков с определенной скоростью вращения шпинделя и определенным интерфейсом подключения приняты следующие наименования:

• Тип Fast Class или Enterprise – диски SAS 15K или SAS 10K;
• Тип Nearline или Midline – диски SAS 7.2K или SATA 7.2K.

В 10м поколении серверов ProLiant HPE использовал ряд новых аппаратных компонентов. Среди них можно выделить:

1. Процессоры Intel Xeon поколения Scalable Family (линейка Skylake). Отличаются увеличенным количеством ядер (до 28) и каналов памяти (6), а также улучшенной архитектурой, которая дает прирост производительности порядка 65% по сравнению с предыдущим поколением (по данным Intel). Энергопотребление до 205 Вт.
2. Оперативная память DDR4 с новой скоростью работы DDR4-2666.
3. Модули энергонезависимой оперативной памяти NVDIMM объемом 16 ГБ. Их можно устанавливать в обычные серверы ProLiant Gen.10 (до 384 ГБ). Кроме того, имеется опция Scalable Persistent Memory – специальным образом собранный DL380 Gen.10 с 1 ТБ энергонезависимой памяти.
4. Новые RAID-контроллеры. Семейство RAID-контроллеров для серверов ProLiant Gen.10 было полностью изменено. Теперь оно представлено линейками S-Class (программный RAID, от англ. Software), E-Class (аппаратный RAID начального уровня, от англ. Essential) и P-Class (высокопроизводительный аппаратный RAID, от англ. Performance).
   • В S-Class поддерживается RAID 0/1/5 и до 14 SATA накопителей.
   • В E-Class поддерживается RAID 0/1/5/10 и до 8 SATA/SAS накопителей.
   • В P-Class поддерживаются все уровни RAID, до 16 SATA/SAS накопителей и до 4 ГБ кэш-памяти.
5. SSD накопители формата uFF (англ. micro form-factor). Объемы 120 и 340 ГБ, SATA. 2 таких SSD устанавливаются в SFF салазки.
6. Блоки питания на 1600 Вт для серверов DL.
7. Датчик обнаружения вскрытия корпуса. Работает даже при отключенном питании. При попытке вскрытия на чип iLO сервера отправляется сигнал, по возникновению которого можно настроить совершение тех или иных действий (например, отправку уведомления администратору).

Опция FBWC (англ. Flash Backup Write Cache) означает наличие в RAID-контроллере, наряду с кэш-памятью, модуля энергонезависимой флеш-памяти. В случае неожиданной потери питания данные из кэш-памяти переписываются во флеш-память и могут храниться там бесконечно долго.

Батарея Smart Storage Battery обеспечивает питание, необходимое в момент перезаписи данных. Она может поддерживать до 20 RAID-контроллеров, и потому, как правило, на один сервер ставится только одна батарея. Использование контроллеров с опцией FBWC без Smart Storage Battery не допускается.

Контроллеры Smart Array для серверов Gen.10 представлены тремя линейками: S-Class (программный RAID, от англ. Software), E-Class (аппаратный RAID начального уровня, от англ. Essential) и P-Class (высокопроизводительный аппаратный RAID, от англ. Performance).

• К линейке S-Class относится программный RAID S100i SR.
• К линейке E-Class относятся RAID-контроллеры E208i-a SR, E208i-p SR, E208e-p SR, E208i-c SR.
• К линейке P-Class относятся RAID-контроллеры P408i-a SR, P408i-p SR, P408e-p SR, P816i-a SR, P204i-b SR, P408e-m SR, P204i-c SR, P408i-c SR, P416ie-m SR.

*в смешанном режиме контроллер может одновременно выступать и как RAID, и как HBA (подключение накопителей без RAID) устройство.

**RAID 10 ADM (англ. Advanced Data Mirroring) позволяет использовать три накопителя в каждой из зеркалируемых подгрупп для повышения отказоустойчивости.

Пример расшифровки названия контроллера

HPE iLO (англ. Integrated Lights-Out) – фирменное название аппаратного чипа BMC (англ. Baseboard Management Controller), встроенного в каждый сервер HPE. Чипы BMC представляют собой микрокомпьютер, расположенный на материнской плате сервера. Он используется для удаленного мониторинга (температура, состояние основных компонентов, фиксация событий) и управления оборудованием (включение, перезагрузка, удаленная консоль). Для функционирования BMC достаточно подключить сервер к источнику питания – он работает независимо от состояния основного сервера и наличия на нем ОС. BMC используются как в решениях HPE (iLO), так и у других производителей (например, у Dell EMC они называются iDRAC).

iLO, как и серверы, различаются по поколениям, в зависимости от используемой версии прошивки. На начало 2018 года самой новой версией является iLO 5, которая поставляется с серверами Gen.10. Также широко распространена версия iLO 4, используемая на серверах Gen.9 и Gen.8.

iLO для своей работы требует наличия лицензии. По умолчанию с каждым сервером HPE поставляется лицензия Standard, открывающая функции мониторинга и базового управления (включение/выключение, перезагрузка, удаленная консоль только в BIOS до момента загрузки ОС). Дополнительно заказчик может приобрести лицензию более высокого уровня, открывающую расширенные функции. При этом лицензии Scale-Out и Essentials могут применяться только к определенным серверам: Essentials – к линейкам ProLiant уровня 100 и ниже, Scale-Out – к DL уровня 100 и ниже, BL, WS и Apollo.

• Лицензия Essentials в дополнение к функциям Standard открывает возможности полноценной удаленной консоли, удаленного монтирования устройств и оповещений по электронной почте.
• Лицензия Scale-Out открывает функции объединенного управления несколькими консолями, оповещений по электронной почте, регистрации событий, расширенного управления питанием и записи действий с виртуальным последовательным портом.
• Лицензия Advanced открывает все доступные функции, кроме расширенных функций безопасности.
• Лицензия Advanced Premium Security Edition открывает все функции, включая расширенные функции безопасности – шифрование канала управления с использованием наиболее стойких из коммерчески доступных алгоритмов, автоматическую проверку прошивок iLO и BIOS в процессе работы, автоматическое восстановление прошивок iLO в случае проблем, безопасное удаление пользовательских данных и настроек iLO.

Полную информацию по перечисленным лицензиям можно найти в официальном справочном документе.

Показатели IOPS и МБ/с (ГБ/с) характеризуют производительность отдельного накопителя или системы хранения.

Величина IOPS (англ. Input/Output Per Second) показывает количество операций чтения или записи, которые были произведены накопителем или RAID группой за единицу времени (в качестве общепринятой единицы используется секунда). Как правило, максимально возможные показатели IOPS публикуются в документации к системам хранения и SSD накопителям.

Величины МБ/с (мегабайт в секунду) и ГБ/с (гигабайт в секунду) применяются для обозначения пропускной способности, т.е. объема данных, который был передан через интерфейс ввода/вывода за единицу времени (опять же, за секунду). Как правило, максимально возможные показатели пропускной способности публикуются в документации к HDD дискам, некоторым SSD накопителям и системам хранения.

Данные величины связаны между собой следующим образом:

МБ/с = IOPS x размер блока чтения или записи (КБ) / 1000

То есть, зная объем данных, который был прочитан или записан за секунду, и размер блока, с которым производились операции чтения/записи, мы можем получить количество операций в секунду, и наоборот. К примеру, SATA диск с показателем IOPS, равным 100, при размере блока в 64 КБ, может достигнуть:

100 х 64 / 1000 = 6,4 МБ/с

Показатели IOPS и пропускной способности не являются жестко фиксированными для определенного накопителя или СХД. Они, как рассмотрено выше, в каждом конкретном случае зависят от используемого размера блока. Небольшой размер блока даст максимальные показатели по IOPS (чем меньше размер блока, тем больше блоков система успеет обработать за единицу времени). Напротив, с увеличением размера блока IOPS будет уменьшаться, а пропускная способность – увеличиваться (за единицу времени система успеет обработать меньше крупных блоков, зато каждый из них будет содержать больше данных).

Помимо размеров блока, существует два основных типа нагрузки по операциям ввода/вывода: последовательная и случайная (произвольная). При последовательной нагрузке блоки на накопителе, в которых происходят операции чтения или записи, расположены друг за другом. При случайной нагрузке блоки выбираются произвольным образом. Последовательная нагрузка характерна для операций резервного копирования, считывания и записи аудио- и видеоданных, работы с «большими данными». Случайная нагрузка создается работой самой ОС, СУБД и большинства традиционных приложений.

При последовательной нагрузке производительность зависит в большей степени от показателя пропускной способности (обычно используются большие блоки данных для достижения максимальной скорости передачи при, например, копировании). При случайной нагрузке блоки данных, как правило, имеют меньший размер, а потому главное значение принимает IOPS (подсистема хранения будет успевать обрабатывать больше запросов от приложения, такого как СУБД). Таким образом, при подборе СХД для транзакционной СУБД главную роль будет играть показатель IOPS, а при выборе дисков под хранилище резервных копий – пропускная способность.

Также существует ряд параметров, оказывающих дополнительное влияние на показатели IOPS и пропускной способности, таких как задержка и глубина очереди.

Обновления прошивок и драйверов можно скачать в центре поддержки HPE. Необходимо ввести название модели оборудования в поле поиска, далее в результатах поиска с левой стороны выбрать раздел «Drivers and Software» и отметить требуемые опции (тип ОС, тип ПО, дата выхода ПО).

Не все ПО является общедоступным. Для возможности скачивания обновлений BIOS, сервисных пакетов Service Pack for ProLiant и некоторых других компонентов необходимо наличие действующей гарантии, расширенной поддержки или сервисного контракта на оборудование. В качестве подтверждения наличия гарантии/поддержки/контракта заказчику необходимо зарегистрироваться в центре поддержки HPE и произвести привязку учетной записи к сервисному соглашению того продукта, для которого планируется загружать обновления (см. инструкцию). Критические обновления и исправления, закрывающие уязвимости в безопасности, являются общедоступными (в том числе и для вышеуказанных компонентов).

Сетевые адаптеры для серверов HPE FlexFabric являются конвергентными, то есть наряду с Ethernet они поддерживают аппаратный iSCSI и FCoE* для подключения к SAN**. Аппаратная поддержка означает, что контроллер сетевого адаптера способен самостоятельно реализовывать функционал данных протоколов, осуществляя все необходимые служебные расчеты. Это дает преимущество в производительности по сравнению с программной реализацией, когда функционал создается программно на уровне ОС и расчеты выполняются ЦПУ. Один физический порт (или одна физическая функция, при использовании технологии NPAR) адаптера может работать только по одному протоколу – Ethernet, либо iSCSI, либо FCoE.

* FCoE – англ. Fibre Channel over Ethernet, протокол доступа к SAN хранилищу через сеть Ethernet, основанный на FC.

** SAN – англ. Storage Area Network, сеть хранения данных.

Systems Insight Display (SID) – небольшая панель со светодиодными индикаторами, показывающими состояние сервера (температура, энергопотребление) и основных его компонентов (процессоры, модули памяти, вентиляторы и т.д.). SID располагается во фронтальной части сервера, что позволяет администратору быстро получить к нему доступ, оценить состояние оборудования и обнаружить различные аппаратные проблемы.

SID доступен для ряда серверов серии DL 9 и 10 поколений (DL360 Gen.9, DL380 Gen.9, DL360 Gen.10, DL385 Gen.10, DL380 Gen.10). По умолчанию он не включается в состав CTO или складских моделей и должен добавляться отдельной опцией в заказе.

Systems Insight Display

Insight Display – ЖК-экран, расположенный на передней стороне блейд-шасси c3000 и c7000. Позволяет произвести диагностику и выполнить начальную конфигурацию системы – настроить IP-адреса iLO блейд-серверов и модуля управления, DNS-имена, режим электропитания и т.д. Insight Display не является полноценным средством управления – для этой цели служит модуль Onboard Administrator.

Insight Display для блейд-систем c-class

Foundation Care – поддержка реактивного типа, когда разрешение проблем начинается только по факту возникновения инцидентов.

• Время оказания услуг: 24х7 или 9х5.
• Сроки действия соглашения о поддержке: 3 года, 4 года, 5 лет.
• Время реакции: 4 часа (при 24х7) или на следующий рабочий день (при 9х5). Также имеется вариант с опцией CTR от 6 часов.
• Для сетевого оборудования имеются 2 дополнительные опции: 4 Hour Exchange (замена в течение 4 часов), NBD Exchange (замена на следующий рабочий день).
• Опции сохранения неисправных запчастей у заказчика: DMR и CDMR.

Proactive Care – поддержка проактивного типа, нацеленная на предупреждение и устранение проблем до их возникновения. Включает условия Foundation Care, а также дополнительные преимущества:

• Оборудование ставится на мониторинг в HPE. Проводится регулярное сканирование и предоставляются отчёты.
• Ускоренная обработка инцидентов (приоритет заявок выше, чем в Foundation Care).
• Удаленный менеджер технической поддержки (не персональный, обращение заказчика направляется общей команде специалистов).

Proactive Care Advanced – дополнительное улучшение Proactive Care. Включает условия Proactive Care, а также услуги персонального менеджера поддержки и 10 сервисных кредитов на поддерживаемое устройство в год. Данные кредиты являются условными единицами, за которые можно приобретать различные технические работы специалистов HPE с поддерживаемым оборудованием. Они помогут повысить производительность и надежность ИТ-ресурсов, а также избежать потенциальных проблем. Примеры работ: анализ пакетов исправлений ОС, проверка работоспособности системы, оценка производительности дисковых массивов.

Datacenter Care – комплексное решение по поддержке уже не отдельных единиц оборудования, а всей ИТ инфраструктуры. Приобретается на всю инфраструктуру целиком в виде контракта, условия которого согласовываются с каждым заказчиком индивидуально. В качестве базовых опций предусматривает аудит площадки заказчика, по результатам которого выбираются требуемые сервисы и работы, а также выделенную команду поддержки. В рамках уровня поддержки Datacenter Care доступны следующие расширения:

• Datacenter Care Flexible Capacity — модель потребления ИТ-ресурсов «инфраструктура как сервис» с периодической оплатой только за используемые мощности (единицей оплаты может быть сервер, гигабайт емкости, порт сетевого оборудования и т.д.).
• Datacenter Care Infrastructure Automation — экспертные консультации, поддержка и сопровождение для помощи в переходе к модели программно-определяемого центра обработки данных.
• Datacenter Care Operational Support Services — мониторинг и удаленное администрирование силами специалистов HPE (передача выполнения рутинных задач, ауттаскинг).

HPE Pointnext – новое название департамента услуг и сервисной поддержки компании HPE. Pointnext предлагает для заказчиков HPE множество различных сервисов, которые можно объединить в три большие группы:

• Консультационные услуги и услуги по трансформации – консалтинг, планирование и сопровождение при преобразованиях ИТ-инфраструктуры и внедрениях ИТ-решений у заказчика.
• Профессиональные услуги – реализация планов по внедрению, развертывание, ввод в эксплуатацию, интеграция с существующей инфраструктурой заказчика.
• Эксплуатационные услуги – техническая поддержка для ИТ-экосистемы заказчика, различные сервисные работы, а также модели потребления ИТ-ресурсов с оплатой по факту использования.

Пакеты услуг технической поддержки HP CarePack теперь носят название HPE Packaged Services. Они относятся к группе эксплуатационных услуг и представлены следующими уровнями поддержки:

• Foundation Care;
• Proactive Care;
• Proactive Care Advanced;
• Datacenter Care.

Первые три уровня могут быть приобретены в виде пакета услуг либо контракта на поддержку. Datacenter Care приобретается только в виде контракта.

Стандартная гарантия на оборудование HPE имеет следующие ограничения:

1. Гарантированное время реакции – не раньше следующего рабочего дня.
2. График обслуживания по стандартной гарантии – только в рабочее время.
3. Разный срок гарантии на разные части оборудования. При покупке дополнительных компонентов вместе с основным сервером (если это складская модель), либо впоследствии, они будут иметь собственную гарантию, которая может оказаться меньше гарантии сервера. Например, планки памяти имеют гарантию 1 год. Таким образом, в сервере с гарантией 3 года, гарантия на дополнительно приобретенные планки памяти будет только 1 год.
4. Для жёстких дисков SATA и NLSAS предусмотрен максимальный срок стандартной гарантии в 1 год, даже если они предустановлены в складскую или CTO модель.
5. Стандартный срок гарантии – до 3 лет. Обычно оборудование корпоративного класса эксплуатируется больше 3-х лет, и по истечении стандартной гарантии ремонт его заказчик будет вынужден осуществлять за свой счет. Известно, что запасные части для старого оборудования могут дорожать со временем, а срок их поставки достигать 3-4 месяцев.
6. По условиям стандартной гарантии, при выезде инженера HPE на место установки оборудования, в случае если оно находится более чем за 50 км от сервисного центра, время реакции может быть увеличено или может потребоваться дополнительная оплата.
7. Стандартная гарантия позволяет получить крайне ограниченный доступ к технической экспертизе HPE.

Заказчик может избежать данных ограничений, приобретя для своего оборудования пакет расширенной поддержки HPE Packaged Services или контракт на поддержку. Расширенная поддержка предусматривает:

1. Время реакции от 4 часов, возможна опция CTR от 6 часов.
2. Возможность обслуживания по графику 24х7 (наряду с 9х5).
3. Выравнивание гарантийного срока на все компоненты оборудования, включая жесткие диски SATA и NLSAS, по длительности приобретаемой расширенной поддержки.
4. Срок обслуживания до 5 лет.
5. Обслуживание оборудования корпоративного класса по всей России по заранее определенным условиям (снятие ограничения в 50 км от СЦ).
6. Доступ к базам знаний, возможность консультаций с экспертами HPE.

Время реакции – это период времени с момента регистрации в HPE заявки заказчика, в течение которого технический специалист HPE свяжется с заказчиком и начнет работу над проблемой.

NBD (англ. Next Business Day) – означает следующий рабочий день.

CSR (англ. Customer Self Repair) – используется в описании поставляемых по гарантии комплектующих и означает, что замену указанного компонента заказчик должен производить самостоятельно (HPE может произвести данные работы за дополнительную плату).

CTR (англ. Call-To-Repair) – означает фиксированное время восстановления работоспособности оборудования по условиям технической поддержки.

DMR (англ. Defective Media Retention) и CDMR (англ. Comprehensive Defective Material Retention) – означает опции, позволяющие заказчику не возвращать в HPE вышедшие из строя компоненты при их замене на новые по гарантии (если заказчик озабочен сохранностью своих конфиденциальных данных). DMR распространяется на жесткие диски, а также некоторые SSD и флеш-карты. CDMR доступна только как дополнение к DMR и покрывает остальные устройства, которые могут сохранять информацию (планки памяти, процессоры, контроллеры и т.д.).

Формула вида X-X-X обозначает сроки, в течение которых действуют различные аспекты стандартной гарантии. Она состоит из трех цифр, например 3-3-3, где:

• Первая цифра – срок (лет), в течение которого будут предоставляться запасные компоненты в порядке бесплатного гарантийного обслуживания.
• Вторая цифра – срок (лет), в течение которого будут бесплатно производиться работы по замене запчастей (в сервисном центре или на месте установки*).
• Третья цифра – срок (лет), в течение которого обслуживание оборудования будет производиться на месте его установки.

* в случае если гарантия предполагает (третья цифра) обслуживание оборудования на месте его установки.

Гарантийный срок исчисляется с даты покупки оборудования или приобретения оборудования в аренду. Если заказчик воспользовался услугами HPE по установке и вводу оборудования в эксплуатацию, гарантийный срок начинает действовать с даты установки. Свидетельством даты покупки или приобретения в аренду является квитанция о продаже или доставке с проставленной датой приобретения изделия. Перед выполнением гарантийного обслуживания HPE может запросить указанные документы в качестве подтверждения актуальности гарантии.

Действие стандартной гарантии, расширенной поддержки или сервисного контракта можно продлить, приобретя специальный послегарантийный пакет поддержки – HPE Post Warranty Support. Приобрести и активировать данный пакет можно только строго в период «90 дней до – 30 дней после» даты окончания предыдущей гарантии/поддержки/контракта. Его срок действия начинается именно с этой даты.

HPE Post Warranty Support приобретается сроком на один год и может включать условия Foundation Care либо Proactive Care со всеми опциями данных уровней. По истечении действия послегарантийного пакета можно приобрести еще один и т.д. – до тех пор, пока они доступны и пока на оборудование не наступит EoSL (англ. End of Service Life, дата окончания поддержки).

В случае сервисного контракта, его можно заключать и продлевать более чем на год. Для продления необходимо подписание сторонами (заказчиком и HPE) дополнения к соглашению и обновленного варианта приложения 2 — спецификации (состав оборудования и ПО) для нового срока поддержки. Контракт может быть заключен в том числе после завершения гарантийного срока (включая Post Warranty Support).

Для оборудования HPE официально поддерживаются только те компоненты, которые перечислены в документации Quickspecs соответствующей модели. Установка стороннего компонента (такого как планка памяти или накопитель) не аннулирует гарантию на само оборудование. Однако, если сторонний компонент вызовет какие-либо проблемы или поломку оборудования, это не будет признано гарантийным случаем. При оказании техподдержки HPE может попросить заказчика удалить сторонний компонент перед проведением дальнейших работ, если имеются подозрения, что именно он вызывает неполадки.

Массивы HPE 3PAR StoreServ и большинство входящих в их состав компонентов (таких как жесткие диски) имеют стандартную гарантию 3 года. Другие условия предусмотрены для SSD накопителей. Они покрываются безусловной гарантией сроком в 5 лет, то есть замена будет произведена как в случае какой-либо поломки, так и в случае износа флэш-памяти от циклов перезаписи. Кроме того, с февраля 2017 года гарантия SSD на износ флэш-памяти была увеличена до 7 лет. Данное расширение гарантии является бесплатным и действует на всех массивах 3PAR линеек 8000, 9000 и 20000, как новых, так и проданных с 2015 года (требуется наличие действующего контракта на поддержку).

Пакеты расширенной поддержки HPE Packaged Services подразделяются на пакеты коммерческого (FIX) и корпоративного (FLEX) уровней.

Коммерческие пакеты приобретаются отдельно от оборудования и программного обеспечения HPE, как самостоятельная опция. Они требуют последующей регистрации заказчиком (или партнером) в течение 90 дней с даты продажи. В рамках данного типа доступны гарантийные и послегарантийные пакеты. Гарантийные FIX Packaged Services привязываются к дате начала гарантии на оборудование и расширяют ее по сроку и/или уровню на 3, 4 или 5 лет. Послегарантийные FIX Packaged Services привязываются к дате окончания текущей гарантии или расширенной поддержки и продлевают срок ее действия на один год. Формат продуктового номера коммерческих пакетов: U*******E.

Корпоративные пакеты приобретаются вместе с оборудованием и программным обеспечением HPE класса Enterprise (таким как массивы 3PAR StoreServ) и являются неотъемлемой частью заказа. Они начинают действовать с даты продажи оборудования и имеют срок 3, 4 или 5 лет. После их окончания можно заключить сервисный контракт на дальнейшую поддержку оборудования. Формат продуктового номера корпоративных пакетов: HA(G,K,7)****A*.