Технологии

В настоящее время, имеют распространение следующие технологии организации оперативной памяти:

UDIMM (англ. Unbuffered DIMM) – небуферизованная память. Обычные планки ОЗУ, которые устанавливаются в персональных компьютерах и некоторых серверах начального уровня. Поддерживается установка до двух планок памяти на канал. Как правило, память типа UDIMM поддерживает технологию автоматической коррекции ошибок ECC, а объем одной планки составляет не более 16 ГБ.

RDIMM (англ. Registered DIMM) – регистровая память. Планки ОЗУ, широко применяющиеся в серверах. Снабжены специальным регистром, который буферизует управляющие и адресные команды контроллера памяти. Благодаря этому, снижается нагрузка на контроллер и появляется возможность использовать более объемные планки памяти и в большем количестве в рамках одного сервера. Объем планки типа RDIMM может достигать 32 ГБ.

LRDIMM (англ. Load-Reduced DIMM) – память со сниженной нагрузкой. Еще один тип ОЗУ с механизмом буферизации. В отличие от RDIMM, здесь в буфер отправляются не только управляющие и адресные команды, но и собственно данные. Эта технология позволяет значительно снизить нагрузку на контроллер памяти и использовать планки емкостью до 128 ГБ. Кроме того, в отличие от RDIMM, при использовании более двух планок LRDIMM на канал не снижается скорость работы памяти.

NVDIMM (англ. Non-Volatile DIMM) – энергонезависимая память. Технология организации ОЗУ с возможностью сохранения загруженных в память данных при штатном либо аварийном завершении работы системы. Память типа NVDIMM может использовать емкости флэш-накопителей (например, SSD) в качестве энергонезависимого хранилища, либо иметь специальный резервный модуль энергонезависимой флэш-памяти, в который будут переписываться данные при завершении работы.

Комбинировать память UDIMM, RDIMM и LRDIMM в рамках одного сервера не допускается. Требования к NVDIMM могут быть разными у разных производителей. Компания HPE в рамках новой серии Persistent Memory анонсировала планки NVDIMM на 8 ГБ для серверов DL360 Gen.9 и DL380 Gen.9. Для одного сервера допускается установка до 16 планок NVDIMM и имеется возможность совмещать их с RDIMM. При использовании HPE NVDIMM требуются процессоры Intel Xeon E5-2600 v4, наличие батареи поддержки кэш-памяти HPE Smart Storage Battery (в качестве источника питания при перезаписи данных в энергонезависимый модуль) и как минимум одной планки RDIMM.

Репликация – процесс передачи данных с одного устройства хранения на другие с целью создания резервной копии этих данных, обеспечения сценариев высокой доступности или катастрофоустойчивости. Существует 2 типа репликации: синхронная и асинхронная.

В системах хранения компании HPE имеются следующие решения по репликации:

• Remote Snap – асинхронная репликация в MSA.
• Remote Copy – асинхронная репликация в StoreVirtual.
• Remote Copy Software – комплексное решение в 3PAR, включающее асинхронную и синхронную репликацию с несколькими режимами работы.

При организации репликации для систем хранения обычно оперируют двумя показателями.

Recovery Point Objective (RPO) – допустимый объем возможных потерь данных в случае сбоя (потерю данных за какой промежуток времени мы можем допустить). Измеряется в секундах.

Recovery Time Objective (RTO) – допустимое время простоя системы в случае сбоя. Измеряется в секундах.

В случае с синхронной репликацией значение RPO стремится к 0, но зато предъявляются более высокие требования к каналам связи.

В случае с асинхронной репликацией значение RPO будет не 0. В системах хранения HPE, как правило, значение варьируется от 5 минут до 24 часов.

Тиринг (англ. Tiering) – это технология, с помощью которой СХД может самостоятельно перераспределять данные по накопителям на основе частоты их использования. Редко используемые данные перемещаются на более медленные накопители, а часто используемые – на более быстрые.

Тиринг дает возможность сэкономить на дорогих HDD или SSD, позволяя приобрести их в небольшом количестве и использовать более дешевые и объемные NLSAS/SATA для хранения основных данных, которые не используются в текущий момент. Согласно статистическим показателям, до 70% данных располагается на медленных дисках при использовании тиринга.

Как правило, в СХД выделяется 3 уровня или «тира» (от англ. Tier):

• Tier1 – самая производительная группа SSD накопителей;
• Tier2 – быстрые диски SAS Enterprise на высокопроизводительном массиве RAID10;
• Tier3 – самая низкопроизводительная группа дисков SATA/SAS (Midline или Nearline) в RAID5/6.

На большинстве современных СХД тиринг работает в автоматическом режиме. Система самостоятельно анализирует частоту обращений к различным блокам данных того или иного LUN и перемещает их между уровнями хранения. Данный режим называется sub-LUN tiering. У HPE в некоторых СХД для него принято название Adaptive Optimization. Некоторое время назад был распространен ручной режим тиринга, когда система могла осуществить перенос только всего LUN и только по команде администратора. Этот функционал у HPE носит название Dynamic Optimization.

Сегодня тиринг реализован на всех основных SAN СХД компании HPE: MSA, StoreVirtual, 3PAR. Для его активации может потребоваться приобретение дополнительной лицензии.

Virtual Tier Affinity – дополнительное улучшение для тиринга в массивах HPE MSA, приоритизация данных на уровне LUN (механизм «Quality of Service»). Администратор может выставить для каждого LUN высокий, либо низкий приоритет. В первом случае данные LUN быстрее станут попадать на самый производительный уровень хранения и дольше там находиться. Во втором случае данные по умолчанию будут записываться на архивный (наименее производительный) уровень и быстрее туда опускаться в случае последующего поднятия.

Дедупликация – это технология, которая позволяет находить и исключать одинаковые (дублирующиеся) данные в рамках системы хранения с целью экономии дисковых объемов. С включенной дедупликацией одинаковые данные не будут записываться на накопители при последующих циклах записи, а будет записываться лишь ссылка на те данные, что уже записаны. Дедупликация бывает файловая и аппаратная.

В случае с файловой дедупликацией, операционная система отслеживает полностью идентичные файлы и хранит только одну копию этих файлов. Например, когда сотрудник внутри организации делает рассылку с вложением, на почтовом сервере Exchange это вложение сохраняется в единственном экземпляре. Получатели данного письма при открытии вложения просто перейдут по ссылке на этот файл.

Аппаратная дедупликация работает не на уровне идентичных файлов, а на уровне блоков данных. В этом случае, проверкой блоков занимается не операционная система, а контроллер системы хранения.

В системах хранения HPE дедупликация реализована для следующих моделей:

• 3PAR StoreServ, StoreOnce – аппаратная дедупликация;
• StoreEasy – программная дедупликация средствами Windows Storage Server.

Компрессия (сжатие данных) – еще одна технология, позволяющая экономить объемы хранилища путем уменьшения размеров хранимых данных. В отличие от дедупликации, она не исключает копии, а посредством различных алгоритмов уменьшает размер (производит сжатие) имеющихся данных.

Как и дедупликация, компрессия бывает файловая и аппаратная.

При файловой компрессии, операционная система или специальное ПО пытается найти избыточные фрагменты в составе каждого файла и удалить их, что приведет к уменьшению его общего размера. Например, для текстового файла могут быть убраны ненужные пробелы в конце, а повторяющиеся слова или символы заменены особым, более компактным кодированием. Для изображений удаляются избыточные пиксели, в аудиофайлах исключаются малозаметные для слуха звуковые эффекты.

При аппаратной компрессии происходит сжатие блоков данных по специальным алгоритмам. Аппаратную компрессию выполняет контроллер системы хранения.

Процесс компрессии может происходить с потерями (англ. lossy), либо без потерь (англ. lossless). В первом случае исходные данные уже не могут быть полноценно восстановлены из сжатых данных. Такие результаты допустимы при сжатии изображений или аудио, где небольшое снижение качества является приемлемым. Во втором случае возможность восстановления предусматривается, что является предпочтительным для корпоративных СХД, хранящих важные данные.

Как правило, в системах хранения, поддерживающих и дедупликацию и компрессию, для оптимального использования вычислительных ресурсов вначале выполняется дедупликация, а затем – компрессия, которая затрагивает только оставшиеся данные и не применяется к тем данным, которые все равно будут удалены дедупликацией.

В системах хранения HPE реализация аппаратной компрессии в ближайшем будущем предполагается для 3PAR StoreServ.

Дедупликация и компрессия могут происходить в режиме реального времени (англ. inline), либо в режиме последующей обработки (англ. post-process). В первом случае данные подвергаются обработке, еще находясь в памяти, и уже затем записываются на накопители. Этот метод обеспечивает экономию места и меньшую нагрузку на дисковую подсистему, однако нагрузка на вычислительные ресурсы является существенной. Во втором случае данные записываются на накопители без изменений, а затем подвергаются дедупликации или компрессии согласно установленному расписанию. Это обеспечивает экономию вычислительных ресурсов и в некоторых случаях ускоряет первоначальную запись данных, однако требует больше места на дисках.

Важно отметить, что эффективность дедупликации и компрессии напрямую зависит от состава и структуры конкретных данных, к которым планируется применять указанные технологии. К примеру, для компрессии хорошо подходят транзакционные БД, где в рамках каждого экземпляра базы часто встречаются повторяющиеся последовательности данных. Дедупликация результативна в средах виртуализации и VDI, в которых попадается множество очень похожих файлов виртуальных машин. В некоторых же случаях, положительного эффекта от дедупликации и компрессии может не быть вовсе или он будет минимальным.

Количественным показателем эффективности указанных технологий в каждом конкретном случае является коэффициент дедупликации или компрессии, который записывается в формате A:B. Данное выражение показывает отношение объема, который должен был быть занят на СХД без учета действия технологий (значение A), к тому объему, который оказался реально занят после применения дедупликации или компрессии (значение B). Например, при коэффициенте дедупликации 2:1 данные, имеющие объем 2 ТБ, после применения технологии займут на СХД в 2 раза меньше места – лишь 1 ТБ.

Сетевой RAID по принципу своей работы аналогичен классическому RAID, только его элементами являются не отдельные диски, а отдельные контроллеры. Тома (LUN) обслуживаются всеми участвующими контроллерами, при этом уровень сетевого RAID мы можем задавать на уровне конкретного тома. К примеру, в рамках одного кластера для первого тома мы можем настроить сетевой RAID 10, а для второго – сетевой RAID 0. После этого, блоки данных в указанных томах будут записываться и распределяться соответственно уровню сетевого RAID.

В настоящее время, для SV3200 доступны следующие уровни сетевого RAID: 0, 10. Уровень 0 представляет собой обычное чередование записываемых блоков данных между контроллерами, и может быть реализован как в кластере, так и для единственной SV3200 (для двух ее контролеров). В случае сетевого RAID 10 при записи данных происходит чередование записываемых блоков между двумя контроллерами одной, а затем зеркалирование записанных данных на другую СХД. Данные уровни в сетевом RAID работают точно так же, как и в обычном (см. рисунок).

В 10м поколении серверов ProLiant HPE реализовал новые, не использовавшиеся ранее технологии. Это позволило улучшить показатели производительности, надежности и безопасности серверов.

Из основных усовершенствований стоит выделить:

1. Набор технологий HPE Intelligent System Tuning, позволяющий повысить производительность процессоров Intel Xeon и оптимизировать настройку BIOS. Включает следующие технологии:
   • Jitter Smoothing – уменьшение перепадов и выравнивание частоты процессора в режиме Turbo Boost. Позволяет уменьшить задержки обращения к памяти, что вызывает дополнительный прирост производительности в некоторых требовательных приложениях (например, Java). Требует лицензию iLO Advanced или выше.
   • Core Boosting – дополнительное повышение частоты активных ядер в режиме Turbo Boost. Позволяет оставаться на том же уровне производительности, используя меньшее число ядер. В схемах лицензирования по количеству ядер (например, в СУБД), может обеспечить экономию лицензий. Требует лицензию iLO Advanced или выше, работает только на определенных процессорах.
   • Workload Matching – использование предопределенных профилей настроек BIOS для распространенных серверных задач (виртуализация, СУБД, обработка графики и т.д.). Позволяет уменьшить число ошибок и повысить эффективность настройки BIOS (по сравнению с заданием каждого отдельного параметра вручную). По данным HPE, использование этой технологии увеличивает производительность системы до 9%.
2. Функция отказоустойчивости оперативной памяти HPE Fast Fault Tolerance. Данная функция ведет мониторинг сбоев и определяет местоположение ошибок. При обнаружении ошибки, соответствующая область памяти изолируется, и на время ее исправления скорость работы снижается только для этой области. Остальные области продолжают работу на своей обычной скорости. Использование Fast Fault Tolerance вместе со стандартными технологиями обеспечения высокой доступности памяти (исправление ошибок, резервирование ранков, зеркалирование и т.д.) снижает время среднегодового простоя серверов на 85% (по данным HPE).
3. Усовершенствования подсистемы хранения:
   • Увеличенное количество отсеков под накопители во многих серверах Gen.10.
   • Использование внутренней корзины под LFF накопители в DL380 Gen.10.
   • Поддержка увеличенного числа NVMe накопителей и внутренних M.2 накопителей на многих серверах Gen.10.
4. Новая версия контроллера удаленного управления iLO5:
   • В 2 раза более производительный по сравнению с iLO4 (по данным HPE).
   • Технология аппаратного ключа HPE Silicon Root of Trust:
     • Автоматическая проверка целостности и подлинности прошивок iLO и остальных компонентов сервера (BIOS, контроллеров, адаптеров и т.д.) в процессе работы. Исключает возможность злонамеренной подмены и модификации прошивок. Сторонние комплектующие при попытке установки их в сервер не пройдут проверку и с высокой вероятностью не будут распознаны. Для проверки iLO и BIOS требуется лицензия iLO Advanced Premium Security Edition.
     • Безопасная загрузка сервера с функцией автоматического восстановления прошивок iLO из репозитория в случае неполадки или взлома. Требуется лицензия iLO Advanced Premium Security Edition.
     • Безопасное (без возможности восстановления) удаление пользовательских данных и настроек с контроллера iLO. Требуется лицензия iLO Advanced Premium Security Edition.
     • Защита канала управления с использованием высочайшей коммерчески доступной стойкости шифрования. В зависимости от используемого алгоритма, может потребоваться лицензия iLO Advanced Premium Security Edition.
   • Сервисный порт iLO. Выделенный USB порт для iLO, к которому можно подключить ноутбук (через адаптер USB-Ethernet) с целью диагностики и управления. Также можно скопировать журналы Active Health System на USB флэш накопитель.
   • Соответствие iLO REST API интерфейсу Redfish API – стандарту управления серверами, пришедшему на смену IPMI. Администратор получает возможность использовать сторонние средства, поддерживающие этот интерфейс, для мониторинга и управления серверами HPE.

HPE Nimble Storage – семейство систем хранения данных. Отличительные черты этих СХД – частичное (наряду с HDD), либо полное (all-flash) использование SSD накопителей во всех моделях, а также очень высокий уровень надежности. HPE заявляет о доступности Nimble Storage в 99,9999%, что достигается благодаря применению платформы облачной аналитики InfoSight. Относительно недавно была добавлена поддержка линейки продуктов HPE 3PAR в InfoSight.

Данная технология позволяет СХД непрерывно в автоматическом режиме собирать большое количество данных как о собственном состоянии, так и об окружающей инфраструктуре (подключенные сети, серверы, платформы виртуализации). Затем эти показатели отправляются в облачную систему, где с помощью сложных аналитических алгоритмов выявляются текущие проблемы и делаются прогнозы о будущем состоянии инфраструктуры. На основе данных выводов заказчику предоставляются автоматические исправления и рекомендации для администратора СХД. Например, при обнаружении у одного из клиентов проблемы в совместимости микропрограммы контроллеров СХД с приложениями гипервизора система автоматически заблокирует возможность установки данной версии прошивки на СХД у других клиентов, а тем у кого уже установлена схожая конфигурация будет предложен критический апдейт системы.

Такой подход помогает предотвращать сбои до их возникновения, причем во многих случаях без вмешательства администратора. По данным вендора, при использовании InfoSight 86% проблем разрешаются без участия ИТ-службы. Сюда входят инциденты как с самой СХД, так и с окружающей инфраструктурой. Причем по данным HPE, более половины проблем, как правило, не связаны с СХД.

InfoSight позволяет значительно сократить время на поиск проблемных узлов инфраструктуры в случае деградации производительности. Система в удобном графическом виде показывает текущее время отклика и статистику задержек за определенный период по проблемной ВМ не только относительно самой СХД, но и сети передачи данных SAN, а также приложений гипервизора. Отклонение каких-либо показателей в кратчайшие сроки позволит определить «узкое место» инфраструктуры. Не нужно переключаться между несколькими системами мониторинга, все показатели доступны в едином портале, так как InfoSight интегрируется с VmWare VCenter.

Благодаря оценке статистической информации сразу по большому количеству СХД, система позволяет провести более точный сайзинг инфраструктуры, чем это бы делалось в любом оффлайн-сайзере. Тем самым становится возможно более точно строить планы апргрейда, сократив, возможно излишние затраты на покупку ненужных компонентов.

Облачная система InfoSight является единой для заказчиков Nimble Storage по всему миру. Она использует общие базы и машинное обучение на основе уже имеющихся данных для постоянного совершенствования своих прогнозов. Собранные данные хранятся на вычислительных мощностях InfoSight в США.

В процессе диагностики собирается только служебная информация, собственные данные заказчика не затрагиваются.

Информация передается по защищенному SSL каналу. Некоторые примеры передаваемых данных:

• Серийный номер массива.
• Базовая информация о работоспособности (health check).
• Системные журналы событий.
• Параметры настроек системы.
• Статистика работы системы.

Иногда, для устранения определенных проблем требуется снятие содержимого памяти контроллера (core data dump). В полученный снимок могут попасть некоторые пользовательские данные. В такой ситуации заказчик по своему желанию может разрешить передачу снимка в поддержку Nimble Storage. Передача не является обязательной, однако без нее возможности специалистов поддержки по работе над проблемой будут ограничены.

В случае своего согласия, заказчик оформляет письменное разрешение, отправляет его в поддержку Nimble и инициирует передачу снимка. Передача происходит по SSL каналу. HPE обязуется принять все необходимые технические меры для защиты конфиденциальности полученных данных заказчика, такие как контроль и аудит доступа персонала к данным, закрытие внешнего доступа через ACL, антивирусная защита, физическая защита серверных комнат и т.д.

Подключение СХД Nimble Storage к InfoSight осуществляется через сеть управления. Заказчик должен будет открыть следующие порты для исходящего трафика (никаких входящих соединений не требуется):

• 443/HTTPS – отправка диагностической информации, оповещений, доступ к обновлениям NimbleOS.
• 2222/SSH – установление защищенного канала через VPN и SSH для специалиста поддержки при устранении проблем.
• Также рекомендуется разрешить ICMP PING для оптимизации установления соединений.

Технология HPE SmartCache позволяет использовать SSD накопители в качестве дополнительной кэш-памяти. Данное решение применяется в среде DAS (внутренние накопители сервера, либо локально подключенные DAS полки).

SmartCache работает как на чтение, так и на запись. При операциях чтения часто запрашиваемые данные помещаются в кэш из SSD накопителей. Операции записи происходят вначале на SSD-кэш, а затем данные перемещаются на HDD. Благодаря тому, что SSD по сравнению с HDD имеют значительно более высокую производительность, увеличивается скорость работы приложений (по данным HPE – до 4 раз).

SmartCache доступна с контроллерами Smart Array P-класса, которые имеют кэш типа FBWC емкостью не менее 1 Гбайт. Технология может использоваться на серверах 8го и более новых поколений. Настройка производится через средство управления контроллерами Smart Array – HPE Smart Storage Administrator.

SmartCache имеет собственную лицензию, при этом для некоторых контроллеров (например, P816i-a SR Gen.10) она включается по умолчанию, а для других требуется приобретать ее отдельно.

1. QoS (англ. Quality of Service) по IOPS и/или пропускной способности. Данная технология позволяет установить нижние и верхние ограничения для отдельных томов по указанным параметрам производительности.
2. Гарантированная задержка менее 1 мс. Можно включать для отдельных томов.
3. Снимки (снапшоты) и копии (клоны) томов с «тонким» выделением емкости. При создании снимка или копии проставляются только ссылки на исходный том, а фактическая емкость не выделяется. Затем, по мере изменения основного тома, измененные данные записываются на накопители рядом с исходными, на которые ведут ссылки от снимка/копии. Снимки также являются консистентными, т.е. сохраняют данные приложений из оперативной памяти.
4. Шифрование и безопасное удаление данных томов. Шифрование работает на SSD и HDD, сжатие данных сохраняется. Возможно сохранение шифрования при репликации.
5. Кэш чтения на SSD в моделях серий CS и SF.
6. Сжатие и дедупликация в режиме реального времени. Сжатие применяется после дедупликации. Возможно включать и отключать данные функции на уровне отдельных томов. Используется алгоритм сжатия LZ4 и дедупликация с переменным блоком, с возможностью автонастройки оптимального размера блока для известных приложений.
7. Асинхронная репликация с поддержкой сжатия и шифрования. Ожидается скорое добавление синхронной репликации и механизма переключения между площадками без прерывания работы.
8. Использование файловой системы CASL (англ. Cache Accelerated Sequential Layout). В данной файловой системе запись всегда происходит полным блоком на все накопители в RAID группе. В фоновом режиме работает процесс очистки, который устраняет пустые блоки, образованные при удалении данных, путем объединения оставшихся блоков. Эта технология обеспечивает высокую и предсказуемую скорость записи, хорошую производительность дедупликации и сжатия.

   
   Схема работы файловой системы Nimble Storage

9. Triple+ Parity RAID в моделях серии AF. Собственная технология RAID с использованием тройной четности, резервного блока данных и внутренней четности накопителя. В RAID группу входят 24 накопителя (до 2 RAID-групп на массив). Технология позволяет выдержать одновременный отказ любых 3 накопителей, либо последовательный (по завершении перестроения RAID) отказ 4 накопителей (благодаря резервному блоку). Кроме того, внутренняя четность помогает восстановить 1 неисправный сектор в рамках каждого накопителя при операциях чтения.

   
   Схема работы Triple+ Parity RAID

В настоящее время, для подключения накопителей в персональных компьютерах, серверах и системах хранения наиболее часто используются 2 интерфейса: SAS и SATA. SAS (англ. Serial Attached SCSI) является преемником параллельной технологии SCSI (англ. Small Computer System Interface). SATA (англ. Serial ATA) – преемник параллельного интерфейса ATA (англ. Advanced Technology Attachment).

В отличие от своих предшественников, протоколы SAS и SATA предусматривают последовательную передачу данных, то есть вся информация передается единым потоком (в параллельных технологиях задействуется множество потоков). Последовательная передача данных позволяет достичь гораздо более высоких скоростей, чем параллельная. Кроме того, в протоколах SAS и SATA используется тип соединения «точка-точка» между контроллером и оконечным устройством, то есть каждый накопитель имеет полную полосу пропускания. В случае SCSI полоса пропускания общая, и она делится между всеми подключенными устройствами.

SAS по сравнению с SATA предоставляет более высокую пропускную способность и расширенную функциональность, а потому накопители на его основе чаще используются в серверах и системах хранения корпоративного класса. SATA, с другой стороны, имеет более низкую стоимость и применяется в большинстве персональных компьютеров, серверов и систем хранения начального уровня. Основные различия между протоколами:

* полудуплексный режим работы – возможность в определенный момент времени вести только прием, либо только передачу; полнодуплексный – возможность вести прием и передачу одновременно

** eSATA – англ. External SATA, интерфейс SATA для подключения внешних устройств

Общий обзор технологий и программных функций массивов HPE 3PAR StoreServ:

1. Набор технологий уменьшения занимаемой емкости Adaptive Data Reduction. Применяется к входящим данным до их записи на накопители. Включает следующие технологии:
   • Zero Detect – удаление в потоке записываемых данных последовательностей нулей, не представляющих фактической ценности (например, при инициализации виртуальных машин).
   • Дедупликация страниц памяти. Метаданные дедупликации обрабатываются в микросхемах ASIC.
   • Компрессия страниц памяти. Перед ее применением процессор контроллера анализирует, насколько эффективно могут быть сжаты данные, и сжимает только те, которые хорошо поддаются компрессии.
   • Data Packing – объединение сжатых страниц в блоки по 16 КиБ* для сохранения эффективности компрессии.
2. Технология построения файлового хранилища File Persona Software. Поддерживает широкий выбор функций и протоколов, включая SMB, NFS, FTP/FTPS.
3. Набор технологий организации тиринга, обеспечения качества обслуживания (англ. Quality of Service, QoS) и осуществления миграций томов (LUN) Data Optimization Software Suite. Включает следующие технологии:
   • Adaptive Optimization – автоматический перенос блоков данных между разными типами накопителей в соответствии с требованиями политик.
   • Dynamic Optimization – перенос целого тома (LUN) по команде администратора.
   • Priority Optimization – определение минимальных и/или максимальных допустимых значений по IOPS, пропускной способности и задержке для тома (LUN) или группы томов.
   • Peer Motion – осуществление миграций томов (LUN) между разными массивами 3PAR в режиме реального времени без прерывания работы приложений.
4. Набор технологий репликации, организации катастрофоустойчивых решений и снятия мгновенных снимков Replication Software Suite. Включает следующие технологии:
   • Virtual Copy – снятие снимков (снапшотов) без первоначального выделения емкости. Снимок начинает занимать фактическую емкость только по мере изменения основного тома. Повторяющиеся изменения не записываются.
   • Remote Copy – асинхронная и синхронная репликация.
   • Peer Persistence – организация катастрофоустойчивого решения с географически распределенным вычислительным кластером, когда потеря СХД на одной из площадок не приведет к потере доступа узлов к тому (LUN).
5. Набор средств мониторинга работы массива Reporting Software Suite. Включает следующие инструменты:
   • System Reporter – отчеты о производительности и использовании емкости в виде наглядных графиков и диаграмм.
   • 3PARinfo – утилита командной строки, используемая на сервере, подключенном к массиву, для отображения информации о предоставлении томов (LUN).
6. Набор технологий разграничения прав доступа Security Software Suite. Включает следующие технологии:
   • Virtual Domains – разграничение доступа пользователей, групп или приложений к хранилищу посредством создания виртуальных доменов.
   • Virtual Lock – защита томов (LUN) и снимков от удаления пользователем или администратором на заданный период времени.
7. Функция шифрования данных на накопителях Data at Rest Encryption. Используются специальные HDD/SSD с поддержкой шифрования (англ. Self-Encrypting Drives, SED). Шифровать можно только массив целиком, т.е. для использования данной функции все накопители должны быть SED.
8. Средство миграции данных Online Import. Позволяет в режиме реального времени производить миграцию томов с массивов HPE EVA, EMC CX4 или EMC VNX на HPE 3PAR.
9. Средство конфигурации Smart SAN for 3PAR. Позволяет автоматизировать настройку оборудования в SAN, задание параметров и политик. Работает с массивами HPE 3PAR, коммутаторами HPE StoreFabric B-series, адаптерами главной шины (HBA) FC 16 Гбит серий HPE Q и E.
10. Средство резервного копирования Recovery Manager Central (RMC). Реализовано в виде виртуальной машины для VMware ESXi. Позволяет производить резервное копирование данных напрямую с массива HPE 3PAR на дисковую библиотеку HPE StoreOnce. Устраняет необходимость в стороннем ПО резервного копирования.
11. ПО для запуска на вычислительных узлах (хостах):
    • Host Explorer – запускается как агент на сервере, собирает служебные и конфигурационные данные и отправляет их на 3PAR, устраняя необходимость ввода вручную.
    • Multipath I/O – реализует технологию множественных путей для некоторых серверных ОС. Позволяет серверу подключаться к массиву 3PAR по нескольким путям, распределять между ними нагрузку и обеспечивать высокую доступность.
    • Cluster Extension Software (CLX) – позволяет строить распределенные катастрофоустойчивые вычислительные кластеры на базе средств кластеризации Windows и репликации 3PAR Remote Copy.
    • Policy Server – устанавливается на отдельном сервере, позволяет задавать политики разрешения/запрета сервисных подключений к массиву 3PAR и подключений от массива во внешний Интернет. Также позволяет вести аудит отправки диагностических данных в службу поддержки HPE и действий в рамках разрешенных сервисных подключений.
12. Дополнительные функции 3PAR OS:
    • 3PAR OS Administration Tools – средства управления 3PAR OS, включающие графический интерфейс InForm Management Console и интерфейс командной строки с поддержкой сценариев (скриптов) InForm Command Line Interface.
    • 3PAR Web Services API – программный интерфейс для возможности объединения средств управления 3PAR с уже имеющимися у заказчика системами администрирования.
    • Autonomic Groups – группы управления, позволяющие объединить объекты в системе 3PAR (такие как виртуальные домены) для упрощения настройки, сбора статистики и других действий.
    • Autonomic Rebalance – автоматическое перераспределение томов (LUN) для оптимального использования емкости при добавлении новых накопителей в массив.
    • Access Guard – настройка прав доступа на уровне тома (LUN) для конкретных узлов или через конкретные порты.
    • 3PAR LDAP – поддержка протокола доступа к службе каталогов LDAP (англ. Lightweight Directory Access Protocol). Позволяет связать систему учетных данных консоли управления 3PAR с развернутой в организации службой каталогов. Это упрощает процедуры аутентификации и авторизации (для доступа к консоли могут использоваться доменные учетные данные) и обеспечивает централизацию управления учетными записями.
    • RAID MP (Multi-Parity) – ускоренное создание и перестроение RAID 6. Служебные расчеты производятся микросхемами ASIC.
    • Full Copy – создание мгновенных копий (клонов) томов (LUN).
    • Scheduler – автоматизация процедур создания и удаления снимков Virtual Copy.
    • Adaptive Flash Cache – использование SSD накопителей в качестве дополнительной кэш-памяти.
    • Persistent Cache – защита содержимого кэша на запись в конфигурациях с 4 и более контроллерами. При отказе контроллера данные из его кэша моментально копируются в кэш других контроллеров. Это позволяет избежать существенного падения производительности.
    • Persistent Ports – смена портов, через которые идут подключения от серверов, в режиме реального времени без потери соединения с томом (LUN) и без остановки работы массива при обновлении ПО на контроллерах. Также автоматическая смена портов происходит в случае отсоединения кабеля или отказа коммутатора (на начало 2018 г., только для FC подключений).
    • Persistent Checksum – проверка целостности записываемых данных по технологии контрольных сумм стандарта T10.
    • Thin Technologies – набор технологий, обеспечивающих «тонкое»** выделение емкости, преобразование обычных томов в «тонкие» и возвращение использованного «тонкими» томами места в пул свободной емкости при удалении данных.

* КиБ – кибибайт, 1 КиБ равен 1024 байт

** Емкость динамически выделяется только под фактически записываемые данные

Функционал репликации в массивах HPE 3PAR StoreServ носит название Remote Copy (RC). Поддерживаются следующие режимы репликации:

• Синхронный (RPO=0);
• Асинхронный периодический (минимальный RPO около 5 мин);
• Асинхронный потоковый (RPO около 10 сек).

При асинхронном периодическом режиме для репликации используются мгновенные снимки (снапшоты) томов (LUN), создаваемые через заданный интервал времени. На удаленный массив передаются только новые блоки данных, содержащиеся в снимке по сравнению с предыдущим снимком. При асинхронном потоковом режиме новые блоки накапливаются в локальном массиве в течение небольшого периода времени и затем реплицируются на удаленный массив.

С точки зрения среды передачи для репликации поддерживаются следующие варианты:

• Remote Copy over Fibre Channel (RCFC) – для репликации используются FC порты массива, данные передаются по FC каналу.
• Remote Copy over Internet Protocol (RCIP) — для репликации используются встроенные IP порты массива (1 Гбит или 10 Гбит, в зависимости от модели массива), данные передаются по IP каналу.
• Remote Copy over FCIP (Fibre Channel over IP) — для репликации используются FC порты массива, данные передаются по IP каналу. FCIP предполагает применение дополнительных устройств-преобразователей протоколов FC-IP.

С точки зрения схем, по которым происходит репликация (топологий) поддерживаются следующие варианты:

• Один-к-одному – репликация выполняется только между двумя массивами.
• Многие-ко-многим – N массивов могут реплицировать данные на другие M массивов. Репликация может происходить в обе стороны. Разные наборы томов (LUN) должны реплицироваться на разные массивы.

  

  Схема репликации Многие-ко-многим для 4 массивов. Каждый массив реплицирует данные на 4 других массива.

• Synchronous Long Distance (SLD) – репликация одного и того же набора томов (LUN) может происходить с одного массива одновременно на два других массива. При этом на один массив выполняется синхронная репликация, а на другой – асинхронная периодическая, благодаря чему он может быть расположен на значительном расстоянии от первых двух. Кроме того, между двумя удаленными массивами также настроена асинхронная периодическая репликация, которая в штатном режиме находится в пассивном состоянии. При отказе основного массива она автоматически активируется, что позволяет скопировать недостающие данные со второго массива (на который шла синхронная репликация от основного) на третий. Данное решение устраняет недостаток синхронной репликации по обычной схеме «один-к-одному», когда из-за требований к каналу связи нельзя значительно отдалить массивы друг от друга, что создает риск их общей потери при масштабной катастрофе. Схема SLD благодаря наличию третьего удаленного массива позволяет обеспечить нулевой RPO при последовательном отказе первых двух массивов, либо небольшой RPO (в районе 5 мин) при их одновременном отказе.

  

  Схема репликации SLD

Репликация по указанным схемам может происходить между любыми моделями массивов 3PAR. Например, в рамках одной топологии можно использовать 3PAR 8200, 8450, 20850.

Технология NPAR реализована на некоторых сетевых адаптерах для серверов HPE. Она позволяет разделить пропускную способность порта адаптера на 4 независимые партиции (физические PCI функции). Каждой физической функции назначается собственная полоса пропускания так, чтобы суммарная пропускная способность четырех партиций не превышала пропускную способность того порта, на котором они настроены. К примеру, для порта 10 Гбит/с можно создать партиции 5 Гбит/с, 2 Гбит/с, 1 Гбит/с и 2 Гбит/с.

Для ОС сервера и для подключенного сетевого оборудования каждая физическая функция представляется как отдельный физический порт. Технология NPAR обеспечивает более эффективное использование пропускной способности адаптеров, позволяя задействовать имеющуюся полосу пропускания для большего количества задач. В частности, это актуально в средах VMware, где рекомендуется использовать несколько физических портов под разные типы трафика (Service Console, VMkernel, VM Network).

NVMe (англ. Non-Volatile Memory Express) – протокол передачи данных для SSD накопителей, подразумевающий непосредственное подключение накопителя к шине PCIe*. Данный стандарт был разработан с целью преодоления ограничений, присущих интерфейсам SATA и SAS, которые ориентированы на работу с HDD и зачастую не позволяют раскрыть потенциал производительности SSD. Вследствие недостаточной пропускной способности и глубины очереди традиционные интерфейсы могут стать «узким местом» и причиной задержек между мощными вычислительными ресурсами и построенной на SSD подсистемой хранения.

Пропускная способность интерфейса NVMe зависит от количества используемых линий PCIe. Максимально может использоваться 16 линий, и при полосе пропускания 1 Гбит на линию для PCIe 3.0 пропускная способность интерфейса будет составлять 16 Гбит (против 6 Гбит для SATA и 12 Гбит для SAS). Кроме того, NVMe предусматривает одновременную организацию нескольких (до 65 000) очередей с глубиной до 65 000 команд (в отличие от SATA и SAS, где очередь только одна с 32 и 254 командами соответственно).

SSD накопители, работающие по протоколу NVMe, имеют несколько возможных форм-факторов и способов подключения. Во-первых, они могут быть выполнены в формате PCIe карты расширения и устанавливаться в стандартный слот PCIe.

NVMe SSD накопитель в формате карты расширения PCIe

Во-вторых, они могут иметь формат карты M.2 и устанавливаться в специальный слот M.2.

NVMe SSD накопитель в формате M.2

Разъем под M.2 NVMe SSD

В-третьих, они могут иметь форм-фактор SFF накопителя, устанавливаться в SFF корзину для накопителей и подключаться к райзер-плате PCIe (данный формат называется U.2).

NVMe SSD накопитель размером SFF в формате U.2

* PCIe (англ. Peripheral Component Interconnect Express) – высокоскоростная шина с последовательной передачей данных, используемая для подключения компонентов расширения к материнской плате.

Storage Class Memory (память класса хранилища) – семейство технологий энергонезависимой памяти. К Storage Class Memory (SCM) относятся такие технологии, как магниторезистивная оперативная память (англ. Magnetoresistive Random-Access Memory, MRAM), резистивная память с произвольным доступом (англ. Resistive RAM, ReRAM), память на основе фазового перехода (англ. Phase Change Memory, PCM), 3D XPoint от Intel и Micron.

По производительности SCM в несколько раз превосходит стандартные SSD накопители и приближается к оперативной памяти (DRAM). Принципы ее архитектуры отличаются от принятых в классических SSD (NAND), благодаря чему SCM обеспечивает гораздо более низкие задержки и высокую износостойкость. Стоимость SCM решений выше, чем у обычных NAND SSD, но ниже, чем у оперативной памяти DRAM. Предполагается, что SCM устройства смогут устанавливаться в слоты для оперативной памяти DDR4, либо в слоты расширения PCIe и M.2. Во втором случае они будут работать по протоколу NVMe.

В настоящее время, различные производители работают над развитием и продвижением технологий SCM. Примерами конкретных реализаций служат мемристоры HPE, накопители Intel Optane (на основе технологии 3D XPoint), Micron QuantX (на основе технологии 3D XPoint) и Samsung Z-SSD.

Intel Optane SSD

SCM решения могут использоваться для размещения наиболее критичных нагрузок в серверах, а также в качестве самого быстрого или кэширующего уровня в системах хранения. Последний подход был реализован HPE в СХД 3PAR StoreServ путем установки в контроллеры массива SSD Intel Optane. По результатам внутренних тестов вендора, это привело к снижению задержек на 50% и увеличению производительности в IOPS на 80% (использовалась двухконтроллерная модель 3PAR 20450 с восемью SSD 15,36 ТБ и одним Intel Optane в каждом контроллере). Данное решение получило название 3PAR 3D Cache. Ожидается, что коммерчески доступным оно станет после того, как Intel наладит производство и поставку SSD Optane в широких масштабах.