Серверы и блейд-системы

Компания HPE производит множество разных видов и продуктовых серий серверов, предназначенных для различных бюджетов, задач, рабочих нагрузок и категорий заказчиков. По конструктивному исполнению и архитектуре можно выделить пять основных типов серверного оборудования:

• Серверы для установки в стойку
• Башенные серверы (в форм-факторе системного блока)
• Блейд-серверы (для установки в блейд-систему, объединяющую серверы с модулями коммутации, хранения данных и управления в едином шасси)
• Конвергентные и компонуемые системы (данные решения аналогичны традиционным блейд-системам, но, как правило, включают также предустановленное ПО, разрабатываются под конкретные задачи, такие как виртуализация, поддерживают большие объемы хранилища и широкие возможности масштабирования)
• Специализированные серверы (не относящиеся к предыдущим типам, имеют особый форм-фактор и назначение – например, это компактные серверы HPE Edgeline, используемые в рамках промышленных систем на базе «Интернета вещей»)

К каждому из указанных типов относятся различные семейства серверов. Семейство – набор моделей серверов сходной организации, архитектуры и назначения внутри каждого из основных типов. В некоторые семейства входит только одна модель. Например, к стоечным серверам относятся семейства ProLiant DL Gen.9/Gen.10, к башенным – ProLiant ML Gen.9/Gen.10 и ProLiant MicroServer Gen.10, к блейд-серверам – ProLiant BL Gen.9/Gen.10 и Integrity BL i, к конвергентным и компонуемым системам – ConvergedSystem, Hyper Converged, SimpliVity, Synergy.

В России у СМБ и корпоративных заказчиков наибольшим спросом пользуются серверы семейств ProLiant Gen.9 и Gen.10 (9го и 10го поколения) DL, ML, BL. Данные семейства имеют небольшую в сравнении с другими серверными решениями HPE цену, предлагают широкий выбор моделей в пределах каждого семейства (от самых бюджетных до высокопроизводительных). Серверы указанных семейств могут использоваться для всех основных ИТ-задач (видеонаблюдение, почта, телефония, базы данных, виртуализация), отличаются большой гибкостью конфигураций, поддерживают все необходимые комплектующие и горячую замену большинства компонентов.

• DL (англ. Density Line) – серверы, оптимизированные для размещения в стойке (стоечные)
• ML (англ. Maximized for Internal Expansion Line) – серверы, оптимизированные для расширения (башенные)
• BL (англ. Blade Line) – серверы для блейд-систем (блейд-серверы)

Семейства ProLiant Gen.9/Gen.10 DL и ML дополнительно подразделяются на линейки, исходя из ценового сегмента и уровня производительности серверов. Принадлежность к той или иной линейке обозначается числом после названия семейства. Каждая линейка включает одну-три модели, наиболее схожих по цене, функциональным возможностям и поддержке комплектующих. Линейки обозначаются круглым десятком или сотней (10я, 100я, 300я, 500я), конкретные модели – числом в рамках показателя своей линейки (DL20 принадлежит 10й линейке, DL360 – 300й и т.д.).

Семейства DL и ML состоят из следующих линеек и моделей:

*ожидается летом 2018 года

Семейство ProLiant BL Gen.9 включает три модели: BL460c, BL660c и WS460c Graphics. Семейство ProLiant BL Gen.10 включает всего одну модель: BL460c.

Кроме того, в качестве наиболее бюджетного решения можно рассмотреть ProLiant MicroServer Gen.10 – башенный сервер малого форм-фактора с 1 процессором, стоимостью порядка 30 тыс. руб

В вычислительной технике, поколение (англ. generation) оборудования обозначает тот или иной важный этап в его развитии, на котором используются свои определенные архитектурные подходы, принципы, стандарты и технологии. Каждое следующее поколение, как правило, сопряжено с серьезными технологическими улучшениями и инновациями. Они поднимают производительность и эффективность оборудования на новый уровень, изменяют принципы его работы, добавляют новые функции и сокращают стоимость изготовления.

Существует множество классификаций различных типов оборудования по поколениям, среди которых встречаются как общепринятые, так и частные (введенные каким-либо производителем только для собственных продуктовых линеек).

Общепринятым может считаться широко известное разделение истории развития компьютеров на 4 поколения. Каждое из них соответствует ключевым архитектурным решениям и технологиям, по которым компьютеры проектировались, организовывались и производились. Так, в компьютерах 1го поколения использовались электронные лампы и магнитные барабаны, во 2м поколении применялись транзисторы, 3е поколение строилось на интегральных микросхемах, а нынешнее 4е основано на работе микропроцессоров (ЦПУ).

Компания HPE использует классификацию по поколениям для своих серверов, систем хранения и сетевого оборудования. Каждая конкретная классификация охватывает определенный тип оборудования (например, серверы) и определенное семейство, либо совокупность семейств данного типа.

Так, серверы семейств ProLiant (DL, ML, BL и т.д.) подразделяются на 10 поколений, что отражает историю их развития. С каждым следующим поколением вносились существенные изменения и улучшения. В серверах использовались все более мощные процессоры, более быстрая память, более производительные контроллеры, росли максимальные объемы памяти и дисковой подсистемы, увеличивались скорости внутренних и сетевых интерфейсов. С новыми поколениями добавлялись и новые функциональные возможности, поддерживаемые технологии, виды комплектующих, версии прошивок, а также изменялась структура продуктовых линеек и названия моделей. Самым актуальным для ProLiant на текущий момент является 10е поколение (англ. Gen.10); в продаже также остаются модели 9го поколения (англ. Gen.9). Все серверы ProLiant ниже 9го поколения сняты с производства и официально более не поставляются.

Семейство стоечных серверов HPE ProLiant DL Gen.9 состоит из четырех продуктовых линеек, которые позиционируются следующим образом:

• 10 – серверы начального уровня DL20, DL60, DL80
• 100 – серверы среднего класса DL120, DL160, DL180
• 300 – высокопроизводительные серверы DL360, DL380
• 500 – 4х процессорные серверы премиум класса DL560, DL580

Среди серверов 10й линейки DL20 имеет 1 процессор, DL60 2 процессора, а DL80 2 процессора и шасси размером 2U, что позволяет устанавливать увеличенное количество накопителей. Все три сервера поддерживают резервирование питания и SSD накопители.

Среди серверов 100й линейки DL120 имеет 1 процессор, DL160 2 процессора, а DL180 2 процессора и шасси размером 2U, что позволяет устанавливать увеличенное количество накопителей. Все серверы поддерживают резервирование питания и SSD накопители.

Обе модели 300й линейки поддерживают по два мощных многоядерных процессора и большие объемы памяти, а также различные графические процессоры. DL360 имеет форм-фактор 1U, а DL380 – 2U, что позволяет устанавливать увеличенное количество накопителей.

Обе модели 500й линейки поддерживают по четыре мощных многоядерных процессора и очень большие объемы памяти, а также различные графические процессоры. DL560 имеет форм-фактор 2U, что позволяет устанавливать увеличенное количество накопителей, а DL580 – 4U.

Основные отличия между 10й, 100й, 300й и 500й линейками серверов HPE ProLiant DL Gen.9:

1. Модели процессоров. Чем старше линейка, тем более мощные процессоры поддерживаются на серверах, то есть тем более высокую производительность и количество ядер процессоров мы можем получить.
2. Количество процессорных сокетов. Чем старше линейка, тем больше процессоров мы можем установить на один сервер.
3. Объемы оперативной памяти. Чем старше линейка, тем выше объем памяти, поддерживаемой на серверах.

Дополнительные отличия:

1. Количество встроенных сетевых портов, идущих по умолчанию с сервером.
2. Сроки стандартной гарантии.
3. Графические процессоры. 300я линейка и DL580 поддерживают более мощные и функциональные ГПУ.
4. Резервирование питания.
5. Новые технологии (NVDIMM, NVMe PCIe SSD).

Семейство башенных серверов HPE ProLiant ML Gen.9 состоит из трех продуктовых линеек, которые позиционируются следующим образом:

• 10 – серверы начального уровня ML10, ML30
• 100 – серверы среднего класса ML110, ML150
• 300 – высокопроизводительные серверы ML350

В 10й линейке, ML10 является наиболее простой и бюджетной моделью, близкой к уровню производительных рабочих станций. ML10 не поддерживает горячую замену компонентов, внутренние SAS контроллеры, SSD накопители, не имеет модуля удаленного управления iLO и возможности установки второго блока питания. Из карт расширения поддерживается только несколько сетевых адаптеров на 1 Гбит/с и внешний SAS HBA для подключения ленточного привода. В старшей модели ML30 все эти недостатки устранены. ML10 поддерживает до 6 LFF накопителей, ML30 – до 4 LFF/8 SFF накопителей. На ML10 предлагается гарантия 1-1-1, на ML30 – 3-1-1. Оба сервера поддерживают 1 процессор, до 64 ГБ памяти типа UDIMM (4 слота).

Среди серверов 100й линейки ML110 поддерживает 1 процессор, до 256 ГБ памяти типа RDIMM (8 слотов), до 8 LFF/16 SFF накопителей. ML150 поддерживает 2 процессора, до 512 ГБ памяти типа RDIMM/LRDIMM (16 слотов), до 10 LFF/16 SFF накопителей. На оба сервера предлагается гарантия 3-1-1. Оба сервера поддерживают резервирование питания и SSD накопители.

В 300й линейке, ML350 поддерживает 2 мощных многоядерных процессора, до 3 ТБ памяти типа LRDIMM (24 слота), до 24 LFF/48 SFF накопителей. На ML350 предлагается гарантия 3-3-3. Он поддерживает до 4 блоков питания и SSD накопители, включая NVMe PCIe SSD.

Башенные серверы имеют преимущество в цене по сравнению со стоечными серверами своего класса, и при аналогичных конфигурациях стоят в среднем на 15-20% меньше.

Основные отличия между 10й, 100й и 300й линейками серверов HPE ProLiant ML Gen.9:

1. Модели процессоров. Чем старше линейка, тем более мощные процессоры поддерживаются на серверах, то есть тем более высокую производительность и количество ядер процессоров мы можем получить.
2. Количество процессорных сокетов. Чем старше линейка, тем больше процессоров мы можем установить на один сервер.
3. Объемы оперативной памяти. Чем старше линейка, тем выше объем памяти, поддерживаемой на серверах.
4. Количество накопителей. Чем старше линейка, тем большее количество накопителей поддерживается на серверах.

Дополнительные отличия:

1. Количество слотов расширения PCIe.
2. Количество встроенных сетевых портов, идущих по умолчанию с сервером.
3. Сроки стандартной гарантии.
4. Графические процессоры. 300я линейка поддерживает более мощные и функциональные ГПУ.
5. Резервирование питания.
6. Новые технологии (NVMe PCIe SSD).

Блейд-система (англ. blade system) – это целая инфраструктура, которая может включать серверы, коммутаторы и системы хранения, установленные в едином корпусе и управляемые централизованно из общей консоли.

В состав блейд-системы входят следующие компоненты:

1. Шасси;
2. Блоки питания;
3. Вентиляторы;
4. Блейд-серверы;
5. Интерконнект-модули;
6. Модули управления;
7. Решения по резервному копированию и хранению данных в формате лезвий (опционально).

Основой блейд-системы является шасси – пассивный корпус («коробка»), куда устанавливаются остальные составляющие. Шасси включает мощные блоки питания и вентиляторы, которые являются общими для всех устанавливаемых в шасси компонентов. Данные компоненты – серверы, сетевые устройства, устройства для резервного копирования, хранения данных и управления – выполнены в виде компактных модулей («лезвий», от англ. blade), которые могут быстро и удобно вставляться в шасси и удаляться из него.

Серверы для блейд-систем носят название блейд-серверов. По своей внутренней архитектуре, принципам работы и функциональности они аналогичны обычным стоечным и башенным серверам. Блейд-серверы точно также комплектуются процессорами, памятью, RAID-контроллерами, дисками, мезанин-картами (карты расширения PCIe) и т.д. Блейд-серверы точно также могут использоваться для развертывания серверных приложений, виртуализации, терминальных служб, кластерных моделей.

Сетевые устройства для блейд-систем носят название интерконнект-модулей. Они устанавливаются в заднюю часть шасси и предназначены для подключения блейд-серверов к внешним локальным сетям (англ. LAN), а также к сетям хранения данных (англ. SAN) и внешним СХД. В качестве интерконнект-модулей могут выступать как обычные LAN/SAN коммутаторы, так и пассивные патч-панели с одинаковым количеством портов на внутренней и внешней стороне. Они предназначены для простой передачи сигналов от блейд-сервера на соответствующий ему внешний порт. Кроме того, у некоторых производителей могут встречаться специальные интерконнект-модули, не имеющие аналогов среди традиционного сетевого оборудования. У HPE, к примеру, это модули Virtual Connect, которые работают по особой технологии и используются только в блейд-системах.

Модули управления отвечают за централизованное управление всеми компонентами блейд-системы. Для возможности ее работы требуется по крайней мере один такой модуль; второй может устанавливаться дополнительно в целях отказоустойчивости.

Устройства резервного копирования и хранения данных для блейд-систем также изготавливаются в формате блейд-модулей и могут представлять собой, к примеру, DAS-модули с большим количеством накопителей, либо модули с ленточным приводом. Как правило, они подключаются к соседнему блейд-серверу и используются им.

Компания HPE предлагает традиционные блейд-решения в рамках семейства BladeSystem c-class. Кроме того, недавно в продажу было запущено новое семейство HPE Synergy, которое по своей архитектуре занимает промежуточное положение между блейд-решениями и интегрированными системами. Сам вендор называет систему Synergy «компонуемой инфраструктурой». Synergy включает шасси и все остальные компоненты блейд-решения (серверы, модули коммутации, хранения данных и управления), имеет широкие возможности масштабирования, а также поддерживает особый модуль – раздатчик загрузочных образов. Данный компонент позволяет с высокой скоростью передавать образа на бездисковые серверные модули. Управляется система Synergy с помощью программного обеспечения HPE OneView, предустановленного на компоновщиках (модулях управления).

Семейство BladeSystem включает 2 модели блейд-шасси: c3000 и c7000. Их основные отличия:

В эти шасси могут устанавливаться блейд-серверы семейств ProLiant BL и Integrity, различные варианты интерконнект-модулей, модули хранения D2220sb, ленточные приводы Ultrium, модули расширения для установки сторонних карт PCI/PCI-X/PCIe.

Основные преимущества блейд-систем HPE:

• Решение позволяет экономить место в стойке. Например, 8 серверов и средства коммутации в блейд-шасси HPE BladeSystem c3000 занимают всего 6U.
• Экономия на электропитании и тепловыделении. Блейд-шасси потребляют меньше электричества и производят меньшее тепловыделение, чем аналогичные мощности, но в традиционном исполнении (отдельные серверы и средства коммутации).
• Удобство последующего расширения. Если в дальнейшем потребуются новые мощности, то при наличии свободных слотов в шасси их достаточно просто нарастить. Нет необходимости подключать кабели к каждому новому серверу.
• Централизованное управление всей системой. Централизованное управление решениями BladeSystem осуществляется за счет модуля управления Onboard Administrator и может производиться удаленно из любого узла сети.

Основной недостаток блейд-систем HPE – высокая цена неполного комплекта. Только при достижении заполнения шасси порядка 70% мы получаем схожие с аналогичными решениями на традиционном оборудовании цены. Кроме того, блейд-серверы поддерживают меньшее количество накопителей и карт расширения PCIe, по сравнению со стоечными и башенными аналогами.

Конфигурация блейд-системы HPE BladeSystem минимально должна включать:

• Блейд-шасси с необходимым количеством блоков питания и вентиляторов (минимум 2 блока питания и 4 вентилятора).
• Блейд-серверы в требуемой комплектации.
• Один Onboard Administrator (желательно два для отказоустойчивости).
• По крайней мере один интерконнект-модуль (желательно два для отказоустойчивости) для подключения к Ethernet.

Инфраструктура Synergy – новая разработка компании HPE, представляющая собой усовершенствованную блейд-систему.

Система Synergy состоит из блейд-шасси (называемого фреймом), в которое устанавливаются необходимые компоненты – блейд-серверы (вычислительные модули), модули хранения, сетевые модули, модули управления. Блоки питания и вентиляторы охлаждения устанавливаются во фрейм и являются общими для всех компонентов.

Модуль управления (компоновщик) представляет собой специальный сервер с встроенным решением по управлению инфраструктурой HPE OneView. Компоновщик может управлять одним или несколькими, соединенными в общее кольцо управления, фреймами.

Отличия системы Synergy и блейд-систем c3000 и c7000:

1. Размеры и вместимость шасси.

2. Характеристики блейд-серверов (вычислительных модулей) 10го поколения.

3. Модули хранения.

c3000 и с7000 поддерживают модули D2220sb (только для блейд-серверов 9го поколения). Каждый модуль вмещает 12 SFF накопителей и устанавливается рядом с блейд-сервером. Лишь этот соседний блейд-сервер получает доступ к модулю. На одно шасси c3000 можно установить до 4 модулей D2220sb (суммарно 48 накопителей), на c7000 – до 8 модулей (суммарно 96 накопителей).

В системе Synergy используются модули D3940. При их установке необходимо также добавить 1 или 2 коммутационных модуля SAS. Модуль D3940 вмещает 40 SFF накопителей. Для вычислителей 10го поколения можно установить до 5 модулей на фрейм, что даст суммарно 200 накопителей. D3940 представляет собой зонированный DAS – любому вычислителю может быть предоставлено требуемое количество накопителей из общего их числа. Это не является общим хранилищем (диски, назначенные одному вычислителю, уже не будут видны остальным), однако снимает ограничение систем c-class, где каждому блейд-серверу дается ровно один модуль D2220sb с не более чем 12 дисками. Доступ вычислителей к модулям D3940 осуществляется через упомянутые SAS коммутаторы.

4. Раздатчик образов.

Система Synergy в качестве дополнительного опционального модуля управления поддерживает раздатчик образов. Данный модуль осуществляет настраиваемую раздачу загрузочных образов ОС (VMware ESXi, RHEL, SLES, скоро планируется Windows) на вычислители. Это особенно эффективно для бездисковых платформ и может служить альтернативой загрузке по LAN/SAN. Системы c-class подобных модулей не поддерживают.

5. Цена.

В настоящее время (лето-осень 2017 года), системы Synergy имеют значительно более высокую цену в сравнении с аналогичными конфигурациями на системах c-class. Разница в среднем составляет 35%.

6. Планы по развитию продуктовых линеек.

По заявлению HPE, системы c-class будут производиться и продаваться до 2019-2020 года, с продолжением поддержки на 5 лет после снятия оборудования с производства. Система Synergy является долгосрочным стратегическим приоритетом вендора и уже сейчас полностью готова к использованию новых технологий (Ethernet 100 Гбит и т.д.).

Гиперконвергентные системы представляют собой программно-аппаратный комплекс, включающий вычислительные ресурсы, ресурсы хранилища, платформу виртуализации и консоль управления в рамках единого шасси. Как правило, такие системы собираются и настраиваются производителем и поставляются заказчику в готовом к работе виде. Они предназначены для задач виртуализации (серверная виртуализация, виртуализация рабочих столов), и не могут быть использованы для физических рабочих нагрузок (т.н. «bare metal»).

Цель гиперконвергентных решений – снизить сложность и повысить эффективность инфраструктур виртуализации. Они заменяют множество разрозненного оборудования (серверы, СХД, коммутаторы), требующего для управления несколько различных специалистов, компактными унифицированными блоками. Для их поддержки достаточно одного администратора, а по мере роста инфраструктуры легко добавлять новые. Еще одно важное преимущество подобных систем – улучшенная совместимость между аппаратной частью и платформой виртуализации. Производитель берет на себя установку гипервизора и драйверов, настройку и тестирование. Поддержка по программной и аппаратной части идет через одного вендора.

Из недостатков гиперконвергентных решений стоит отметить недостаточную гибкость увеличения аппаратных ресурсов самого блока по сравнению с обычным сервером. Как правило, ресурсы могут увеличиваться только до жестко заданных вендором уровней, что объясняется особенностями архитектуры таких систем. К примеру, имея гиперконвергентный блок HPE HC380 со 128 ГБ оперативной памяти, мы можем увеличить объем памяти до 256 ГБ, но не можем добавить 16 или 32 ГБ. Максимальные объемы хранилища по сравнению с внешней СХД также ограничены.

Примеры гиперконвергентных систем от разных производителей: HPE HC 250, HC 380, SimpliVity 380; Dell EMC VxRail, XC; Cisco HyperFlex HX; решения от Nutanix.

В большинстве случаев установка клиентских ОС на серверы HPE ProLiant официально не поддерживается. Драйверы для серверов под данные ОС не выпускаются, что может привести к проблемам и сбоям, или даже неработоспособности системы, при попытке их установки. Однако, на некоторых специализированных серверах (таких как WS460c Gen.9), представляющих собой графические рабочие станции, установка клиентских ОС полостью поддерживается. Информацию по поддержке конкретной ОС на конкретном сервере HPE можно найти в официальном списке совместимости.

Серверы нового поколения HPE ProLiant Gen.10 появились в продаже летом 2017 года. Количество моделей в каждой продуктовой линейке сократилось с целью упрощения выбора для заказчика. Сама структура линеек осталась прежней:

1. DL (от англ. Density Line, "оптимизированные для размещения в стойке") – стоечные серверы. В настоящее время (конец 2017 года) доступны следующие модели:
   • DL360 (форм-фактор 1U) и DL380 (форм-фактор 2U) с двумя сокетами.
   • DL560 (форм-фактор 2U) и DL580 (форм-фактор 4U) с четырьмя сокетами.

     

2. ML (от англ. Maximized for Internal Expansion Line, "оптимизированные для расширения") – башенные серверы. В настоящее время доступны следующие модели:
   • ML110 с одним сокетом.
   • ML350 с двумя сокетами.

     

3. BL (от англ. Blade Line, "серверы для блейд-систем") – блейд-серверы для шасси c3000 и c7000. В настоящее время доступна модель BL460c с двумя сокетами.

   

4. MicroServer – небольшой односокетный сервер для дома и малого бизнеса. Развитие 10го поколения продолжается, и возможно появление новых моделей в будущем. В частности, летом 2018 года HPE планирует выпустить младшие модели – стоечный сервер DL20 и башенный ML30.

   

На начало 2018 года, HPE не планирует разрабатывать следующее поколение блейд-серверов BL и систем c-class, а также добавлять новые модели к линейкам BL Gen.9 и Gen.10. По заявлению вендора, имеющиеся продукты будут производиться как минимум до начала 2020 года, их дата EOL (англ. End Of Life – окончание жизненного цикла) еще не определена. После снятия блейд-систем с производства, запчасти для них будут доступны в течение следующих 5 лет.

Остановка в развитии блейд-систем связана с постепенным техническим устареванием шасси c-class, которые производятся с середины 2000х годов. В частности, внутренняя система коммутации шасси не может обеспечить требуемую пропускную способность для реализации новых технологий, таких как 100 Гбит Ethernet.

Как рекомендуемую замену системам с-class, HPE позиционирует компонуемую инфраструктуру Synergy. Данное решение является новым стратегическим приоритетом вендора. По своей архитектуре Synergy аналогична традиционным блейд-системам, но вместе с тем она отличается лучшими показателями масштабируемости, новыми подходами в управлении и полной готовностью ко всем будущим технологиям.

Семейство блейд-серверов ProLiant BL является одной из наиболее популярных серий блейд-серверов, производимых компанией HPE. Данные серверы имеют небольшую начальную стоимость и хорошие возможности масштабирования. Они поддерживают широкий выбор различных комплектующих и высокую плотность размещения в шасси (до 16 BL460c в шасси c7000).

На начало 2018 года, официально поставляются модели 9го (Gen.9) и 10го (Gen.10) поколений. К 9му поколению относятся блейд-серверы BL460c Gen.9 и BL660c Gen.9, а также WS460c Gen.9 Graphics. К 10му поколению относится лишь одна модель – BL460c Gen.10. Основные отличия между моделями BL:

Блейд-сервер BL460c Gen.10

Модель WS460c Gen.9 Graphics по своему внешнему виду и характеристикам очень похожа на BL460c Gen.9. Особенность ее заключается в том, что она поддерживает ряд графических процессоров (ГПУ) NVIDIA и AMD и позиционируется как высокопроизводительная рабочая станция. Кроме того, WS460c, в отличие от моделей BL, полностью поддерживает установку клиентских ОС (Windows 7 и более поздние, RHEL Desktop 6.5 и более поздние).

Графическая рабочая станция WS460c Gen.9 / Блейд-сервер BL460c Gen.9

Графические процессоры могут устанавливаться как в саму WS460c, так и в специальный модуль расширения. Он имеет форм-фактор блейд-сервера половинной высоты и присоединяется к рабочей станции сбоку, удваивая ее ширину. В подобный модуль можно установить до 6 ГПУ, тогда как в WS460c – только до 2.

Графическая рабочая станция WS460c Gen.9 с модулем расширения

В блейд-системах c3000 и c7000 передача данных от портов сетевых адаптеров блейд-сервера до сетевых модулей осуществляется через внутреннюю сигнальную панель. При этом, определенным адаптерам поставлены в соответствие определенные отсеки для сетевых модулей так, что электрический сигнал от данных адаптеров передается только в указанные отсеки. Нумерация отсеков для сетевых модулей идет сверху вниз и слева направо.

Нумерация отсеков для сетевых модулей в блейд-системе c3000

Нумерация отсеков для сетевых модулей в блейд-системе c7000

Схема внутренней коммутации зависит от установленного типа блейд-сервера – половинной или полной высоты. Сервер половинной высоты (BL460c Gen.9 и BL460c Gen.10) имеет 1 слот для адаптера FlexibleLOM и 2 мезанин-слота для дополнительных адаптеров. При этом, адаптеры FlexibleLOM и адаптеры для первого мезанин-слота могут иметь 2 порта, а адаптеры для второго мезанин-слота – 2 или 4 порта.

В системах c3000 внутренняя коммутация осуществляется следующим образом:

• 1й и 2й порты FlexibleLOM выведены на отсек 1.
• 1й и 2й порты адаптера в первом мезанин-слоте выведены на отсек 2.
• 1й и 3й порты адаптера во втором мезанин-слоте выведены на отсек 3.
• 2й и 4й порты адаптера во втором мезанин-слоте выведены на отсек 4.

Подключение адаптеров к сетевым модулям для блейд-сервера половинной высоты в системе c3000

В системах c7000 внутренняя коммутация осуществляется следующим образом:

• 1й и 2й порты FlexibleLOM выведены на отсеки 1 и 2 соответственно.
• 1й и 2й порты адаптера в первом мезанин-слоте выведены на отсеки 3 и 4 соответственно.
• 1й, 2й, 3й и 4й порты адаптера во втором мезанин-слоте выведены на отсеки 5, 6, 7 и 8 соответственно.

Подключение адаптеров к сетевым модулям для блейд-сервера половинной высоты в системе c7000

Сервер полной высоты (BL660c Gen.9) имеет 2 слота для адаптеров FlexibleLOM и 3 мезанин-слота для дополнительных адаптеров. При этом, адаптеры FlexibleLOM и адаптеры для первого мезанин-слота могут иметь 2 порта, а адаптеры для второго и третьего мезанин-слотов – 2 или 4 порта.

В системах c3000 внутренняя коммутация осуществляется следующим образом:

• 1й и 2й порты первого и второго FlexibleLOM выведены на отсек 1.
• 1й и 2й порты адаптера в первом мезанин-слоте выведены на отсек 2.
• 1й и 3й порты адаптера во втором и третьем мезанин-слоте выведены на отсек 3.
• 2й и 4й порты адаптера во втором и третьем мезанин-слоте выведены на отсек 4.

Подключение адаптеров к сетевым модулям для блейд-сервера полной высоты в системе c3000

В системах c7000 внутренняя коммутация осуществляется следующим образом:

• 1й и 2й порты первого FlexibleLOM выведены на отсеки 1 и 2 соответственно.
• 1й и 2й порты второго FlexibleLOM также выведены на отсеки 1 и 2 соответственно.
• 1й и 2й порты адаптера в первом мезанин-слоте выведены на отсеки 3 и 4 соответственно.
• 1й, 2й, 3й и 4й порты адаптера во втором мезанин-слоте выведены на отсеки 5, 6, 7 и 8 соответственно.
• 1й, 2й, 3й и 4й порты адаптера в третьем мезанин-слоте выведены на отсеки 7, 8, 5 и 6 соответственно.

Подключение адаптеров к сетевым модулям для блейд-сервера полной высоты в системе c7000

HPE Virtual Connect (VC) – сетевые модули, устанавливающиеся в блейд-системы c-class и системы Synergy. Они обеспечивают подключение блейд-серверов к внешним LAN* и SAN** сетям. Модули VC по принципу своей работы похожи на коммутаторы, однако не являются ими. В них не реализован весь функционал коммутаторов. Вместе с тем, модули VC имеют особый специальный функционал, о котором речь пойдет ниже.

Модули VC бывают двух типов: Fibre Channel (FC) и конвергентные. Модули VC FC поддерживают FC 8 Гбит или 16 Гбит на внутренних и внешних портах. Для их подключения требуется наличие в блейд-серверах адаптеров FC HBA с соответствующей пропускной способностью. Конвергентные модули VC на внешних портах поддерживают до 40 Гбит Ethernet, а также 8 Гбит Fibre Channel.

Конвергентные модули работают только с установленными в блейд-серверах конвергентными адаптерами (CNA в Synergy и FlexFabric в системах c-class). Данные адаптеры поддерживают аппаратный FCoE, и в случае его использования от адаптера до модуля VC будет передаваться трафик FCoE, далее он будет преобразовываться в чистый FC, и от модуля VC во внешние сети пойдет трафик FC. В системах Synergy для активации FC подключений на конвергентных модулях VC необходимо приобретение лицензии. Кроме того, конвергентные модули VC поддерживают технологию NPAR, что позволяет делить пропускную способность адаптера на 4 партиции, выступающие как независимые порты.

Все модули VC также поддерживают виртуализацию сетевых подключений. Эта функция дает возможность задать профили подключений, в которых будут указаны сетевые параметры (MAC-адрес***, WWN-адрес****, настройки загрузки по SAN и т.д.), и затем связать данные профили с отсеками в блейд-шасси. Указанные в профиле параметры автоматически будут применены к установленному в отсек серверу. Если в отсек установят другой сервер, параметры применятся к нему.

Решение VC обеспечивает следующие преимущества по сравнению с традиционными блейд-коммутаторами:

• Возможность сокращения количества сетевых модулей при использовании подключений FC в конвергентных VC.
• Возможность сокращения количества сетевых адаптеров при использовании конвергентных адаптеров и технологии NPAR.
• Более эффективное использование пропускной способности адаптеров при применении технологии NPAR.
• Упрощение взаимодействия между сетевым администратором и администратором блейд-системы – достаточно один раз задать настройки для профилей VC.
• Упрощение процедур замены блейд-серверов или миграций нагрузок на другой блейд-сервер – достаточно переназначить профиль на требуемый отсек.
• Наличие решения для централизованного управления сотнями блейд-систем с установленными модулями VC – Virtual Connect Enterprise Manager.

* LAN (англ. Local Area Network) – локальная вычислительная сеть.

** SAN (англ. Storage Area Network) – сеть хранения данных.

*** MAC (англ. Media Access Control) – адреса устройств, используемые для обмена данными в сетях Ethernet.

**** WWN (англ. Worldwide Name) – адреса устройств, используемые для обмена данными в сетях FC.

В системах HPE Synergy, для ряда сетевых модулей поддерживается разделение на 2 вида: «мастер» и «спутник». Модули «мастер» являются стандартными сетевыми модулями с внутренними и внешними портами, которые осуществляют коммутацию и обеспечивают подключение вычислителей к LAN* и SAN** сетям. Модули «спутник» с внутренней стороны имеют аналогичные порты для вычислителей, а с внешней – только порты для подключения к модулям «мастер». Они служат повторителями сигнала, расширителями портов для модулей «мастер», и осуществляют лишь пассивную ретрансляцию к ним от своих вычислителей. Модули «мастер» и «спутник» устанавливаются в разные шасси (фреймы) и позволяют связать их в единую систему коммутации (т.н. логическое шасси, англ. Logical Enclosure).

К модулям «мастер» относятся коммутационный модуль Ethernet Synergy 40Gb F8 Switch Module, а также конвергентный модуль Virtual Connect SE 40Gb F8 Module for Synergy. Данные модули имеют 12 внутренних портов с пропускной способностью до 20 Гбит/с, 8 внешних QSFP+ разъемов*** с пропускной способностью до 40 Гбит/с, и 4 внешних порта 120 Гбит/с для подключения модулей «спутник».

Сетевой модуль «мастер» (Switch Module / Virtual Connect)

Модули «спутник» могут работать только с вышеуказанными модулями «мастер». К ним относятся соединительные модули Synergy 10Gb Interconnect Link Module и Synergy 20Gb Interconnect Link Module. Первый имеет 12 внутренних портов 10 Гбит/с, а также 1 внешний порт 120 Гбит/с для подключения к модулю «мастер». Второй имеет 12 внутренних портов 20 Гбит/с, а также 2 внешних порта 120 Гбит/с для подключения к модулю «мастер».

Сетевой модуль «спутник» (10 Гбит)

Сетевой модуль «спутник» (20 Гбит)

Модуль «спутник» 10 Гбит подключается к модулю «мастер» одним портом. Соответственно, к одному модулю «мастер» можно подключить до 4 модулей «спутник» 10 Гбит и до 4 фреймов, если все они расположены в разных фреймах. Модуль «спутник» 20 Гбит подключается к модулю «мастер» двумя портами. Соответственно, к одному модулю «мастер» можно подключить до 2 модулей «спутник» 20 Гбит и до 2 фреймов, если они расположены в разных фреймах.

Если в качестве модулей «мастер» используются Virtual Connect, схема подключений может выглядеть так:

Архитектура «мастер-спутник» обеспечивает следующие преимущества:

• Устранение необходимости в коммутаторах уровня стойки (Top of the Rack), которые должны обеспечивать связь между разными серверами/шасси в стойке.
• Повышение скорости обмена данными между вычислителями в разных фреймах в пределах одной системы коммутации (трафик не должен подниматься на высшие уровни коммутации, сетевая архитектура является «плоской»).
• Обеспечение удобного способа связи между разными фреймами при использовании модулей Virtual Connect (поскольку сами VC не являются коммутаторами, они не могут быть напрямую подключены друг к другу).
• Снижение общей стоимости решения (модули «спутник» значительно дешевле модулей «мастер» и обычных коммутаторов).

* LAN (англ. Local Area Network) – локальная вычислительная сеть.

** SAN (англ. Storage Area Network) – сеть хранения данных.

*** QSFP+ (англ. Quad Small Form-factor Pluggable) разъем – разъем на сетевом оборудовании стандарта QSFP+, в который для получения готового порта/портов с определенной пропускной способностью необходимо установить совместимый трансивер.

В системе HPE Synergy передача данных от портов сетевых адаптеров вычислителей до сетевых модулей осуществляется через внутреннюю сигнальную панель шасси (фрейма). При этом, определенные мезанин-слоты связаны с определенными отсеками для сетевых модулей. Электрический сигнал от установленных в данных слотах адаптеров передается только соответствующим сетевым модулям.

Нумерация отсеков для сетевых модулей идет сверху вниз. Отсеки 1 и 4, 2 и 5, 3 и 6 связаны попарно в три структуры коммутации. В данные пары отсеков допускается ставить только одинаковые сетевые модули (за исключением модулей «мастер» и «спутник») в целях отказоустойчивости.

Нумерация отсеков для сетевых модулей в системе Synergy

Схема внутренней коммутации зависит от установленного типа вычислительного модуля – половинной или полной высоты. Вычислитель половинной высоты (SY 480 Gen.9 и SY 480 Gen.10) имеет 3 мезанин-слота для сетевых адаптеров. Все адаптеры могут иметь 2 порта. В системах Synergy для вычислителей половинной высоты внутренняя коммутация осуществляется следующим образом:

• 1й и 2й порты адаптера в первом мезанин-слоте выведены на отсеки 1 и 4 соответственно.
• 1й и 2й порты адаптера во втором мезанин-слоте выведены на отсеки 2 и 5 соответственно. Требуется наличие второго процессора.
• 1й и 2й порты адаптера в третьем мезанин-слоте выведены на отсеки 3 и 6 соответственно.

Подключение мезанин-слотов к сетевым отсекам для вычислителя половинной высоты в системе Synergy

Вычислители полной высоты SY 660 Gen.9, SY 660 Gen.10 имеют 6 мезанин-слотов для сетевых адаптеров. Все адаптеры могут иметь 2 порта. В системах Synergy для вычислителей полной высоты SY 660 Gen.9, SY 660 Gen.10 внутренняя коммутация осуществляется следующим образом:

• 1й и 2й порты адаптера в первом мезанин-слоте выведены на отсеки 1 и 4 соответственно.
• 1й и 2й порты адаптера во втором мезанин-слоте выведены на отсеки 2 и 5 соответственно. Требуется наличие третьего и четвертого процессора.
• 1й и 2й порты адаптера в третьем мезанин-слоте выведены на отсеки 3 и 6 соответственно.
• 1й и 2й порты адаптера в четвертом мезанин-слоте выведены на отсеки 1 и 4 соответственно.
• 1й и 2й порты адаптера в пятом мезанин-слоте выведены на отсеки 2 и 5 соответственно. Требуется наличие третьего и четвертого процессора.
• 1й и 2й порты адаптера в шестом мезанин-слоте выведены на отсеки 3 и 6 соответственно.

Подключение мезанин-слотов к сетевым отсекам для вычислителей полной высоты SY 660 Gen.9, SY 660 Gen.10 в системе Synergy

Вычислители полной высоты SY 620 Gen.9, SY 680 Gen.9 имеют 5 и 10 мезанин-слотов для сетевых адаптеров соответственно. Все адаптеры могут иметь 2 порта. В системах Synergy для вычислителей полной высоты SY 620 Gen.9, SY 680 Gen.9 внутренняя коммутация осуществляется следующим образом (для SY 680 обязательно наличие 4 процессоров):

• 1й и 2й порты адаптера в первом (и шестом для SY 680) мезанин-слоте выведены на отсеки 1 и 4 соответственно. Требуется наличие второго процессора для SY 620.
• 1й и 2й порты адаптера во втором (и седьмом для SY 680) мезанин-слоте выведены на отсеки 2 и 5 соответственно. Требуется наличие второго процессора для SY 620.
• 1й и 2й порты адаптера в третьем (и восьмом для SY 680) мезанин-слоте выведены на отсеки 3 и 6 соответственно. Требуется наличие второго процессора для SY 620.
• 1й и 2й порты адаптера в четвертом (и девятом для SY 680) мезанин-слоте выведены на отсеки 1 и 4 соответственно.
• 1й и 2й порты адаптера в пятом (и десятом для SY 680) мезанин-слоте выведены на отсеки 3 и 6 соответственно.

Подключение мезанин-слотов к сетевым отсекам для вычислителей полной высоты SY 620 Gen.9, SY 680 Gen.9 в системе Synergy

С точки зрения размещения сетевых модулей, HPE предлагает следующие рекомендации:

1. Модули Ethernet (патч-панель и коммутатор), а также конвергентные Virtual Connect следует размещать в отсеках 3 (первый модуль) и 6 (второй модуль, при наличии). Допускается устанавливать одинаковые модули «мастер», либо одинаковые модули «спутник», либо комбинировать «мастер» и «спутник» (второй и третий случай – если фрейм подключается к модулю «мастер» другого фрейма). Если модули SAS/FC не требуются, а вместо них имеются дополнительные модули Ethernet / конвергентные VC, то, после заполнения отсеков 3 и 6, следует заполнить отсеки 1 и 4, и затем 2 и 5.
2. Модули SAS, в случае их использования, следует размещать:
   • Если DAS модуль D3940 расположен в пределах фронтальных отсеков 1-6 (см. рисунок ниже) – в отсеках 1 (первый модуль) и 4 (второй модуль, при наличии и использовании резервного адаптера ввода/вывода).
   • Если DAS модуль D3940 расположен в пределах фронтальных отсеков 7-12 (см. рисунок ниже) – в отсеках 4 (первый модуль) и 1 (второй модуль, при наличии и использовании резервного адаптера ввода/вывода).
3. Модули FC (коммутатор и Virtual Connect), в случае их использования, следует размещать:
   • Если SAS коммутаторы используются – в отсеках 2 (первый модуль) и 5 (второй модуль, при наличии).
   • Если SAS коммутаторы не используются – в отсеках 1 (первый модуль) и 4 (второй модуль, при наличии).

Данные рекомендации связаны с тем, что SAS контроллер, отвечающий за подключение вычислительного модуля к SAS коммутаторам, из-за своих размеров может быть установлен только в первый мезанин-слот вычислителя. Соответственно, для корректного подключения SAS коммутаторы должны ставиться в связанные с первым мезанин-слотом отсеки – 1 и 4. С другой стороны, Ethernet и конвергентные адаптеры имеют самые маленькие размеры, а потому их удобно размещать в небольшом третьем мезанин-слоте, связанном с отсеками 3 и 6.

Нумерация фронтальных отсеков для вычислителей в системе Synergy