hba что это значит

Что такое современный HBA?

В современном мире подсистема хранения сервера или другой системы решения вплоть до персональных компьютеров является очень важной составляющей всей системы. Еще бы, ведь она выполняет роль внешней и основной, относительно RAM и других устройств временного хранения информации, энергонезависимой памяти (слово «внешняя» используется образно, если взять, например, человека, то роль внешней памяти может выполнять тетрадь, куда заносятся различные записи). В большинстве случаев, особенно для корпоративных серверных систем и серверных проектов ЦОДов, цена хранимой информации заметно выше всего остального: хранимая информация имеет высокую ценность, что накладывает определенные требования к подсистеме хранения. Построить такую подсистему можно или на основе HBA, или на основе RAID-контроллера. О первом типе устройств мы и поговорим в данной статье.

Что же такое современный HBA?

Попробуем разобраться в том, что стоит за загадочными латинскими буквами HBA. Предлагаю не особо углубляться в смысл английских слов, составляющих это название, и тем более не пытаться перевести эти слова оптимальным образом на русский язык, поскольку практической работе это не поможет. К слову, линейка микросхем, на которой базируются Microchip Adaptec HBA, называется Input/Output Controller. Этот термин тоже можно использовать без перевода («микросхемы для линейки SAS HBA 12G Input/Output Controller»).

Host Bus Adapter, или HBA — это устройство, которое предоставляет пользователю порты для подключения дисковой или не дисковой аппаратуры. Будучи физически подключенными, такие аппараты напрямую попадают в операционную систему. При подключении дисков к HBA и установке драйвера этого устройства диски будут видны в device manager OS семейства Windows (devmgmt.msc) как блочные устройства, готовые к дальнейшей работе.

Еще раз отмечу, что мы, команда Microchip Adaptec, в своей работе стараемся не переводить термин HBA. Возьмем для примера ряд системных компонентов: процессор (ЦПУ), память (оперативная память) и HBA («Хабэа») как основное устройство, дающее порты для подключения дисковых и не дисковых устройств в систему для создания подсистемы хранения информации.

Подход к термину HBA за последние годы трансформировался, и данный термин больше опирается на режим предоставления доступа к носителям «ячеек», или «контейнеров» памяти (как правило, это сектора SSD- или HDD-дисков) в OS нежели на внутреннюю архитектуру отдельного устройства.

Чтобы изучить эту тему, рассмотрим подробнее следующие вопросы:

С учетом возможностей данной статьи попробуем посмотреть, как эти устройства применяются в различных проектах.

Чтобы разобраться с типами HBA, безусловно, потребуется немного практического опыта, иначе некоторые моменты будут не совсем понятны.

Поговорим об этих пунктах подробнее.

Многие люди, используя материнскую плату для ПК или сервера, и не догадываются, что на плату интегрирован HBA. Они просто рассматривают порты для подключения дисков как отдельные, не объединяя их в какое-то устройство. Обычно настройки таких HBA делаются через BIOS-настройки материнской платы, при этом самих настроек очень немного. Интегрированные HBA обычно строятся на технологии SATA различных поколений, в последнее время приходит технология NVMe, особенно в области десктопных плат. Крайне редко можно встретить серверные материнские платы, где используются интегрированные SAS HBA.

Интегрированные HBA имеют ограничения по типу поддерживаемых операционных систем. Обычно поддерживаются Linux и Windows. Традиционно для таких устройств нельзя говорить о широкой или полной поддержке операционных систем.

Еще один важный пункт: к таким HBA крайне сложно подключить внешние устройства (JBOD-, EBOD-, RBOD-стойки, ленточные библиотеки и т. п.), здесь внешние порты традиционно не используются. Лично я таких решений не встречал, но допускаю, что они могут быть, например, как eSATA-порты.

Идея со скобами-переходниками «внутренний порт — внешний порт» кажется привлекательной, для SATA это в какой-то степени возможно, но для SAS 12G должны быть устройства очень высокого качества, чтобы не нарушать режимы физического уровня, и, как мы уже отметили, SAS-порты редко используются на материнских платах.

HBA в виде отдельных устройств образуют линейки продуктов с разным количеством внутренних и внешних портов и на сегодняшний день базируются на технологии SAS 12G (или SAS3), которая со стороны дисков официально поддерживает режимы SATA I, II, III и SAS-1 SAS-2, SAS-3.

Технология SAS позволяет вам превратить данные устройства исключительно в SATA и использовать их в чистом виде как SATA-устройства, если это нужно. Для этого достаточно подключить SATA-устройства (например, диски) к такому HBA напрямую. По этой причине в линейках Microchip Adaptec уже давно нет SATA RAID-контроллеров и HBA, их легко можно получить из SAS-продуктов.

Но в последнее время необходимость, скажем прямо, «превращать» SAS HBA в SATA HBA встречается все реже и реже по причине того, что индустрия выпускает много моделей дисков для серверного использования парами: с SATA- и с SAS-интерфейсами. (Это точно такие же диски 7200 rpm, но с SAS-интерфейсом). Для SAS HBA при большом количестве дисков использование дисков SAS более предпочтительно.

Современные HBA-устройства обладают разъемом 8x PCI-e V3 для установки в материнские платы. Такой разъем можно назвать современным «серверным» разъемом. Вся текущая линейка RAID-контроллеров/HBA от Microchip Adaptec использует данный слот.

Количество портов на SAS HBA, даже в максимальной реализации (для линейки Microchip/Adaptec 1100/1200 — 24i означает 24 внутренних порта по технологии SAS) не является пределом для проектировщика. С помощью SAS-экспандеров (внешних или внутренних, в виде плат, устройств или микросхем на дисковых корзинах) количество портов на HBA можно увеличить. При серьезном проектировании это требует расчета. При таком подходе HBA виртуализируется с экспандером, и при подключении SATA дисков уже к экспандеру (экспандерам) вы можете получить, например, SATA HBA».

Для интегрированных на плату SATA HBA SAS-экспандеры не применимы. Для них существуют другие устройства, работающие похожим образом, — SATA малтиплайеры (SATA multiplier), но они не распространены и проигрывают SAS-технологии по ряду очевидных причин в корпоративных проектах и проектах ЦОДов.

Следующий момент может показаться сложным для людей, не работающих в области систем хранения данных, он касается моделей HBA и RAID-контроллера.

НBA можно представить как RAID-контроллер без уровня RAID виртуализации дисков: HBA = RAID-контроллер — RAID-уровень. Или, наоборот, RAID-контроллер можно представить как HBA, к которому добавлен дополнительный уровень виртуализации дисков: RAID-контроллер = HBA + RAID-уровень. В свете того, что вся текущая линейка RAID-контроллеров Microsemi Adaptec поддерживает режим HBA, да и у других производителей используется такой же подход, вторая модель представления RAID-контроллера через HBA является предпочтительной. Даже если вы подключаете диски к RAID-контроллеру через SAS-экспандеры, любой отдельный диск независимо олт того, подключен ли он к экспандеру или к контроллеру напрямую, можно «подать» в систему через режим HBA, т. е. диск как диск, используя всю его доступную емкость. Этот же режим с некоторыми дополнениями позволит вам подключить к RAID-контроллеру и не дисковые устройства, например, ленточную библиотеку или внешнюю RAID-стойку (RBOD).

Вот и получается, что если использовать эту модель, то HBA нужен всегда и везде. В том или ином виде его можно найти и выделить практически в любой системе. И без него так же сложно жить, как и без ЦПУ.

Наверняка многим из вас приходилось участвовать в спорах, что лучше — HARDWARE RAID или SOFTWARE RAID. Лично мне, в силу специфики работы, данная тема стала очень близкой. Хочу сразу сказать, что при объективном и профессиональном рассмотрении вопроса и то и другое решение имеет право на жизнь, оба они обладают примерно равной пропорцией достоинств и недостатков и использование того или иного подхода зависит от условий, предъявляемых к системе. Это так же, как с транспортом: в каких-то ситуациях лучше использовать велосипед, а под другие задачи нужен тяжелый самосвал. Этот спор практически нивелирован в линейке продуктов Microchip Adaptec (см. таблицу). Вы можете легко найти модель под то или иное решение или под оба сразу. Исключение составляет HBA в чистом виде (1100 HBA), им никак не «приделать» Hardware RAID-часть (далее HW), и единственная возможность использовать диски на таком устройстве для создания RAID-тома — применить Software-решения (далее SW). В индустрии есть примеры опционального добавления HW RAID к установленному HBA. Например, в прошлом это концепция ROMB-карты от Intel, которая превращала в HW RAID-контроллер интегрированные на плату HBA. Это решение требовало специального слота PCI на плате, который поддерживал это решение. Но ROMB-карта — это большей частью исключение. Обычно на плату можно интегрировать полноценный HW RAID-контроллер. В базовом варианте он работает как HBA; если нужна его RAID—часть, покупается ключ, HW- или SW-типа, и с его помощью RAID-часть и активируется (табл. 1).

Таблица 1.

SW RAID через режим HBA

Линейка 1200 SMART HBA

И RAID-контроллеры серии

Современная техника с каждым годом становится сложнее — хотелось бы обратить внимание на название линейки 1200. Несмотря на то, что с точки зрения классического определения это HW RAID-контроллер, поддерживающий HW RAID 0, 1, 10 и 5, называется он «SMART HBA». Слова «RAID» в названии нет. Все достаточно просто: серия 1200 в основной массе проектов подразумевает использование служебных HW RAID-томов, например, для установки OS. Остальные диски идут в SW RAID-тома или в SDS.

Если объединить 1100 и 1200 в одну линейку, что было бы достаточно справедливо, то в табл. 1 будут только «Есть». Это дает несколько другой подход к опциональному «добавлению» hardware RAID-части для HBA. Вы можете не покупать ее совсем или купить в минимальной реализации, цена при этом не сильно увеличится, и если она потребуется, то активировать ее и использовать для всех дисков или для некоторой их части.

Мы разобрали очень небольшую часть того, что можно называть «виртуализацией» HBA. На самом деле объединение отдельных физических HBA-устройств в виртуальные HBA, или «нарезка» одного устройства на несколько виртуальных HBA, или то и другое вместе — вполне реализуемая задача, но, к сожалению, в данной статье мы не сможем остановиться на этом детально. Вы можете установить несколько HBA SAS и SATA разных поколений от разных производителей и «объединить» их в одно устройство с интегрированным HBA на вашей плате, по крайней мере большинство SW RAID-приложений из состава OS позволят вам работать с дисками, принадлежащими разным устройствам. К этой теме будет относиться и резервирование одного HBA в системе с помощью другого в режиме active — active или active — passive, HBA в разных узлах кластера, позволяет подключить общую для всех узлов систему хранения и прочие решения.

Теперь давайте обратим внимание на порты современного HBA.

Как правило, те, что интегрируются на плату, имеют стандартные порты SATA или, намного реже, SAS (они часто различаются и по цвету) в виде неизменного пока для SAS3 и SATAIII типового1x SATA-разъема. В последнее время можно встретить и порты PCI-e для подключения дисков, формата M.2 (NGFF) и U.2 (SFF-8639), и здесь концепция HBA-устройства, интегрированного на плату, становится совсем призрачной и дает просто удобное обобщение для портов, использующих транспорт PCI-e для «общения» с дисками.

Отдельные HBA- и RAID-контроллеры используют счетверенные порты — SAS 4х. Все современные HBA имеют формат Mini SAS-HD SFF8643 для внутренних подключений и SFF-8644 для внешних.

Как мы уже отметили, 8x PCI ver. 3 предназначается для установки в материнскую плату. Такую реализацию портов в линейке продуктов RAID/HBA Microchip Adaptec используют все без исключения модели из текущего каталога. Слот 8x PCI-e не является проблемой для большинства материнских плат ПК и рабочих станций. В старых продуктах и у других производителей могут встречаться решения 4х и 1х для HBA.

Какие же устройства можно подключить к современному HBA?

Разумеется, диски. Требования, которые предъявляются к современным HBA, — умение работать со всеми типами дисков: SAS/SATA, SSD/HDD, размер сектора 512/4K, SMR/CMR и т. д. Не только передать их в OS, но и поддерживать максимальную производительность, максимальную емкость и другие параметры.

Полная поддержка всех типов дисков и возможность гибкого наращивания портов выгодно отличает серверные HBA в виде отдельных устройств от решений, интегрированных на плату.

Что еще? Не дисковые устройства типа DVDROM или ленточный накопитель.

Если остановиться на ленточных накопителях, то важно убедиться, какой стандарт LTO поддерживается со стороны HBA; есть и более профессиональные характеристики, с которыми можно встретиться в практической работе.

Широким классом устройств, которым может потребоваться подключение к HBA, являются внешние стойки JBOD, EBOD (с SAS-экспандерами внутри), RBOВ (с RAID-контроллерами) и ленточные библиотеки. Два последних семейства требуют портов с HBA-режимом, которые при этом поддерживают функцию под названием MultiLUN. Для этого класса устройств тоже возникает очень много нюансов, и можно говорить о большом количестве функций/режимов, которые могут потребоваться как со стороны HBA, так и со стороны внешней стойки.

Перенос дисков с устройства на устройство для HBA носит глобальный характер и не зависит от производителя. На практике это может понадобиться для замены или модификации вашей системы. Например, любой SATA-диск (или другое SATA-устройство) можно легко перенести на любой другой HBA, скажем, интегрировать на материнскую плату или на отдельный SATA либо SAS HBA любого производителя или на SAS/SATA RAID-контроллер с HBA-режимом. Данные, в частности в виде файлов, если они есть на диске, будут доступны. С внешними или SAS-устройствами будет сложнее, но информация тоже должна быть доступна на любом HBA, имеющем соответствующий порт. К сожалению, с RAID-контроллерами это не так. Если переносится RAID-том (все составляющие его диски) на другое устройство, то информация будет видна только на RAID-контроллерах, имеющих такой же RAID-стек. Например, для продукции Microchip Adaptec не получится напрямую перенести том с RAID-контроллера серии (стек ARC) на RAID-контроллер SMART RAID 3100 (стек SMART RAID), а вот диски в режимах HBA вы перенесете без проблем.

Старые RAID-контроллеры обладали «псевдо режимами» HBA: simple volume (есть и на многих современных RAID-контроллерах, иногда реализуется как RAID0 на одном диске), JBOD-режим и т. п.; при таком режиме диски передавались в OS как отдельные, но на них создавались специальные служебные области — метаданные, особого proprietary-формата, и формат этот мог быть прочитан только на RAID-контроллерах и только такого же стека. Таблица 2 немного объясняет различия между таким режимом и HBA, например, при использовании SW RAID.

Таблица 2.

(небольшое уменьшение доступной емкости диска)

Использование кэша контроллера

К современным HBA предъявляются серьезные требования. Одно из основных — надежность. Если для дисков надежностью можно легко управлять в каких-то пределах через функцию RAID, то у самого HBA этот показатель должен быть максимально высоким. Отдельные HBA-устройства в виде плат обычно являются серверными продуктами. Если взять линейку HBA 1100/1200 Microchip Adaptec, то у всех продуктов официальное значение качества, выраженное через MTBF, составит от 1,36 до 2,73 миллиона часов (при соблюдении температурного режима работы) в зависимости от модели с серверной гарантией на 3 года.

Понятно, что качество HBA большей частью означает надежный доступ к данным, и во многих системах, особенно уровня ЦОДов, это является критическим параметром.

Помимо качества HW и SW (называется Firmware = FW = прошивка) в части HBA важной характеристикой является производительность. К примеру, линейка 1100/1200 обладает производительностью 1 700 000 iops, что позволяет полноценно использовать самые современные SAS/SATA SSD-диски в количествах, как минимум поддерживаемых внутренними корзинами современных серверных корпусов.

Кратко рассмотрим основные функции HBA, которые могут быть реализованы в настройках. Для HBA, интегрированных на материнскую плату, их совсем немного. Например, поддержка NCQ.

Отдельные SAS HBA серверного типа обладают достаточно широким функционалом, невозможно перечислить всё, но назовем самые основные моменты, о которых проектировщик должен знать: поддержка legacy- и uEFI-режимов, умение показать (даже при загрузке) основные параметры, характеристики и режимы работы диска, поддержка SMART, т. е. способность показать SMART-таблицы диска и передать в систему управления SMART error/warning, интеграция в систему управления — возможность удаленного управления через графическую утилиту сразу всеми серверами, где установлены RAID-контроллеры или HBA, поддержка CLI, поддержка функции шифрования со стороны HBA. Как это ни удивительно, существует очень много функций, которые могут быть реализованы на современном HBA. Некоторые очень сложно представить. Назову такую интересную способность: современный HBA, например, Microchip Adaptec 1100, может «видеть» «осколки RAID-томов стека SMART RAID» (естественно, не читать информацию, а информировать администратора, что диск был вынут из RAID-тома), и пока вы не удалите служебную область данного стека, этот диск не будет передаваться в OS.

Если говорить о будущем для HBA, то оно наступает весьма стремительно.

Мы видим, что технология SATA по сути заменяется NVMe.

И на материнских платах мы будем встречать все больше интегрированных решений для дисков и других устройств, использующих PCI-e как транспортный протокол.

Что касается серверных HBA и RAID-контроллеров с режимом HBA как отдельное устройство, то они тоже будут поддерживать NVMe. Это будет высокая степень универсальности: одновременная поддержка NVMe, SAS- и SATA-устройств. Скорее всего — уже через формат порта u.3.

Сюда же добавится SAS-4 24G, расширение адресного пространства при подключении через экспандеры до пятисот или до тысячи устройств (сегодня — около 256), возможно, расширение концепции серверного слота до 16х (требуется для поддержки SSD-дисков) и использование PCI-e v.4. Ожидается также переход кабелей на оптику — появление опции подключения дисков через оптические кабели и т. д. Будущее, как известно, обладает некоторой долей непредсказуемости.

Если говорить о проектах, где можно использовать HBA, то их спектр просто огромен. Практически все типы проектов могут быть реализованы с использованием HBA. Помещаю ниже небольшой рисунок в виде инфографики, чтобы визуализировать сказанное. SAS HBA начинают выполнять роль своего рода «устройства с универсальными портами для подключения всех возможных типов дисков, и не только», что удобно, начиная с домашнего компьютера и заканчивая проектами ЦОДов. В будущем такую роль начнут выполнять 3-mode (tri—mode) HBA (поддержка SAS/SAT/NVMe-устройств).

Но ожидаемая линейка с крайне высокой производительностью уже, наверное, не будет обладать такой широтой поддержки проектов. Если текущие линейки не будут объявлены как EOL (end of life), то в проектах ПК, рабочих станций и серверов начального уровня и выше могут использоваться NVMe-порты материнской платы + HBA SAS 12G/24G при условии, что необходима возможность работы с любыми типами дисков; но это всего лишь предположение — посмотрим. В любом случае текущие линейки продуктов обладают потрясающим проектным охватом.

В данной статье хотелось бы поговорить и о подходах к проектированию с использованием HBA. Но на самом деле даже в одной только области ЦОДов возможных типов проектов так много, что для этого потребовалась бы отдельная статья, хорошо если не книга — учебник.

Надо отметить, что полнофункциональный SAS HBA может оказаться неплохим помощником даже дома или на работе (например, в качестве системы для администратора, с целью обслуживания различных дисков, которые используются на предприятии или в ЦОДе: тестирование дисков, смена прошивки, подготовка к работе, снятие с рабочего режима, измерение производительности и т. д.). Без такого решения не обойтись и в том случае, если вам нужно работать дома со всеми без исключения типами дисков (SAS/SATA, SSD/HDD, 512/4K, SMR/CMR), а также с SW RAID-томами на их основе. Особенно если при этом надо использовать большой набор различных OS. К слову, по сравнению с процессорами или графическими платами для энтузиастов это не такие уж большие затраты.

В наше время не очень сложно найти корзину SAS3 12G на четыре диска 2,5″ для типичного отсека 5,25″, которых в десктопном корпусе при желании может быть достаточно много. В такой же отсек можно установить корзину zero-effort hot swap SATA для дисков 2,5″ и 3,5″. Она будет выполнять две важные функции — быструю загрузку и смену любых других OS, которые нужны в работе, и подключение к SAS HBA дисков SATA 3,5″. Единственный недостаток — невозможность подключения SAS-дисков 3,5«: их производится мало, но работа с ними может потребоваться. Здесь проблема решится кабелем, который поможет подключить их к SAS HBA напрямую, без Hot Swap-корзины. Для SAS-дисков (или SAS + SATA) кабель должен обладать особым разъемом. И вам потребуется, например, Microchip Adaptec HBA 1100 или 1200, которые «заберет» один слот 8х или 16х в вашей системе.

Источник

Оборудование СХД: основные компоненты и их назначение

Система хранения данных (СХД) представляет собой комплекс аппаратного и программного обеспечения, который обеспечивает хранение данных на физических носителях и предоставляет доступ к этим данным на установленных условиях.

При построении СХД инженеры стараются подбирать компоненты решения таким образом, чтобы получить необходимый объем хранения, обеспечить высокую скорость обработки данных на чтение и на запись, а также их максимальную сохранность и доступность.

В этом материале мы представили справочную информацию о том, из чего состоят современные СХД, какие базовые характеристики существуют у их функциональных частей, и на что следует смотреть в первую очередь, если вы не так давно в этой отрасли.

Аппаратные компоненты СХД

С аппаратной точки зрения, система хранения данных выглядит как цепочка компонентов, включающая уровень физического размещения данных (например, жесткие диски), уровни их подключения и обработки (дисковый контроллер и контроллер СХД) и уровень передачи (сетевые адаптеры), на котором будут подключаться клиенты (серверы и компьютеры пользователей).

Рисунок 1. Цепочка оборудования в системе хранения данных.

Все эти компоненты имеют свои особенности и характеристики, которые следует учитывать при построении СХД или модернизации уже существующих систем. Понимание роли и места каждого уровня этой цепочки помогает понять, как образуется производительность системы, из чего складывается ее стоимость и на какие аспекты следует обратить внимание при эксплуатации.

Накопители в СХД

СХД может работать с разными носителями данных: магнитная лента, оптические диски, жесткие диски (HDD) и твердотельные накопители (SSD/NVMe). Мы рассмотрим только два последних типа, так как именно они распространены в качестве универсальных носителей в большинстве систем.

Надо понимать, что накопители в СХД задают аппаратный предел производительности: система не может работать быстрее, чем сумма производительности ее накопителей. Медленнее — может.

Накопители имеют много важных параметров и характеристик, которые следует учитывать при построении СХД, но базовыми атрибутами, пожалуй, можно назвать тип интерфейса и форм-фактор.

Интерфейсы современных HDD и SSD

Интерфейс представляет собой протокол взаимодействия накопителя и вычислительных ресурсов системы. Интерфейс является важным фактором, влияющим на параметры накопителя: от него зависит пропускная способность, время задержки, расширяемость, возможность горячей замены и, конечно же, стоимость.

Интерфейсы SATA и SAS изначально появились на HDD-дисках, но затем стали стандартом и для SSD. Однако SATA и SAS не могут раскрыть весь потенциал производительности SSD, поэтому для подключения твердотельных накопителей все чаще используется интерфейс PCIe и протокол NVMe. Также стоит отметить NL-SAS диски, которые по сути являются гибридом SAS-интерфейса и SATA накопителя.

Таблица 1. Общее сравнение характеристик HDD и SSD накопителей

Форм-фактор

Все HDD имеют схожую конструкцию подвижных элементов, поэтому их внешний корпус — это прямоугольный кейс типа SFF (Small Form Factor, 2.5″) или LFF (Large Form Factor, 3.5″). Каждый из этих типов корпуса может иметь различные разъемы интерфейса.

Рисунок 2. Western Digital Ultrastar SN640 в форм-факторе SFF 2.5″ (слева) и Seagate Exos X12 в форм-факторе LFF 3.5″ (справа).

Flash-накопители не имеют движущихся деталей и поэтому реализованы в более разнообразных формах. Дополнительным импульсом для разнообразия форм-факторов SSD стало развитие PCIe-интерфейса, который добавил варианты прямого размещения накопителей на серверной платформе.

Таблица 2. Форм-факторы HDD и SSD накопителей

*используются в качестве системных дисков

Рисунок 3. Intel Optane SSD в форм-факторе Add-In-Card HHHL (Half-Height Half-Length).

Форм-фактор является достаточно динамичным параметром, который постоянно меняется и совершенствуется в зависимости как от изменения интерфейсов, так и от изменения подходов к построению СХД. Более подробно про актуальные форм-факторы можно прочитать на сайте SNIA.

В современных СХД накопители могут размещаться как в основном корпусе СХД, так и в дисковых корзинах — JBOD (Just a Bunch Of Drives). Физически такие корзины представляют собой корпус для монтажа в стойку, заполненный накопителями. Для NVMe накопителей сейчас активно используются JBOF (Just a Bunch Of Flash), специализированные дисковые корзины для флеш-накопителей. Например, OpenFlex Data24 от компании Western Digital.

Рисунок 4. Дисковая корзина WD Ultrastar Data102.

Дисковый контроллер и бэкплейн

Дисковый контроллер (HBA)

В системах хранения данных дисковый контроллер является устройством, через которое подключенные накопители передаются вычислительным ресурсам системы. Физически дисковый контроллер обычно представлен отдельной картой расширения, но также может быть в виде чипа, интегрированного в непосредственно в материнскую плату. Если говорить простым языком, то дисковый контроллер позволяет видеть и работать с дисками всем следующим уровням СХД.

HBA (Host Bus Adapter, адаптер главной шины) — разновидность дискового контроллера, которая позволяет системе видеть подключенные накопители по отдельности.

Рисунок 5. Дисковый контроллер от Broadcom (9400-8i Tri-Mode Storage Adapter).

Triple-mode

Существуют дисковые контроллеры, которые совмещают в себе возможность одновременной работы сразу с тремя протоколами (SATA, SAS, NVMe). Этот подход удобен и обеспечивает гибкость при проектировании системы хранения, так как позволяет подключать как традиционные SATA-диски, так и сверхбыстрые NVMe накопители.

Бэкплейн и экспандер

В большинстве случаев накопители в СХД подключаются непосредственно через бэкплейн (backplane) — специальную плату в дисковой полке или сервере с разъемами для SAS, SATA, NVMe накопителей, которая соединяется с дисковым контроллером. Сам дисковый контроллер, как правило, поддерживает прямое подключение ограниченного числа накопителей. Для увеличения числа подключаемых дисков используют экспандер. В большинстве случаев он представляет собой чип, который устанавливается на бэкплейн.

Рисунок 6. Бэкплейн Supermicro BPN-SAS-826TQ.

Рисунок 7. SAS-экспандер Broadcom в виде чипа.

Контроллер СХД

Контроллер системы (storage controller, он же управляющий узел или node) является главным управляющим компонентом СХД. Он представляет уровень обработки данных, который отвечает за создание дисковых массивов, расчет контрольных сумм, управление доступом и выполнение других служебных операций.

Контроллер СХД — это функциональный блок, поэтому физически он может быть представлен совершенно разным набором оборудования.

RAID-контроллер

В теории, понятие RAID-контроллера и контроллера СХД часто представляются как тождественные. Это связано с тем, что они оба выполняют свою основную функцию — создают и управляют дисковым массивом. На практике же под RAID-контроллером часто подразумевают адаптер, который вставляется в сервер и создает массив из подключенных накопителей. В таком случае RAID-контроллер создает подсистему хранения данных для конкретного локального клиента (инициатора), но не является СХД в ее устоявшемся значении.

Рисунок 8. RAID-контроллер от Microchip.

Контроллер СХД как специализированный компьютер

Если мы говорим о системе хранения данных как о самостоятельной единице инфраструктуры с подключаемыми по сети клиентами, то в этом случае контроллер СХД — это специализированный компьютер с управляющим ПО. Он оснащен материнской платой, центральным процессором и модулями оперативной памяти. Физически такой контроллер может размещаться как в специализированном корпусе, так и в обычном корпусе для монтажа в стойку.

В некоторых решениях управляющее ПО может брать на себя функцию создания RAID-массива из накопителей, что освобождает от необходимости использовать аппаратный RAID-контроллер. Такой механизм часто применяется в программно-определяемых СХД (software-defined storage), у которых контроллер системы может быть реализован на базе стандартных серверных платформ.

Рисунок 9. Supermicro 2029P-E1CR24H — пример стандартной серверной платформы для программно-определяемых СХД.

Двухконтроллерный режим

Системы хранения данных могут быть одноконтроллерные, двухконтроллерные и многоконтроллерные. Последние два варианта используются для повышения производительности, а также повышенной отказоустойчивости: при аппаратном сбое активного контроллера, второй узел «подхватывает» его работу без остановки всей системы.

Рисунок 10. Схема двухконтроллерной СХД на базе RAIDIX.

В двух- и многоконтроллерных конфигурациях узлы соединены каналами связи. Эти каналы могут отличаться в зависимости от архитектуры и функциональных особенностей системы. Например, в классической двухконтроллерной системе на базе RAIDIX это:

Стоит отметить, что наличие двух контроллеров не означает использование двух отдельных физических корпусов. Нередко дублирующие материнские платы контроллеров размещаются в разных отсеках внутри одной платформы (рисунок 11).

Рисунок 11. Два контроллера внутри одного серверного корпуса.

Вычислительные ресурсы

С увеличением количества выполняемых функций и используемых накопителей, системе требуется больше вычислительных ресурсов. Например в одноконтроллерной СХД RAIDIX на 60 накопителей для оптимальной производительности требуется 2 восьмиядерных процессора с частотой не ниже 2.1 ГГц и 48 ГБ оперативной памяти, а для системы на 600 дисков требуется 2 восьмиядерных процессора с частотой уже от 3.5 ГГц и более 256 ГБ оперативной памяти.

В качестве процессоров для СХД сейчас в основном используются x86 чипы Intel Xeon и, чуть реже, AMD EPYC. Существуют решения собранные на других процессорах (например, на отечественном Эльбрусе), но они менее популярны на рынке.

Таблица 3. Базовые характеристики серверных процессоров Intel и AMD

На объем вычислительных ресурсов в значительной мере влияют установленные бизнес-требования к инфраструктуре хранения, характер и интенсивность нагрузок, а также существующее сетевое окружение.

Сетевые адаптеры

Сетевые адаптеры (хост-адаптеры) являются финальным звеном цепочки обмена данными с клиентом. Именно при помощи этого устройства система хранения данных соединяется с «внешним миром»: серверами, рабочими станциями и другими компонентами сетевой инфраструктуры. Сетевой адаптер представляет собой плату с портами интерфейсов (Ethernet, FC, IB, SAS), которая использует разъем на материнской плате или впаивается в нее напрямую.

Рисунок 12. Сетевой адаптер Mellanox ConnectX-6.

Некоторые хост-адаптеры могут иметь одновременно несколько интерфейсов. Например, у Mellanox есть адаптер, работающий с интерфейсами Infiniband и Ethernet.

Таблица 4. Характеристики современных хост-адаптеров в СХД

Выбор сетевого адаптера зависит от существующей сетевой инфраструктуры, планируемых задач и аппаратной конфигурации системы хранения данных.

Заключение

Оборудование современной СХД можно представить как цепочку уровней, по которым происходит передача и обработка данных между местом их хранения и клиентом. Такое представление процесса дает хорошее понимание того, что может стать «бутылочным горлышком» производительности, какой компонент оборудования несет избыточные характеристики и за счет чего можно сократить общую стоимость решения.

Использование этих знаний поможет сориентироваться при выборе оборудования для СХД, а также позволит упростить процесс подбора компонентов при обновлении и модернизации существующих систем.

Источник