Fibre Channel: жизненная сила подключения к хранилищам в центре обработки данных

Все мы знаем, что объем данных продолжает расти в геометрической прогрессии, и что сами данные являются той новой валютой, на которую рассчитывают предприятия. Способность своевременно реагировать на эти данные может повлиять на конкурентоспособность бизнеса на рынке. Поэтому быстрый и надежный доступ к данным имеет первостепенное значение, а базовая инфраструктура, которая связывает пользователя с системами хранения данных, является более важной, чем когда-либо прежде.

В современном центре обработки данных архитекторы могут выбирать из множества различных вариантов подключения, но Fibre Channel был и останется источником жизненной силы для подключения к общим хранилищам. Это связано с тем, что Fibre Channel является наиболее безопасным, надежным, экономически эффективным и масштабируемым протоколом для соединения серверов и хранилищ, а также единственным протоколом, специально предназначенным для передачи трафика хранилища.

Fibre Channel существует уже несколько десятилетий и по-прежнему является основным выбором для подключения к общему хранилищу в центре обработки данных. С помощью Fibre Channel создается выделенная сеть хранения, а команды хранения SCSI направляются между сервером и устройствами хранения с пропускной способностью до 28,05 Гбит / с (32GFC) и с IOPS, превышающим один миллион. Поскольку Fibre Channel изначально был разработан для трафика хранилищ, он работает очень надежно и обеспечивает высокопроизводительную связь. Адаптеры HPE StoreFabric 16GFC и 32GFC и инфраструктура коммутации обеспечивают пропускную способность, количество операций ввода-вывода в секунду и низкую задержку, необходимые в центрах обработки данных сегодня и на годы вперед.

Достижения в технологии Fibre Channel держат его на опережение, когда дело доходит до подключения.

Другой популярный вариант подключения к хранилищу – iSCSI. С iSCSI, команды хранения в стандартной сети TCP / IP, и это отлично подходит для систем низкого и среднего уровня, где производительность и безопасность не являются основными требованиями. Распространенное заблуждение о Fibre Channel заключается в том, что, поскольку он использует выделенную сеть хранения данных, он дороже, чем iSCSI. Хотя iSCSI может работать в той же сети Ethernet, что и весь обычный сетевой трафик, для обеспечения производительности, необходимой большинству клиентов от своих систем хранения, iSCSI должен работать в сегментированной или выделенной сети Ethernet, изолированной от обычного сетевого трафика. Это означает сложные конфигурации VLAN и политики безопасности или полностью выделенную сеть Ethernet. Так же, как Fibre Channel.

Единственная реальная разница в стоимости между FC и iSCSI – это когда DAC — кабели используются в реализациях iSCSI. Но с ограничением расстояния 5 метров, используя DAC — кабели.

Это может нормально работать для клиентов малого и среднего бизнеса, имеющих только один массив хранения, но DAC — кабели плохо работают в крупномасштабном центре обработки данных.

Когда вы смотрите на топологию сети хранения данных, лучшие практики идентичны для iSCSI и Fibre Channel. Для обеспечения отказоустойчивости и устранения простоев в проекте сети хранения данных (SAN) предусмотрено два идентичных сетевых пути между серверами и хранилищем.

Однако одно существенное отличие заключается в том, что сети Fibre Channel не так подвержены нарушениям безопасности, как Ethernet. Когда вы в последний раз слышали о взломе сети Fibre Channel? Никогда? Как насчет сети Ethernet?

Безопасность является одной из главных причин того, что Fibre Channel будет оставаться опорой в центре обработки данных в течение многих лет.

Современная инфраструктура HPE StoreFabric 16GFC и 32GFC, которая поддерживает команды SCSI, также может запускать команды NVMe в сети SAN или в структуре, как она называется. При использовании Ethernet клиентам потребуется внедрить RDMA с низкой задержкой по сравнению с конвергентным Ethernet или RoCE, чтобы в полной мере использовать преимущества NVMe. Однако этот подход требует сложной реализации Ethernet без потерь с использованием мостов центров обработки данных (DCB) и управления приоритетными потоками (PFC). Сложность сети для NVMe через Ethernet будет огромным барьером для большинства клиентов, особенно когда развернутая сегодня FC SAN прекрасно работает с хранилищем NVMe завтрашнего дня.

Суть в том, что Fibre Channel останется источником жизненной силы для связи между серверами и общим хранилищем.

Источник

Fibre Channel

Первоначально семейство Fibre Channel применялось исключительно в суперкомпьютерах, затем перешло в сети хранения данных, там FC применяется как стандартная возможность подключения к система хранения данных. Получил широкое корпоративное использование.

История

Fibre Channel впервые появился в 1988 году, но только в 1994 году был официально утвержден как стандарт, упрощающий интерфейс HIPPI. В устаревшем протоколе применялся массивный 50-парный кабель с громоздкими коннекторами.

Первоначальными целями интерфейса Fibre Channel по выходу на рынок были повышение дальности действия и упрощение схемы подключения линий передачи. Примечательно, что перед разработчиками не стояло задачи увеличить скорость работы.

Когда Fibre Channel начал вести серьезную конкуренцию на рынке, главным соперником нового интерфейса стал SSA (Serial Storage Architecture) от IBM, с которым долгое время разворачивалась серьезная борьба. В конце концов, рынок выбрал Fibre Channel, таким образом, IBM потеряли контроль над технологиями хранения данных следующего поколения.

Почему покупатель выбрал Fibre Channel? Дело в том, что в процессе разработки интерфейса, основная концентрация усилий пришлась на упрощение подключения, увеличение расстояния действия, однако и не был сделан акцент на увеличение скорости.

Позже, разработчики добавили к приоритетным задачам по развитию FC еще и возможность подключения дисковых накопителей SCSI, обеспечивающих более высокую скорость при увеличенном числе подключенных устройств. Это сделало Fibre Channel практически недосягаемым даже для крупных конкурентов. Кроме того, позднее в Fiber Channel была добавлена поддержка любого количества протоколов «верхнего уровня» (включая ATM и IP) с SCSI, выступающего как приоритетный.

Версии Fibre Channel

Название

Пропускная способность (Gbps)

Производительность (

MBps)

Топологии Fibre Channel

Топология определяет взаимное подключение устройств (трансмиттеров и ресиверов). Существует три типа топологии Fiber Channel:

Обычно под топологией Fibre Channel ошибочно подразумевают топологию сети хранения данных (взаимное подключение оборудования инфраструктуры и оконечных устройств).

Уровни

Fibre Channel имеет пять уровней:

Логические типы портов

Порты различаются в зависимости от поддерживаемой топологии и типа устройства:

Варианты оптической среды передачи данных

Коннекторы Fibre channel LC (слева) и SC (справа)

Тип среды

Скорость (Mbyte/s)

Передатчик

Модификация

Расстояние

1300 нм Длинноволновой лазер

1550 нм Длинноволновой лазер

1300 нм Длинноволновой лазер

1550 нм Длинноволновой лазер

1300 нм Длинноволновой лазер

1300 нм Длинноволновой лазер

Многомодовое волокно (50µм)

850 nm Коротковолновой лазер

Инфраструктура

Также возможно увеличить дальность соединения, благодаря использованию дополнительного трансмиссионного оборудования (мультиплексоров, созданных на основе WDM и прочее)

Главные производители оборудования Fibre Channel: Brocade, Cisco, QLogic, Emulex.

Логические элементы передачи данных

Упорядоченные наборы (Ordered Sets)

Слова размером в 4 байта (Transmission Words) со специальными данными и символами. Разбиение потока данных на упорядоченные наборы сохраняет синхронизацию между передатчиком и ресивером на уровне битов и слов. Упорядоченные наборы начинаются с символа K28.5. Типы наборов определяются сигнальным протоколом.

Разделители кадров

Разделители кадров используются для отделения одного кадра от другого. Существует два кадра:

Базовые сигналы

Уникальный адрес устройства

Каждое устройство имеет уникальный 8-байтовый адрес, называемый NWWN (Node World Wide Name), состоящий из нескольких компонентов:

| | | ±—— Назначаются производителем устройства.

| | ±————— Назначаются IEEE для каждого производителя.

| ±——————- Всегда 0:00 (Зарезервировано стандартом)

±——————— Число произвольно выбирается производителем.

Классы служб (CoS)

В Fibre Channel поддерживается такие классы служб (Classes of service, CoS):

Где применяется?

Fibre Channel широко применяется для создания сетей хранения данных (Storage Area Networks). Высокая скорость передачи данных, низкая задержка и расширяемость, не имеющая аналогов в этой области делают Fibre Channel поистине уникальным интерфейсом. Впрочем, за последние несколько лет, область его применения постепенно перемещается в сегмент высокопроизводительных систем, бюджетный сегмент активно осваивается недорогими решениями iSCSI, простренными на базе Gigabit Ethernet и 10G Ethernet.

Источник

Первое знакомство

Сетевое соединение vs. шина ввода/вывода

Сначала был компьютер. Первый, он же и единственный. Боже, как это было просто. Все данные хранились где-то глубоко в его недрах, и если их там не было,
то их не было вообще. Потом появились сети, призванные объединить такие компьютеры для совместной работы. На этом эпоха централизованного хранения завершилась, потому что для повышения производительности гораздо удобнее оказалось приблизить ресурсы поближе к рабочим группам. Таким образом, в попытке минимизировать сетевую нагрузку накопители информации были были равномерно разделены между множеством серверов и настольных компьютеров.

В итоге, сейчас мы имеем то, что имеем, и какой бы простой не являлась сеть, в ней одновременно существуют два канала передачи данных. На виду всегда сетевой канал, т. е. собственно сеть, по которой идет обмен между клиентами и серверами. Вместе с тем существует и второй канал, по которому происходит обмен данными между системной шиной компьютера и собственно устройством хранения. Это может быть канал между контроллером и жестким диском, если говорить в терминах ПК, или между RAID-контроллером и внешним дисковым массивом, как в случае сколь-нибудь серьезного сервера.

Такое разделение каналов во многом объясняется различными требованиями к пересылке данных. В сети на первое место встает доставка нужной информации одному клиенту из множества возможных, для чего необходимо создать определенные и весьма сложные механизмы адресации и некий «сетевой этикет» при одновременной работе всех клиентов. В итоге, перед каждой пересылкой по сети приходится выполнять ряд неизбежных процедур в соответствии с объявленными правилами и сознательно мириться с возникающими при этом задержками и снижением пропускной способности сетевого канала. Кроме того, сетевой канал предполагает значительные расстояния, поэтому здесь предпочтительна передача данных по последовательному соединению.

А вот канал хранения выполняет крайне простую задачу, предоставляя возможность обмена с заранее известным накопителем данных. Единственное, что от него требуется — делать это максимально быстро. Расстояния здесь, как правило, небольшие, поэтому производители могут использовать более дорогой кабель для параллельной передачи данных.

Если звезды зажигаются…

В последнее время в воздухе снова витает идея централизации. Или же, если угодно, то ее можно назвать концепцией истинно разделяемых ресурсов, где накопители не принадлежат никому конкретно, а могут напрямую использоваться любым другим ресурсом сети. Актуальность централизации во многом определяется осознанием все увеличивающейся роли хранения данных в современной вычислительной среде. Разве не заманчиво иметь возможность двигать устройства хранения в сети, как шахматные фигуры, и не привязывать их жестко к шинам ввода-вывода отдельных компьютеров?

Предполагается, что такая схема улучшит производительность и масштабируемость вычислительной среды вместе с более легким администрированием, а также повысит доступность данных. В итоге, мы вправе ожидать существенного снижения стоимости владения данным ресурсом, что справедливо ставится во главу угла финансовыми службами.

Очевидно, что всего этого можно добиться, если интегрировать накопители в сеть наряду с серверами, клиентскими машинами и прочими принтерами, т. е. использовать для этого существующий сетевой канал. К сожалению, после такого шага сеть просто впадет в кому, подавая лишь слабые признаки жизни. Конечно, если бы мы до сих пор использовали MS-DOS или все разом перешли на Linux, то с ними сетевой канал еще бы справлялся, но ведь по совершенно необъяснимым причинам пользователи предпочитают монстров типа Windows NT, да еще и пытаются передавать по этому же каналу потоковое видео.

В то же время существующему каналу хранения такие нагрузки по зубам, но вряд-ли в нынешнем виде он подходит для реализации истинно разделяемых ресурсов. Если обратиться к физической реализации такого канала, то самым сильным игроком здесь был и остается старый добрый параллельный SCSI, но при всей нашей любви к нему необходимо признать существенные ограничения на допустимую длину физической линии. Дело в том, что волновые характеристики отдельных проводников слегка отличаются, поэтому при передаче на большие расстояния возникает дифференциальная задержка в виде неодновременного прихода импульсов по разным сигнальным парам. В итоге получаем не более 25 метров даже при использовании дифференциального интерфейса HVD. Кроме того, передача по параллельному кабелю влечет за собой дополнительные расходы вследствие большей сложности монтажных работ, а также высокой стоимости используемых кабелей и коннекторов.

Fibre channel — хорошо забытое старое

Исходя из присущих параллельному соединению ограничений, сама идея использовать последовательную линию для канала хранения выглядит не такой уж и безумной, как это могло показаться с первого раза. Совершенно не зря говорят, что технический прогресс развивается по спирали. Если заглянуть в мир mainframe, то там практически с самого начала живет разработанный IBM стандарт последовательной передачи под названием ESCON (Enterprise Systems Connection) с использованием запатентованной IBM кодировки 8b/10b.

Когда в 1988 году ANSI (Американский Национальный Институт по Стандартизации) зарегистрировал рабочую группу по разработке «практичного, недорогого и вместе с тем расширяемого метода для высокоскоростного обмена данными между ЭВМ, суперкомпьютерами, рабочими станциями, персональными компьютерами, накопителями и устройствами отображения», мало кто из сторонних наблюдателей верил в успех, слишком уж глобальна и вызывающе звучала постановка задачи. Возможно, именно из-за такой недооценки потенциального соперника IBM с легкостью выдала лицензию на кодировку 8b/10b без отчислений владельцу (royalty-free license).

К тому времени парадигма Network (сетевое соединение) — Channel (шина ввода/вывода) была уже столь очевидна, что новый метод было решено назвать Fiber Channel. Через некоторое время разработчики спохватились, что английское слово Fiber слишком уж сильно ассоциируется с оптоволоконными линиями, поэтому оно было заменено на французскую (или британскую) транскрипцию Fibre. Учитывая, что основной топологией этого метода была избрана петля с арбитражным доступом (Arbitrated Loop), то его полное название составило Fibre Channel Arbitrated Loop или FC-AL.

Самое смешное, что после некоторых раздумий корпорация IBM тоже бросилась вдогонку, разработав свой собственный метод последовательной передачи под названием SSA (Serial Storage Architecture). Видимо, хотели сделать собственный закрытый стандарт, но получилось, как с микроканальной шиной MCA — основная масса разработчиков и производителей предпочла открытую архитектуру.

При всем богатстве выбора…

Как видно из приведенной таблицы, по сумме вышеперечисленных характеристик FC-AL выглядит явным фаворитом. Правда, справедливости ради стоит отметить новый HiPPI-800, который, несмотря на свое название High Performance Parallel Interface, также использует последовательную передачу данных и имеет во многом сходные характеристики канала (до 10 км, полудуплекс при эффективной полосе пропускания 80 Mbytes/s).

Мы совершенно сознательно не считаем разработанную IBM технологию SSA сколь-нибудь серьезным соперником технологии FC-AL. Не станем пока вдаваться в технические детали, о которых вдоволь поговорим позже, а сфокусируемся лишь на маркетинговых вопросах. В свое время инициатива IBM была поддержана очень небольшим количеством независимых производителей, и только несколько из них сумели продвинуться дальше стадии разработки. А потом начались потери. Компания Conner, выпустившая на рынок жесткие диски SSA, была приобретена компанией Seagate, являвшейся уже к тому времени членом FCLC (Fiber Channel Loop Community). В итоге — ни Коннера, ни дисков.

На данный момент жесткие диски SSA можно приобрести только у IBM и Xyratex, которая сама базируется на бывшем заводе IBM. Долгое время из IBM исходили слухи о скором выпуске RAID-контроллера SSA, макет которого возили по компьютерным выставкам и демонстрировали всем желающим. А потом возить перестали, объявив о продаже прав на продукт компании Adaptec. Через некоторое время Adaptec перешел под знамена FCLC и блистательно похоронил наши надежды. Поэтому сейчас нам в очередной раз искренне жаль всех пользователей SSA, которые остались сиротами после объявления IBM о начале разработки нового стандарта FC-EL (Fiber Channel Enhanced Loop). Интересно, а сколько раз нужно наступить на грабли, чтобы выработать устойчивый рефлекс, как у собаки Павлова?

Первое знакомство

На момент выхода данной статьи Fibre Channel может быть описан как технология интерфейса передачи данных с гарантированной скоростью 1.0625 Gbit/s, поддерживающая такие распространенные способы обмена, как SCSI или IP. Благодаря такой универсальности, FC-AL может использоваться как в высокоскоростных шинах ввода/вывода (канал хранения), так и в LAN (сетевой канал) с максимальной длиной физической линии до 10 километров при использовании оптоволокна. К другим очевидным достоинствам Fibre Channel можно отнести поддержку различных топологий (точка-точка, петля с арбитражным доступом и коммутируемая звезда).

В основу технологии положена методика простого перемещения данных из буфера передатчика в буфер приемника с полным контролем этой и только этой операции. Благодаря такому «разграничению прав и обязанностей» для FC-AL совершенно неважно, как обрабатываются данные индивидуальными протоколами до и после помещения в буфер, вследствие чего тип передаваемых данных (команды, пакеты или кадры) не играет никакой роли.

И чтобы совсем приблизиться к идеалу, собственный размер кадра в FC-AL увеличен до 2148 байт для эффективной работы с большими массивами. В то же время, для уменьшения накладных расходов при передаче коротких сообщений размер кадра может пропорционально уменьшаться вплоть до 36 байт.

Таким образом, технология Fibre Channel может смело претендовать на роль универсальной Магистрали, пропускающей потоки данных как существующих шин ввода/вывода, так и LAN соединений.

Во избежание возможных недоразумений сразу оговоримся, что мы не предлагаем всем дружно отказаться от IDE, SCSI, Ethernet или FDDI. Совсем нет, это было бы так же глупо, как и призывы некоторых производителей тянуть ATM к каждому рабочему месту.

Совершенно очевидно, что технологическое превосходство того или иного стандарта само по себе не может служить достаточным основанием для отказа от уже используемых решений. Иначе кто бы сейчас в здравом уме покупал IDE диски, когда есть существенно более продвинутые SCSI? Но зачем платить лишние деньги за конвейерную обработку, если на компьютере не установлена многозадачная и многопотоковая ОС? И даже если установлена, то так ли часто большинству из нас приходится пользоваться этими возможностями? С другой стороны, нам неизвестны примеры успешного использования IDE дисков для аппаратного обеспечения посещаемых Интернет-ресурсов.

Примерно то же самое можно сказать и применительно к технологии Fibre Channel. Вряд ли на сегодняшний день есть большой смысл в ее применении на домашнем ПК или даже на рабочем месте в офисе. А вот объединить ресурсы серверов и накопителей в единый пул для центра обработки информации с помощью Fibre Channel можно гораздо эффективнее, чем при использовании стандартного набора Gigabit Ethernet + Ultra2 SCSI.

И при этом даже останется немного денег, чтобы после праведных трудов отдохнуть, ни в чем себе не отказывая 🙂

Источник

Основы Fibre Channel

Продолжаю вещать на тему прояснения основных представлений об FC SAN. В комментариях к первому посту меня попрекнули тем, что копнул недостаточно глубоко. В частности — мало сказал о непосредственно FC и ничего о BB credits, IP и multipathing. Multipathing и IP — темы для отдельных публикаций, а про FC, пожалуй, продолжу. Или начну, как посмотреть.

Для начала, небольшое терминологическое отступление (навеянное опять же комментарием к предыдущему посту).

Fibre or Fiber?: Изначально технология Fibre Channel предполагала поддержку только волоконно-оптических линий (fiber optic). Однако, когда добавилась поддержка меди, было принято решение название в принципе сохранить, но для отсылки на стандарт использовать британское слово Fibre. Американское Fiber сохраняется преимущественно для отсылки на оптоволокно.

IBM Redbook «Introduction to SAN and System Networking»

Начало

По аналогии с сетевой моделью OSI, Fibre Channel состоит из пяти уровней. Каждый уровень обеспечивает определённый набор функций.

FC-0 — уровень физических интерфейсов и носителей. Описывает физическую среду: кабели, коннекторы, HBA, трансиверы, электрические и оптические параметры.

А теперь подробнее об этих и других непонятных словосочетаниях. В данной статье рассмотрим только нижние три уровня, как наиболее значимые при создании и управлении инфраструктурой FC SAN.

Я, пожалуй не буду приводить сложных таблиц разновидностей кабелей, передатчиков и их характеристик. Во-первых, потому что неудобно тут вставлять таблицы, во-вторых, потому что эти таблицы есть везде, где хоть что-то написано про FC (русская википедия, нерусская википедия), в-третьих (и ключевое), — на мой взгляд, главное понять суть, а справочные данные найти не проблема.
А суть в том, что есть два типа волокна: многомодовое и одномодовое.
Многомодовое (Multimode Fiber, MMF) — относительно широкое в сечении (50-62,5 микрон), предназначенное для коротковолновых лазерных лучей. «Многомодовое» значит, что свет по каналу может проходить разными путями — множественно отражаясь от стенок волокна. Это делает кабель менее чувствительным к перегибу, но снижает силу и качество сигнала, что ограничивает данный тип только небольшими дистанциями — до 500 м.
Одномодовое (Singlemode Fiber, SMF) — волокно малого диаметра (8-10 микрон), сигнал по которому передаётся длинноволновым лазером, свет которого не виден человеческому глазу. Тут свет может перемещаться единственным путём — по прямой, соответственно сигнал передаётся быстрее и точнее, но оборудование для обеспечения такого рода сигналов стоит значительно дороже, так что используется, в основном, для связи на больших расстояниях (до 50 км). К перегибам и вообще любым искривлениям одномодовое волокно куда чувствительнее.
Тут рядом есть более подробная статья про типы волокна.
Стоит иметь ввиду, что для соединения двух устройств используется два кабеля. Один используется для передачи, другой для приёма. Потому важно подключить их корректно (Tx одной стороны к Rx другой).

Отдельно хочу упомянуть про такой термин как тёмная оптика (dark fiber). Сей термин не значит, что она как-то специальным образом тонирована. Это просто выделенные оптические линии связи, как правило, для связи на больших расстояниях (между городами или далеко отстоящими зданиями), которые берутся в аренду, и для использования которых не требуется дополнительное оборудования усиления сигнала (его обеспечивает владелец). Однако, так как это просто оптический кабель, отданный в ваше полновластное распоряжение, до тех пор пока вы не пустите по нему свой световой сигнал, он остаётся «тёмным».

ASIC (аббревиатура от англ. application-specific integrated circuit, «интегральная схема специального назначения») — интегральная схема, специализированная для решения конкретной задачи. В отличие от интегральных схем общего назначения, специализированные интегральные схемы применяются в конкретном устройстве и выполняют строго ограниченные функции, характерные только для данного устройства; вследствие этого выполнение функций происходит быстрее и, в конечном счёте, дешевле. Примером ASIC может являться микросхема, разработанная исключительно для управления мобильным телефоном, микросхемы аппаратного кодирования/декодирования аудио- и видео-сигналов (сигнальные процессоры).

Transceivers, трансиверы или SFP — в случае FC-коммутаторов это отдельные модули, необходимые для подключения кабеля к порту. Различаются на коротковолновые (Short Wave, SW, SX) и длинноволновые (Long Wave, LW, LX). LW-трансиверы совместимы с многомодовым и одномодовым волокном. SW-трансиверы — только с многомодовым. И к тем и к другим кабель подключается разъёмом LC.
Есть ещё SFP xWDM (Wavelenght Division Multiplexing), предназначенные для передачи данных из нескольких источников на дальние расстояния единым световым пучком. Для подключения кабеля к ним используется разъём SC.

8/10 и 64/66

Первое, что происходит на этом уровне — кодирование / декодирование информации. Это довольно мудрёный процесс, в ходе которого каждые 8 бит поступающей информации преобразуются в 10-битное представление. Делается это с целью повышения контроля целостности данных, отделения данных от служебных сигналов и возможности восстановления тактового сигнала из потока данных (сохранение баланса нулей и единиц).
Это ведёт к заметному снижению полезной пропускной способности, ибо как можно подсчитать, 20% потока данных является избыточной служебной информацией. А ведь кроме всего прочего, немалую часть этого потока может занимать служебный трафик.
Однако хорошая новость в том, что кодирование 8/10 используется в оборудовании 1G, 2G, 4G и 8G. В части реализаций 10G и начиная с 16G кодирование осуществляется по принципу 64/66, что существенно увеличивает полезную нагрузку (до 97% против 80% в случае 8/10).

Ordered sets

Инициализация соединения (Link initialization)

Фреймы (Кадры, Frames)

Промежутки между фреймами заполняются специальными «заполняющими словами» — fill word. Как правило, это IDLE, хотя начиная с FC 8G было стандартизовано использование ARB(FF) вместо IDLE, в целях снижения электрических помех в медном оборудовании (но по-умолчанию коммутаторами используется IDLE).

Последовательности (Sequences)

Чаще всего источник стремится передать приёмнику гораздо больше информации, чем 2112 байт (максимальный объём данных одного фрейма). В этом случае информация разбивается на несколько фреймов, а набор этих фреймов называется последовательностью (sequence). Чтобы в логическую последовательность фреймов не вклинилось что-то лишнее при параллельной передаче, заголовок каждого фрейма имеет поля SEQ_ID (идентификатор последовательности) и SEQ_CNT (номер фрейма в последовательности).

Обмен (Exchange)

Одна или несколько последовательностей, отвечающих за какую-то одиночную операцию, называется обменом. Источник и приёмник могут иметь несколько параллельных обменов, но каждый обмен в единицу времени может содержать только одну последовательность. Пример обмена: инициатор запрашивает данные (последовательность 1), таргет возвращает данные инициатору (последовательность 2) и затем сообщает статус (последовательность 3). В этот набор последовательностей не может вклиниться какой-то посторонний набор фреймов.
Для контроля этого процесса заголовок каждого фрейма включает поля OX_ID (Originator Exchange ID — заполняется инициатором обмена) и RX_ID (Responder Exchange ID — заполняется получателем в ответных фреймах, путём копирования значения OX_ID).

Классы обслуживания (Classes of Services)

Различные приложения предъявляют разные требования к уровню сервиса, гарантии доставки, продолжительности соединения и пропускной способности. Некоторым приложениям требуется гарантированная пропускная способность в течение их работы (бэкап). Другие имеют переменную активность и не требуют постоянной гарантированной пропускной способности канала, но им нужно подтверждение в получении каждого отправленного пакета. Для удовлетворения таких потребностей и обеспечения гибкости, FC определяет следующие 6 классов обслуживания.

Class 1

Для этого класса устанавливается выделенное соединение, которое резервирует максимальную полосу пропускания между двумя устройствами. Требует подтверждения о получении. Требует чтобы фреймы попадали на приёмник в том же порядке, что вышли из источника. Ввиду того, что не даёт другим устройствам использовать среду передачи, используется крайне редко.

Class 2

Без постоянного соединения, но с подтверждением доставки. Не требует соответствия порядка отправленных и доставленных фреймов, так что они могут проходить через фабрику разными путями. Менее требователен к ресурсам, чем класс 1, но подтверждение доставки приводит к повышенной утилизации пропускной способности.

Class 3

Без постоянного соединения и без подтверждения доставки. Самый оптимальный с точки зрения использования ресурсов фабрики, но предполагает, что протоколы верхних уровней смогут собрать фреймы в нужном порядке и перезапросить передачу пропавших фреймов. Наиболее часто используемый.

Class 4

Требует постоянного соединения, подтверждение и порядок фреймов как и класс 1. Главное отличие — он резервирует не всю полосу пропускания, а только её часть. Это гарантирует определённое QoS. Подходит для мультимедиа и Enterprise-приложений, требующих гарантированного качества соединения.

Class 5

Ещё до конца не описан и не включен в стандарт. Предварительно, класс, не требующий соединения, но требующий немедленной доставки данных по мере их появления, без буферизации на устройствах.

Class 6

Вариант класса 1, но мультикастовый. То есть от одного порта к нескольким источникам.

Class F

Класс F определён в стандарте FC-SW для использования в межкоммутаторных соединениях (Interswitch Link, ISL). Это сервис без постоянного соединения с уведомлениями о сбое доставки, использующийся для контроля, управления и конфигурирования фабрики. Принцип похож на класс 2, но тот используется для взаимодейтсвия между N-портами (порты нод), а класс F — для общения E-портов (межкоммутаторных).

Flow Control

В целях предотвращения ситуации, когда отправитель перегрузит получателя избыточным количеством фреймов так, что они начнут отбрасываться получателем, FC использует механизмы управления потоком передаваемых данных (Flow Control). Их два — Buffer-to-Buffer flow control и End-to-End flow control. Их использование регламентируется классом обслуживания. Например, класс 1 использует только механизм End-to-End, класс 3 — Buffer-to-Buffer, а класс 2 — оба эти механизма.

Buffer-to-Buffer flow control

Принцип технологии — кредит в каждый дом отправка любого фрейма должна быть обеспечена наличием кредита на отправку.
Все поступающие на вход порта фреймы помещаются в специальную очередь — буферы. Количество этих буферов определяется физическими характеристиками порта. Один буфер (место в очереди) соответствует одному кредиту. Каждый порт имеет два счётчика кредитов:
TX BB_Credit — счётчик кредитов передачи. После отправки каждого фрейма, уменьшается на 1. Если значение счётчика стало равным нулю — передача невозможна. Как только от порта-приёмника получено R_RDY, счётчик увеличивается на 1.
RX BB_Credit — счётчик кредитов приёма. Как только фрейм принят и помещён в буфер, уменьшается на 1. Когда фрейм обрабатывается или пересылается дальше, счётчик увеличивается на 1, а отправителю отправляется R_RDY. Если значение счётчика падает до 0, то в принципе, приём новых фреймов должен быть прекращён. На практике, из-за ошибок синхронизации кредитов может возникнуть ситуация, что источник прислал ещё один-несколько фреймов уже после того как RX BB_credit стал равен нулю. Данная ситуация называется buffer overflow. В большинстве реализаций порт обрабатывает такие ситуации «по-доброму» — за счёт резервных буферов. Хотя некоторое оборудование в таких случаях может сынициировать Link Reset.

Отсюда исходит сильное влияние расстояния между портами на производительность. Чем выше расстояние и больше пропускная способность, тем больше фреймов будет отправлено (читай кредитов передачи потрачено) ещё до того как получатель получит хотя бы первый. Ситуацию облегчает особенность архитектуры FC-коммутаторов. Дело в том, что количество буферов не закреплено жёстко за каждым портом (кроме восьми обязательных), а является общим для всех. И в случае определения «дальних линков» (автоматически или вручную) количество выделяемых коммутатором буферов для этого порта увеличивается. Другой плюс общей памяти — не требуется гонять буферы от одного порта к другому внутри коммутатора.

End-to-End flow control

Реализуется счётчиком EE_Credit, который определяет максимум фреймов, которые источник может отправить приёмнику без получения подтверждения (Acknowledge, ACK). В отличие от BB_Credit распространяется только на фреймы с данными, а обмен/учёт происходит между конечными нодами.

Конец

Изначально мне казалось, что статья будет раза в два меньше, но в ходе написания всплыло много деталей, без которых счастье казалось не полным. Ещё кучу вещей, которые хотелось бы осветить, пришлось пока отбросить — процесс написания грозил стать бесконечным. Если у кого-то возникнут замечания, предложения и пожелания к тому, про что ещё стоит написать, буду признателен. И спасибо всем, кто дочитал до этого места.

Были использованы материалы из следующих источников:
IBM Redbook «Introduction to SAN and System Networking»
EMC «Network Storage Concepts and Protocols»
Brocade «SAN Fabric Administration Best Practices Guide»

Источник