Рекомендации по телекоммуникационным узлам

Материал из RSU WiKi
Перейти к: навигация, поиск
Pen.pngЭта статья находится в процессе написания.
Если вы считаете, что её стоило бы доработать как можно быстрее, пожалуйста, скажите об этом.

Содержание

Введение

Минимальные требования

Серверная (аппаратная) комната

TIA 942:

3.5.3. Рабочие параметры окружающей среды

Необходимо контролировать температуру и влажность, чтобы они постоянно находились в пределах указанных ниже рабочих диапазонов:

  • температура по сухому термометру психрометра: от 20ºС до 25ºС;
  • относительная влажность: от 40% до 50%;
  • точка росы:не более 21ºС;
  • скорость изменения: не более 5ºС в час;
  • в зависимости от местных условий окружающей среды может понадобиться оборудование для осушения и увлажнения воздуха.

---

Если аппаратная комната маленькая (~3x3) и бюджет ограничен:

  1. Стойки либо совсем открытые, либо перфорированные перед и зад.
  2. 2 кондиционера тепловой мощностью > потребляемой мощности стоек; очень-очень желательно, чтобы были одинаковые, соединены модулем согласования (напр. СРК-2.1 или СРК-М[1]) и подцеплены на разные электрические фазы.
  3. поток воздуха с кондиционеров направлен в сторону забора воздуха стойками (на бытовых кондеях это регулируется), получается, что перед стойками в комнатушке получается холодно, а позади - жарко. Так достигается наилучшее охлаждение содержимого шкафов.
  4. В комнатах прорублены 2 вент. отверстия, 25х25 см, не больше; расположены так - одно у самого пола, второе под самым потолком. Сделано для того, чтобы в случае, если кондиционеры отпадут или залипнут (с бытовыми это бывает) и температура подскочит, заработала естественная конвекция, которая не даст температуре вырасти до небес.

Одной из неочевидных, но полезных мер, является повышение температуры в помещениях с серверами с 12-14 до 20-22 градусов Цельсия, что не только значительно снижает нагрузку на системы охлаждения, но и позволяет специалистам, обслуживающим ЦОД, чувствовать себя более комфортно в помещениях.

Автоматическое освещение — ещё один простой способ увеличения энергоэффективности ЦОД'а. И пусть расходы на освещение составляют всего 2-3% от общей энергозатраты, его своевременное выключение — элементарная вещь, о которой нередко забывают [2].

Шкаф 19-inch

  • Патч-панель
  • Кабельный организатор (рекомендуется устанавливать 1U кабельный организатор на каждые 24 порта патч-панелей и свитчей)
  • Коммутатор
  • ИБП
  • Блок розеток (спец-19U или настенный)
  • Таблички на все активное оборудование и адаптеры питания (если есть)
  • Табличка с предостережениями и контактными данными на видном месте шкафа

Если шкафа нет

  • Охраняемое или малодоступное помещение (компьютерный класс, вахта)
  • Коммутатор (В случае, если у него нет стоечных "ушей", то рекомендуется устанавливать его в 2 см. от короба и крепить в 4 местах на 2 сторонний скотч самой плоской и ровной стороной к стене. В такой конфигурации свитч будет крепко держаться на кабеле, а скотч не даст ему ерзать по сторонам.)
  • ИБП
  • Блок розеток (настенный или, в крайнем случае, "пилот")
  • Таблички на все активное оборудование и адаптеры питания (если есть)
  • Табличка с предостережениями и контактными данными на видном месте рядом с оборудованием

Монтаж оборудования

Адаптер с RJ45 на RJ45 и RJ11 для подключения по одному кабелю аналогового телефона и сети 100 Мбит
  • Жгутирование и аккуратная укладка кабеля
  • Маркировка кабеля в двух местах
  • Подписи на патч-панелях (рекомендуется дублировать соответствие портов свитчей, патч-панелей и меток в электронном виде с помощью wiki-образной служебной базы знаний)
  • Маркировка патч-кордов
  • "Паспорт узла" с типом используемого оборудования, ip и mac адресами, таблицей соотвтетствия подключенных портов к патч-панели
  • Таблички с контактными данными владельца, ip и mac адресами наклеиваются на все оборудование и их внешние БП (если есть)

Обеспечение надежности электропитания

Все электрические линии должны соответствовать ПУЭ, а не являть собой жалкое зрелище в виде соплей от плафона освещения (бывает и так).

Отдельная линия от электрощита

Трехфазное питание однофазных потребителей

В случае, если на узел приходит трехфазное электропитание, для питания особо важных стоек можно воспользоваться автоматическим электронным переключающим устройством, например на базе ПЭФ-301 [3] [4]:


Универсальный автоматический электронный переключатель фаз ПЭФ-301 предназначен для питания промышленной и бытовой однофазной нагрузки 220В/50Гц от трехфазной четырехпроводной сети 3х380+N с целью обеспечения бесперебойного питания особо ответственных однофазных потребителей и защиты их от недопустимых колебаний напряжения в сети.

В зависимости от наличия и качества напряжения на фазах ПЭФ-301 автоматически производит выбор наиболее благоприятной фазы и запитывает от нее однофазную нагрузку любой мощности:

  • при мощности до 3.5кВт (16А) нагрузка питается непосредственно от ПЭФ-301;
  • при мощности, превышающей 3.5кВт (16А), ПЭФ-301 управляет катушками магнитных пускателей соответствующей мощности (МП в комплект не входят).

Пороги минимального и максимального напряжения задаются пользователем.


Автоматический переключатель фаз на базе электронного блока ПЭФ-301

Автоматическое включение резерва (АВР)

ИБП

Для всех типов узлов необходимо стремиться использовать ИБП типа Smart UPS. Сгоревший коммутатор стоит гораздо больше копеечной экономии на типе используемого ИБП.

Необходимо регулярно проводить тестирование жизнеспособности аккумуляторных батарей, например принудительным отключением питания узла в нерабочее время или сезон отпусков, и производить их своевременную замену.

Весьма удобно вести учет установленных батарей с датой ввода в эксплуатацию, исходя из средней продолжительности службы батарей можно прогнозировать покупку запасных батарей и их замену.

Электропитание кондиционеров

Щит электропитания и управления кондиционеров: трехфазный ввод, блок ротации УРК-2Т подключен через ПЭФ-301, нагрузка (кондиционеры) на отдельных автоматах+устройствах защиты от перенапряжения сети, переключаются через магнитные пускатели Eberle, подогрев внешних блоков включен отдельно

Заземление

Заземление должно быть подведено на шкаф отдельным кабелем желто-зеленым (не менее 10 кв мм) к узлу от общего контура заземления здания, от точки повторного заземления нулевого провода, либо от отдельного контура технологического заземления. Все оборудование д.б. дополнительно соединено с корпусом шкафа [5][6].

Заземляющая инфраструктура здания должна иметь следующие соединения [7]:

  • проводник калибра 1 AWG[8] или крупнее, постоянно соединённый с телекоммуникационной шиной заземления (TGB – Telecommunications Grounding Busbar), в машинном зале. Для проектирования инфраструктуры заземления и постоянного соединения телекоммуникаций обратитесь к док. ANSI-J-STD-607-A;
  • проводник постоянного соединения с заземляющей шиной для каждого обслуживающего помещение распредустройства или щита, размер проводника определяется по док. NEC 250.122 и по рекомендациям изготовителей;
  • проводник калибра 6 AWG или крупнее, постоянно соединённый с HVAC-оборудованием;
  • проводник калибра 4 AWG или крупнее, постоянно соединённый с каждой колонной в машинном зале;
  • проводник калибра 6 AWG или крупнее, постоянно соединённый с каждым лестничным лотком верхнего расположения, кабельным лотком и жёлобом для прокладки кабеля, входящим в зал;
  • проводник калибра 6 AWG или крупнее, постоянно соединённый с каждым кабелепроводом, водопроводной трубой и воздуховодом, входящим в зал;
  • проводник калибра 6 AWG или крупнее, постоянно соединённый с каждой шестой опорой фальшпола в каждом направлении;
  • проводник калибра 6 AWG или крупнее, постоянно соединённый с каждым компьютерным или телекоммуникационным шкафом, стойкой или рамой. Не соединяйте стойки, шкафы и рамы последовательно.

Для удобства соединения можно использовать спец. шину, например Hyperline TGRD-19:

Каждый элемент конструкции шкафа или стойки должен быть заземлён. Это достигается тем, что шкаф или стойку собирают таким образом, чтобы обеспечивалась электрическая непрерывность всех элементов конструкции. Для сварных стоек: сварная конструкция служит в качестве метода постоянного соединения конструктивных элементов стойки.

Стойки с болтовым креплением элементов: сборке стоек с болтовыми соединениями следует уделить особое внимание. Непрерывности заземления невозможно достигнуть с помощью обычных болтов, используемых для сборки и стабилизации аппаратных стоек и шкафов. Болты, гайки и винты, используемые для сборки стоек, не предназначены конкретно для целей заземления. Кроме того, в большинстве случаев стойки и шкафы окрашены. Поскольку краска не проводит электрический ток, она может стать изолятором и обесценить любую попытку выполнить желаемое заземление. В большинстве случаев питание подводится через верхнюю или нижнюю часть стойки. Без наличия надёжного постоянного соединения всех четырёх боковых сторон стойки существует угроза безопасности от контакта с питающими проводами, находящимися под напряжением. Приемлемым методом обеспечения постоянного соединения является удаление краски в точке контакта со сборочными крепёжными изделиями. Этот метод трудоёмок, но эффективен. Другой способ заключается в использовании«агрессивных» стопорных шайб типа«В» с внутренними и наружными зубцами.

Рекомендуется, чтобы смонтированное в стойке оборудование постоянно соединялось и заземлялось через шасси, в соответствии с инструкциями изготовителя. Если изготовитель оборудования предлагает заземление через монтажные фланцы шасси и эти монтажные фланцы не окрашены, то использование резьбоформирующих трехзаходных винтов и обычных шайб обеспечит приемлемое постоянное соединение со стойкой. Если монтажные фланцы оборудования окрашены, то краску можно удалить, или использовать те же резьбоформирующие винты и«агрессивные» стопорные шайбы с внутренними и наружными зубцами, предназначенные для такого применения, что обеспечит приемлемое постоянное соединение с защитным заземлением через стойку.

Хотя оборудование, питаемое переменным током, обычно имеет шнур питания, который содержит заземляющий провод, но целостность(непрерывность) этого пути до земли проверить нелегко. Вместо того чтобы полагаться на заземляющий провод в шнуре питания, желательно обеспечить заземление оборудования каким-либо проверяемым способом, например, способами, указанными выше в п. G.5.1.8.

Ошибки в устройстве заземления [9]

Неправильные PE-проводники

Иногда в качестве заземлителя используют водопроводные трубы или трубы отопления, однако их нельзя использовать в качестве заземляющего проводника[10]. В водопроводе могут быть непроводящие вставки (например, пластиковые трубы), электрический контакт между трубами может быть нарушен из-за коррозии, и, наконец, часть трубопровода может быть разобрана для ремонта. А также из-за опасности поражения электрическим током при соприкосновении с токопроводящими частями сантехники.

"Чистая земля"

Популярным является поверье о том, что компьютерные и телефонные установки требуют заземления, отдельного от общего заземления всего здания.

Это совершенно неверно, ибо ЗУ имеет ненулевое сопротивление, и, в случае КЗ (и даже небольшой, не обнаруживаемой автоматикой утечки) фаза-PE на одном из устройств, по ЗУ начинает течь ток и его потенциал растет из-за сопротивления ЗУ. В случае наличия 2 и более независимых ЗУ это приведет к появлению разности потенциалов между PE различных электроустановок, что может создать риск поражения людей током, а также заблокировать (или даже разрушить) интерфейсные устройства (Ethernet и другие), которые соединяют 2 части системы, заземленные от независимых ЗУ.

Правильным решением является организация системы уравнивания потенциалов, т.е. электрического соединения и PE проводки, и всех доступных для прикосновения металлических частей здания (в первую очередь водопроводы и отопительные трубопроводы).

Мониторинг температуры в серверной

Основная статья: Мониторинг температуры в серверной

Мониторинг температуры осуществляется путем снятия показаний с температурных датчиков бесперебойников APC SMART-UPS по SNMP. Показания будут сниматься perl-скриптом по крону и складываться в базу данных RRD.

Документация

Приобретение расходных материалов для маркировки кабеля и проч. крайне желательно рассчитывать по закону Бенфорда с той целью, чтобы не иметь потом в запасе ненужных лишних цифр в самоклеящихся блокнотах или маркировочных лентах.

Табличка с предостережениями и контактными данными

Для избежания недоразумений и решения спорных и конфликтных ситуаций в вашу пользу рекомендуется снабжать любое оборудование и телеком. шкафы целиком табличками примерно следующего содержания:

Доступ только для персонала,
имеющего разрешение

IP: адрес интерфейса управления

port  | VLAN     | TAG
      |          | 
      |          | 

Название организации-владельца
Телефон
http://noc.example.com/
e-mail: support@example.com

Их наличие дает информацию о способах связи с владельцами оборудования, а если какие-то действия были произведены с оборудованием без вашего ведома под предлогом "мы не знали, куда позвонить", наличие таблички покажет безосновательность подобных отговорок.

Таблицы соответствия портов

Ведение wiki-образной базы знаний, при наличии соответствующих модулей, представлять организацию телеком. узла в виде таблицы из 3-х или, при отсутствии патч-панели, 2-х колонок. Рекомендуется устанавливать соответствие относительно свитча и его порты по порядку указывать в первой колонке. Во второй колонке, при наличии патч-панели, указываются её порты, соответствующие портам на свитче. В последней колонке указывается номер аудитории, комнаты или название структурного подразделения, при отсутствии других идентификаторов.

^ Switch No ^ Patch-panel No ^ Label         ^
|1          |1               | Auditorium 7  |
|2          |2               | Auditorium 2  |
|3          |-               | -             |
|4          |4               | Auditorium 15 |

Примеры узлов

Заключение

Приложение 1: Оборудование

Неуправляемые коммутаторы

8 портов

  • J4097B Коммутатор ProCurve Switch 408, 8 портов с автоматическим определением 10/100 [1]
  • J9077A Коммутатор ProCurve 1400-8G, 8 портов с автоматическим определением 10/100/1000 [2]

16 портов

  • JD984A HP V1405-16, 16 портов RJ-45 с автоопределением скорости 10/100 [3]
  • JD998A HP V1405-16G, 16 портов RJ-45 с автоопределением скорости 10/100/1000 [4]

24 порта

  • JD986A HP V1405-24, 24 порта RJ-45 с автоопределением скорости 10/100 [5]
  • J9561A HP ProCurve 1410-24G, 22 порта 10/100/1000 с автоматическим определением скорости; 2 порта двойного назначения; каждый порт может использоваться как порт RJ-45 с автоматическим определением скорости 10/100/1000 или как свободный слот mini-GBIC (для использования с трансиверами mini-GBIC) [6]

Управляемые коммутаторы

HP ProCurve Switch 2510-48 [J9020A]

24 порта [7]

  • J9085A HP E2610-24 Switch

48 портов

  • J9088A HP E2610-48 Switch
  • Управляемый коммутатор HP ProCurve Switch 2510-48 [J9020A]

Источники бесперебрйного питания

APC Smart-UPS 750VA USB & Serial 230V (SUA750I)
  • Источник бесперебойного питания APC Smart-UPS 750VA USB & Serial 230V (SUA750I)

Патч-панели

Eurolan Cat. 5e

Приложение 2: Tелекоммуникационные шкафы

Настенные

SW 10U WZ-0405-S1-02-011 (SW-004-2)
  • Настенный шкаф ZPAS 19" серии SW 10U WZ-0405-S1-02-011 (SW-004-2)

Примечания

  1. Согласователь Работы Кондиционеров Микропроцессорный "СРК-М"
  2. Видеоэкскурсия в ЦОД: Рекуперация Тепла / Блог компании Intel / Хабрахабр
  3. 3,0 3,1 Чип и Дип: ПЭФ-301 Переключатель фаз, Устройства защитного отключения
  4. АРК Энергосервис: Автоматический переключатель фаз ПЭФ-301
  5. ГОСТ Р 50571.21-2000 (МЭК 60364-5-548-96) Электроустановка зданий. Часть 5. Выбор и монтаж электрооборудования. Раздел 548. Заземляющие устройства и системы уравнивания электрических потенциалов в электроустановках, содержащих оборудование обработки информации.
  6. ГОСТ Р 50571.22-2000 (МЭК 60364-7-707-84) Электроустановка зданий. Часть 7. Требования к специальным электроустановкам. Раздел 707. Заземляющие оборудования обработки информации.
  7. Документ SP–3-0092: (Стандарт TIA-942, редакция 7.0, февраль 2005); стр. 108
  8. [http://en.wikipedia.org/wiki/American_wire_gauge#Table_of_AWG_wire_sizes Table of AWG wire sizes. American wire gauge. From Wikipedia, the free encyclopedia]
  9. Ошибки в устройстве заземления. Заземление. Материал из Википедии — свободной энциклопедии.
  10. Пп. 1.7.122 и 1.7.123 ПУЭ.

См. также

Ссылки

Личные инструменты
Пространства имён

Варианты
Действия
Навигация
Инструменты