PSeries. От "А" до "Я"

Материал из RSU WiKi

Перейти к: навигация, поиск

Содержание

Введение

Если у Вас pSeries...

Про процесоры и ядра Power5

Сервер

IBM pSeries p510Q [1]:

IBM System p5 510 Express, по привлекательной цене, представляет собой компактный, высокопроизводительный сервер со специальными функциями обеспечения надежности, идеально подходящий для небольших компаний, а также для подразделений и филиалов организаций среднего размера. IBM System p5 510 Express просты в использовании, установке, управлении. Модель IBM System p5 510 Express создана на базе современного процессора IBM POWER5™, комплектуется набором упрощающих управление инструментов, работает в операционных средах UNIX и Linux и поддерживает функции обеспечения надежности и готовности корпоративного уровня. Благодаря этим особенностям IBM System p5 510 Express является прекрасным решением для выполнения широкого ряда важнейших бизнес-приложений, в том числе для планирования ресурсов предприятия (ERP), для управления отношениями с заказчиками (CRM), для серверов электронной почты, серверов рабочих групп, файловых серверов, серверов печати и Web-серверов.

Автоматический перезапуск сервера после сбоя питания

Если электропитание серверной с завидной регулярностью пропадает на срок, больший, чем рассчитаны аккумуляторы ИБП, можно использовать опцию автоматического включения сервера после сбоя электропитания.

В HMC необходимо зайти в ASMI-интерфейс сервера:

1. В окне HMC workplace необходимо выбрать System Management → Servers.

2. В появившейся области выберите сервер, к которому необходимо подключиться по ASMI

3. Выберете Operations→ Advanced System Management (ASM).

В окне ASMI необходимо найти опцию: Auto Power Restart

По умолчанию она находится в состоянии "Disable". Необходимо установить ее в состояние "Enable".

HMC

Hardware Management Console http://www.cerritos.edu/bford/iSeriesAccess/HMC.PDF

Полезные консольные команды

HMC remote Reboot

Login to HMC per SSH as hscroot issue following command 

hmcshutdown -r -t0

LPAR Reboot through SSH

In order to restart the LPAR you can use HMC graphical interface or ssh to HMC and use command like this: 

chsysstate -r lpar -m MACHINE_NAME -o shutdown --immed --restart --id LPARID (or -n LPARNAME)

Удаленное управление консоли версии 5.2.1 [2] через WebSM-клиент

Установка

На OpenSUSE 10.3

Скачиваем клиент для linux с HMC: 

http://hmc_ip/remote_client.html

Установщик вывалится с ошибкой: 

java: xcb_xlib.c:52: xcb_xlib_unlock: Проверочное утверждение `c->xlib.lock' не выполнено.

Пишем в консоли: 

export LIBXCB_ALLOW_SLOPPY_LOCK=1

Запускаем инсталлятор еще раз и устанавливаем программу.

Заходим в каталог /opt/websm/bin и добавляем эту же строчку в файл websm

Настройка HMC 7.3.4 на удаленное управление

Необходимо разрешить удаленное управление HMC добавив соответствующие галочки в настройках разрешений и внеся ip-адреса управляющих машин в исключения для firewall в настройках сетевого интерфейса.

На управляющей машине необходима JRE 1.5.0 от Sun или IBM (Open JDK из комплекта OpenSUSE 11.1 не работает)

Внимание: Обратиться к HMC через браузер можно только по https! По http консоль управления недоступна. 

https://hmc.example.com/

Обновление консоли управления HMC с 5.2.1 до 7.3.4

Если микрокод сервера старой версии и на HMC находятся необходимые для сохранения и переноса данные, обновление с 5.2.1 напрямую до 7.3.4 невозможно. Необходимо провести серию последовательных обновлений.

Обновление возможно осуществить несколькими способами: по сети через TFTP/NFS или же при помощи установочных CD/DVD носителей. В данном руководстве описывается второй способ. Будьте внимательны, сервер не понимает болванки DVD+R/RW, необходимо использовать носители DVD-R/RW или DVD-RAM. Для работы вам потребуется:

  • 1 DVD-RAM для первоначальной резервной копии системы 5.2.1
  • 2 DVD-R или DVD-RAM для HMC V6R1 Recovery DVDs
  • 3 CD для HMC Update V6R1.2 CDs
  • 4 CD для HMC Update V6R1.3 CDs
  • 1 CD-RW/DVD-RW для установки 4х обновлений: MH01082, MH01110, MH01128, MH01127
  • 1 CD для Микрокода сервера SF240_358
  • 2 DVD-R или DVD-RAM для HMC Recovery DVDs версии V7R3.4

Процесс обновления можно разделить на 3 этапа:

  • Обновление HMC с 5.2.1 до 6.1.3 + Fixes
  • Обновление Microcode сервера с SF240_222 до SF240_358
  • Обновление HMC c 6.1.3 до 7.3.4

Итак, приступим.

Обновление HMC с 5.2.1 до 6.1.3 + Service Packs

Резервная копия критически важных данных HMC

Назначение: сделать полную резервную комию текущего ПО HMC

Пункт меню: Backup HMC Data

Тип носителя: DVD-RAM

Время ожидания: весьма долго

Backup HMC перед установкой обновлений

Назначение: сохранить текущую конфигурацию HMC

Пункт меню: Save Upgrade Data

Тип носителя: собственный жесткий диск HMC

Время ожидания: несколько минут

Upgrade HMC c 5.2.1 до 6.1.0

Необходимо:

  • ПО: HMC 5.2.1
  • Скачать 2 iso DVD с Upgrade HMC до 6.1.0 с сайта IBM ([3])
  • Ознакомиться с Install Instructions ([4])

Действия:

  • Перезвгрузить HMC
  • Загрузиться с первого DVD
  • Выбрать в меню пункт Upgrade
  • По требованию процесса установки вставлять оставшиеся диски

Носитель: 2 DVD

Время ожидания: весьма долго

Update HMC c 6.1.0 до 6.1.2

Необходимо:

  • ПО: HMC V6 R1
  • Скачать 3 iso CD с Update HMC до 6.1.2 с сайта IBM ([5])
  • Ознакомиться с Install Instructions ([6])

Действия:

  • Вставить первый CD
  • В интерфейсе HMC 6.1.0 выбрать в меню пункт Update HMC
  • По требованию процесса установки вставлять оставшиеся диски
  • По завершении update HMC необходимо перезагрузить

Носитель: 3 CD

Время ожидания: недолго

Upgrade HMC c 6.1.2 до 6.1.3

Необходимо:

  • ПО: HMC V6 R1.2
  • Скачать 4 iso CD с Update HMC до 6.1.3 с сайта IBM ([7])
  • Ознакомиться с Install Instructions ([8])

Действия:

  • Вставить первый CD
  • В интерфейсе HMC 6.1.2 выбрать в меню пункт Update HMC
  • По требованию процесса установки вставлять оставшиеся диски
  • По завершении update HMC необходимо перезагрузить

Носитель: 4 CD

Время ожидания: недолго

Установка Fixes для HMC 6.1.3

Необходимо:

  • ПО: V6 R1.3
  • Скачать 4 iso CD с Fix для HMC 6.1.3 с сайта IBM ([9])
    • MH01082
    • MH01110
    • MH01128
    • MH01127
  • Ознакомиться с Install Instructions ([10])

Действия:

  • По очереди вставить каждый CD c Fix в соответствии с приведенной выше последовательностью
  • В интерфейсе HMC 6.1.2 выбрать в меню пункт Update HMC
  • По завершении установки каждого Fix HMC необходимо перезагрузить

Носитель: 4 CD

Время ожидания: очень быстро

Открывается возможность Upgrade HMC до 7.3.4. Выполнены требования для обновления Microcode p510Q до SF240_358.

Обновление Microcode p510Q с SF240_222 до SF240_358

ВАЖНО! При проведении данной операции потребуется перезагрузка сервера.

Необходимо:

  • ПО: HMC V6 R1.3 + Fixes
  • Посмотреть текущий Microcode (как)
  • Скачать 1 iso CD с Microcode SF24_358 с сайта IBM ([11])
  • Как обновить Microcode сервера из под HMC? Пункты меню.

Действия:

  • Вставить CD с Microcode SF24_358
  • В интерфейсе HMC 6.1.2 выбрать в меню LIC пункт Update Microcode
  • По завершении установки Microcode SF24_358 необходимо перезагрузить вручную или автоматически

Носитель: 1 CD

Время ожидания: порядка 40 минут

После установки Microcode необходимо погасить клиентские LPARs, VIOS, выключить сервер и включить снова. В свойствах микрокода должна отобразиться новая версия.

Выполнены условия для установки Upgrade до 7.3.4

Upgrade HMC c 6.1.3 до 7.3.4

Необходимо:

  • ПО: HMC V6 R1.3 + fixes и Microcode SF240_358 на сервере
  • Скачать 2 iso Recovery DVD 7.3.4 с сайта IBM (ссылка)
  • Ознакомиться с Install Instructions (ссылка)

Действия:

  • Вставить первый DVD с Upgrade до 7.3.4
  • Перезагрузить HMC и загрузиться с диска
  • По требованию процесса установки вставлять оставшиеся диски
  • По завершении установки необходимо перезагрузить вручную или автоматически

Носитель: 2 DVD

Время ожидания: долго

Таким образом установлены последние версии ПО HMC и Microcode сервера p510Q

VIOS

http://oss.gonicus.de/openpower/index.php/IBM_VIO_Server

Управление Hardware RAID сервера

Внимание: At the time of writing, internal HW RAID is not supported on the IBM eServer p5 510 and OpenPower 710.

Необходимо:

  • Hardware: IBM System p (Power4 or later), Intellistation POWER workstation, BladeCenter JS2x blade server or eServer i5
  • Software: firmware compatible with AIX 6.1.X.X
  • Скачать 1 iso Standalone Diagnostics CD с сайта IBM ([12])

Информация:

Download the latest Diagnostics ISO Image from: Diagnostic CD burn it onto a CD and then boot this CD.

Once booted this will bring up the AIX diag which enables you to set the SCSI disk RAID settings as you like. Basically you have to modify all disks which should belong to a RAID configuration from a regular 512-byte block size to a 522-byte block size array candidate disk as only such candidate disks can be included in a RAID setting. Once the RAID settings are done, the OS will not see the single disks of the RAID setting anymore, just your RAID disks.

Разбиение разделов диска

Грамотная установка VIOS предполагает разделение групп логических томов для клиентов и сервера. По умолчанию VIOS устанавливается на первый диск hdisk0, включая его в группу томов rootvg. Для клиентских машин документация предполагает использование группы томов datavg. Если же клиентские lv будут расположены на rootvg это может создать проблемы при резервном копировании и обновлении vios.

"Note": Using the rootvg on the Virtual I/O Server to host exported logical volumes is currently not recommended. Certain types of software upgrades and system restores might alter the logical volume to target device mapping for logical volumes within rootvg, requiring manual intervention. redb4194.pdf, p.105

We recommend that the virtual I/O client use LVM mirroring if redundancy is required. redb4194.pdf, p.105

Systems in a single server environment under the management of IVM are often not attached to a SAN, and these systems typically use internal and SCSI attached disk storage. The IVM interface allows storage pools to be created on physical storage devices so that a single physical disk device can be divided among several virtual I/O clients.Important: The default storage pool within IVM is the root volume group of the Virtual I/O Server. Be careful not to allocate backing devices within the root volume group because certain types of software upgrades and system restores might alter the logical volume to target device mapping for logical volumes within rootvg, requiring manual intervention. redb4194.pdf, p.105

A single volume group should not contain logical volumes used by virtual I/O clients and logical volumes used by the Virtual I/O Server operating system. Keep Virtual I/O Server file systems within the rootvg, and use other volume groups to host logical volumes for virtual I/O clients. redb4194.pdf, p.106

Программа установки VIO видимо предполагает использование внутренних HDD сервера по-видимому только для работы VIO, клиентские партиции должны подключаться через SAN, весьма негибка в плане настройки параметров hdd и поэтому настроить через нее обе группы должным образом не представляется возможным (так ли это?!).

Установка и обновление VIOS до 2.1.0 + FixPack 20.1

Установка VIOS 1.5.2.1

Необходимо:

  • ПО: пустой раздел или VIOS 1.2.1
  • VIOS 1.5.2.1 DVD или скачать 5 iso CD с VIOS 1.5.2.1 (Fix Pack 11.1) с сайта IBM ([13])
  • Ознакомиться с Install Instructions ([14])

Действия (для варианта с VIOS 1.5.2.1 DVD):

  • Вставить диск в p510Q
  • На HMC открыть сервер в терминале, предварительно выбрав режим SMS
  • По окочании установки перезагрузить сервер автоматически или вручную.

Носитель: 1 DVD или 5 CD

Длительность: недолго

Migration c VIOS 1.5.2.1 на VIOS 2.1.0

Необходимо:

Действия (для варианта с VIOS 1.5.2.1 DVD):

  • Вставить диск в p510Q
  • На HMC открыть сервер в терминале, предварительно выбрав режим SMS
  • По окочании установки перезагрузить сервер автоматически или вручную.

Носитель: 1 DVD

Длительность: долго

Установка VIOS 2.1.0 FixPack 20.1

Необходимо:

Действия:

  • Вставить диск в p510Q
  • На HMC открыть VIOS в терминале, войти в систему как padmin и выполнить последовательность команд: 
updateios -commit
updateios -accept -install -dev /dev/cdX (где cdX - оптический привод, в нашем случае cd0)
  • проверить, установилось ли обновление: 
ioslevel
shutdown -restart

Носитель: 1 CD

Длительность: долго

Установка VIOS 2.1.0 FixPack 21

This fix pack can be burned onto a CD by using the ISO image file(s). After the CD has been created, follow these steps.

The current level of the VIOS must be 2.1.0

1. Login to the VIOS as the user padmin 2. Place the CD-ROM into the drive assigned to VIOS 3. Commit previous updates, by running the updateios command 

$ updateios -commit

4. Apply the update by running the following updateios command: 

$ updateios -accept -install -dev /dev/cdX

where X is the device number 0-N assigned to VIOS

5. Verify that update was successful by checking results of the updateios command and running the ioslevel command. It should indicate the ioslevel is now V2.1.1.10 FP-21. 

$ ioslevel

6. To load all changes, reboot the VIOS as User padmin 

$ shutdown -restart

Настройка сети

Замечательная статья, описывающая создание vlan-совместимой сети при помощи VIO: http://www-128.ibm.com/developerworks/eserver/library/es-pwr5-virtualvlan/index.html

В ней рассматривается пример создания виртуальной сети внутри VIO с клиентскими адаптерами в различных VLAN'ах.

Мы же опишем настройку VIO для ситуации, когда на клиентские адаптеры приходит 802.1Q [16] трафик. То есть разделением трафика будет заниматься не VIO, а напрямую клиентский LPAR. В крупных средах IBM не рекомендует такой способ, поскольку настройкой коммутаторов, виртуализации и серверов занимаются совершенно разные люди, однако в малых сетях, когда у администратора есть доступ ко всем звеньям цепи это наиболее удобный и простой способ ведения дел.

Конфигурация сетевого интерфейса для удаленного доступа к VIOS: 

mktcpip -hostname <имя сервера vio> -inetaddr <ip-адрес> -interface <сетевой интерфейс> -netmask <маска подсети> -gateway <основной шлюз>
 
Пр: mktcpip -hostname vios -inetaddr 91.203.180.163 -interface ent3 -netmask 255.255.255.128 -gateway 91.203.180.129

Создание адаптера SEA для взаимодействия с клиентскими LPAR's: 

mkdev -sea <интерфейс для связи с внешним миром> -vadapter <виртуальный сетевой интерфейс> -default <сетевой интерфейс по умолчанию> -defaultid <id :?:>

Пр: mkdev -sea ent0 -vadapter ent2 -default ent2 -defaultid 89

Назначение vlan'ов витруальным сетевым устройствам: 

mkdev -vlan <виртуальное сетевое устройство> -tagid <vlan id>

Пр: mkdev -vlan ent4 -tagid 2

Virtual SCSI

Установка по мотивам http://oss.gonicus.de/openpower/index.php/IBM_VIO_Server

Для того чтобы началась установка VIO сервера, необходимо выбрать загрузку с CD при первом старте VIO раздела.

VIO установлен в первую партицию hdisk0 (собсвенно, нужно только согласиться с предлагаемым вариантом)

После установки нужно согласиться с лицензионным соглашением: 

 license -view
 license -accept

Создание одной общей LVM-группы со всеми hdd (рекомендуется выделять под разделы сервера отдельную группу datavg): 

 extendvg -f rootvg hdisk1 hdisk2 hdisk3

Можно поступить так, как рекомендуют: 

 mkvg -vg datavg hdisk1

А дальше уже extendvg

Все внешние устройства по слотам: 

 lsdev -slots

Если логический раздел должен занимать все оставшееся свободное место в группе томов, выяснить колличество свободного места в группе томов с точностью до мегабайт. Полученное значение использовать при создании виртуального устройства. 

 lsvg <имя группы томов> (просмотр состояния груммы томов)
 
 Пр: lsvg rootvg

Создаем логический раздел (LV) в пока еще пустой группе (VG): 

 mklv -lv <имя логического раздела> <имя группы томов> <объем>(M|G)
 
 Пр: mklv -lv vdisk0 rootvg 50G

<имя логического устройства> - по нотации из учебного пособия это имя в фотмате [vdLPARnameX]

<имя группы томов> - скорее всего это rootvg

Прикрепить vSCSI адаптер сервера к логическому разделу: 

 mkvdev -vdev <имя логического раздела> -vadapter <виртуальный адаптер>
 
 Пр: mkvdev -vdev vdisk0 -vadapter vhost0

<имя логического раздела> - имя логического раздела, используемого в предыдущей команде

<виртуальный адаптер> - искать в выводе команды lsdev -slots по adapter id. Это имя адаптера сервера, созданного при помощи HMC. Впоследствии именно этот адаптер будет нужно указать в настройках клиентского LPAR.

Then, repeat LV creation & mapping for each LPAR.

Теперь можно активировать клиентские LPAR и приступать к установке ОС.

Backing up the Virtual I/O Server to DVD-RAM 

$ backupios -cd /dev/cd0 -udf -accept

Linux

The two big Linux vendors, Red Hat and Novell, offer licensing and support based on a "per physical machine" system for System P servers. The number of processors in the machine does not adversely affect the cost.

Таким образом, при использовании официальной куленных дистрибутивов RHEL/SLES сервера системы p использовать гораздо выгоднее, чем отдельные x86 машины.

SLES

Установка

Терминология:

  • LPAR - виртуальная машина.
  • Required - необходимо. LPAR забирает ресурс себе целиком. Если ресурс занят кем-то еще, то LPAR просто не запускается.
  • Desired - желательно. LPAR может использовать ресурс, если он свободен.

Установка ОС в подготовленный LPAR с DVD:

Рекомендуется копированием создать 2 профиля у LPAR:

  • <имя LPAR>_dcd - оптический привод отмечен как desired
  • <имя LPAR>_nocd - оптический привод не выбран

Перед установкой необходимо деактивировать LPAR`ы, которые используют дисковод как required. Только в этом случае LPAR, в профиле которого дисковод подключен как desired, сможет его использовать.

Профиль LPAR для устаноки SUSE с DVD выбрать <имя LPAR>_dcd. Для смены профиля LPAR должен быть деактивирован. При activate LPAR открыть окно терминала по умолчанию в случае, если LPAR чистый. Тогда сначала будет проверен boot-сектор винчестера, затем попытка загрузки с оптического привода и загрузка по сети. Если необходимо выбрать загрузку с оптического привода вручную, то терминал запустить с оболочкой SMS, выбрав ее в меню advanced.

Производим установку ОС.

Внимание: На момент написания статьи в терминале HMC yast в SLES завершает любое действие ошибкой, По этому сконфигурировать сетевой интерфейс, выдать имя хоста и домен и открыть ssh лучше в процессе установки. Так же не стоит забывать отключать запись времени последнего доступа к файлам во время разбиения жесткого диска.

Сетевому адаптеру выдаем ip-адрес вроде 192.168.0.X - он нам неважен. В нашем случае до клиентской машины приходит тегированный 802.1Q трафик, поэтому настройку VLAN`ов проводим на клиентской машине (VLANы_в_SUSE).

По окончании установки ОС деактивировать LPAR и сменить профиль LPAR на <имя LPAR>_nocd. Затем снова активировать LPAR с установленной ОС и выключенные LPAR`ы для освобождения оптического привода.

Далее проверяем установлен ли пакет VLAN.

Что бы создать V-Lan вручную, заходим в /etc/sysconfig/network/ и создаем файл ifcfg-vlan.template - это будет наша универсальная заготовка: 

ETHERDEVICE="eth"
IPADDR=""
NETMASK=""
NETWORK=""
BROADCAST=""
STARTMODE="onboot"
VLAN="YES"

Копируем заготовку и в новом файле подставляем реальные параметры. 

cp  ifcfg-vlan.template  ifcfg-vlan<номер V-Lan>

После настройки всех VLAN, делаем rcnetwork restart, и если все правильно, ifconfig покажет поднявшиеся виртуальные интерфейсы.

Затем обязательно редактируем файл /etc/sysconfig/SuSEfirewall2. Находим строчку FW_TRUSTED_NETS и подставляем туда ip-адрес нашей консоли HMC. Например вот так: 

FW_TRUSTED_NETS="172.16.0.5"

Далее необходимо установить пакет драйверов от IBM. Мы советуем вам заранее скачать их в отдельную папку на ftp или nfs сервере, предположим, что она называется IBMTools. Ссылка: http://www14.software.ibm.com/webapp/set2/sas/f/lopdiags/suselinux/hmcmanaged/sles10.html

Скачиваем ее на свежеустановленный LPAR в директорию /usr/local/src/IBMTools, и устанавливаем: 

rpm -Uvh /usr/local/src/IBMTools/*

После установки мы приобретаем возможность управлять выключением LPAR'а с HMC и использовать опцию динамического выделения ресурсов DLPAR. Виртуальная машина полностью сконфигурирована для удаленной работы через ssh.

RHEL

Q: I am wondering how to get a gui interface wehn doign a new install of Redhat 4 using a HMC?

A: Add a boot option "vnc=1 vncpassword=yourpass" and you will be able to use VNC after network configuration.

Debian

Мониторинг производительности средствами lpar2rrd

Литература

Источник — «http://wiki.rsu.edu.ru/index.php/PSeries._%D0%9E%D1%82_%22%D0%90%22_%D0%B4%D0%BE_%22%D0%AF%22»