Как составить список объектов подключённых к сети хранения данных SAN.

Для удобной работы с коммуникаторами и особенно для автоматизации через скрипты, Вам необходимо установить SSH ключи на ваши устройства. Это можно сделать вручную или через предлагаемые утилиты,если у вас, как и у меня сеть достаточно велика. Я опишу оба метода, но прежде всего как с генерировать ключ (если вы это знаете, просто пропустите этот раздел)

Генерация SSH ключа ssh-keygen

В большинстве UNIX систем это делается командой ssh-keygen, она имеет довольно много аргументов, но в нашем случае хватит -f для указания в каком файле сохранить ключ, если вы опустите и его, то ключ будет сохранен в файле по-умолчанию /home/<имя_пользователя>/.ssh/id_rsa что не всегда удобно, поскольку возможно данный файл существует и используется в других целях. Итак:

 ssh-keygen -f my_key

Generating public/private rsa key pair.

Enter passphrase (empty for no passphrase):  -- Здесь необходимо нажать ввод, иначе скрипт остановится для запроса пароля

Enter same passphrase again:

Your identification has been saved in my_key.

Your public key has been saved in my_key.pub.

The key fingerprint is:

70:4f:9c:ab:f4:f0:8e:cf:14:24:5a:a4:47:82:1c:4e my_user@server.com

В результате:

ls -l my_key*

-rw------- 1 user group 1675 May 24 21:01 my_key

-rw-r--r-- 1 user group 412 May 24 21:01 my_key.pub

Мы получили пару ключей файл my_key.pub содержит публичную часть ключа которую мы пошлём в коммуникатор или другое устройство, а my_key личный ключ который подтверждает право на подключение.

Мы готовы устанавливать ключи.

Вручную

Cisco

Тут всё достаточно просто: извлекаем ключ из файла –

cat my_key.pub

ssh-rsa AAAAB3NzaC1yc2EAAAABIwAAAQEA18qtCG8mEd0G99t7BC90PfInOONYj3XAgyIBk3jE+QruXDsyjg5AuBB/N0DTEbq8t6L3ki8DkyeGg+MgKMH/4n6kk K/662SbJlXfHOPJxRWoW9RYBiIA75wko92PE6EHZtWxZAabStWC3XzUxYcfF0FLgg1fRdqTB2xbgmSpIvJG5W6gG8VtVTIqONqUgJ8svGARF/vvig7NCKbRT8lQvY S9OLsf5s43YTxuHJHZSMhQ1Qtvk1/jgSTgV4FU6W3VCb7DG8VtolrDnJTqn+KWjqgsGVKf9NkmUrU8DP+HrWheK+6y9As1AbStSNM3irVGGxf2VQboEEih+sovQxM UiQ== user@server.com

Подключаемся к коммуникатору через ssh или telnet

Вводим команду conf t для перехода в режим конфигурации

и после этого -

user admin sshkey ssh-rsa AAAAB3NzaC1yc2EAAAABIwAAAQEA18qtCG8mEd0G99t7BC90PfInOONYj3XAgyIBk3jE+QruXDsyjg5AuBB/N0DTEbq8t6L3ki8DkyeGg+MgKMH/4n6kk K/662SbJlXfHOPJxRWoW9RYBiIA75wko92PE6EHZtWxZAabStWC3XzUxYcfF0FLgg1fRdqTB2xbgmSpIvJG5W6gG8VtVTIqONqUgJ8svGARF/vvig7NCKbRT8lQvY S9OLsf5s43YTxuHJHZSMhQ1Qtvk1/jgSTgV4FU6W3VCb7DG8VtolrDnJTqn+KWjqgsGVKf9NkmUrU8DP+HrWheK+6y9As1AbStSNM3irVGGxf2VQboEEih+sovQxM UiQ== user@server.com

конечно в вашим ключом :)

и наконец сохраняем конфигурацию -

copy running-config startup-config

Всё, дело сделано, можно уходить.

Brocade

Тут все к сожалению несколько сложнее, Brocade не принимает ключ как строку, он либо сам генерирует пару, что часто не удобно, либо запрашивает параметры сервера откуда он может получить файл ключа по FTP или SCP. Как это происходит:

Вы подключаетесь к коммуникатору через ssh или telnet и вводите команду -

sshutil importpubkey  

коммуникатор начинает импорт ключа и запрашивает IP сервера (именно IP а не имя) вы вводите адрес сервера где находится с генерированный вами ключ, например 192.168.1.10 -

Enter IP address: 192.168.1.10

после этого следует запрос папки в которой лежит файл, вы вводите путь, например /home/user/

Enter remote directory: /home/user/

следует запрос имени файла ключа, обратите внимание - его публичной части, вводим например my_key.pub -

Enter public key name(must have .pub suffix): my_key.pub

теперь вводим имя пользователя на сервере где хранится ключ, например user -

Enter login name: user

и его пароль, например password -

user@192.168.1.10's password:                                 -- пароль не отображается

Если все прошло хорошо, вы получите подтверждение успешного импорта ключа.

Теперь ssh команда вроде -

ssh -i /home/user/my_key admin@my-switch

позволит вам подключится к коммуникатору без пароля

Всё это достаточно просто, но если вы счастливый обладатель большой сети, и не любите повторять подобные операции по сто раз, воспользуйтесь утилитами brc_sw_ssh_key.exp и cis_sw_ssh_key.exp которые я выкладываю здесь - util.tar.gz 

Скопируйте архив в директорию программы и распакуйте, эти и некоторые другие утилиты (о которых позже) вы найдёте в папке ./util . Для работы программы необходим стандартный пакет expect.

Автоматическая установка ключа:

Cisco (скрипт cis_sw_ssh_key.exp)

./cis_sw_ssh_key.exp <Switch> <SW_pass> <Key_file>

где -

<Switch>      - Имя или IP коммуникатора

<SW_pass>  - Пароль пользователя admin

<Key_file>     - Файла публичной части ключа

Пример:  ./cis_sw_ssh_key.exp switch-1 password /home/user/my_key.pub

!!! Рекомендую вам создать батч файл, и запускать команду из него, иначе в history вашего сервера останется администраторский пароль открытым текстом !!!

Brocade (скрипт brc_sw_ssh_key.exp)

./brc_sw_ssh_key.exp <Switch> <SW_pass> <Server_IP> <Srv_User> <Key_Dir> <Key_file> <Srv_pass>

где -

<Switch>      - Имя или IP коммуникатора

<SW_pass>  - Пароль пользователя admin

<Server_IP>  - IP сервера доступного по SCP и хранящего файл публичной части ключа

<Srv_User>   - Пользователь для доступа к этому серверу

<Key_Dir>     - Папка где хранится ключ

<Key_file>     - Файла публичной части ключа

<Srv_pass>   - Пароль учётной записи пользователя на этом сервере

Например: ./brc_sw_ssh_key.exp switch-1 password 192.168.1.10 user /home/user/ my_key.pub password

!!! Рекомендую создать батч файл, и запускать команду из него, иначе в history вашего сервера останется администраторский пароль а так-же пароль пользователя открытым текстом !!!

И так, SSH ключи на коммуникаторах установлены, а это значит можно начать автоматическую работу.

Для полнофункциональной работы автоматических скриптов теперь не хватает только библиотеки объектов, т.е. набора имён и WWN для каждого объекта подключённого к фабрику.

Начнём с дисковых массивов, я предложу методы для EMC symmetrix, EMC VNX, EMC Clariion, Netapp и Hitachi хотя подход одинаков для любого другого стореджа.

Сначала руками:

EMC Symmetrix, используем команду SYMCLI -

symcfg  -sid <SID> list -v -FA all  - команда выводит информацию о всех front-end портах, нас интересуют те у которых Director Connection Status - Yes т.е. подключённые к фабрику.

Результат будет примерно:

...............................

   Director Identification: FA-11G

        Director Type                      : FibreChannel (563)

        Director Status                    : Online

        Number of Director Ports        : 2

        Director Ports Status                : [ON,ON,N/A,N/A]

        Director Connection Status      : [Yes,N/A,N/A,N/A]

        Director Symbolic Number      : 11G

        Director Numeric Number        : 107

        Director Slot Number               : 11

        Director Port: 0

        WWN Node Name                    : 5000097407145800

        WWN Port Name                      : 50000974071459A8

Что означает - порт 11G:1 подключён к фабрику.

Для портов SRDF  - репликация между массивами команда немного другая:

symcfg  -sid <SID> list -v -RA all

и результат соответственно:

 Director Identification: RF-9H

        Director Type                                    : RDF-BI-DIR

        Director Status                                   : Online

        Director Symbolic Number                : 09H

        Director Numeric Number                 : 121

        Director Slot Number                         :  9

        Negotiated Speed (GB/Second)         :   4

        RDF HW Compression Supported     : No

        WWN Node Name                             : 50000974071459E0

EMC Clariion или VNX, используя navicli -

naviseccli -password <Password> -scope 0 -user <User_Name> -h <Host_name> port -list -sp либо

naviseccli -h <Host_name> port -list -sp если предварительно создан SecureFile командой -

naviseccli -AddUserSecurity -password <Password> -scope 0 -user <User_Name> -h <Host_name>

на выходе ищим линки не помеченные как "Down"

Например:

SP Name:             SP A

SP Port ID:          9

SP UID:              50:06:02:60:C6:E0:5A:86:50:06:01:62:46:E3:5A:86

Link Status:         Up

Port Status:         Online

Switch Present:      NO

SP Name:             SP A

SP Port ID:          10

SP UID:              50:06:02:60:C6:E0:5A:86:50:06:01:62:46:E6:5A:87

Link Status:         Down

Port Status:         DISABLED

Switch Present:      NO

Порт А9 подключён.

NETAPP, используем команду fcp config запускаемую через SSH или RSH -

ищем порты ONLINE

например:

0c:   ONLINE <ADAPTER UP>  PTP  Fabric

        host address 030380

        portname 50:0a:09:85:87:e9:4c:c8  nodename 50:0a:09:80:87:e5:4c:c8

        mediatype auto speed auto

0f:   OFFLINED BY USER/SYSTEM <ADAPTER DOWN>

        host address 000000

        portname 50:0a:09:84:97:43:3c:75 nodename 50:0a:09:85:87:43:3c:78

        mediatype auto speed auto

Порт 0c  ONLINE

HITACHI, команда aufibre1 -unit <storage_name> -refer -

находим блок: Port Information для поиска PWWN и блок: Link Status для проверки линка.

Пример:

Port Information

                                                    Port Address

  CTL  Port   Node Name          Port Name          Setting Current

    0     A   50060E8021054380   50060E8021054380   0000EF  0300A0

    0     B   50060E8021054381   50060E8021054381   0000EF  282900

    0     C   50060E8021054382   50060E8021054382   0000EF  000000

Link Status

  CTL  Port   Status

    0     A   LinkUp(F_Port Connected)

    0     B   LinkUp(F_Port Connected)

    0     C   Link Failure

    0     D   Link Failure

Как видите это не слишком сложно, однако довольно хлопотно.

Для автоматизации всего процесса я написал утилиту get_stor_port.sh которая выполняет за вас всю работу на основе файлов конфигурации. Перед её запуском необходимо запустить утилиту get_switch_obj.sh которая отследит информацию необходимую для распределения адресов по фабрикам.

Последними компонентами которые я заношу в библиотеку объектов являются PWWN серверов. Эта информация может быть получена из операционной системы и утилит поставляемых производителями оптических карт, либо извне, т.е. блэйд центров, коммуникаторов или BIOS сервера. Как я уже говорил в первой статье я работаю в основном с HP Blade System и написал специальную утилиту для сбора информации обо всех серверах через неё. Если вам будет интересно я опубликую и её, а так-же помогу разобраться как найти PWWN на уровне ОС.

Ну и в заключении как выглядит разультат работы скрипта:

 ./txt_get_zones.sh serv1,serv2 ALL ALL -v

BRC_FBR: PROD1

serv1_VMAX181_5F0 50:01:43:80:04:c3:6b:48 50:00:09:74:06:04:69:50

serv2_VMAX131_14E0 50:01:43:80:03:bc:1a:60 50:00:09:74:06:03:a1:34

 serv2_VMAX131_4E0 50:01:43:80:03:bc:1a:60 50:00:09:74:06:03:a1:0c

 serv2_VMAX555_5G0 50:01:43:80:03:bc:1a:60 50:00:09:74:06:16:99:90

 serv2_VMAX555_6G0 50:01:43:80:03:bc:1a:60 50:00:09:74:06:16:99:94

 serv2_VMX181_7G0 50:00:09:74:06:04:69:98 50:01:43:80:03:bc:1a:60

CIS_FBR: PROD1 VSAN: 1

serv1_VMAX181_7E1 50:01:43:80:04:c3:6b:4a 50:00:09:74:06:04:69:19

serv2_VMX181_FA-5G-1 50:01:43:80:03:bc:1a:62 50:00:09:74:06:04:69:91

 serv2_VMAX555_5G1 50:01:43:80:03:bc:1a:62 50:00:09:74:06:16:99:91

 serv2_VMAX555_6G1 50:01:43:80:03:bc:1a:62 50:00:09:74:06:16:99:95

 serv2_VMAX131_13E0 50:01:43:80:03:bc:1a:62 50:00:09:74:06:03:a1:30

 serv2_VMAX131_3E0 50:01:43:80:03:bc:1a:62 50:00:09:74:06:03:a1:08

How to start using the program?

Everything is simple. For the beginning, download archives of program that contains the script itself, as well as the necessary configuration files and directories - sites.google.com/site/san4fan/project - fbr.tar.gz. And deploy to your UNIX server from which you have SSH access to the switches.
And unpack: tar xvf fbr.tar.gz

Now you have folder ops with the following structure:

OBJ

conf

tmp

util

txt_get_zone_brc.sh

txt_get_zone_cis.sh

txt_get_zones.sh

File txt_get_zones.sh is actually a script, txt_get_zone_brc.sh and txt_get_zone_cis.sh complements for working with Brocade and Cisco devices, respectively.

The folder tmp - here all is clear, as the name, is used to store temporary files.

The folder conf - contains the following configuration files:
fabric - includes the type and name of your fabrics, as well as switch to communicate with them:

#Cisco

<SW_Type>#<FBR_Name>#<SW_Name>#<VSAN>

#Brocade

<SW_Type>#<FBR_Name>#<SW_Name>#

for example:

CIS#PROD1#switch-1#1    -   That is, Cisco fabric with the name PROD1available through the switch-1 switch for VSAN 1

BRC#TEST1#switch-2#     -    That is Brocade fabric named TEST1 is available through the switch-2 switch

I will note, that if you use multiple Cisco VSAN-s then you have to do it for each row, it makes possible to distinguish between the VSAN-s and the script will not allow to construct zone between objects in different VSANs.

auth - contains the data for access to all elements of controlled by, if the object library (see below), you'll create manually - just enough to specify the information to access the switches.
contains:

##Switches

#SW#<FBR_Name>#<SW_Name1,SW_Name2...>#<User>#<Key_file>#<Password>

for example:
SW # PROD1 # switch-1, switch-2 # admin # / root / .ssh / .id_key # -Switches switch-1 and 2 are available from the current server for admin user with SSH key stored in /root/.ssh/.id_key

##Storage

#ST#<ST_Type>#<Storage_Name>#<Connection_string>#                 -   Connection_string allowed in quite complicated expressions, but more onthat later.
for example:  

ST # NETAPP # netapp1a # rsh # - Specifies the access to Netapp netapp1a via rsh protocol for the current user
ST # CLAR # 10.127.0.5 #-password password -scope 0 -user admin #    -  Specifies the access to the Clariion (EMC) for the admin user and password password.

##Servers

#SR#<SRV_Type>#<SR_Name1,SR_Name2...>#<User>#<Key_file>#<Password>

SR#HPBC#hpbc01,hpbc02p#Administrator#/root/.ssh/.id_key#                 -  Defines access to the HP Blade System for Administrator user with SSHkey stored in /root/.ssh/.id_key file.

serv - contains a list of all servers (or blade system as in my case)

##Servers

#<SRV_Type>#<FBR_Name>_<FBR_Type>#<System_Name>#<HBA_N{1|2}>

HPBC#PROD1_BRC#hpbc02p#1                                                            -  The system type HPBC (HP Blade Center) named hpbc02p connected to a fabric PROD1 - Brocade type through HBA 1. The last field is important for cases when the server is connected to the two redundant fabrics.

stor - contains a list of storages

##<ST_Type>#<ST_Alias>#<ST_Name>   

##Netapp

#NETAPP#N1A#netapp1a

##VNX & Clariion

#VNX#VNX7500#10.10.0.5

#CLAR#CLAR960#clariion1

#VMAX

#VMAX#VMAX282#000292600111                                                       -  Since the VMAX is controlled via FC and not on the network as the parameter used SID  

#Hitachi

#HIT#HIT_2#hitachi2

Folder OBJ - will contain a library of all objects (ports of servers and storages) presented in each managed fabric.
Its structure is:

./OBJ/<FBR>_<SW_TP>/stor/<ST_Name>

./OBJ/<FBR>_<SW_TP>/serv/<SR_GR_Name>

where:
<FBR> - The name of the fabric (eng. case sensitive), eg PROD1
<SW_TP> - type of fabric BRC for Brocade or CIS for Cisco, respectively (other types of switches are not supported)
<ST_Name> - The name of the storage in a convenient to build a zone name format (eng. case sensitive), eg VMAX111
<SR_GR_Name> - The name of the server group (eng. case sensitive),eg HPBS - HP Blade System.

a result we get something like:

./OBJ/PROD1_CIS/stor/VMAX111

./OBJ/TEST2_BRC/serv/HPBC

Files <SR_GR_Name> and <ST_Name> and have the following format:
<SR_GR_Name>
<Server_name> _ # _ <WWN> - Such 

serv1_ # _50:01:43:80:04:BC:1A:1C or serv2.dom.com_ # _50:01:43:80:08:BC:1B:1D

<ST_Name>

<PORT>  <PWWN> - for example (for VMAX) 8G:0 50:00:09:74:08:A3:17:8C or  (for Netapp) 0A 50:0A:09:82:6F:3D:7B:F7

The server name and port you can use later as a parameters of the scripts fabric's control. To create these files, there are two ways: manually - using the information available from your systems, or through a set of utilities. On both of these methods will be discussed later.

Как начать пользоваться программой?

Всё предельно просто. Для начала, сгрузите архиве программы, содержащий сам скрипт, а так-же конфигурационные файлы и необходимые директории, отсюда - sites.google.com/site/san4fan/project - fbr.tar.gz. И разверните на вашем UNIX сервере откуда есть SSH доступ к коммуникаторам. И распакуйте:
tar xvf fbr.tar.gz

В результате вы получите папку ops со следующей структурой:

OBJ

conf

tmp

util

txt_get_zone_brc.sh

txt_get_zone_cis.sh

txt_get_zones.sh

Файл txt_get_zones.sh является собственно скриптом, а txt_get_zone_brc.sh и txt_get_zone_cis.sh дополнениями для работы с Brocade и Cisco устройствами соответственно.

Папка tmp - здесь всё понятно, как следует из имени предназначена для хранения временных файлов.

Папка conf - содержит следующие конфигурационные файлы:

fabric - тип и имя ваших фабриков, а так-же коммуникаторы для коммуникации с ними:

#Cisco

<SW_Type>#<FBR_Name>#<SW_Name>#<VSAN>

#Brocade

<SW_Type>#<FBR_Name>#<SW_Name>#

например:

CIS#PROD1#switch-1#1   -   Т.е. Cisco фабрик с именем PROD1 доступен через коммуникатор switch-1 для VSAN 1

BRC#TEST1#switch-2#     -   Т.е. Brocade фабрик с именем TEST1 доступен через коммуникатор switch-2

Замечу, что если вы в Cisco используете несколько VSAN-ов то вам придётся сделать строку для каждого, это даёт возможность различать VSAN-ы и скрипт построения зон не позволит построить зоны между объектами в разных VSAN-х.

auth - содержит данные для доступа ко всем контролируемым элементам, если библиотеку объектов (смотри ниже) вы будите создавать вручную - достаточно указать только информацию для доступа к коммуникаторам.

Содержит:

##Switches

#SW#<FBR_Name>#<SW_Name1,SW_Name2...>#<User>#<Key_file>#<Password>

например:

SW#PROD1#switch-1,switch-2#admin#/root/.ssh/.id_key#                     -  коммуникаторы switch-1 и switch-2 доступны с текущего сервера для пользователя admin с SSH ключом хранящемся в /root/.ssh/.id_key

##Storage

#ST#<ST_Type>#<Storage_Name>#<Connection_string>#              - в Connection_string допустимы достаточно сложные выражения, но об этом позже.

например:

ST#NETAPP#netapp1a#rsh#                                                                   - Определяет доступ к Netapp-у netapp1a через протокол rsh для текущего пользователя

ST#CLAR#10.127.0.5#-password password -scope 0 -user admin#        - Определяет доступ к Clariion (EMC) для пользователя admin  с паролем password

##Servers

#SR#<SRV_Type>#<SR_Name1,SR_Name2...>#<User>#<Key_file>#<Password>

SR#HPBC#hpbc01,hpbc02p#Administrator#/root/.ssh/.id_key#            - Определяет доступ к HP Blade System для пользователя Administrator с SSH ключом хранящемся в /root/.ssh/.id_key

serv - содержит список всех серверов (или blade system как в моём случае)

##Servers

#<SRV_Type>#<FBR_Name>_<FBR_Type>#<System_Name>#<HBA_N{1|2}>

HPBC#PROD1_BRC#hpbc02p#1                                                        - Система типа HPBC (HP Blade Center) с именем hpbc02p подключена к фабрику PROD1 типа Brocade через HBA 1. Последнее поле важно для случаев когда сервер подключён к двум фабрикам для обеспечения устойчивости к падениям.

stor - содержит список стореджай

##<ST_Type>#<ST_Alias>#<ST_Name>   

##Netapp

#NETAPP#N1A#netapp1a

##VNX & Clariion

#VNX#VNX7500#10.10.0.5

#CLAR#CLAR960#clariion1

#VMAX

#VMAX#VMAX282#000292600111                                              -  Поскольку VMAX управляется через FC а не по сети, в качестве параметра используется SID

#Hitachi

#HIT#HIT_2#hitachi2

Папка OBJ - будет содержать библиотеку всех объектов (порты серверов и массивов) присутствуюсчих в каждом упровляемом фабрике.

Её структура:

./OBJ/<FBR>_<SW_TP>/stor/<ST_Name>

./OBJ/<FBR>_<SW_TP>/serv/<SR_GR_Name>

где:

<FBR>                  - имя фабрика (eng. case sensitive) , например PROD1

<SW_TP>             - тип фабрика BRC или CIS для Brocade и Cisco соответственно (другие типы коммуникаторов пока не поддерживаются)

<ST_Name>          - имя дискового массива в удобном для построения имени зоны формате (eng. case sensitive) , например VMAX111

<SR_GR_Name>  - имя группы серверов (eng. case sensitive) , например HPBS - HP Blade System

в результате получаем что-то вроде:

./OBJ/PROD1_CIS/stor/VMAX111

./OBJ/TEST2_BRC/serv/HPBC

Файлы <SR_GR_Name> и <ST_Name> имеют следующий формат:

<SR_GR_Name>

<Server_name>_#_<WWN> - 

например serv1_#_50:01:43:80:04:BC:1A:1C или serv2.dom.com_#_50:01:43:80:08:BC:1B:1D

<ST_Name>

<PORT>  <PWWN> - например (для VMAX) 8G:0 50:00:09:74:08:A3:17:8C или 

                                                       (для Netapp) 0A 50:0A:09:82:6F:3D:7B:F7

Имя сервера и порта вы сможете использовать позже как параметры скриптов управления фабриком.

Для создания этих файлов есть два пути вручную - используя информацию об имеющихся у вас системах :) , или с помощью набора утилит. Об обоих этих методах  мы поговорим позже.