Архив

Archive for the ‘Разное’ Category

Публикация CRL (certificate revocation list)

PKIProcessДанная статья описывает пример публикации CRL (certificate revocation list), в целях доступности их внешним клиентам, например мобильным клиентам lync, в случае когда для публикации вебслужб Lync используются сертификаты внутреннего CA. Данная статья предназначена для тех кому надо решить данную задачу, но не хочет лезть в дебри PKI 🙂

 

Что мы имеем:

  • Внутренний CA развернут и работает корректно
  • Запись во внешнем DNS(для публикации crl по этому имени), например ca.company.ru
  • Возможность обеспечить доступ к серверу CA (или другой публикующий web server) из Интернета по порту 80/TCP (HTTP). Например можно использовать IIS ARR который мы развернули в прошлых статьях для публикации вебслужб Lync. Просто добавим новую ферму (Server Farm) участником которой будет сервер CA и добавим новое правило(URL Rewrite) для запросов типа ca.* (для нашего примера).

Итак, приступим:

  1. На веб сервере (у нас CA) создадим папку, например c:\CRLDistribution . Дать на нее серверу CA NTFS права на модификацию. Расшарить директорию и дать серверу CA или группе Everyone права на модификацию. crl1crl2
  2. Откройте Internet Information Services (IIS) Manager (на сервере CA). Далее правой кнопкой по Default Web Site и выберете Add Virtual Directory. Заполните поле ALIAS например – CRLD, и выберете директорию из пункта 1. crl3
  3. Выберете созданную виртуальную директорию. Справа выберете и зайдите в Directory Browsing, и включите его (Enable справа в поле action)
  4. Выберете созданную виртуальную директорию. Справа выберете и зайдите в Configuration Editor, выберете в поле section значение system.webServer/security/requestFiltering. Ниже в поле allowDoubleEscaping выберете для него true. crl4         Это необходимо для доступа к файлам, содержащим в имени знак ‘+’. Такой знак генерируется в имени файла, содержащего Delta CRL. Без этого при попытке доступа к файлу Delta CRL сервер будет в любом случае возвращать Error 404 (даже при наличии файла). В нашем случае необходимо также выставить данный флаг и на IIS ARR: Default Web Site\Request Filtering\Edit Feature Settings\Allow double escaping
  5. Перейти на СА и открыть оснастку управления СА (Administrative Tools > Certificate Authority). Войти в свойства CA и перейти на вкладку Extensions. Нажать кнопку Add. В поле Location ввести следующее:
  6. file://\\CA01\CRLDistribution\<CaName><CRLNameSuffix><DeltaCRLAllowed>.crl
    Необходимо для автоматической публикации crl в нужной папке. Где \\CA01\CRLDistribution — UNC-путь к директории, а CA01 — имя, по которому веб-сервер доступен внутри сети(в нашем случае это корпоративный CA).
    Нажать ОК, выделить в списке эту строку и установить:
    Publish CRLs to this location
    Publish Delta CRLs to this location
  7. Добавить еще одну строку(по этому пути внешние клиенты будут искать наши crl). При этом CA.company.ru – fqdn имя по которому сервер доступен из сети интернет. CRLD – это ALIAS виртуальной директории.
    http://CA.company.ru/CRLD/<CaName><CRLNameSuffix><DeltaCRLAllowed>.crl
    Нажать ОК, выделить в списке эту строку и установить:
    Include in CRLs. Clients use this to find Delta CRL locations.
    Include in the CDP extension of issued certificates
  8. crl5
  9. Сохранить изменения. Согласиться с перезапуском службы СА
  10. В оснастке управления СА щелкнуть правой кнопкой на Revoked Certificates и выбрать All tasks -> Publish. В директории на веб-сервере появились два файла — CLR и Delta CLR. Если по этому действию возникают ошибки то они зачастую связаны с отсутствием прав на директорию размещения файлов crl. Еще раз перепроверьте правильно ли вы дали доступ к папке. Возможно помогут статьи с technet http://social.technet.microsoft.com/wiki/contents/articles/3081.ad-cs-error-the-directory-name-is-invalid-0x8007010b-win32http-267.aspx и http://technet.microsoft.com/en-us/library/cc726342(v=WS.10).aspx
  11. Теперь нужно перевыпустить сертификаты для наших публикуемых сервисов. Например для Lync: необходимо перевыпустить сертификаты для ReverseProxy и Edge. Открыть свойства новых сертификатов и на вкладке Details проверить содержимое поля CLR Distribution Points. Там должен фигурировать соответствующий URL, ссылающийся на публичный FQDN веб-сервера.
  12. Проверить доступность CRL из интернет. Например пройдя в нашем случае по ссылке http://ca.company.ru/crld/ вы должны увидеть все файлы в этой директории, попробуйте скачать их. Если скачивается значит все работает как надо. crl6
  13. Примечание: Для использования сертификатов, выданных внутренним CA, с сервисами, доступными из интернет (различные веб службы, например веб службы Lync), необходимо, чтобы публичные сертификаты корневого центра сертификации и всех подчиненных CA были помещены в хранилище Доверенные корневые центры сертификации / Trusted root certification authorities и клиентам были доступны CRL(списки отзыва сертификатов), публикуемые этими центрами сертификации. На мобильных клиентах Lync также необходимо устанавливать корневой сертификат.
  14. Пример из практики для чего нужна данная публикация CRL.

Исходные данные: В организации развернут Lync, используются сертификаты внутреннего CA. Администратор решил организовать доступ мобильных клиентов Lync из сети интернет. Опубликовал веб службы в интернет с помощью IIS ARR, использовал для публикации сертификаты выпущенные внутренним CA. Установил Lync client 2013 на свой смартфон с ОС WP8, установил корневой сертификат своего CA и успешно подключился, после этого свернул приложение. На следующее утро администратор вызвал из фона приложение Lync но приложение не могло подключиться, помогал только выход из клиента путем разлогирования, при этом появлялось сообщение что связь с сервером разорвана. Данная проблема повторялась каждый раз после длительного периода нахождения в фоне(около 4-6 часов).

Причины: поиск мобильным клиентом списков отзыва сертификатов (CRL)

Решение проблемы: публикация CRL, заново опубликовать веб службы Lync с новыми сертификатами (где есть новая точка распространения CRL)

Profit!

Реклама

IIS ARR в качестве Reverse Proxy для Lync Server 2013

lync

Данная статья описывает возможность публикации сервисов Lync с помощью Reverse Proxy на базе IIS. Так как в стандартном наборе IIS данной возможности нет – то для реализации необходимо будет установить дополнительный компонент Application Request Routing (ARR).

Итак, что мы имеем:

 

СхемаRP

  • Lync Server 2013 развернут и работает корректно
  • В DMZ присутствует Lync Server Edge
  • SimpleURL определены http://technet.microsoft.com/en-us/library/gg398287.aspx
  • В сети периметра (DMZ) развернут сервер с установленной ОС WindowsServer 2012 R2. Используется два сетевых интерфейса (DMZexternal и DMZinternal). Сервер должен будет принимать запросы из интернета и маршрутизировать их в локальную сеть. Для разрешения имен используется DNS в DMZ, в случае его отсутствия можно использовать файл HOSTS.

Итак приступим к развертыванию Reverse Proxy-сервера на базе IIS (ОС WindowsServer 2012 R2):

1. Установим IIS. Выберете для установки две роли: Applications Server и Web Server (IIS)

 

2. Установите ваши сертификаты: SAN сертификат(или wildcard), CA root certificate. В данном случае используется свой внутренний CA и wildcard сертификат

3. Добавьте HTTPS привязку для Default Web Site (используйте ваш сертификат).

 

4. Установите ARR

В идеальном случае ARR нужно установить через механизм WebPlatformInstaller (WebPI) http://www.microsoft.com/web/downloads/platform.aspx

В моем частном случае (windows server 2012 R2) я решил сделать вручную. Скачал и установил следующие пакеты:

WebDeploy version 2.0 (без него не устанавливался WebFarmFrameworkversion 2.2)

WebPlatformInstaller 3.0 (без него не устанавливался WebFarmFrameworkversion 2.2)

WebFarmFramework version 2.2 (версия 1.1 на R2 не захотела работать)

External cache version 1.0

-URL Rewrite version 2.0

-ARR version 3.0

5. Послеустановки ARR в окне просмотра функций нашего IIS сервера (в оснастке Internet Information Services Manager) появится «URL Rewrite», а в дереве сайтовпункт «Server Farms»:

Создайте server farm (можно использовать любое имя). Сервера входящие в ферму будут получателями трафика, пересылаемого Reverse Proxy сервером.

 

6. Добавьте сервера при этом нужно поменять порты согласно скриншоту ниже.

 

Последним шагом будет предложено создать правило, которое будет перенаправлять весь входящий трафик на новую ферму.

7. В настройках фермы настроим следующие компоненты:

 

Настроим Caching, Proxy, and Routing Rules

  • В Cachingотключим кэш (disk cache).
  • В Proxy, изменим timeout на 200 секунд(рекомендуемое). Значение данного параметра может быть подобрано индивидуально.
  • В Routing Rules, выключим SSL off loading (не забудьте всегда нажимать Apply)

 

8. Настроим правила URL Rewrite. Находится модуль в IISManager\сервер\URL Rewrite

Когда вы откроете URL Rewrite то найдете там два правила по умолчанию. Первое – SSL правило, второе – HTTP правило. HTTP правило нам не понадобиться, поэтому мы можем его удалить или отключить.

9. Двойной клик на правиле ARR_LSWEB_loadbalance_SSL и мы увидим следующее:

Раздел Match URL – это фильтр, который фильтрует запросы согласно шаблону

Раздел Conditions – дополнительные условия для запросов, которые прошли фильтр Match URL

Раздел Action – действия, которые выполняются с запросами, которые прошли через фильтр Match URL и удовлетворяют условиям, указанным в Conditions

Запросы, проходящие через наш Reverse Proxy-сервер, содержат URL сервера, к которому обращается клиент.

Разберем что за что отвечает:

http(s)://<host>:<port>/<path>?<querystring>

Match URL — работает с <path> .

Conditions — <host>, <port> и <querystring> (через переменные «HTTP_HOST», «SERVER_PORT» и «QUERY_STRING»). Для обработки HTTP запросов также используются переменные «SERVER_PORT_SECURE» и «HTTPS»

 

10. Создадим отдельные правила для Meeting/Dialin/External Web Services/Lyncdiscover

Создадим правило для External Web Services:

11. Создадим подобные правила для Meeting/Dialin/Lyncdiscover

В итоге у нас получится:

Также можно все правила совместить в одном правиле. Для этого:

  • в поле Using(Match URL) выбрать Regular Expression
  • в поле Pattern(MatchURL) написать значение: (.*)
  • в Conditions сделать условие, используя регулярное выражение (lsweb.*|meet.*|dialin.*)

Profit!

12. Тестируем и ищем возникшие неисправности

Troubleshooting:

Для начала решения возникшей проблемы рекомендуется сначала обратится к логам. Они находятся по умолчанию в: %SystemDrive%\inetpub\Logs\W3SVC1.

Чтобы понять в тонкостях, что ARR делает нужно настроить Failed Request Tracing, используйте для этого статью Using Failed Request Tracing Rules to Troubleshoot Application Request Routing (ARR). Этот процесс создает XML trace файл в папке по умолчанию: %SystemDrive%\inetpub\Logs\FailedReqLogFiles\W3SVC1.

Рубрики:Разное, Lync

Построение кластера Hyper-V 3.0 с использованием сетевого хранилища данных (SAN)

В данной статье я расскажу о реальном примере внедрения отказоустойчивого кластера Hyper-V 3.0 с использованием SAN сетей. На написание данной статьи меня подтолкнуло отсутствие в интернете реальных примеров внедрения корпоративных решений. В свое время когда я собирал свой первый кластер я так и не смог увидеть ни одной статьи описывающей реальный боевой опыт с серьезным оборудованием, конечно полно статей типа «кластер на коленке» с помощью которых и было получено общее представление о технологии, а далее развив тему решил поделиться опытом с теми кому нужен  кластер Hyper-V  уже «вчера».

1.     Описание основных понятий

Кластер (англ. cluster — скопление) — объединение нескольких однородных элементов, которое может рассматриваться как самостоятельная единица, обладающая определёнными свойствами. Применимо к IT и к нашему случаю кластер это — группа компьютеров, объединённых физически — каналами связи, а программно – с помощью ПО кластера  и представляющая с точки зрения пользователя единый аппаратный ресурс.

Сеть хранения данных (англ. Storage Area Network, SAN) — представляет собой архитектурное решение для подключения внешних устройств хранения данных, таких как дисковые массивы, ленточные библиотеки, к серверам таким образом, чтобы операционная система распознала подключённые ресурсы как локальные.

Microsoft Hyper-V — система виртуализации для x64-систем на основе гипервизора. Гипервизор обеспечивает параллельное выполнение нескольких ОС на одном и том же хосте, изоляцию операционных систем друг от друга, защиту и безопасность, разделение ресурсов между различными запущенными ОС и управление ресурсами.

 

2.     Подбор оборудования и ПО

Аппаратные требования: Процессор должен поддерживать аппаратную виртуализацию и трансляцию адресов второго уровня (Intel EPT или AMD RVI). У Intel эта технология называется Intel-VT (также может обозначаться VMX), у AMD — AMD-V (SVM). Однако чтобы виртуализация заработала, поддержка должна быть не только на уровне процессора, но и на уровне материнской платы. Включить виртуализацию можно в разделе Advanced BIOS Featured. Обычно здесь есть параметр Virtualization, или Intel-VT.

При выборе оборудования необходимо собрать данные о серверах которые вы хотите виртуализировать и сделать их анализ, необходимо понять какие ресурсы используют все ваши сервисы которые подлежат виртуализации. Данный анализ поможет сделать Microsoft Assessment and Planning ToolKit. С помощью него вы сможете: инвентаризировать ресурсы, собрать показатели производительности, получить рекомендации по виртуализации, и даже рассчитать рентабельность инвестиций. В итоге вы сможете точно сказать какое оборудование вам нужно(вплоть до конкретного процессора).

 Полезные ссылки:

1.    Страница MAP — http://technet.microsoft.com/en-us/solutionaccelerators/dd537566.aspx

2.    Скачать MAP, документацию и примеры — http://www.microsoft.com/downloads/en/details.aspx?FamilyID=67240b76-3148-4e49-943d-4d9ea7f77730&displaylang=en 

 map

 

После сбора и анализа данных с помощью MAP, мы подобрали оборудование которое позволило бы нам виртуализировать все наши ресурсы, плюс оставили запас под рост сервисов. В общих чертах можно сказать что с данной(ниже) конфигурацией мы смогли на предприятии (количество пользователей пользующихся виртуализированными сервисами — 600 чел.) без потери производительности перевести в виртуальную среду около 15 серверов с разнообразнейшими сервисами в составе: нескольких SQL серверов разных версий (на них крутится 1С 8.2 Предприятие, Эл.документооборот, ServiceDesk, и другое ПО), терминальный сервер, WEB сервер, один из контроллеров домена, сервер антивируса, и т.д и т.п. И все это прекрасно и беспроблемно уживается в виртуальной среде.

Итак основываясь на результатах собранной информации с помощью MAP, и используя функцию MAP \Server Virtualization\Server Consolidation Rezults подобрали с помощью вендора оптимальную конфигурацию для нашей инфраструктуры. В ее состав входят два сервера, схд, коммутаторы для организации сети SAN. Отдельно замечу что мы не рассматриваем варианты с использованием SMB (Hyper-V 2012 это позволяет), Microsoft iSCSI Software Target, StarWind iSCSI Software Target, по многим причинам (ввиду хотя бы названия этой статьи) которые рассматривать здесь не будем, поэтому примите как данность.

 Состав оборудования:

Ноды кластера (сервера)

Сервер IBM System x 3850 X5 Rack в составе:

Процессор  Xeon E7-4820 2.00GHz/24MB L3 – 2 шт.,

Оперативная память PC3L-10600 CL9 ECC DDR3 1333MHz – 48GB (12х4Гб)

Блок питания 1975W p/s – 2 шт.,

Сетевой адаптер IBM NetXtreme II 1000 Dual Port Express Adapter,

FC-адаптер IBM QLogic 8Gb FC Single-port HBA for IBM System x – 2 шт.,

 СХД

Дисковый массив IBM Storwize V7000 в составе:

Дисковая система хранения IBM Storwize V7000 в комплектации: Два контроллера 8 GB RAM, 4 (четыре) порта iSCSI 1 GB/s, 8 (восемь) портов FC 8 GB/s, батареи хранения содержимого кэша.

Жесткий диск IBM 600GB 2.5in SFF Slim-HS 10K 6Gbps SAS HDD – ХХХ шт.,

Кабель 5 m Fiber Optic Cable LC-LC – 8 шт.,

Кэш-память Cache 8 GB – 2 шт.,

Лицензия для внешней виртуализации IBM Storwize V7000 External Virtualization – 3 шт.,

Коммутаторы SAN

Коммутатор для организации сети IBM System Storage SAN24B-4, 2 шт в составе:

Коммутатор Express IBM System Storage SAN24B-4 (8 ports activated),

Лицензия для активации портов IBM 8-Port Activation,

Трансиверы SFP 8 Gbps SW 8-Pack – 2 шт.

 Программное обеспечение

Windows Server 2012 Datacenter

 

Вот в принципе то что нам понадобится для построения нашего кластера(пример взят из реального проекта), отдельно хочу сказать что по лицензированию Windows Server 2012 отдельная история, но в нашем случае мы выбираем Datacenter ввиду большого количества виртуалок которые будут у нас крутится (Datacenter позволяет запускать неограниченное количество виртуальных экземпляров). Отдельно замечу по языку ОС: рекомендую использовать английскую версию, ибо как говорит один знакомый MVP – «врага надо знать в лицо» да и от использования родного языка ОС вы получите «бонус к карме» что обязательно скажется на вашей зарплате на ваших профессиональных навыках.

 

3.     Построение схемы SAN

На данной схеме мы видим вариант 4-х узлового кластера либо двух отдельных кластеров использующих одно и тоже хранилище (но разные пулы дисков). Данная схема позволяет увидеть как мы можем использовать наше оборудование. В случае с нехваткой пространства на полке, мы всегда можем подцепить полку расширения(у Storwize V7000 по интерфейсу SASx4 6 Gb/s – 24 Gb/s) и использовать новое пространство для своих нужд.

 san1

 

 В реальном примере мы будем собирать двух узловой кластер состоящий из СХД IBM Storwize V7000, двух FC коммутаторов Express IBM System Storage SAN24B-4, двух серверов IBM System x 3850 X5   (на последующих скринах вы увидите элементы другого кластера – не обращайте внимания). Причем полка и коммутаторы уже задействованы под реально работающий кластер Hyper-V, хочу отметить что во время работ ни одно животное не пострадало ни одно наше действие не сказалось на работе действующих сервисов. Что конечно и ожидалось – ведь это решение корпоративного уровня позволяющее решать наши задачи без каких либо остановок и перезагрузок. Итак ниже схема по которой мы будем собирать наше оборудование:

 san2

4.     Настройка SAN

Настройка SAN сетей конечно совершенно отдельная тема и для этих целей зачастую нужен дорогостоящий квалифицированный специалист по данной тематике, но как всегда кластер нам нужно собрать «еще вчера» и коммутатор вроде не страшный.. значит разберемся сами. Настраивать оптические коммутаторы Brocade желательно в следующей последовательности(а в большинстве случаев  у вас будет именно такой правда с наклейкой другой компании, в нашем случае это IBM SAN24B-4 но на самом деле это Brocade 300B)

Общая последовательность настройки SAN коммутаторов Brocade

1. Подключим все оборудование согласно схеме и включим все элементы нашей сети

2. Подключится к COM(RS232) порту (9600-8-1, no-flow-control) спец. кабелем

3. С помощью ПО “Putty” либо “HyperTerminal” из дистрибутива windows подключится к COM порту к которому подключен наш коммутатор.

4. Ввести логин/пароль

5. Изменить имя коммутатора командой switchname <имя коммутатора>

6. Настроить сетевые параметры командой ipaddrset , все необходимые параметры у вас запросит мастер настройки.

7. Меняем Domain-ID:

switchdisable — этой командой дезактивируем коммутатор.

configure — этой командой меняем Domain-ID (диапазон 1…239), отвечаем yes на вопрос о изменении фабрики, следующий параметр как раз Domain-ID, а все остальные параметры оставляем по умолчанию (просто нажимаем Enter).

switchenable – этой командой активируем коммутатор.

8. Перезагрузка командой reboot

9. Cмотрим что у нас на коммутаторе командой switchShow – если оборудование подключено, но WWN не показаны смотрим порт portShow <номер порта>

10.  Командой alicreate “<Имя алиаса>”, “<WWPN_1>; <WWPN_2>; … <WWPN_N>” можно создать алиасы: alicreate «Storwize1», «50:05:22:11:00:11:22:33»  потом можно будет использовать этот алиас при создании зоны в след.пункте

11.  Создаем зоны, зоны создаем по wwn, т.е. алиасам созданным в предыдущем пункте. Зоны делаем из двух членов: инициатор(hba/виртуальный fc), таргет (порт дисковой системы или библиотеки и пр.)

Для создания зоны используем команду zonecreate “<Имя зоны>”, “<Алиас_1>; <Алиас_2>; … <Алиас_N>”.

Например:

zoneCreate «z_имязоны1″, «алиас_сервера1; алиас_дисковой_системы1»

zonecreate «z_имязоны2″, «алиас_сервера1; алиас_дисковой_системы2»

zonecreate «z_имязоны3″, «алиас_сервера2; алиас_дисковой_системы1»

zonecreate «z_имязоны4″, «алиас_сервера2; алиас_дисковой_системы2»

PS: Старайтесь создавать зоны, так чтобы в каждой зоне был 1 порт сервера и 1 порт устройства, лучше пусть у вас будет больше зон, чем все свалено в кучу.

12.  Создаем конфигурацию командой cfgCreate «cfgSAN1″, «z_зона1; z_зона2; z_зона3; z_зона4″. Если конфигурация уже есть то активную зону можно посмотреть командами alishow или cfgactvshow и добавить новую зону в конфигурацию командой cfadd “<имя конфигурации>”, “<Зона_1>; <Зона_2>; … <Зона_N>” и сохраняем конфигурациюcfgsaveфабрики и применяем  конфигурацию с помощью команды cfgenable “<Имя конфигурации>”

13.    Если мы создали новую конфигурацию то активируем ее командой cfgenable “<Имя конфигурации>”

14.    Посмотрим на результат наших усилий командой cfgactvShow

15.    P.S. все это конечно можно сделать из GUI, попасть в которой мы можем через браузер прописав в адресной строке ip коммутатора, но это не путь джедаев 🙂 

16.    Если мы все правильно настроили то в следующем разделе мы сможем отдать будущим узлам кластера необходимые ресурсы с СХД.

 

 

5.     Подготовка СХД

storwize2

Подготовим нашу СХД IBM Strorwize V7000 к работе(все узлы согласно приведенной выше схемы уже подключены, сама СХД быстро и легко настраивается по мануалам которые легко найдете на сайте IBM: http://pic.dhe.ibm.com/infocenter/storwize/ic/topic/com.ibm.storwize.v7000.doc/tbrd_bkmap_quickinstbk.pdf )  отдельно отмечу что наша полка поддерживает подключения хостов только через коммутаторы,  в нашем случае это пара IBM SAN24B. После первичной настройки заходим в GUI нашей полки и нарезаем диски:

5.1  Вставляем диски в нашу полку

5.2  Переходим Physical Storage >Internal и контролируем их состояние

storwize1

5.3  Помечаем диски как Candidat

5.4  Создаем массивы: Configure Storage – Select a different configuration. Выбираем необходимые параметры, в продакш рекомендую использовать только RAID 10 но это отдельная история требующая отдельного рассмотрения. После данных манипуляций мы сконфигурировали mdisk2 и mdisk3 а также так называемые пулы (pools). Пулы можно создавать при конфигурировании MDisk, а также в меню Physical Storage >Pools. Новые пулы мы назвали Pool3_HostBoot_HyperV2012 и Pool4_Cluster_HyperV2012 и связали их соответственно с mdisk2 и mdisk3.

5.5  Создаем тома (Volumes) для того чтобы в дальнейшем сделать маппинг этих томов на наши узлы, а также создаем том который будет являться кворумным диском.

Переходим в Volumes\All Volumes и создаем диски с помощью функции (слева вверху) New Volumes, выбираем вид Generic, выбираем из какого пула будем создавать, указываем имя и объем . Для текущих целей нам необходимо создать следующие диски(названия даны исходя из текущей ситуации на конкретном оборудовании, вы называйте как хотите):

QuorumDisk2 – кворумный диск, необходим для работы нашего двухузлового кластера.

Host3OS – диск с которого будет загружаться ОС первой ноды

Host4OS – диск с которого будет загружаться ОС второй ноды

ClusterResourse2 – общий кластерный ресурс на котором будут хранится виртуальные машины.

В дальнейшем нам будет необходимо сделать маппинг дисков Host3OS и Host4OS соответствующим хостам, а кворумный диск и кластерный ресурс необходимо будет отдать обоим хостам. На рисунке ниже приведен процесс создания логического тома (volumes).

 Volumes

5.6  Подключим наши ноды к СХД в разделе Hosts\AllHosts.

NewHost-FibreChanel Host— Пишем имя – Выбираем порты по которым этот хост подключен. Если мы все правильно сделали при настройке SAN коммутатора то полка должна без проблем найти активные нераспределенные порты подключенных устройств.

5.7  Отдадим наши тома соответствующим узлам.

Volumes\allVolumes – выбираем том – Actions(либо ПКМ) – Map to host – выбираем хост.

Аналогично все тома:

QuorumDisk2 – Host3,Host4

Host3OS – Host3

Host4OS – Host4

ClusterResourse2 – Host3,Host4

 

 

6.     Настройка Boot From SAN

Итак мы имеем готовую к работе SAN сеть, осталось только установить на наши хосты операционные системы, установить все обновления, установить роль Hyper-V, компоненты средство отказоустойчивости кластеров, MPIO и собрать кластер.

Установить операционную систему в случае наличия локальных дисков на сервере, не представляет трудности, поэтому рассмотрим ситуацию когда ОС будет располагаться в нашем хранилище т.е загрузка сервера будет производится с внешней системы хранения данных. Итак настраиваем:

Так как зонирование мы уже настроили, следовательно проблем с «видимостью» оптических устройств не должно возникнуть, поэтому сразу заходим в BIOS FC адаптера.

 

  •          Для адаптеров Qlogic(а именно они у нас и используются) нажмите при загрузке сервера Ctrl+Q.
  •          В начале диалога нам предлагают выбрать адаптер для настройки – выбираем
  •          Дальше в Configuration Settings

QlogicBios2

  •          Выберите Adapter Settings,
  •          Включите опцию Host Adapter BIOS (enable)
  •          Вернитесь в Configuration Settings, выберите Selectable Boot Settings.
  •          Включите опцию Selectable Boot и выберите загрузочный LUN.

QlogicBios3

  •          Повторить настройки для второго интерфейса FC адаптера
  •          Установить ОС Windows Server 2012. Если установщик не увидел LUN, то, скорее всего, в образе не хватает драйверов для HBA-карточки.

 

 

7.      Подготовка к сбору кластера

Подготовимся к сбору кластера, а именно необходимо установить компоненты: средство отказоустойчивости кластеров, MPIO, ну и естественно роль Hyper-V. Итак приступим:

7.1  Установка ОС (если еще не установили) + все обновления.

7.2  Установка Multipath I/O через Add Roles and Features Wizard

MPIO

На заметку:

Multi-Path Input Output — технология, позволяющая соединять устройства хранения и серверы, используя несколько портов или контроллеров, обеспечивая тем самым избыточность подключений. С помощью дополнительных компонентов физических путей (адаптеры, кабели, коммутаторы) создаются логические пути между сервером и хранилищем. При выходе из строя одного или нескольких компонентов, логика MultiPath позволит использовать альтернативный логический путь, сохраняя для приложений доступ к данным.

7.3  Настройка MPIO

После установки Multipath I/O можно открыть диалоговое окно Свойства MPIO из панели управления сервером (для Windows Server 2012: Server Manager-Tools-MPIO) либо командой mpiocpl. Не будем подробно освещать данный компонент, а настроим его применительно к нашему случаю.

MPIO1

Переходим во вкладку Discover Multi-Paths, в нашем случае в списке появится устройство IBM 2145. Выбираем его и нажимаем Add, после добавления ОС попросит перезагрузку. После перезагрузки у нас будет виден только один диск(или несколько – по количеству отданных томов нашему узлу), посмотрев его свойства через оснастку diskmgmt.msc можно увидеть вкладку MPIO где можно тонко настроить необходимые параметры. По умолчанию MPIO выберет режим работы Round Robin With Subset т.е режим балансировки нагрузки, оставляем все по умолчанию либо настраиваем под себя. Вот и все.

7.4  Установка Failover Clustering (средство отказоусточивости кластеров) через Add Roles and Features Wizard.

Тут все стандартно, устанавливать нужно через Add Roles and Features Wizard. Выбираем Failover Clustering и устанавливаем.

7.5   Установка роли Hyper-V

Опять же все через Add Roles and Features Wizard. Ничего сложного, просто следуйте по пунктам, рекомендую оставить все по умолчанию. Необходимые настройки вы все равно будете делать позже, в процессе наладки работы кластера Hyper-V.

  

8.     Сбор кластера

8.1  Проверка на возможность сборки кластера

Перед тем как собрать наш кластер необходимо провести проверку  на саму эту возможность. Запускаем Fileover Cluster Manager, далее – Validation a Configuration Wizard  и указываем узлы будущего кластера. После проверки можно посмотреть отчет, где будут указаны ошибки, после устранения которых можно собирать кластер.

Validate

После устранения всех критических ошибок проводим повторную проверку и убедившись в их отсутствии приступаем к следующему пункту.

8.2  Создаем кластер (Create Cluster)

Запускаем Fileover Cluster Manager, далее – Create Cluster Wizard

  •          указываем узлы будущего кластера
  •          Пишем имя кластера и его ip адрес
  •          Проверяем еще раз введённую информацию и запускаем процесс

Createcluster

  •          После создания кластера читаем отчет и устраняем возможные ошибки
  •          Открываем Fileover Cluster Manager и видим что у нас появился наш свежеиспеченный кластер из двух узлов, причем из доступных дисков мастер настройки выбрал наименьший диск в качестве кворума, второй диск используется в качестве кластерного ресурса. Также смотри Cluster Events на предмет ошибок – устраняем их.
  •          Далее для размещения виртуальных машин нам надо сделать так чтобы конфигурация и виртуальный жесткий диск (VHD) были доступны одновременно на обоих узлах. Сделать такой ресурс мы можем используя решение именуемое Cluster Shared Volume. Технология Cluster Shared Volume не предъявляет никаких специальных требований, кроме наличия хранилища с общим доступом в отказоустойчивом кластере. Более подробно о данной технологии всегда вам подскажет google. Сделать это легко и просто: кликните ПКМ на нужном диске (не кворум), в меню выбираем Add Cluster shadow volume – профит! Диск будет смонтирован на C:\ClusterStorage\Volume1, так что все совместно используемые данные будут находиться там. В том числе и виртуальные машины. Причем если вы собрали кластер на основе ОС Windows Server 2008 R2 то на этом ресурсе могут располагаться только виртуальные машины, в Windows Server 2012 эти ограничения сняты.
  • Вот и все, осталось только проверить работоспособность!

8.3  Проверка работоспособности кластера Hyper-v с помощью Fileover Cluster Manager

8.4  Проверка работоспособности кластера Hyper-v с помощью Hyper-V Manager

8.5  Проверка работоспособности кластера Hyper-v с помощью SCVMM

Рубрики:Разное, Hyper-V

Brocade SAN switch — напоминалка по командам

Пол года назад во время проекта по виртуализации пришлось столкнутся с настройкой Brocade SAN switch, искал инфу по командам и первичной настройке, и чтобы вспомнить в следующий раз, что к чему сохранил в виде статьи в блоге:

Общая последовательность настройки SAN коммутатора Brocade

I.                    Начальная настройка

1. подключится к COM порту (9600-8-1, no-flow-control)

2. ввести логин/пароль (admin/password)

3. изменить имя коммутатора

# switchname

4. установить IP адрес

# ipaddrset

5. изменить Domain-ID (рекомендуется использовать из диапазона 99..127)

# switchdisable

# configure

— ответить “yes” на вопрос об изменении параметров фабрики

Domain ID: 101 (на втором коммутаторе: 102)

— остальные параметры оставить как есть (нажимать “Enter”)

# switchenable

# reboot

II.                  Настройка зон  

смотрим что у нас на коммутаторе

# switchShow

если обрудование подключено, но wwn не показан(ы) смотрим порт

# portShow

1. создаем алиасы для подключенного обурудования:

# aliCreate

2. создаем зоны, зоны создаем по wwn, т.е. алиасам созданным в предыдущем пункте. зоны делаем из двух мемберов: инициатор(hba/виртуальный fc), таргет (порт дисковой системы или библиотеки и пр.)

# zoneCreate «z_зона1», «алиас_сервера1; алиас_дисково_системы1»

# zonecreate «z_зона2», «алиас_сервера1; алиас_дисково_системы2»

# zonecreate «z_зона3», «алиас_сервера2; алиас_дисково_системы1»

# zonecreate «z_зона4», «алиас_сервера2; алиас_дисково_системы2»

и тд.

3. создаем конфигурацию

# cfgCreate «cfgSAN1», «z_зона1; z_зона2; z_зона3; z_зона4»

4. активируем конфигурацию

# cfgEnable «cfgSAN1»

5. посмотрим что получилось

# cfgShow

— есть еще любимая команда help

виртуальные wwn выглядят «странно» как говорит посторонний коллега:

c0:50:76:03:ae:32:00:04 — виртуальный FC (NPIV)

10:00:00:00:c9:d0:0b:40 — emulex 8Gb

обрати внимание: wwn виртуального FC может измениться!

т.е. правильная последовательность:

— создать виртуальный fc (vios)

— прописать виртуальный fc в профиль LPAR

— остановить LPAR

— запустить LPAR

— посмотреть wwn на LPAR (хосте)

— замапить виртуальный FC с физическим fc (vios)

проверить на свиче:

— должен быть виден виртуальный wwn (как на хосте)

дальше уже на дисковой системе заводим хосты, хост группы, отдаем луны

И еще по командам:

1.       Первоначальная настройка.

Для установки сетевых реквизитов коммутатора используется команда ipaddrset, нет необходимости запоминать параметры этой команды, все необходимые параметры у вас запросит мастер настройки. Выглядит это следующим образом:

swd77:admin> ipaddrset

Ethernet IP Address [10.77.77.77]:192.168.1.5

Ethernet Subnetmask [255.255.255.0]:255.255.255.0

Gateway IP Address [none]:192.168.1.254

DHCP [Off]:

Задать имя коммутатора можно с помощью команды switchname <имя коммутатора>:

swd77:admin> switchname fcsw5

Committing configuration…

Done.

2.       Добавление коммутатора в фабрику

Для того чтобы надо добавить новый коммутатор в существующую фабрику нам необходимо узнать какой Domain ID в фабрике свободный, в этом нам поможет команда fabricshow:

fcsw1> fabricshow

Switch ID   Worldwide Name           Enet IP Addr    FC IP Addr      Name

————————————————————————-

  1: fffc01 10:00:00:05:1e:df:1f:81 192.168.1.1         0.0.0.0        >»fcsw1″

  2: fffc02 10:00:00:05:33:91:b0:fc 192.168.1.3        0.0.0.0         «fcsw3»

Прежде чем можно будет сменить Domain ID у нового коммутатора необходимо будет дезактивировать коммутатор с помощью команды switchdisable:

fcsw5:admin> switchdisable

Сменить Domain ID  можно командой configure, все параметры кроме Domain оставьте по умолчанию, Domain любой свободный из диапазона 1..239, лучше нумеровать по порядку чтобы в будущем не путаться.

fcsw5:admin> configure

Configure…

  Fabric parameters (yes, y, no, n): [no] yes

    Domain: (1..239) [1] 5

    WWN Based persistent PID (yes, y, no, n): [no]

    R_A_TOV: (4000..120000) [10000]

    E_D_TOV: (1000..5000) [2000]

    WAN_TOV: (0..30000) [0]

    MAX_HOPS: (7..19) [7]

    Data field size: (256..2112) [2112]

    Sequence Level Switching: (0..1) [0]

    Disable Device Probing: (0..1) [0]

    Suppress Class F Traffic: (0..1) [0]

    Per-frame Route Priority: (0..1) [0]

    Long Distance Fabric: (0..1) [0]

    BB credit: (1..27) [16]

    Disable FID Check (yes, y, no, n): [no]

  Insistent Domain ID Mode (yes, y, no, n): [no]

  Configure edge hold time (yes, y, no, n): [no]

  Virtual Channel parameters (yes, y, no, n): [no]

  F-Port login parameters (yes, y, no, n): [no]

  Zoning Operation parameters (yes, y, no, n): [no]

  RSCN Transmission Mode (yes, y, no, n): [no]

  Arbitrated Loop parameters (yes, y, no, n): [no]

  System services (yes, y, no, n): [no]

  Portlog events enable (yes, y, no, n): [no]

  ssl attributes (yes, y, no, n): [no]

  rpcd attributes (yes, y, no, n): [no]

  cfgload attributes (yes, y, no, n): [no]

  webtools attributes (yes, y, no, n): [no]w

WARNING: The domain ID will be changed. The port level zoning may be affected

После смены Domain ID необходимо активировать коммутатор командой switchenable

fcsw5:admin> switchenable

После проделанных операций можно подключать коммутатор к существующей фабрике.

Зонирование.

Для того чтобы создать алиасы устройств подключенных к коммутатору, необходимо знать WWPN устройств. Посмотреть состояния портов и WWPN устройств можно командой switchshow:

fcsw5:admin> switchshow

switchName:     fcsw5

switchType:     71.2

switchState:     Online 

switchMode:     Native

switchRole:     Subordinate

switchDomain:     3

switchId:     fffc02

switchWwn:     10:00:00:05:33:df:7e:3e

zoning:          ON (SKSD)

switchBeacon:     OFF

Index Port Address Media Speed State     Proto

==============================================

  0   0   020000   id    N8   Online      FC  E-Port  10:00:00:05:1e:77:a6:13 «fcsw1» (upstream)

  1   1   020100   id    N8   Online      FC  F-Port  50:05:07:68:02:10:86:90

  2   2   020200   id    N8   Online      FC  F-Port  50:05:07:68:02:10:86:91

  3   3   020300   id    N8   No_Light    FC

  4   4   020400   id    N8   Online      FC  E-Port  10:00:00:05:1e:77:a6:13 «fcsw1»

  5   5   020500   id    N8   Online      FC  F-Port  50:05:07:68:02:10:81:02

  6   6   020600   id    N8   Online      FC  F-Port  50:05:07:68:02:10:81:03

  7   7   020700   id    N8   No_Light    FC

  8   8   020800   —    N8   No_Module   FC  (No POD License) Disabled

  9   9   020900   —    N8   No_Module   FC  (No POD License) Disabled

 10  10   020a00   —    N8   No_Module   FC  (No POD License) Disabled

 11  11   020b00   —    N8   No_Module   FC  (No POD License) Disabled

 12  12   020c00   —    N8   No_Module   FC  (No POD License) Disabled

 13  13   020d00   —    N8   No_Module   FC  (No POD License) Disabled

 14  14   020e00   —    N8   No_Module   FC  (No POD License) Disabled

 15  15   020f00   —    N8   No_Module   FC  (No POD License) Disabled

 16  16   021000   —    N8   No_Module   FC  (No POD License) Disabled

 17  17   021100   —    N8   No_Module   FC  (No POD License) Disabled

 18  18   021200   —    N8   No_Module   FC  (No POD License) Disabled

 19  19   021300   —    N8   No_Module   FC  (No POD License) Disabled

 20  20   021400   —    N8   No_Module   FC  (No POD License) Disabled

 21  21   021500   —    N8   No_Module   FC  (No POD License) Disabled

 22  22   021600   —    N8   No_Module   FC  (No POD License) Disabled

 23  23   021700   —    N8   No_Module   FC  (No POD License) Disabled

Командой alicreate “<Имя алиаса>”, “<WWPN_1>; <WWPN_2>; … <WWPN_N>” можно создать алиас:

fcsw5:admin> alicreate «Storwize1_1», «50:05:07:68:02:10:86:90»

для просмотра списка существующих алиасов(и не только) в фабрике воспользуйтесь командой alishow.

Для создания зон используется команду zonecreate “<Имя зоны>”, “<Алиас_1>; <Алиас_2>; … <Алиас_N>”

fcsw5:admin> zonecreate «Storwize_interconnect», «Storwize1_1; Storwize1_2; Storwize2_1; Storwize2_2»

И добавляем новую зону в конфигурацию cfadd “<имя конфигурации>”, “<Зона_1>; <Зона_2>; … <Зона_N>”, имя активной конфигурации можно посмотреть в выводе alishow или cfgactvshow

fcsw5:admin> cfgadd «Zonecfg», «Storwize_interconnect»

сохраняем конфигурацию cfgsave фабрики

fcsw5:admin> cfgsave

You are about to save the Defined zoning configuration. This

action will only save the changes on Defined configuration.

Any changes made on the Effective configuration will not

take effect until it is re-enabled.

Do you want to save Defined zoning configuration only?  (yes, y, no, n): [no] yes

Updating flash …

и применяем  конфигурацию с помощью команды cfgenable “<Имя конфигурации>”:

fcsw5:admin> cfgenable «Zonecfg»

You are about to enable a new zoning configuration.

This action will replace the old zoning configuration with the

current configuration selected. If the update includes changes

to one or more traffic isolation zones, the update may result in

localized disruption to traffic on ports associated with

the traffic isolation zone changes

Do you want to enable ‘Zonecfg’ configuration  (yes, y, no, n): [no] yes

zone config «Zonecfg» is in effect

Updating flash …

Проверить, что все прошло успешно можно с помощью команды cfgactvshow.

Рубрики:Разное

Калькуляторы лицензий

Здесь ссылки на различные калькуляторы для расчета стоимости лицензирования ПО

Калькулятор  от microsoft для примерного расчета стоимости лицензирования ПО

Калькулятор  от softline для примерного расчета стоимости лицензирования ПО

Рубрики:Разное
Заметки ИТ инженера

Мои заметки, связанные с профессиональной деятельностью в сфере Информационных Технологий

IT in realworld

о технологиях Microsoft, или кратко обо всем. Active Directory and other stuff.