Table of Contents
В этой статье будет подробно рассмотрен процесс проектирования серверного помещения, описаны общие рекомендации, правила и методы построения серверной.
Зачем нужна серверная?
Прежде всего нужно сказать, что серверная — это комната, занятая крупным телекоммуникационным и/или серверным оборудованием (Денис, я понимаю, что гонорар у нас зависит от количества символов, но это же не повод рассказывать читателям ][ о том, что такое серверная 🙂 — прим. ред.).
Создание серверной — процесс недешевый, поэтому прежде, чем приступить к проектированию, нужно решить, зачем тебе нужно серверное помещение. Решить, не опираясь на такие эфемерные аргументы, как «у соседей есть, а у меня — нет» или «серверная — это круто». Нужно выделить преследуемые цели, именно от них и зависит, какой будет серверная (настоящий ангар или маленькая каморка). Тщательное осмысление цели может привести даже к осознанию того, что серверная тебе вовсе не нужна. На мой взгляд, можно выделить три основных цели создания серверной.
Первая — это эффективное размещение оборудования в одном месте. В результате помимо удобства получишь еще и повышение продуктивности — не нужно бегать с этажа на этаж в поисках конкретного сервера. В качестве небольшой иллюстрации хочется вспомнить одну организацию, в которой было три сервера. Первый (шлюз) находился на первом этаже возле охраны — видимо, когда «тянули» интернет, посчитали, что так будет удобнее (удобнее сотрудникам провайдера, но никак не администраторам заказчика); сервер баз данных — на втором этаже, а контроллер домена — вообще в другом крыле. Согласись, было бы намного удобнее разместить все эти серверы в одном помещении.
Вторая цель — защита «стратегических объектов» от несанкционированного доступа. Иногда обычная уборщица может оказаться самым злостным хакером, потому что пути швабры ее неисповедимы. И вообще, лучше, если серверы будут меньше бросаться в глаза обычным пользователям — поэтому, если сервер не один, желательно выделить для них отдельное защищенное помещение. Впрочем, о защите серверной мы поговорим отдельно.
Третья цель — оградить серверное оборудование от сбоев питания и неблагоприятных условий окружающей среды благодаря поддержанию постоянных климатических условий внутри серверной.
А теперь разберемся, для кого серверная не является необходимой. Если у тебя всего один сервер, и он же — рабочее место администратора, то совершенно очевидно, что серверная не нужна. Лучше потратить немного денег и купить приличный ИБП для сервера. Да, приличный, а не тот, который установлен сейчас — на нем сервер «протянет» в лучшем случае минут пятнадцать.
Начинаем проектировать
Если серверная тебе все-таки нужна — читай дальше. Перед проектированием серверной нужно раздобыть план здания, в котором она будет размещаться, с целью выбрать для нее оптимальное помещение.
Отталкиваясь от плана, можно создавать проект серверной. Не стоит сразу начинать тащить все сетевое оборудование в выбранную комнату. Сначала проект, потом реализация. Как в пословице: семь раз отмерь… Желательно, чтобы проект соответствовал принятым стандартам (о них — немного позже), содержал сведения обо всех соединениях, маршрутах, местоположении оборудования. Не забудь и о приличных источниках питания (об этом мы тоже поговорим отдельно).
Все объекты серверной можно разделить на три большие группы: физические, логические, сервисные. К первым относят железо (коммутаторы, серверы и так далее), а также климатическое оборудование (впрочем, и о выборе кондиционера мы также поговорим особо).
Логические объекты — это программное обеспечение, а сервисные — средства связи (как внутренней, так и доступа к интернету).
Раньше в крупных компаниях было два отдела — отдел связи и серверная. В отделе связи располагались устройство автоматического распределения вызовов (Automatic Call Distribution), кнопочные телефонные системы (Key Telephone System), внутренние АТС и так далее. Сейчас очень часто все это оборудование помещают в серверную. В принципе, так действительно удобнее, к тому же нет необходимости выделять еще одну комнату и обеспечивать ее защиту (как минимум необходимы кодовый замок и камера наблюдения).
Хорошая серверная (а не ее жалкое подобие) должна соответствовать стандарту TIA-569, в котором описаны требования к серверному помещению.
- Наличие не менее одной двойной электрической розетки с заземлением на каждые три погонные метра любой стены. Представим, что у нас есть комната 3х4. По стандарту в ней должно быть четыре двойных заземленных розетки. Если розеток больше — тоже хорошо. Вот только не забываем о ключевом слове «заземление». Если здание достаточно древнее, желательно еще и поменять электрическую проводку в серверной, чтобы не было проблем хотя бы с электричеством.
- Максимальная распределенная нагрузка на пол должна составлять 12 кПа, максимальная сосредоточенная нагрузка — 4.4 кН.
- Для освещения комнаты рекомендуется использовать галогенные лампы для снижения электрических помех. Сейчас появились так называемые «экономные лампы» — тоже неплохой вариант для серверной. Они не только экономят электричество, но и выделяют меньше тепла, что особенно актуально летом.
- Серверную нужно располагать вдали от источников электромагнитного излучения. Желательно, чтобы после размещения всего оборудования в помещении был запас пространства — на случай расширения.
- Минимальный допустимый размер серверной — 12 кв. м, но это действительно минимальный размер для серверной. На бумаге размеры помещения не ощущаются. Попробуй найди комнату размером 12 кв. И представь, что в нее нужно поместить все необходимое оборудование. А ведь еще в этой комнате должно остаться пространство для администратора (администраторов).
- Минимальная высота потолка серверной составляет 2.44 м.
- Система кондиционирования должна поддерживать температуру 18-24 градусов по Цельсию и относительную влажность 30-55%. Кроме серверной в помещении могут быть телекоммуникационные шкафы. В них, как правило, размещают оборудование, обслуживающее текущий этаж. В одной организации видел самый уникальный телекоммуникационный шкаф: он представлял собой коробку от материнской платы, подвешенную к потолку. В коробке находился коммутатор…
Требования TIA-569 к шкафам следующие:
- На каждом этаже должен быть как минимум один шкаф.
- Несколько шкафов на одном этаже нужно соединять как минимум одним кондуитом (металлические и неметаллические трубки жесткой или гибкой конструкции, разрешенные для применения соответствующими электрическими инструкциями) калибра 3.
- В шкафу не должно быть фальшпотолков.
- Минимальный размер двери шкафа: высота 2 000 мм, ширина — 910 мм. Дверь должна открываться наружу (или раздвигаться), но не внутрь.
- Уровень освещенности в шкафу — не менее 540 лк на высоте 1 м над уровнем пола.
- Наличие как минимум двух розеток.
- Шкаф должен быть подключен к главному электроду системы заземления здания.
Помимо требований к шкафам есть еще и рекомендации, выполнять которые не обязательно, но желательно:
- Размер шкафа (площадь пола) при обслуживаемой площади до 500 кв. м составляет 3.0 м 3. 2.2 м, при площади до 800 кв. м — 3.0 м 3. 2.8 м, при площади до 1 000 кв. м — 3.0 м 3. 3.4 м. Если обслуживаемая площадь превышает 1 000 кв. м, нужно обеспечить наличие дополнительных шкафов на этаже.
- Две стены шкафа рекомендуется покрыть панелями из ДСП или фанеры для монтажа настенного оборудования.
- Шкаф желательно располагать ближе к центру обслуживаемой зоны.
Стойки для серверного оборудования
Итак, ты уже выбрал комнату для серверной и модифицировал (если необходимо) ее проводку. Самое время установить в ней сетевое оборудование. Но чтобы оборудование было упорядочено, необходимы телекоммуникационные стойки — специальные конструкции, предназначенные для удобного, компактного и безопасного размещения серверов, маршрутизаторов и другого сетевого оборудования.
Если ты никогда раньше не работал со стойками, нужно поговорить об их размерах. Ширина стойки составляет 19 дюймов (или 482,6 мм) — это стандарт, но встречаются стойки с шириной 10 или 23 дюйма.
Глубина выбирается в зависимости от используемого оборудования и может быть 600, 800 или 900 мм, но бывают стойки и с большей глубиной. Оборудование монтируется в стойку в специальных корпусах (такие корпуса называются Rackmount). Как правило, ширина корпуса составляет 17,75 дюймов (450,85 мм), а высота измеряется в количестве так называемых юнитов (Unit, о них позже). Так что для установки сервера в стойку придется покупать специальный корпус для него.
Теоретически можно установить в стойку обычный компьютер в корпусе MiniTower (естественно, установленный на бок) с помощью специальных поддонов, но практикуется такой подход очень редко. Если ты хочешь сэкономить, то зачем тогда вообще нужна стойка? Теперь разберемся, что такое юниты (или стоечные юниты — так правильнее). Крепежные отверстия располагаются на вертикальных элементах стойки каждые 1.75 дюйма (44,45 мм), эта величина и называется одним юнитом. Высота стойки, как правило, указывается в количестве юнитов, что очень удобно — тебе не нужно вычислять, сколько элементов поместится в стойку 42U — это и так понятно. В нее поместится 42 элемента по 1U. Обычно устанавливаемое оборудование чуть меньше, чем 1U — не 444 мм, а 437 — это позволяет удобно устанавливать и извлекать любое оборудование без необходимости извлечения верхнего или нижнего от него устройства.
Комплектация стойки бывает разной. Это может быть просто стойка, а может быть стойка со стеклянной дверью, что не только более эстетично, но и позволяет ограничить доступ к установленному в стойку оборудованию. Более дорогие стойки оснащаются системами охлаждения, но и тут возможны варианты — от обычных вентиляторов до автономных сплит-систем. Также стойки могут оснащаться различными индикаторами (например, температура внутри стойки), распределителями питания и так далее. Тут все зависит от цены — чем дороже, тем больше «опций» будет в стойке. На рисунке 1 изображена стойка с автономной сплит-системой: дверь здесь используется не для красоты, а для поддержания оптимальной температуры внутри стойки. Стойки с системами охлаждения и дверями некоторые производители называют сейчас серверными шкафами — впрочем, так даже понятнее.
На рисунке 2 изображена стойка без охлаждения и без двери. Стойки с охлаждением стоят дороже, но зато позволяют сэкономить на кондиционерах внутри серверных: вам уже не нужен мощный кондиционер, хватит самого простого — для персонала, который будет находиться внутри серверной.
Пару слов о ценах. Раз статья у нас практическая — ты должен знать, что сколько стоит. Типичная стойка 20U, на колесиках, без охлаждения и двери, с глубиной 600 или 900 мм стоит от $270 до $400 соответственно.
Но можно найти варианты и дешевле — кто ищет, тот всегда найдет. Настенный серверный шкаф 12U без комплекта вентиляторов (зато с дверью, запираемой на ключ) обойдется в $230. Стоимость вентиляторов — от $19 (за 1 вентилятор) до $120 за вентиляторную полку из шести вентиляторов. Шкафы 6U стоят от $130.
Классический (не настенный) шкаф высотой 22U с вентиляторами и розетками стоит около $900, более серьезные шкафы — от $1500. Есть совсем мощные модели — всепогодные шкафы, предназначенные для наружного использования. Такой шкаф размером 1500мм х 550мм. 1600мм будет стоить от $5000. Но в нашем случае такой шкаф не нужен — если, конечно, в серверной есть окна и не течет крыша.
ИБП для серверной
Вспомним цели, ради которых мы создавали серверную, а именно — удобное размещение оборудования, защита от несанкционированного доступа, перепадов питания и неблагоприятных климатических условий.
Первые две цели уже достигнуты благодаря выделению отдельной комнаты и покупке серверной стойки (или нескольких — в зависимости от количества оборудования). Сейчас мы поговорим о защите от сбоев питания, а чуть позже — об организации подходящих климатических условий. Когда есть всего один сервер, то достаточно купить один мощный ИБП и задача будет достигнута. Но если речь идет о целой серверной комнате, к выбору ИБП нужно отнестись более серьезно — хотя бы потому, что это штука дорогая, а средняя наработка на отказ в дорогих моделях составляет более десяти лет, так что к покупке ИБП нужно отнестись не просто как к покупке оборудования, а как к капиталовложению.
Я более чем уверен, что за это время ты поменяешь свои сервера, а ИБП — останутся. Очень жаль, но часто об ИБП вспоминают в самую последнюю очередь — когда от перепада напряжения сгорела материнская плата, умер жесткий диск или произошла потеря данных (последнее в современном мире обходится дороже, чем замена жесткого диска). Вот тогда покупают ИБП для сервера. Позже (как правило, после очередного перепада) покупаются ИБП для рабочих станций (и то не для всех), в итоге получается хаотическая система. Нужно ее упорядочить.
Итак, начнем подбор ИБП. Нам нужен ИБП мощностью 5-6 кВА (более слабые модели отлично подойдут для рабочих станций, но никак не для серверной комнаты). С мощностью все просто — покупаем мощные модели ИБП, и на этом все. Хотя некоторые специалисты утверждают, что нижняя граница мощности составляет 1 кВА, и рекомендуют ИБП вроде APC Smart-UPS RT 1000VA. В качестве примера можно привести статью «Источник бесперебойного питания для серверов» (опубликована на compress.ru). Да, выходит, дома под столом у меня серверный ИБП (Mustek PowerMust 1000), а я об этом и не знал, потому что всю жизнь думал, что для сервера нужно что-то помощнее… Если есть огромное желание сэкономить, то покупай ИБП мощностью от 2 кВА — такое устройство обойдется не менее $300 (цена варьируется в зависимости от производителя). ИБП от неизвестного китайского вендора обойдется чуть дороже $300, а устройство узнаваемой фирмы — от $400. Нормальный ИБП для сервера, на мой взгляд, это APC SmartUPS RT 5000VA и подобные ему. Цена такого устройства начинается от $2500. Дорого? А я в самом начале статьи предупреждал, что построение серверной — занятие дорогое. Зато этот ИБП прекрасно поместится в серверную стойку.
Кроме мощности для ИБП важна топология. Компании, специализирующиеся на недорогих моделях, утверждают, что для сервера будут оптимальны линейноинтерактивная топология (Line-Interactive UPS) и даже офлайн-топология (Off-Line UPS). Причем не только утверждают, но еще и выпускают мощные модели с линейно-интерактивной топологией.
Зато компании, специализирующиеся на более дорогих и мощных моделях, для сервера рекомендуют только топологию онлайн (On-Line UPS, ИБП непрерывного действия, тот же APC Smart-UPS RT 5000VA).
Какая топология лучше? Конечно же, онлайн, но она и дороже. А все прекрасно понимают, что на практике нужно будет вписаться в определенный бюджет. С другой стороны, линейно-интерактивные ИБП постоянно совершенствуются, о чем свидетельствует появление на рынке мощных моделей ИБП с такой топологией, которые тоже стоят немало.
Если ты не понимаешь, чем отличается одна топология ИБП от другой, рекомендую прочитать следующую статью: тэнси.рф/article04.html.
Климатическая техника
Нормальная температура для работы компьютеров — примерно 20 градусов Цельсия. Но, сам понимаешь, такие условия встречаются далеко не всегда, особенно летом. А вот теперь начинается самое интересное. Многие из нас привыкли подбирать кондиционер по площади помещения, в котором он будет установлен. В данном случае это неправильно. Нужно рассчитать общую тепловую нагрузку, а затем подбирать кондиционер, соответствующий этому параметру.
Тепловая мощность измеряется в БТЕ (Британская термическая единица), она же BTU (British thermal unit). 1 Вт примерно равен 3.412 БТЕ/час. Например, пусть в помещении находится десять компьютеров, каждый из которых потребляет по 400 Вт. Рассчитаем тепловую мощность:
10 x 400 x 3.412 = 13 648 БТЕ/час
Помимо компьютеров источниками тепла являются сами пользователи и осветительные приборы. Пусть в помещении включено пять лампочек по 100 Вт каждая, рассчитаем тепловую мощность:
5 x 100 x 3.412 = 1 706 БТЕ/час
Один пользователь выделяет тепла на 300 БТЕ/час. Выходит, наши дватри администратора создадут нагрузку еще в 600-900 БТЕ/час. Осталось учесть тепловую нагрузку от окон, стен и потолка. Например, если у тебя солнечная сторона, то нагрузка от окон будет больше, чем на противоположной стороне здания. Если серверная находится на последнем этаже, то нагрузка будет происходить еще и от крыши, которая летом постоянно нагревается. Все это должен рассчитать специалист по установке кондиционера. Затем нужно добавить к полученному показателю свои значения, и останется сравнить общую тепловую нагрузку с эффективностью охлаждения кондиционера (параметр EER), подробно об этом можно прочитать тут: en.wikipedia.org/wiki/Energy_efficiency_ratio.
Чуть ранее было сказано, что у некоторых серверных шкафов есть собственные сплит-системы, в этом случае тепловой нагрузкой от оборудования, установленного в шкаф, можно частично пренебречь.
Но нужно учитывать тепловую нагрузку от самого шкафа — она будет меньше, чем от всего оборудования, но все же будет (задняя стенка холодильника ведь греется, хотя в самом холодильнике — холодно).
Нормальная влажность для компьютерных систем — 30-55% (идеальная — 40-50%). Если влажность низкая, возникнут проблемы с электростатическими зарядами. Если же влажность слишком высокая, влага будет конденсироваться на платах, что вызовет окисление контактов и замыкание. Бороться с высокой влажностью можно с помощью кондиционеров с функцией осушения воздуха (такие сейчас — не редкость).
А вот если влажность низкая, подойдут увлажнители воздуха (самый дешевый стоит около 2 000 рублей). Впрочем, можно найти кондиционер и с увлажнителем воздуха. А еще лучше, если кондиционер будет автоматически поддерживать необходимые температуру и влажность.
Дополнительное оснащение
Стойки, серверы — это еще не все. Серверную нужно защитить еще как минимум от двух факторов: несанкционированного проникновения и пожара. Для защиты от несанкционированного доступа желательно оснастить дверь в серверную приличным замком, в идеале — электронным, чтобы фиксировались перемещения сотрудников из комнаты и в комнату. Круг сотрудников нужно ограничить — предоставить доступ не всем желающим, а только администраторам. Если решили сэкономить и установили обычный замок, то не забудьте один ключ выделить охране — на всякий случай.
Стоимость видеокамер и видеосерверов может варьироваться в зависимости от возможностей оборудования. Вполне возможно, что захочется установить видеонаблюдение не только за серверной, но и за всем офисом. Ознакомиться с необходимым оборудованием и примерными ценами можно на сайте компании Axis: axis.com/ru/products (это не реклама, просто я нашел на этом сайте весь необходимый ассортимент).
Дорого? Да, можно поставить четырехканальный видеорегистратор наподобие AVTech KPD-670Z, прикупить четыре видеокамеры (хватит не только для серверной), жесткий диск на 1 Гб и старый телевизор — всего этого достаточно для создания системы видеонаблюдения. Но это уже прошлый век.
Вне зависимости от используемого замка в серверной нужно настроить камеру наблюдения, а при обработке особо важных данных — установить сигнализацию и подключить ее к пульту охраны.
Наличие пожарной сигнализации и огнетушителей — это обычные нормы безопасности. В серверной довольно много электрооборудования (весьма дорогого), и никогда не знаешь, что может случиться. Наличие огнетушителей позволит персоналу потушить начавшийся пожар до того, как пожарная сигнализация затопит всю комнату (и тогда ущерб будет значительно выше, поскольку будет залито водой все, включая то, что даже и не горело).
Заключение
Мы рассмотрели основные аспекты, касающиеся построения серверной. Напоследок я рекомендую ознакомиться со стандартом TIA (на моем сайте ты найдешь этот стандарт в переводе на русский и с иллюстрациями), из которого можно почерпнуть много полезной информации относительно построения серверной комнаты.
Ссылки
- Стандарт TIA-569: dkws.org.ua/files/tia-569.doc;
- здесь можно ознакомиться с примерными ценами на серверные стойки и шкафы (ссылка приводится не из соображений рекламы): rackpro.ru;
- топология ИБП : тэнси.рф/article04.html;
- системы видеонаблюдения: axis.com/ru/products/index.htm;
- расчет EER: en.wikipedia.org/wiki/Energy_efficiency_ratio;
- «уникальный» телекоммуникационный шкаф: dkws.org.ua/phpbb2/topic4970.html.