Компания МегаФон продолжает реализовывать масштабную программу по строительству собственных центров обработки данных. Причем помимо обслуживания собственных «железок», оператор предоставляет возможность размещать оборудование и сторонним компаниям. Главный козырь – высокая степень отказоустойчивости, надежности и возможность масштабирования. Новые и современные центры уже функционируют в Самаре и Новосибирске. На объекте в столице Сибири удалось побывать и нам.
Центр обработки данных МегаФона находится в промзоне левобережной части Новосибирска. Его открытие состоялось в декабре 2009 года. Строительство объекта заняло чуть менее 1,5 лет, а инвестиции в проект составили 800 млн. рублей. Это один из самых крупных в Сибири дата-центров. Для Мегафона он стал вторым по объемам и мощности (самый крупный находится в Самаре).
ЦОД изнутри
Оказавшись внутри комплекса, понимаешь, что все здесь серьезно. Объект усиленно охраняется. Доступ в здание ограничен, а по всему периметру располагаются камеры видеонаблюдения. Примечательно, что о красоте и комфорте здесь тоже не забыли.
Обязательное условие входа на территорию – бахилы! Ты словно находишься не то в больнице, не то в космическом центре. А все, потому что пыль – главная проблема для ЦОДа.
Далее для нас проводят обзорную экскурсию по автозалам.
Основных автозалов два. Первый для коммутационного оборудования связи и вычислительного оборудования. Второй - для серверов компании МегаФон и сторонних организаций. Помимо автозалов, в дата-центре много инфраструктурных помещений: для источников бесперебойного питания, систем автоматического газового пожаротушения, систем подготовки хладогентов (вентиляционная, насосная), для электропитающих установок, складские помещения ЗИП и другие.
Еще на момент запуска центра в МегаФоне планировали, что возможностей данной площадки будет достаточно для развития вплоть до 2014 года. Прогнозировалось, что возможность расширения вычислительного оборудования в ЦОД (биллиновые и другие технологические системы, сеть хранения данных SAN, сеть передачи данных, офисные информационные системы и т.д.) будет обеспечена на 7-10 лет вперед.
К дата-центру проведено несколько независимых территориально разнесенных волоконно-оптических вводов. В целом это позволяет организовать пропускную способность транспортной сети для данного объекта более 400 Гбит/с.
Теперь о технических параметрах объекта. Комплекс новосибирского дата-центра МегаФона занимает площадь в 2000 кв. м. При этом величина фальшпола – места для непосредственной установки оборудования и одной из главных характеристик объектов подобного типа – составляет более 1000 кв. м. Высота потолков на объекте – 12 метров. В эту цифру также входит фальшпотолок и водоотводящая мембрана. На случай затопления фальшпол сделан под наклоном. То есть вода будет стекать в сточную канализацию.
Внутри автозалов может быть установлено до 240 шкафов с оборудованием для зала коммутации и до 100 шкафов с оборудованием серверного зала. В здании реализуется 100% резервирование по энергообеспечению, климат-контроль и автономность энергообеспечения в случае чрезвычайных ситуаций. Во всех залах установлены герметичные двери и специальная система точечного тушения возгораний, которая не останавливает работу оборудования во всем автозале, а только в отдельной ее части. При строительстве объекта добивались максимальной несущей способности перекрытий здания 2,5 тонны на кв. м., и это удалось осуществить.
«От здания, которое наша компания купила в 2008 году, по сути остались только стены, – отмечает Евгений Выдыш, руководитель службы управления услугами департамента информационных технологий «Мегафон-Сибирь». – Мы проделали большую работу, для того чтобы наш объект стал соответствовать самым высоким нормам и правилам эксплуатации ЦОДов».
Ресурсы ЦОДа доступны и сторонним компаниям, которые арендуют площади для размещения технологического оборудования и подключения к каналам сети интернет, а также получают в аренду сервера (коммерческий колокейшн) и хостинга.
После общего рассказа о новосибирском дата-центре у нас появилась возможность прогуляться по различным помещениям. В первую очередь нас интересовали подсистемы энергоснабжения, кондиционирования и пожаротушения.
Энергоснабжение
Мощность новосибирского дата-центра составляет 1,6 МВт. Питается он от двух трансформаторов мощностью 2 МВт каждый. Причем электроэнергия доставляется из двух независимых источников.
В качестве резервного источника питания на случай возникновения внештатных ситуаций имеются дизель-генераторные установки. Все их две. Суммарная мощность – 1,9 МВт. Без дозаправки они смогут обеспечить работу всех систем при максимальной загрузке в течение 6-8 часов без дозаправки топливом.
В разговоре с сотрудниками удалось выяснить, что за время работы дата-центра, включать дизель-генераторные установки приходилось один раз, в момент дополнительного монтажа основных энергосистем. При этом на работоспособности самого ЦОДа это никак не сказалось.
Также стоит отметить, что максимальная мощность на шкаф зала ЦОД составляет 70 кВт, максимальная мощность на шкаф зала коммутации – 6 кВт.
Так выглядит помещение для источников бесперебойного питания (ИБП APC Symmetra, аккумуляторы):
Шкаф батарейных предохранителей:
А это зал ЭПУ (электропитающие установки) технического департамента.
Кондиционирование
Кондиционирование в дата-центре осуществляется с использованием чиллерных установок.
Охлаждение происходит за счет температуры окружающей среды. А охлаждающие компрессоры включаются только когда на улице теплее -5 градусов. Поскольку в Сибири холода стоят большую часть года, компрессор включается редко. Получается, что работа чиллеров позволяет существенно экономить электроэнергию.
В это помещение заходит холодная вода из чиллеров. Далее она поступает в систему кондиционирования.
На случай полного выхода из строя чиллерной установки в системе предусмотрены два резервуара с водой по 800 литров. Вода в них поддерживается в постоянной температуре +7 градусов, этого хватит для автономной работы дата-центра в течение 15 минут. Этого времени хватит для того, чтобы корректно завершить работу всех серверов.
В самих автозалах применяется как вертикальная система охлаждения, так и горизонтальная с раздачей воздуха непосредственно в ряду стоек. Между серверными шкафами в этом случае стоят кондиционеры.
Пожаротушение
Не последнее место в жизнеобеспечении ЦОДа занимает подсистема пожаротушения. Дата-центр оснащен современными системами газового пожаротушения. Баллоны с газом хладоном расположены в нескольких помещениях. При этом, система пожаротушения проведена как под фальшпотолком, так и под фальшполами.
В качестве огнетущещего вещества применяется хладон 318Ц. Система пожаротушения устроена так, что она не сработает, если в помещении находятся люди. Но, на всякий случай, в помещениях имеются противогазы.
В конце нашей экскурсии специалисты новосибирского дата-центра отметили, что при существующем росте объемов обрабатываемой информации эта площадка выработает свои возможности ранее рассчитанного времени. В компании подумывают о расширении, не исключая, строительства нового ЦОДа по типу того, что был открыт в октябре 2010 года в Самаре.