Перенос работы на удаленный сервер заграницу
Статья будет дополняться по мере появления нюансов.
Задача: перенести всю работу заграницу, так чтобы в офисе данных не осталось
Сменил работу, теперь начальник техотдела крупного холдинга.
Новое руководство поставило комплексную задачу — убрать все данные из офисов на удаленные сервера заграницу, но при этом обеспечить надежную и бесперебойную работу.
Предварительно надо составить бюджет переноса, сколько надо заплатить сразу, сколько ежемесячно. Требуют предложить два варианта минимум.
После большого перерыва дошли руки до этой статьи.
Вкратце: в сентябре 2019 года встал вопрос — надо убрать данные (в первую очень 1С и некоторые документы) из офиса на удаленные сервера. Понятие офис для нашего холдинга довольно растяжимое. Есть как минимум 4 крупных площадки, на каждой работают от 50 до 70 сотрудников (я считаю только рабочие станции). А в совокупности количество офисов достигает 15 в России и 3 за границей.
Для поддержки IT структуры предыдущий начальник технического отдела продавил решение о переносе всех серверов в одно место. Для этого было выделено помещение на одной из производственных площадок и создан свой мини ЦОД. До весны 2019 года такое положение вещей всех устраивало и нареканий на работу IT не было. Когда я пришел работать в компанию, мне поставили задачу провести ревизию безопасности работы и высказать свои предложения по этому вопросу. В частности юристы жаловались на излишнее внимание со стороны налоговой и давление в части дробления бизнеса.
Одним из доказательств аффилированности и дробления бизнеса было совпадение IP-адресов у нескольких компаний. Уже несколько лет налоговая и прочие гос. органы отслеживают с каких IP сдаются отчеты. Соответственно, если несколько фирм сдают отчеты с одного IP, но формально между собой не связаны, это вызывает вопросы. Как мы решили эту проблему, читайте ниже.
В нашем ЦОДе все компании выходили в интернет через два шлюза (два канала, основной и резервный), соответственно IP у них совпадали. Вторым не очень приятным моментом была возможность потери всех данных, в случае выноса оборудования. На территории завода, где у нас размещался ЦОД, в соседнем здании были маски шоу, но блокировали и заходили эти ребята во все здания вокруг. В помещение ЦОДа в том числе. После этого случая руководство сильно занервничало и решило, что данные надо срочно перенести куда-то подальше, а лучше за границу.
Изначально мне просто поставили задачу: собрать часть оборудования, которое можно отключить (все резервные сервера), запаковать и приготовить к вывозу в Эстонию. В Эстонии местные IT специалисты и наш командированный сотрудник в одном из ЦОДов должны были все развернуть и подготовить к переносу данных.
Мое мнение, что микроавтобус набитый серверами, проводами и сетевым оборудованием могут тормознуть на границе, не услышали.
Как оказалось — зря. Нашу таможню прошли без проблем, а вот Эстонцы потребовали растаможить груз и оплатить пошлины. Суммы там получились внушительные, так что автобус развернулся и приехал обратно. Еще повезло, что отпустили. Могли вообще не выпустить и требовать кучу бумажек.
После этого случая руководство решило, что сервера мы возьмем в аренду, а в России разместим резервные сервера для backup.
Задачу поставили так: найти в России подрядчика, который сдаст нам сервера в аренду за границей с оплатой в рублях, с НДС и без привязки к курсу валюты. На мой резонный вопрос, а как так может быть, что сервера там, а оплата здесь, сказали — ищи!
На счет отсутствия привязки к курсу валюты влезла наш финансовый директор, мол надо застраховаться от скачков курса, пусть в договоре будет указано, что стоимость может меняться не чаще, чем раз в году.
Прикинули мощности, которые нам необходимы, прослезились. У нас настроен KVM кластер, все сервера виртуализированы. Чтобы все развернуть как у нас, нужно арендовать несколько серверов, сделать между ними VLAN и по сути продублировать нашу сетевую структуру.
Вторая проблема — оплата в рублях по безналу и без привязки к курсу. Проблема не решаема в принципе, что в общем логично. На форумах нашел ребят, кто был готов работать на таких условиях, но трое из четырех пытались мне перепродать Hetzner с существенной наценкой, только один поставщик предложил на выбор две локации Франция и США. США точно не подходит, пинг жуткий, а Францию проверили, увы. Из Москвы и Санкт-Петербурга работать можно, а Екатеринбургский офис, к примеру, работать не сможет. Жуткие тормоза. 🙁
Решили пойти другим путем, поискать тех, кто сможет нам предоставить виртуальные сервера в своем облаке. Причем сразу интересовались, а можно ли нам свои сервера залить, чтобы не разворачивать структуру с нуля?
Поиск высветил следующее:
1. Очень мало хостеров предоставляют виртуалки в Европе без привязки к курсу валют, что в общем логично.
2. Большинство хостеров, которые все же не привязывают услуги к курсу перепродают все тот же Hetzner. Просто берут у них выделенные сервера, пилят на виртуалки и сдают. Нам же нужно полноценное облако, с VLAN и возможностью взять любую конфигурацию сервера.
3. Проблемы с размером диска. У нас есть 3 виртуалки с размером диска 4Тб. Причем требования, чтобы диски были быстрыми. У большинства найденных хостеров размер диска не больше 2Тб, да и таких еще поискать надо.
4. Залить свой образ виртуального сервера можно, но опять проблема такие возможности предоставляли только хостеры без облачной структуры. 🙁
От отчаяния стал искать аренду Windows серверов в облаке. Нашли несколько контор, которые могут предоставить такие сервера в Европе.
В результате остановились на хостере сервера-аренда.рф Хостер предоставляет действительно облачные сервера, можно выбрать любую конфигурацию сервера, максимальный объем диска 4Тб, что нам подходит. Причем диски указаны SAS. Еще для нас стало решающим фактором, что оплата в рублях, без привязки к курсу на ООО, работающее с НДС. Служба безопасности их проверила, дали добро на работу, существуют давно, налоги платят и что-то там еще тоже характеризует их положительно.
У нас возник вопросы:
Какого них объем диски SAS стоят, чтобы сделать виртуальный диск размером 4Тб?
Выяснилось, что диски стоят в полках NAS на 12 — 24 диска, с точки зрения кластера один NAS = один диск.
Почему сервера за границей, а оплата в рубля без привязки к курсу?
Ответили, что в странах Европы арендуют только стойки и некоторое оборудование, но большинство оборудования свое. Стоимость аренды стоек не сильно влияет на общую цену, поэтому могут себе позволить не привязываться к курсу валют. Основное оборудование уже куплено, а замена стоит не столь дорого, чтобы терять клиентов из-за привязки к курсу. Так и сказали, что фиксированные цены в рублях их конкурентное преимущество на рынке. 🙂
Договорились, что можно будет разместить наши образы виртуальных машин в их кластере, это будет стоить денег за перенос данных в выходные (бесплатно только на буднях переносят, а мы на буднях не можем работу останавливать) и придется сделать объединение сетей, чтобы мы могли работать пока полностью не переедем к ним.
Для обеспечения беспрерывности работы, сделали VLAN до нашего ЦОДа, что позволило объединить сервера перенесенные в сервера-аренда.рф и оставшиеся в ЦОДе в одну локальную сеть.
В качестве страны для размещения серверов выбрали Литву. Нам объяснили, что пинг из России лучше всего в Литву и Финляндию, но в Литве стоит более современное оборудование. И у нас один из заграничных офисов в Литве, так что все сходится один к одному.
Перенос данных занял месяц. Больше всего мучились с заливкой 4Тб виртуалок. Их мало того, что надо было залить на сервера хостера, так потом еще и хостер брал 4 часа на то, чтобы их включить в свою структуру. Но справились.
Отдельно хотел поблагодарить сотрудника технического отдела сервера-аренда.рф Андрея, он нам помог очень сильно и всегда спокойно реагировал на любые проблемы с нашей стороны, чем заражал нас всех уверенностью. 🙂
Разные IP для сдачи отчетности или как не быть аффилированными компаниями по IP
Задачу по разделению компаний по IP с нас ни кто не снимал, так что пришлось думать и прикидывать варианты. Первым, что пришло в голову, разделить виртуальные сервера на разные IP, на каждом настроить ЭДО по одной из компаний. Терминальных серверов у нас 3, а разделить надо 15 юрлиц. Дебет с кредитом не сходится.
Второй вариант был использовать VPN на локальных компьютерах, но прочитав одну интересную статью в интернет, где было сказано, что помимо IP отправляются данные о самом компьютере, решили от такой идеи отказаться. Да и бухгалтера могли что-то напутать при подключении.
Решение предложил хостер, у них есть удаленные рабочие места на Windows 10 Pro. Работать может только один человек, но больше и не нужно. По сути это VPS, только с операционной системой Windows 10 Pro. Конфигурации до 12 ядер процессора и до 24Гб оперативной памяти. Стоит такой VPS адекватных денег, так что решение мы получили вполне удобное и рабочее. Сервера для сдачи отчетности просто добавили в нашу локальную сеть с другими VPS, учетки бухгалтеров, которые отвечают за сдачу отчетности, были перенесены на эти машины, что снизило нагрузки на терминальные сервера и позволило отказаться от части ресурсов. Такой шаг немного компенсировал нам расходы. Возможности гибкого выбора ресурсов для удаленных рабочих мест, позволили работать в 1С без потери скорости. Так что все остались довольны.
Я сознательно не привожу конфигурации наших серверов и их итоговую стоимость. Конфигурации составляют тайну, а на стоимость нам дали хорошую скидку за объем. 🙂