Документация по ОС Windows

Поставило мне руководство задачу: разнести по разным IP наши банк клиенты и компании участвующие в торгах.

Вводная от руководства:

Необходим сервер(а), для установки банк клиентов, торговых площадок и иных программ, для осуществления успешной деятельности на аукционах, торгах или иных сервисах.

Требования:

• Каждый банк-клиент должен иметь свой IP, который можно легко сменить.
• Вход на торговые площадки должен осуществляться с разных IP и каждый айпи должен быть привязан к конкретной компании.
• Все айпи должны быть по возможности в разных регионах или в одном регионе, но у разных провайдеров.
• Персоналу должно быть удобно работать. (тут понимается, что ребут компьютера для переключения на другой IP недопустим, а в сетевых настройках копаться ни кто не будет, все должно работать на уровне девочек из коммерческого отдела).

Присутствуют трудности с тем, что площадки и банки используют различные usb ключи типа Tocken.

Короче, кошмар админа воплоти!

Поиски решения задачи:

Попытка №1
Первое, что пришло в голову, сделать VPN до нужных географических IP, а на внутреннем роутере настроить маршрутизацию по IP клиентов.

Начал подыскивать конечные точки для VPN. Поиск по Интернет дешевых VDS/VPS серверов дал следующий список провайдеров:
География:
Германия: Hetzner, Fornex, Server4You, OWL.
Эстония: Wavecom
Голландия: OWL
Франция: OWL
Заграницей искал выход именно на провайдеров, а не перепродавцов услуг с русскоязычными сайтами.

Москва: webnames, ruvds.com, hc.ru, 1gb.ru, firstvds.ru
Санкт-Петербург: Timeweb, Selectel

Начал настраивать VPN до удаленных VPS серверов и тут меня ждали приключения. 🙂

Приключения:

Hetzner — на VDS они не дают внешний IP, точнее IP вроде бы внешний есть, но вот на самой VDS он локальный и все порты просто пробрасываются. Не нравится — берите выделенный сервер.
Взял у них на аукционе выделенный сервер, куда деваться. Благо стоит он как хороший VPS. 🙂
Две недели был полет нормальный, уже планировал запускать этот канал в продакшен и тут началось…. Пятница, 16:30 по Москве, сервер недоступен. Пишу в техподдержку тикет, мол так и так, дайте KVM я посмотрю в чем проблема.
Ответ: подключите доп. услугу Flexi-Pack, доп. внешний ip и оплатите установку и аренду KVM.
Тихо фигею от такого развода, спрашиваю что делать? Отвечают — Rescue console вам в помощь.

Ок. Загрузился в Rescue, вижу диск один в ауте, вообще не доступен. Ребутался несколько раз, не фига.
Пишу в ТП, так и так — диск сдох. Ответ — ваша заявка принята, инженеры посмотрят в рабочее время (время уже 18:15 по Москве).
Диск заменили только в субботу после 13:30!!! И то, после того, как я потребовал вернуть деньги.

Решил проверить второй диск, посмотрел smart, а диск в работе уже 795 дней и количество ошибок и релокаций секторов зашкаливает.
Попросил сменить диск, ответили, что раз он работает, менять не будут.
Ок. Ладно думаю, пусть работает пока работает, конфиги скопировал и второй диск вроде как новый.
Настроил VPN и запустил для тестирования скрипт парсинга сайтов на похожие на наш товары и цены. Есть у меня такой скрипт, предыдущий админ был больше программером и накропал скриптик на питоне.
Скрипт отработал 1,5 часа и сервер недоступен! Ппц, думаю, опять диск лег!
Лезу в панель и выясняю, что сервер заблокирован!!
Запрашиваю за что такая немилость, ответ меня просто добил: подозрительный трафик с вашего IP.
Объясняю, что ничего подозрительного, просто работает программа и парсит сайты. Отвечают, что я должен устранить источник подозрительного трафика и тогда сервер разблокируют.
ИТОГ: послал я долбаный Hetzner куда подальше! Да дешево, но ОЧЕНЬ сердито!!!

Fornex
Изначально очень понравились. Пока не поднял туннели. Без туннелей все работает идеально, но вот туннели рвутся каждые 15-45 минут, как по расписанию. ТП спросил в чем дело, внятного ответа не получил. Не подошли.
Server4you
Первое, что не понравилось — снимают деньги с карты напрямую. Т.е. запоминают данные карты, что небезопасно и не всегда удобно платить с одной карты. Руководство хотело вообще платить безналом в рублях (ха-ха) или через Paypal.
Вторая проблема — не смог заставить работать некоторые виды VPN туннелей. Похоже блокируют у себя.
Не подошли.

OWL

Проблемы начались на этапе регистрации. С Российского IP зарегистрироваться сразу не смог. Пришлось заходить через Fornex. 🙂
Впечатления — очень странные товарищи. Некоторые виды VPN туннелей так же как и на Server4you не работают.
Дальше пробовать не стал, ниже опишу почему.

Webnames — виртуализация OpenVZ, некоторые виды туннелей не работают. Не подошли.

firstvds.ru — взял два виртуалки на пробу, оба IP были в black листах. 🙂 Дальше пробовать с ними работать не стал. Нам нужны чистые IP.

Больше ничего не пробовал, объяснение ниже.

Руководство дало новые вводные: с одного рабочего места надо иметь возможность работать в нескольких торговых площадках и банк-клиентах одновременно, без перезагрузки сервера.

Чтобы такое реализовать, нужно делать удаленные рабочие столы, на каждом столе развертывать необходимые программы и работать через RDP. В принципе не проблема, но есть нюанс — замена IP.
IP надо менять не то, чтобы часто, но бывает по 3-5 замен в неделю надо будет делать. Каждый раз разворачивать новый сервер — грохнешься. Почти все опрошенные провайдеры VDS не выдают образы серверов для скачивания!!! С такими приколами надо держать кучу запасных серверов, чтобы просто переключаться на них по необходимости.
Но это еще не все.
Самое главное: нельзя на арендованную VDS поставить свою ОС, только из списка.
Угадайте, у многих провайдеров в списке есть Windows 7 или Windows 2008 Server? Угадали, ни у кого! 🙂 Более того Windows 7 ни кто не предоставляет, от слова вообще! А для некоторых ключей Windows Server не подходит.

Получается надо арендовать выделенные сервера для каждого рабочего стола.

Посчитал стоимость решения и получилось грустно. Один рабочий стол обходится от 1800 рублей в месяц, плюс запасные хосты для замены IP. Слишком дорого.
Поиски в интернет дали готовое решение. 🙂 Оказывается есть контора, которая предоставляет весь требуемый функционал за вполне реальные деньги — 1500 рублей в месяц за рабочий стол, в стоимость входит смена IP раз в неделю. А самое приятное работают с безналом и IP предоставляют в куче разных регионов! Услуга называется Сервер банк-клиентов. Ссылку даю и да простят меня за рекламу. 🙂 Я потратил на поиски решения две недели!! Две недели тестов, мучений и требований от руководства предоставить готовое надежное и рабочее решение. Надеюсь это пост кому-то пригодится и вы сохраните свое время и нервы.

Update: решил дописать статью.
Под рабочим столом у этих ребят понимается VPS с характеристиками: 4Гб памяти, 1 ядро процессора, 50Гб диск. Конфигурация более чем достаточная для развертывания банк-клиентов и даже офиса. Для работы одного человека конфигурация отличная.
Технологии виртуализации используют OpenStack и KVM. Смена IP занимает около 35 минут, но обычно делают вечером в день заявки.
Для смены IP переносят VPSку в другой географический кластер, поэтому это занимает время. На мой взгляд проще просто VLAN прокидывать между кластерами и через них гонять трафик, но людям виднее. С другой стороны физический перенос сервера безопаснее для нас, если кто-то захочет добраться до данных сильно обломится. 🙂
От себя могу добавить: сотрудничеством более чем доволен.
Руководство довольно, что можно оплачивать услуги по безналу.

Сейчас прорабатываем вопрос взять у них в аренду сервера для бухгалтерии, чтобы вынести 1С заграницу. С одной стороны цены на облачные решения для 1С выше, чем просто выделенный сервер, но с другой стороны, в облаке можно гибко добавлять ресурсы. Есть мысли перенести в облако сразу всю инфраструктуру: DC контроллер, файловый сервер с документами и файловыми базами 1С, сервер SQL, Bitrix портал.
Делать такую структуру на выделенных серверах не очень удобно, да и отказоустойчивость важна. Менеджеры по продажам компании Service4biz предложили арендовать несколько типовых конфигураций и к ним пул ресурсов и выделенный сервер для SQL и Битрикса.
Ресурсы распределять между типовыми конфигурациями на свое усмотрение, а отказоустойчивость Битрикс и SQL сервера обеспечить за счет аренды небольших VPS серверов в облаке и сделать на них синхронизацию с выделенных серверов. В случае поломки выделенного сервера, VPS в облаке можно в течении 10 минут развернуть до нужных ресурсов и переключить работу на них.
Получается интересное, недорогое, безопасное и отказоустойчивое решение!

P.S. все описанное выше было внедрено и успешно работает. Полет нормальный уже 2 месяца. За два месяца перерыв в работе составил 5 минут с 03:30 до 03:35 ночи, при этом сервера не ребутались, видимо какие-то экстренные работы на сети проводили. Нам на ночную недоступность плевать, лишь бы с 09:00 до 20:00 все работало как часы.
По стоимости получилось нормально. Прикинули, что при аренде выделенных серверов вместо облака, получилось бы дешевле на пару тысяч рублей. Подобрать оптимальную конфигурацию серверов для всех задач и в одном месте — не реально. Где-то пришлось бы переплачивать за избыточную конфигурацию.

Для тех, кто скажет, что проще поставить свои сервера в ЦОД.
Как интересно поставить свои сервера в Германии? Возить замучаешься и администрировать.
Арендовать напрямую у немецких провайдеров может и дешевле, но опять вопрос с оплатой. Платить по карте такие суммы на круг выходит намного дороже, чем чуть-чуть переплатить по безналу.