Очень страшные истории
Восемь леденящих душу историй о серверных, кластерах и коде 👻
15 лет назад, еще до виртуализации наша серверная располагалась в старом здании, где было резервное питание, но не было резервного кондиционера. За ночь кондиционер вышел из строя, и температура поднялась до 120 градусов (49°C). Серверы выходили из строя налево и направо.
После этого случая мы сразу же получили одобрение [на установку] VMware.
Конец 2010-х. Рождество, 4 утра. Звонок от ИТ-директора. Директор говорит: «Мне нужно, чтобы вы встретились со мной в офисе, у нас большая проблема». Я покидаю теплую постель, и мы с супругой едем в офис. Ransomware.
[Вышли из строя] Все серверы, включая контроллеры домена и серверы Exchange в нескольких дата-центрах; то же самое с клиентскими машинами в нескольких географических локациях.
Они [злоумышленники] не добрались до бэкапов, но ущерб был нанесен, и следующие 54 часа ушли на восстановление, в котором участвовали 15 инженеров. Работа в общих чертах возобновилась к следующему рабочему дню; огромная победа, все измотаны, и мы даже не уверены, как преступник попал в сеть.
Вскоре после этого генеральный директор присылает бонусы и коробки с замороженным мясом. Все смеются. Барабанная дробь. Занавес.
Работал у клиента, а у них в серверной под фальшполом проходила канализационная труба.
Однажды слив засорился и сорвал на трубе крышку. Неочищенные сточные воды оказались под фальшполом и повредили электрику. Нет инфраструктуры — бизнес поставлен на колени.
Клиент быстро вызвал бригаду по утилизации отходов и электрика. Через 8 часов серверная снова заработала, но запах стоял еще очень долго.
Коллега устанавливал новый брандмауэр у клиента. Запланировал установку на обеденный перерыв, чтобы минимизировать время простоя.
Он все настраивает в параллель, получает подтверждение, а затем идет выдергивать вилку из локальной сети старого брандмауэра и переносить его на новый.
В тот момент, когда он подключает брандмауэр к локальной сети, раздается громкий «БУМ», и все электричество вырубается. Владелец и сотрудники спрашивают: «Что ты сделал?!?»
Машина врезалась в телефонный столб перед офисом как раз в то время, когда он переключил кабель.
Я работал в стартапе, где DevOps-команда была крайне неопытной и в итоге создала кластер Kubernetes на каждого клиента вместо того, чтобы распределить имена. У них было более 100 клиентов. Каждый клиент был практически «снежинкой» в своей кодовой базе, поскольку команда разработчиков была слишком неопытна для реализации multitenant-архитектуры.
Команда DevOps быстро сократилась с 6 человек до 2, что было как соль на рану. Нет стоит и говорить, что поддержка продакшена для 100+ кластеров Kubernetes и 100 слегка различающихся кодовых баз приложений переживала непростые времена. Развертывание было еще хуже.
Тяжелое время. Мне было жаль их счета за AWS каждый месяц. Столько денег потрачено впустую.
Я работал DevOps в предыдущей компании, и там было было не очень хорошее управление секретами. Я пытался собрать пароли учетных записей служб, чтобы поместить их в хранилище ключей, и обратился к ведущему разработчику за паролем учетки от некой службы среды окружения.
Я по-настоящему испугался, когда через час получил письмо от 2015 года (6 лет назад) с учетной записью службы и паролем, который был одинаковым для всех сред окружения. Я был настолько в ужасе, что вскоре после этого подал заявление на увольнение.
Однажды я пришел на работу, а код, который я написал и который работал накануне, необъяснимым образом перестал работать. Оказалось, что СЕО не понравилось название, которое я дал новому полю в таблице базы данных, и он изменил его. Никому не сказав об этом.
В моем последнем продукте для контроля за фичами использовались текстовые файлы на диске. Эти файлы были встроены в образы EC2. При запуске нового инстанса нам нужно было синхронизировать их, но некоторые из них были привязаны к конкретным регионам или тестам, которые выполнялись только на определенных серверах.
В результате мы регулярно обнаруживали, что на трех случайных машинах были заданы неправильные свойства. При наличии парка из сотен машин мы понятия не имели, на каких из них возникали проблемы. Как бы страшно это ни звучало.
Как вам подборка? Ставьте реакции и пишите свои истории в комментариях⬇️
👉 ISPsystem | ПО для управления IT инфраструктурой
👉 ISPsystem — облака, инфраструктура, хостинг
Подпишись!