Главная / Аналитические статьи / Как разработать план аварийного восстановления информационной системы

Как разработать план аварийного восстановления информационной системы

Дата публикации: 19 октября 2026
Как разработать план аварийного восстановления информационной системы - EFSOL

Как превратить резервную инфраструктуру, технические инструкции и обязательства провайдера в план, который сможет выполнить дежурная команда — без постоянного участия его автора.

Представим учебную ситуацию. Ночью критический сервис перестаёт принимать заказы. Резервная площадка доступна, инженеры готовы действовать, состояние данных можно проверить. Но архитектор, который обычно разрешает переключение, не отвечает. Провайдеру необходимо подтвердить полномочия заявителя. Две команды открыли разные версии инструкции. Бизнесу уже назвали срок восстановления, которого технический руководитель не подтверждал.

В этой ситуации дополнительный сервер не устранит главную задержку: команда не договорилась, кто и на каком основании должен принять следующее решение.

В предыдущих материалах серии мы разобрали восстановление приложения, георезервирование, межоблачную миграцию и защиту резервных копий. Теперь эти технические решения необходимо связать в один управляемый процесс. Его основа — Disaster Recovery Plan, или DRP: план аварийного восстановления информационной системы.

Пятая статья посвящена тому, как разработать такой план, распределить полномочия, включить провайдера в процедуру и проверить, что документ работает не только в руках своего автора.

1. Начните с договорённостей, которые нельзя принимать во время аварии

DRP не заменяет архитектуру резервирования и не создаёт отсутствующие мощности. Он определяет, как организация использует подготовленные возможности: какие функции возвращает, кто разрешает действия, какие доказательства необходимы и что делать при отклонении от плана. NIST рассматривает планирование восстановления во взаимосвязи с приоритетами информационных систем, другими планами реагирования и жизненным циклом системы. Прежде чем писать инструкции, проведите рабочую встречу владельца бизнес-процесса, CTO, эксплуатации и информационной безопасности. Её результатом должен стать не общий призыв «восстанавливаться быстрее», а согласованный паспорт аварийного режима.

Что согласовать Что зафиксировать в DRP
Граница восстановления Какие пользовательские операции входят в обязательный минимум; что временно не работает
Допустимый простой RTO, начало его отсчёта и проверяемое событие завершения восстановления
Допустимые потери RPO по классам данных; операции, для которых требуется отдельная сверка
Качество аварийного режима Профиль нагрузки, критерии корректности и ссылка на действующие показатели качества сервиса
Полномочия Кто разрешает переключение, расходы и ограничения; кто замещает каждого ответственного
Известные ограничения Какие сценарии пока не покрыты и кто отвечает за устранение пробелов

RTO — допустимое время восстановления, RPO — допустимая глубина потери данных. В паспорте важно не столько повторить определения, сколько однозначно связать их с бизнес-результатом. «Серверы запущены» и «клиенты снова могут оформлять подтверждённые заказы» — разные критерии.

Для проекта установите отсчёт простоя от зафиксированного нарушения согласованной функции, а не от момента, когда руководитель объявил DR. Иначе ожидание согласований исчезнет из отчёта, но не из опыта клиентов.

Не меняйте цель задним числом. Если испытание не уложилось в RTO, сохраните отдельно исходное требование, измеренный результат и решение по разрыву. Можно изменить архитектуру, согласовать меньший объём аварийной функциональности или пересмотреть требования на будущее. Нельзя объявить прежнюю цель выполненной только потому, что новый прогноз удобнее.

Для высоконагруженной платформы отдельно согласуйте право ограничивать приём новых операций. Решение продолжать принимать заказы, пока их выполнение остановлено, меняет обязательства перед клиентами. Это должно быть предусмотренным бизнес-режимом, а не импровизацией инженера.

2. Соберите комплект документов, а не один бесконечный файл

Удобный DRP состоит из короткой управляющей части и связанных материалов. Ниже — предлагаемая структура, которую можно адаптировать под размер компании.

Основной план содержит паспорт системы, условия активации, полномочия, маршрут решений, порядок коммуникации и критерии завершения аварийного режима. Его читает руководитель восстановления, чтобы понять, какой сценарий выбран и кто должен действовать дальше.

Технические runbook описывают конкретные процедуры для подготовленных исполнителей. В каждом нужны входные условия, действия, ожидаемый результат, обработка ошибок и ограничения повторного запуска. AWS рекомендует включать в runbook необходимые инструменты, права, исключения и эскалацию, а также проверять инструкцию другим участником команды.

Аварийный комплект доступа помогает найти утверждённую версию плана, контакты, инструменты и процедуру получения полномочий при недоступности обычного рабочего контура. Это не архив паролей в открытом виде: в документах хранятся ссылки и правила получения секретов, а сами секреты защищаются отдельно.

Реестр доказательств связывает план с последним испытанием: какая версия приложения проверялась, какой сценарий моделировался, какие ограничения обнаружены и кто закрыл замечания. Без этого невозможно отличить актуальную процедуру от инструкции, которая когда-то работала.

Каждому связанному документу назначьте идентификатор, владельца, версию и дату проверки. Ссылка «инструкция у администратора» непригодна. Ссылка «RB-ORD-04, утверждённая версия из аварийного комплекта» уже позволяет проверить, что команда использует согласованный материал.

В начале инцидента фиксируйте версию применяемого комплекта. Не допускайте, чтобы один исполнитель продолжал старую процедуру, пока другой незаметно редактирует её в общей папке. Срочное изменение инструкции оформляется как отдельное решение с указанием затронутых действий.

Рисунок 1 — Четыре части комплекта DRP

3. Делегируйте решения заранее — не превращайте CTO в единственную точку отказа

В нашем учебном случае резерв готов, но команда ждёт архитектора. План должен устранять эту зависимость ещё до инцидента.

Назначьте руководителя восстановления — Incident Commander. Он удерживает общую картину, распределяет работу и фиксирует переходы между этапами. Техническими действиями руководит ответственный за эксплуатацию, коммуникациями — отдельный участник, если позволяет состав команды. Такое разделение координации, операций и коммуникации используется в практике Google SRE.

CTO не обязан лично подтверждать каждую заранее проверенную операцию. Его задача — установить границы делегирования. AWS отдельно рекомендует заранее согласовывать действия и пути эскалации, включая взаимодействие с внешними поставщиками.

Решение Кто разрешает в предлагаемой модели Что должно быть подтверждено
Открыть инцидент и начать подготовку Дежурный руководитель по регламенту Сработали критерии активации; назначен координатор
Выполнить утверждённую процедуру Incident Commander в пределах делегирования Технические допуски получены; версия процедуры определена
Привлечь дополнительные ресурсы Уполномоченный в пределах аварийного лимита Подтверждены полномочия, стоимость и возможность предоставления
Изменить допустимые бизнес-ограничения Владелец процесса совместно с техническим руководителем Описаны последствия и срок действия исключения
Вернуть критические операции пользователям Назначенный руководитель после приёмки Получены заключения владельцев данных и приложения

Для каждой разрешающей роли нужен заместитель или дежурная ротация, а не просто второе имя без подтверждённой доступности. Установите канал вызова, интервал ожидания и следующий уровень эскалации. Эти интервалы выбираются из бюджета восстановления и проверяются на учениях.

Если утверждающий недоступен, разрешённые подготовительные действия продолжаются. Необратимые изменения остаются заблокированными до выполнения соответствующих условий. Так план не останавливает всю команду, но и не превращает молчание руководителя в разрешение рисковать данными.

Управленческое согласие не заменяет техническую безопасность. Владелец процесса может принять конкретные последствия использования менее свежих данных. Но его подпись не устраняет неизвестное состояние системы и не делает безопасным технически некорректное переключение.

Аварийный бюджет также согласуйте заранее: какие ресурсы допустимо заказать, на какой срок, в каком пределе и кто утверждает превышение. Финансовое разрешение и подтверждение наличия мощностей должны быть двумя отдельными проверками.

4. Разделите активацию плана и разрешение опасных действий

Начать DR — не значит немедленно переключить систему. В плане нужны как минимум три разных решения: собрать команду и начать подготовку; разрешить изменение рабочего состояния; вернуть пользовательские операции.

Это особенно важно, когда причина сбоя ещё не установлена. Команда может проверить готовность резерва, доступы и актуальность инструкций, не открывая запись на другой площадке. Подготовка не должна автоматически запускать разрушительные или необратимые действия.

В карточке сценария запишите наблюдаемые признаки, условия его применения, допустимые подготовительные работы и ссылку на технические допуски. Формулировка «если всё плохо» не позволяет принять воспроизводимое решение.

Отдельно предусмотрите ветвление при признаках компрометации. В таком случае порядок восстановления согласуется с реагированием на инцидент безопасности. Нельзя считать стандартный сценарий технического отказа автоматически подходящим для любой причины недоступности.

Чтобы не потратить весь RTO на ожидание, заранее определите момент пересмотра решения: сколько времени остаётся до целевого восстановления и сколько занимает выбранный путь по последнему репрезентативному испытанию. Нехватка времени требует эскалации, но не отменяет условий безопасности.

Если команда всё ещё не знает, какой сценарий применим, в журнале должны появиться конкретный вопрос, ответственный за его проверку и срок следующего решения. Фраза «продолжаем разбираться» без этих полей не управляет восстановлением.

5. Напишите карточку решения, которую можно выполнить без автора

Фраза «после проверки открыть запись на резерве» оставляет слишком много вопросов: кто проверяет, какой результат считается достаточным, кто разрешает действие и что делать при расхождении.

Вместо неё используйте карточку с явными входами и результатом. Ниже — заполненный учебный пример управляющей карточки. Названия отчётов и идентификаторы условные; конкретные технические команды должны находиться в связанных runbook вашей системы.

Карточка DR-07. Допуск к открытию записи на резервной площадке

Поле Содержание учебного примера
Результат Зафиксировано разрешение или запрет на открытие записи для указанной функции. Само изменение выполняется следующей процедурой
Применимость Активирован сценарий потери основной площадки; версия комплекта DRP определена в журнале инцидента
Исполнитель и утверждающий Координатор собирает подтверждения. Incident Commander принимает решение в пределах делегированных полномочий
Обязательные входы Отчёт владельца данных о выбранном состоянии; подтверждение исключения конфликтующих записей; заключение владельца приложения; допуск безопасности при соответствующем сценарии
Порядок проверки Сопоставить идентификатор среды, версию приложения, время проверок и ограничения. Убедиться, что подтверждения относятся к одному сценарию и не устарели после изменений
Условие разрешения Все обязательные проверки имеют явный положительный результат; отклонения рассмотрены в предусмотренном порядке
Условие остановки Нет подтверждения, расходятся идентификаторы, изменилось состояние среды или остаётся неопределённость по безопасности записи
Действие при остановке Сохранить ограничения; назначить владельца недостающего подтверждения; продолжить безопасные параллельные работы; назначить момент повторного решения
Запись результата Номер решения, время с часовым поясом, разрешённая функция, ограничения, утверждающий и ссылки на доказательства
Следующий шаг Передать разрешение исполнителю связанного runbook. Не трактовать его как подтверждение восстановления всего сервиса

Такой формат разделяет техническое доказательство, управленческое решение и само действие. В нём нельзя заменить отсутствие отчёта сообщением «кажется, всё нормально».

У технического runbook дополнительно должны быть указаны порядок проверки частичного выполнения и допустимость повтора. Тайм-аут команды не следует автоматически трактовать как отсутствие изменений. Исполнитель сначала устанавливает фактическое состояние, затем выбирает предусмотренное продолжение.

Автоматизация не отменяет карточку. Она меняет исполнителя части шагов: система всё равно должна проверять условия, оставлять журнал, сообщать результат и останавливаться в предусмотренных случаях. Версию автоматизированной процедуры включайте в комплект доказательств так же, как версию документа.

Рисунок 2 — От технических подтверждений к решению DR-07 и выполнению процедуры

6. Организуйте единый журнал и передачу управления

Вернёмся к учебному инциденту. Архитектор по-прежнему недоступен, но заместитель уже принял полномочия. Остаётся другая проблема: DBA, инфраструктурная команда и провайдер видят разные фрагменты происходящего.

Создайте один рабочий журнал инцидента. Наверху должны находиться текущий руководитель, влияние на пользователей, выбранный сценарий, действующие ограничения и ближайшее решение. Подробные логи прикладываются ссылками, а не вытесняют статус из документа.

Google SRE рекомендует вести актуальный документ состояния инцидента и явно передавать роль руководителя с подтверждением принимающей стороны. Это особенно важно при смене дежурства.

Пример записи в журнале:

02:28, UTC+3. INC-DR-042. Подготовка резерва завершена, разрешение на запись не выдано: отсутствует заключение владельца приложения. Ответственный — дежурный Application Lead. Следующая проверка статуса — в 02:33. Изменять маршрутизацию до решения DR-07 запрещено.

Это учебная запись, не отчёт о реальном происшествии. Её ценность — в разделении факта, ограничения, ответственного и следующего контрольного момента.

При передаче смены исходящий руководитель сообщает принятые решения, незавершённые действия, уже запущенные задания и запрещённые операции. Принимающий подтверждает роль и понимание состояния. После этого смена руководителя объявляется всем участникам. Нельзя ограничиваться сообщением «я ушёл, дальше смотрите чат».

Сообщайте бизнесу факты, прогноз и следующий срок обновления отдельно

Согласуйте один канал обновлений и шаблон сообщения. Например: «Недоступна функция оформления новых заявок; чтение истории работает. Резерв подготовлен, завершается проверка допуска. Время возвращения записи пока не подтверждено. Следующее обновление — в согласованный момент».

Целевой RTO не нужно выдавать за текущий прогноз. Если срок под угрозой, сообщение должно содержать причину, оставшиеся неопределённости и решение, необходимое от бизнеса.

Внутренний технический журнал и публичный статус — разные документы. В публичное сообщение не переносят секреты, детали уязвимостей и неподтверждённые выводы. Команда поддержки получает отдельную инструкцию: что сообщать клиентам и какие повторные действия им не следует предлагать без согласования.

7. Проверьте, что план можно открыть и использовать при отказе рабочего контура

План не должен требовать для своего запуска те же сервисы, восстановлением которых занимается команда. Google SRE отдельно обращает внимание на риск зависимости средств управления инцидентом от восстанавливаемой системы.

Подготовьте контролируемую аварийную копию утверждённого комплекта, альтернативный канал связи и процедуру получения доступа. Проверьте не только доступность файлов, но и способность дежурного подтвердить свои полномочия провайдеру без основной корпоративной почты или единой системы входа.

В аварийной копии указываются версия, дата формирования и способ проверки целостности. За её обновление отвечает назначенный владелец. Распечатанный телефон бывшего сотрудника не становится надёжным только потому, что бумага не зависит от облака.

Секреты не размещайте в открытом DRP. Отдельно согласуйте хранение, выдачу, журналирование и отзыв аварийных полномочий. Ограничения безопасности сохраняются и во время кризиса; меняется заранее разрешённый маршрут получения доступа, а не само требование контролировать его.

Проверку выполняйте с рабочего места дежурного и с отключённым доступом к моделируемому отказавшему контуру. Успешное открытие документа с ноутбука автора, где давно сохранены все сессии, не проверяет пригодность аварийного доступа.

8. Испытайте не только инфраструктуру, но и организацию восстановления

Технический тест показывает, что система способна восстановиться. Организационное учение проверяет, сможет ли нужная команда запустить эту процедуру, согласовать решения и передать результат. AWS рекомендует включать в такие учения ответственные команды и бизнес-участников, а выводы доводить до исправлений.

Начните с разбора сценария за столом, затем переходите к выполнению в контролируемой среде. Полномасштабное испытание требует согласованных границ, уведомления заинтересованных сторон, права остановить тест и безопасного выхода. Не устраивайте внезапный отказ production ради проверки внимательности сотрудников.

Проведите учение без подсказок автора плана

Автор наблюдает, а процедуру выполняет другая подготовленная смена. Руководитель безопасности испытания остаётся доступен и может остановить опасное действие. Это не экзамен на догадливость: каждая необходимая подсказка фиксируется как пробел документа или подготовки.

Учебная вводная Что проверяется Признак готовности
Основной утверждающий не отвечает Замещение и эскалация Команда находит уполномоченного заместителя по плану
Обычный канал связи недоступен Независимость координации Участники собираются в предусмотренном резервном канале
Провайдер запрашивает подтверждение заявки Совместный регламент Полномочия подтверждаются согласованным способом
Найдены две версии инструкции Управление конфигурацией плана Команда выбирает утверждённый комплект и фиксирует версию
Работа переходит другой смене Передача состояния Незавершённые операции не теряются и не запускаются повторно
Прогноз выходит за целевой срок Управление исключениями Бизнес получает факты и варианты, а не обещание без основания

Измеряйте время до принятия командования, получения доступа, подключения поставщика и ключевого решения. Отдельно фиксируйте задержки из-за неясных полномочий, число подсказок и недостающие инструкции. Эти показатели нужны для улучшения процесса, а не для поиска виновного.

Не подменяйте ими итоговые RTO и RPO: быстро собранная команда ещё не доказывает восстановления сервиса. Технический результат должен проверяться в рамках соответствующего сценария; AWS прямо связывает DR-тестирование с достижением заданного состояния и времени.

9. Принимайте DRP по доказательствам и обновляйте вместе с системой

Подпись под документом подтверждает согласование, но не исполнение. Для приёмки предлагаемой модели потребуются три вида доказательств.

  • Технические: выбранная процедура работает для указанной версии системы и профиля нагрузки.
  • Организационные: дежурная команда получает доступы, полномочия и помощь провайдера без неописанных обходных путей.
  • Бизнесовые: восстановленные операции соответствуют согласованному аварийному режиму.

После учения каждое замечание получает владельца, срок, приоритет и способ повторной проверки. Исправленная фраза в документе не закрывает проблему, если её исполнение не проверено. Сценарий с критическим дефектом нельзя помечать подтверждённым; временно принятый риск должен иметь явные ограничения и срок пересмотра.

Свяжите изменение приложения с пересмотром DRP. При появлении нового источника данных, интеграции, способа авторизации или поставщика владелец изменения указывает, какие процедуры затронуты. Если влияния нет, это тоже фиксируется. AWS рассматривает актуализацию runbook как часть управления изменениями.

Для начала можно принять такой пример графика: ежемесячно проверять контакты и доступность аварийного комплекта, ежеквартально проводить ролевое учение, а технические испытания повторять по критичности системы и после значимых изменений. Это рабочая гипотеза, не универсальный норматив: периодичность утверждает владелец риска.

После реального восстановления отдельно отметьте три состояния: критические операции возвращены; ограничения аварийного режима сняты; замечания расследования поставлены на контроль. Не объявляйте полное возвращение к штатной работе, если резервирование ещё не восстановлено или часть функций остаётся отключённой.

Рисунок 3 — Проверка DRP другой сменой, устранение замечаний и повторное испытание

10. Включите EFSOL в общий регламент, а не только в список телефонов

При выборе облака для критического сервиса стоит оценивать не только ресурсы, но и возможность заранее подготовить совместную работу во время аварии.

EFSOL предлагает услуги проектирования, внедрения и сопровождения кластеров на разных платформах, стартовый аудит и поддержку 24/7. EFSOL предоставляет персонального ИТ-инженера и финансовые гарантии доступности в рамках SLA.

Для CTO сочетание облачной инфраструктуры и инженерного сопровождения — основание рассмотреть EFSOL как партнёра по подготовке и эксплуатации резервного контура. Но переход должен завершаться не только предоставлением ресурсов: необходимо согласовать, как команда заказчика и специалисты провайдера действуют вместе.

Что закрепить до первого инцидента

Пункт совместного регламента Какой результат нужен заказчику
Активация аварийных работ Список уполномоченных заявителей, способ подтверждения личности и резервный канал связи
Граница ответственности Для каждого действия указано: выполняет заказчик, EFSOL или другая сторона; кто принимает результат
Ресурсы и оплата Разделены заранее выделенные мощности и предоставляемые по запросу; установлены лимиты и согласования
Эскалация Определены контакты смены, следующий уровень при отсутствии ответа и порядок подключения инженеров
Изменения во время DR Согласованы допустимые операции, ограничения, технические допуски и журнал решений
Испытания и приёмка Определены участие сторон, доказательства выполнения и порядок устранения замечаний

Разделите три срока: ответ на обращение, начало инженерных работ и восстановление бизнес-функции. Даже быстрая реакция поддержки не доказывает выполнение RTO приложения. Финансовая компенсация по SLA также не заменяет подготовленного и проверенного сценария.

Владелец бизнес-процесса остаётся на стороне заказчика: именно он определяет допустимые ограничения. Провайдер подтверждает свою часть инфраструктурной готовности, а команда приложения принимает корректность операций. Назначенный Incident Commander связывает эти результаты в одно решение.

Практичный первый шаг при работе с EFSOL — согласовать аудит готовности к совместному восстановлению. На входе нужны существующие инструкции, роли, договорные условия и результаты испытаний. Ожидаемый итог — перечень пробелов, распределение работ, актуальный комплект процедур и программа совместного учения. Это позволяет обсуждать облачный проект через конкретный результат для бизнеса, а не только через стоимость ресурсов.

11. С чего начать разработку своего плана

Выберите один критический бизнес-процесс и один сценарий крупного отказа. Не пытайтесь сразу описать все сочетания неисправностей. Сначала пройдите полный цикл: договорённости, карточки решений, проверка другой сменой, исправления и повторное испытание. Затем расширяйте покрытие.

Ниже — шаблон стартовой страницы. Он помогает начать работу с DRP, но не заменяет связанные технические процедуры. Перед утверждением заполните поля конкретными ролями, идентификаторами и проверяемыми условиями.

Поле первой страницы Что внести
Система и границы Название, обязательные бизнес-функции, допустимый аварийный режим
Версия и владелец Утверждённая версия, ответственный за актуальность, расположение аварийной копии
Цели и подтверждение RTO/RPO, точка отсчёта, ссылка на последний тест и известные ограничения
Условия активации Наблюдаемые признаки сценария; кто начинает подготовку и открывает инцидент
Управление Руководитель по текущей ротации, заместитель, правило передачи роли
Связь и доступ Основной и резервный каналы; порядок получения и подтверждения полномочий
Маршрут решений Идентификаторы обязательных карточек и технических runbook
Запрещённые действия Условия, при которых нельзя изменять данные, открывать запись или возвращать трафик
Внешние участники Регламент провайдера, уполномоченные контакты, лимиты работ и эскалация
Приёмка результата Кто подтверждает возвращение функций, кто фиксирует ограничения и завершение режима

Для первой проверки дайте эту страницу дежурному, который не участвовал в её написании. Попросите найти нужную процедуру, вызвать заместителя, объяснить условия следующего решения и показать место для записи результата. Если для этого приходится звонить автору, вы получили конкретную задачу на доработку, а не повод расширять документ общими формулировками.

Итог: от технического резерва к управляемому восстановлению

Восстановление приложения возвращает работоспособность. Георезервирование предоставляет альтернативную площадку. Межоблачная миграция создаёт путь смены инфраструктуры. Резервные копии сохраняют возможность вернуться к пригодным данным.

DRP связывает эти возможности с людьми, полномочиями и доказательствами. Он определяет, кто запускает подготовленный сценарий, как команда действует при неопределённости и какой результат принимает бизнес.

Организация готова к аварии тогда, когда подготовленная команда может восстановить согласованные бизнес-функции по проверенному плану, а не только при личном участии человека, который однажды построил систему.

Лого ES мини

EFSOL

Заказать звонок

Оставьте свои данные для того, чтобы специалист с вами связался.