В этом месяце мы поработали над стабильностью продукта и системой мониторинга, чтобы Carbon Reductor DPI X стал более отказоустойчив к самым непредвиденным ситуациям. Правок было достаточно много, самые важные мы описали ниже.

Анализ нагрузки на сервер

Доработан ряд тестов проверки нагрузки на сервере. Причин увеличения нагрузки несколько: аппаратные проблемы с дисками, зависание процессов, повышенное потребление оперативной памяти и сторонние «паразитные» программы и утилиты. С помощью тестов мы сообщаем администратору сервера, что необходимо исправить неполадки или модернизировать сервер.

Проверка наличия трафика

Исправлен тест проверки наличия трафика для анализа. Он занимается определением количества поступающего трафика для анализа, его природой и направлением трафика. Иногда не учитывал особенности зеркалируемого трафика и создавал ложные срабатывания.

Проверка состояния системы фильтрации

Мы добавили уведомление для ситуации, когда при прерывании питания не удается выполнить полноценный запуск Carbon Reductor DPI X.

BGP Blackhole

Поправили логику синхронизации маршрутов по BGP. В некоторых случаях возникали разногласия при получении маршрута от другого оператора связи.

Спасибо, что пользуетесь Carbon Reductor DPI X!

Бывают случаи, когда на стадии внедрения системы фильтрации Carbon Reductor DPI X у наших инженеров поддержки возникает следующая ситуация – фиксируются пропуски фильтрации из-за сервера, не соответствующего системным требованиям. Обычно, это выглядит так:

• Одноядерный процессор Intel Xeon с гипертредингом и неплохой частотой, но ему уже 10 лет.
• Оперативная память DDR1 с частотой 400 MHz.
• Выгрузка реестра, разбор, обработка и загрузка списков занимают минут 15, вместо положенных 40 секунд.
• Сетевая карта Realtek принимает 500 Мбит/сек, теряя при этом около 20% пакетов.

Что делать?

Читать далее →

Как мы обнаружили утечки памяти ядра Linux

В декабре система мониторинга создала несколько заявок в связи с нехваткой оперативной памяти. После подключения к проблеме инженеров и разработчиков, выяснилось следующее:

• Несколько пользователей в ручном режиме обновили CentOS до последней версии на сервере системы фильтрации.
• Через 1-2 дня после перезагрузки сервера (обновление ядра применяется только после перезагрузки), система мониторинга Carbon Soft создала задачу «Недостаточно свободной оперативной памяти».
• После выполненных работ выяснили, что в ядрах новее 754.el6 имеется утечка памяти до 200 Мб в час, возникающая при обработке трафика, что стало причиной поломки нескольких серверов.

Мы добавили эти ядра в чёрный список и разобрались с серверами, которые уже обновились.

Вывод

Читать далее →