Страхуемся, чтобы на 200% проходить проверки АС «Ревизор»

Страхуемся, чтобы на 200% проходить проверки АС «Ревизор»

Мы решили дополнительно подстраховать пользователей Carbon Reductor от форс‑мажорных ситуаций в плане фильтрации.


Сейчас предполагается, что система фильтрации у провайдера должна работать идеально 100% времени. Мы прикладываем огромные усилия, чтобы это было действительно так, но причины пропусков в фильтрации не связаны непосредственно с продуктом.

Это могут быть сбои оборудования на сервере с Carbon Reductor: если внезапно выйдет из строя жёсткий диск, сервер, скорее всего, продолжит работу и даже будет продолжать осуществлять фильтрацию трафика, но не сможет выгрузить списки и добавить новые URL. Такая ситуация недавно случилась у одного из пользователей и, к сожалению, привела к штрафу в 30 тысяч рублей. Блоки питания, битые модули оперативной памяти, сетевые кабели — ситуация та же самая.

Часто бывает так, что полноценного мониторинга за сервером не настроено, а сотрудник, зарегистрированный в нашем helpdesk, получающий уведомления от нашего мониторинга, уволился. Соответственно, о возникшей проблеме, несмотря на наличие тикета в хелпдеске и отправленных писем, узнаёт не системный администратор через 5 минут, а директор, причём от РЧЦ или РКН. (Кстати, начиная с 2017 года мониторить состояние Carbon Reductor стало значительно легче, можете посмотреть примеры в документации).

Если проблемы в программном обеспечении Carbon Reductor и, используемой в качестве платформы, операционной системе мы можем исправлять и предотвращать, то с железом мы ничего сделать не можем, такова его материальная природа — оно подвержено поломкам.

Для того, чтобы предупредить форс-мажоры, от которых никто не застрахован, мы предлагаем нашим пользователям организовать резервный сервер с Carbon Reductor. Лицензия на этот сервер предоставляется безвозмездно если Вы уже пользуетесь Carbon Reductor.

Эта статья носит рекомендательный характер. Если для Вас сейчас накладно обустраивать второй сервер или нет возможности организовать ещё одно зеркало трафика, ничего страшного. Основной сервер как работает, так и будет работать, просто за ним нужно следить и обслуживать.

Ранее мы уже писали о том, как должен быть настроен сервер с Carbon Reductor.

В плане установки дополнительной копии Carbon Reductor в сеть оператора есть несколько плюсов:

  • Возможность самостоятельно обкатывать новые версии перед обновлением, то есть использовать второй Carbon Reductor как staging-сервер, а на основном отключить автоматическое обновление.
  • Снижение вероятности пропуска фильтрации из-за потери пакета (как анализируемого трафика, так и редиректов/разрывов) в сети провайдера (одновременно потерять два пакета — куда сложнее чем один).
  • Снижение вероятности пропуска фильтрации из-за выхода из строя аппаратной части.
  • Снижение вероятности пропуска фильтрации из-за плавающих проблем в программном обеспечении. Kernel panic, soft-lockup, повисания сети во время применения изменений настроек сети при большом числе VLAN, неисправная сетевая карта/рейд-контроллер и т.д.
  • Возможность спокойно проводить техническое обслуживание сервера с рестартом сети или перезагрузками (замена оборудования, обновления ядра Linux, установки параметров драйверам сетевых карт и других экспериментов).
  • Для пользователей 7-й версии возможность ознакомиться с 8-й версией до массового перехода.

Как активировать резервный редуктор:

  1. Скачайте с сайта Carbon Reductor.
  2. Установите на отдельный сервер.
  3. Протестируйте в режиме пробной версии.
  4. Отправьте регистрационный номер резервного редуктора на почту sales@carbonsoft.ru c пометкой «Активация резервного Carbon Reductor».
  5. Активация пройдет в течение суток.

Успехов и процветания! Спасибо, что пользуетесь Carbon Reductor!

График работы технической поддержки с 20 по 27 февраля

График работы технической поддержки с 20 по 27 февраля
День Время работы (МСК)
20 — 21 февраля 8:00 — 16:00
22 февраля 8:00 — 15:00
23 — 26 февраля Выходной
27 февраля 8:00 — 16:00

Круглосуточная поддержка по критичным вопросам оказывается в обычном режиме.
Также в случае форс-мажора на SLA1 вы можете дать интернет всем.

Релиз Carbon Reductor 7.5.1 100

Релиз Carbon Reductor 7.5.1 100

Доброго времени суток!

Продолжаем оптимизировать работу Carbon Reductor под новые реалии контроля фильтрации трафика со стороны РКН. Повышена стабильность выгрузки списков, а фильтрация стала еще лучше.


Самое важное

SNI-фильтрация стала значительно надёжнее в большинстве установок, связано с нюансами трафика в зеркале. Возможен незначительный рост (2-10%) нагрузки на сервер.

Исправлена ошибка с неснимающимся режимом обслуживания на старых выпусках CentOS (6.6 и младше).

Улучшена производительность резолвера в работе со списками.

Повышена надёжность обновления Carbon Reductor

Улучшена стабильность системы обновления. Добавлена дополнительная проверка в момент запуска обновления на случай если скачались некорректные данные. Ранее в случае ответа с ошибкой всегда запускалось скачивание и при обновлении это могло привести к неработоспособности редуктора. Также обновление самого Carbon Reductor теперь нельзя запустить дважды (спасает при запуске ручного обновления во время автоматического обновления).

Работа со списками

Стали более отказоустойчивыми выгрузка реестра и обновление сигнатур. Обновление списков и загрузка URL/доменов/IP в ядро тоже подверглась улучшениям в плане надёжности и понятности. Логируется статистика модуля до загрузки URL и после.

Другое

  • Унифицировано логирование во многих подсистемах: файрвол, обновление сигнатур, режим обслуживания, загрузка URL. Позволит быстрее находить причину сбоев в работе.
  • Мастер настройки зеркала трафика и часть других скриптов теперь поддерживают устройства, именуемые не «eth».
  • Унифицирована система тестирования. Наведён порядок в тестовой инфраструктуре, не касается конечных пользователей напрямую, но это делает Carbon Reductor более защищённым от ошибок разработчиков.
  • Улучшена работа Carbon Reductor в режиме только редиректора для неавторизованных/заблокированных/неплатящих абонентов без каких-либо списков вообще. Также для неавторизованных пользователей не полностью фильтровался HTTPS-трафик — исправлено.
  • В веб-интерфейсе в разделе «Информация» теперь выводится информация о файле запроса и его подписи при отсутствии сертификата.
  • Mikrotik периодически отдаёт пустой ответ при запросе списка IP адресов, не отдавая никакого кода возврата. Теперь это учитывается в примере хука для интеграции с маршрутизатором.
  • Утилита для поиска по кэшу резолва запрещенных доменов теперь умеет искать как домены по IP, так и IP по домену — используется для ресурсов, которые часто меняют IP-адрес.
  • Обновлён плагин для collectd (`/usr/local/Reductor/bin/collectd_plugin`), теперь он соответствует новому формату собираемой по модулям ядра статистики.
  • Исправлено несколько опечаток в диагностике и веб-интерфейсе.

Спасибо, что пользуетесь Carbon Reductor!

Релиз Carbon Billing 5.22.01

Релиз Carbon Billing 5.22.01

Добрый день!

В Carbon Billing 5 вновь добавили несколько фич, упростили взаимодействие с интерфейсом и облегчили жизнь нашим пользователям, но обо всём по порядку.


Что нового?

Больше способов оплаты для Ваших абонентов — добавлены платёжные системы: PayAnyWay, Payfon24, JCC, Kassa24.

В общий аудит добавлена пагинация данных. Теперь можно увидеть часть результатов поиска не ожидая их длительное время. Информация подгружается по мере листания страниц.

Добавлена возможность скрывать поля расширенного поиска из веб-кассы, иногда кассиры путались из-за обилия неиспользуемых полей.

Для операторов связи, клиенты которых могут содержать в наименовании более 7 слов (особенно госучреждения), мы расширили поля для ФИО абонента в 5 раз. Теперь Вы можете вместить любое наименование без сокращений.

Добавлена интеграция связки Stalker + IPTV Portal — даёт возможность быстрого и эффективного запуска видео-услуг на базе IP-сетей.

Другое

  • Добавлена обработка 1С для редакции бухгалтерии 3.0 в связи с обновлением 1С.
  • При создании абонента теперь можно быстро ввести дату в соответствующее поле, например при указании даты выдачи паспорта. Ранее для ввода данных приходилось листать виртуальный календарь.
  • Добавлена возможность интеграции с Eltex SMG-1016M.
  • Исправлены ошибки, о которых Вы сообщили.
  • Повышена отказоустойчивость базы данных при перезагрузке сервера по питанию.

Спасибо, что пользуетесь Carbon Billing 5!

Релиз Carbon Reductor 7.5.0 204 и 8.0.0 1435

Релиз Carbon Reductor 7.5.0 204 и 8.0.0 1435

Добрый день!

Изменения в связи с обновлением АС «Ревизор»

Добавлен режим обслуживания

В случае, если новая версия Carbon Reductor содержит изменения модулей фильтрации, на время процесса обновления, 10-20 секунд, включается режим обслуживания. Правила файрвола не очищаются полностью, вместо этого добавляется REJECT для всех видов трафика. Эти правила применяются только для АС «Ревизор», если указан его IP‑адрес/подсеть, иначе — для всех абонентов. Это сделано с целью исключить пропуски фильтрации в процессе обновления Carbon Reductor. Такие обновления бывают раз в 2-3 месяца.

А также:

  • Теперь не указанный IP-адрес АС «Ревизор» считается ошибкой.
  • Добавлена регистронезависимая фильтрация DNS для всех абонентов, если не указан IP‑адрес/подсеть АС «Ревизор». Может повышать нагрузку на сервер.

Повышение надёжности фильтрации

  • Теперь в файлах модулей фильтрации выводится статистика по обеим базам данных — как buffer, так и readonly. Ранее счётчики показывались не совсем верно — в какой-то момент от buffer, в какой-то от readonly, что могло привести к ошибочному выводу о том, что база, по которой происходит поиск при фильтрации, обнуляется при обновлении списков или рестарте.
  • Загрузка URL, доменов и IP в ядро теоретически могла быть запущена в процессе обработки списков и использовать не до конца обработанные списки — исправлено.

Исправления в Carbon Reductor 8

  • В момент применения собственных списков в веб-интерфейсе выдавалась 404/500 ошибка.
  • L2-зеркало трафика, настроенное с помощью мастера не работало.
  • Использование страницы-заглушки Carbonsoft теперь считается ошибкой, т.к. ответ от сервера Carbonsoft не является гарантированным.
  • Мелкие проблемы с запуском при первой установке.
  • Ошибка в веб-интерфейсе, в некоторых случаях возникала надпись «Файл не найден».
  • Ошибка генерации и подписи запроса для получения списка запрещённых сайтов, в результате которой списки не выгружались.

Прочее

  • Исправлено — Satellite не удалял пустые временные файлы на каждый домен при проверке DNS, что приводило к заполнению inodes. Проверить текущую заполненность можно командой: df -hi /tmp/.
  • Теперь в отчётах Satellite указывается его IP-адрес. Полезно при использовании нескольких серверов Satellite.
  • Плагин collectd сломался при обновлении модулей. Теперь он поставляется в комплекте с Carbon Reductor, чтобы обеспечить его автоматическое обновление. Инструкция на github по работе с ним в скором времени будет обновлена и продублирована в документацию Carbon Reductor.
  • Добавлен режим для Satellite, обеспечивающий отсутствие расхождения содержимого списков на Reductor и Satellite на время проверки фильтрации (используется только в целях агрессивного тестирования разработчиками).

Спасибо, что пользуетесь Carbon Reductor!

Голосование за функционал Carbon Billing 5

Голосование за функционал Carbon Billing 5

Публикуем результаты первого голосования в декабре 2016 года.

46,7% участников выбрали для реализации:
«Списки сайтов, разрешенных при отрицательном балансе, т.е. сайты, находящиеся в «Справочнике» в разделе «ACL списки разрешенных сайтов» будут попадать автоматически в adress list MikroTik. Данная вкладка пока совместима только с оборудованием вендора Cisco.»

Голосование за функционал

Выбранная функция будет реализована в течение 2-х месяцев.
Мы уже подготовили обновленный список желаемых фич, так что можете принять участие в новом голосовании.

Голосование Январь 2017


Спасибо, что выбрали Carbon Billing 5!

График работы технической поддержки с 31 декабря 2016 по 9 января 2017

График работы технической поддержки с 31 декабря 2016 по 9 января 2017

Поддержка в новогодние праздники будет оказываться через портал HelpDesk.
Рекомендуем не проводить никаких работ до 9 января.

День Время работы (МСК)
30 декабря 8:00 — 16:00
31 декабря — 2 января Выходной день
3 — 5 января 8:00 — 16:00
6 — 8 января Выходной день

Круглосуточная поддержка по критичным вопросам оказывается в обычном режиме.
3-5 января техническая поддержка будет осуществляться для SLA Стандарт по критическим вопросам.
Также в случае форс-мажора на SLA Стандарт вы можете дать интернет всем

Итоги года 2016 Carbon Billing 5

Итоги года 2016 Carbon Billing 5

Добрый день!


Подводим итоги года.

За 2016-й мы интегрировали Carbon Billing 5 более 70 операторам связи. Добавили более 100 новых функций и возможностей для пользователей, упрощающих работу и закрыли более 750 мелких задач!

Закрытые задачи за год:
Задачи за 2016 год


Спасибо, что выбрали Carbon Billing 5. С наступающим!

Новогодний корпоратив 2016

Новогодний корпоратив 2016

24.12.16 в Carbon Soft прошел новогодний корпоратив.

Всей компанией мы ездили на гору «Пильная», взяли в аренду пару теплых домиков и с удовольствием провели время!

Кто-то катался на лыжах, сноубордах, бубликах, гулял, а кто-то готовил мясо и обеспечивал хорошим настроением всю команду!


С наступающим!

Новогодний корпоратив

АС «Ревизор» теперь производит непрерывную проверку фильтрации

АС «Ревизор» теперь производит непрерывную проверку фильтрации

Доброго времени суток!

Роскомнадзор вновь подкидывает работы и заставляет некоторых пользователей понервничать.


У нас есть страница-заглушки: http://denypage.ru. Давненько, когда модуль DNS-фильтрации стал необходим для прохождения проверок ревизора без пропусков, мы приняли довольно тяжелое решение о том, чтобы при обновлении включить этот модуль.

Наша цель была в том, чтобы зафильтровать ресурсы, часто меняющие IP хоть как-то (резолвер этого не гарантирует), не дожидаясь долгой человеческой реакции большого числа людей, чтобы наши дорогие клиенты не получили штрафы.

Взглянули на нагрузку, которую она создаёт и в принципе ничего особо страшного не было. Доросла она где-то до 100-400 тысяч запросов в час и это никого не беспокоило.

После обновления АС «Ревизор», 21 декабря — нагрузка на страницу выросла до 7 000 000 запросов в час, и это только те, которые достучались до контейнера с nginx, обслуживающим эту страницу. Многие запросы стали заканчиваться ошибками HTTP/502 Gateway Timeout, которые фиксируются ревизором. К штрафу это, скорее всего, не приведёт, т.к. ответа от запрещенного ресурса не было, но из РЧЦ к Вам придут с вопросом: «а почему у Вас нет страницы-заглушки?».

Чтобы фильтрация работала как положено нужно настроить собственную страницу заглушку.

Настройка заглушки, варианты:

На отдельном сервере

Чтобы АС «Ревизор» её успешно распознавал, следуйте инструкции (имеющиеся веб-сервера использовать не рекомендуется, потому что инструкция требует выделить отдельный сервер, занимающийся ТОЛЬКО страницей-заглушкой, в противном случае отправленные с помощью DNS-спуфинга редиректы не будут обработаны этим сервером):

https://github.com/carbonsoft/reductor_blockpages

После настройки страницы надо указать в двух местах адрес, доступный всем абонентам и АС «Ревизор»:

  1. Menu -> Настройка алгоритма фильтрации -> URL страницы-заглушки.
  2. Menu -> Настройка алгоритма фильтрации -> IP для DNS-ответов.

На сервере с Carbon Reductor

Не рекомендуется при большой нагрузке. (1000+ абонентов/несколько ревизоров).

Включить можно в «menu -> Настройка алгоритма фильтрации -> Заглушка на этом сервере».

После настройки страницы надо указать в двух местах адрес, доступный всем абонентам и АС Ревизор:

  1. Menu -> Настройка алгоритма фильтрации -> URL страницы-заглушки.
  2. Menu -> Настройка алгоритма фильтрации -> IP для DNS-ответов.

Почему нельзя использовать нашу страницу заглушку в продакшене

  • Она изначально предназначена исключительно для целей тестирования работоспособности продукта во время демо-периода, а также в являлась временным решением многомесячной давности.
  • Канал до неё имеет ограничение в 100 Мбит/с, ресурсы процессора тоже имеют свои ограничения. Мы не можем гарантировать её 100% доступность.
  • Также мы не можем гарантировать то, что ревизор не опознает недоступность нашей страницы-заглушки как доступность блокируемого сайта.

В конце концов, отправлять трафик абонентов и ревизора на нашу заглушку — лишняя нагрузка аплинков, да и интернет штука далекая от 100% надёжности. В общем, единственный способ правильно решить проблему — разворачивать заглушку на отдельном сервере.

Если Вы пропустили статью о том, что обязательно нужно настроить, чтобы не иметь пропусков — пройдитесь по ней.

Среди наших клиентов