Инсайдерская статистика фильтрации рунета с помощью Carbon Reductor DPI за 2017 год

Добрый день!

В начале осени Carbon Reductor DPI преодолел планку в 1000 операторов связи.

Теперь более половины рынка независимых провайдеров используют наше решение по фильтрации трафика.

На текущий момент Carbon Reductor DPI фильтрует 4,8 млн российских пользователей интернета. В секунду обрабатывается 180 гигабайт трафика.

За 2017 год операторами связи, использующими наше решение отфильтровано более 641 петабайт исходящего трафика или 18,9 квадриллионов сетевых пакетов.

Подробнее о Carbon Reductor DPI.


Спасибо, что пользуетесь продуктами Carbon Soft!

Carbon Reductor DPI прошел тестирование Роскомнадзором

Добрый день!

Рады сообщить, что Carbon Reductor DPI успешно прошел тестирование Роскомнадзором и рекомендован к установке операторам связи по всей России как средство фильтрации трафика по спискам запрещённых сайтов и для выполнения ФЗ-139; ФЗ-149; ФЗ-187; ФЗ-398; ФЗ-436.

В тестировании приняло участие 22 оператора связи — самая большая выборка пользователей среди протестированных решений на рынке. По итогам у всех провайдеров, установивших систему фильтрации в соответствии с системными требованиями, достигнута 100% блокировка запрещённых сайтов и каких-либо нарушений или пропусков фильтрации за время тестирование не выявлено.

Подробная информация о Carbon Reductor DPI

Техническая документация по Carbon Reductor DPI


Спасибо, что пользуетесь Carbon Reductor DPI!

Релиз Carbon Reductor DPI 8.01.04 8244

Самое важное

Как Вы знаете, мы тщательно работаем над системой мониторинга сервера фильтрации каждый месяц. В этот раз мы значительно улучшили процесс обработки сообщений от мониторинга технической поддержкой.

Теперь техническая поддержка будет реагировать на потенциальные проблемы в несколько раз быстрее. Мы внедрили 3 дежурных специалиста, которые в круглосуточном режиме обрабатывают заявки от системы мониторинга, если такие возникают. О них при необходимости узнает вся цепочка специалистов с помощью системы критических оповещений, начиная от первого дежурного и заканчивая руководителем подразделения Carbon Reductor DPI — ни одна задача ни в коем случае не останется упущенной несмотря на текущее время суток.

Усовершенствован и анализ отчётов от АС «Ревизор». Carbon Reductor DPI уже умеет проверять отчёты, сформированные АС «Ревизор». Теперь Carbon Reductor автоматически инициирует формирование отчёта, анализирует сгенерированный отчёт и позже вновь проделывает ту же работу в рамках ежедневной проверки работоспособности системы фильтрации.

Веб-интерфейс

  • Исправлено отображение статистики по сетевым интерфейсам. Ранее не отображались графики по количеству проверенных пакетов, а также статистика по некоторым именам интерфейсов, при этом статистика оставалась доступна через консоль.
  • Откорректирована работоспособность изменения паролей пользователей.

Мониторинг

  • Добавлена система анализа факта блокировки трафика. Она позволяет определить, происходит ли блокировка запрещённых ресурсов на основе анализа обмена пакетами между самим запрещённым ресурсом и АС «Ревизор». Проверка происходит раз в 6 часов, а также сразу после обновления. При обнаружении аномалии система мониторинга оповестит техническую поддержку Carbon Soft и Вашего системного администратора.
  • Откорректирована работа теста времени работы сертификата для выгрузки единого реестра запрещённых сайтов.

Фильтрация

  • Согласована работа SNI-фильтрации с белыми списками, исправлены мелкие ошибки.
  • В некоторых случаях не работали белые списки для IP-адресов без указания масок — исправлено.

Прочее

  • Поведение системы обновления стало более правильным. Исправлены ошибка, которая разрешала обновление при его полном отключении. Однако нужно учитывать, что есть версии на которые необходимо обновляться. Такие версии выпускаются при критических изменениях, связанных, как правило, непосредственно с модулем фильтрации. Переход на такие обновления проходит в обязательном порядке вне зависимости от выбора опций.
  • Откорректирована обработка списков, проведены работы по повышению отказоустойчивости.
  • Исправлена автоматическая отправка новых маршрутов по BGP в интеграции с маршрутизаторами.

Спасибо, что пользуетесь Carbon Reductor!

Самые важные изменения в Carbon Reductor DPI. Ретроспективный обзор 2017

С начала 2017 года разработчики Carbon Soft провели огромную работу над улучшением качества системы фильтрации, которой пользуется вот уже 1000 операторов связи по всей России. Для того, чтобы у Вас было более полное понимание продукта и его возможностей представляем Вам ретроспективный обзор самых важных изменений за текущий год.

Новое поколение продукта — Carbon Reductor 8

Carbon Reductor выпущен в виде новой серии продукта 8 версии. Теперь он базируется на единой платформе Carbon - надёжная, проверенная временем платформа с онлайн мониторингом и фоновым обновлением. Продукт поделён на отдельные контейнеры: reductor_dpi, blockpage, https_proxy, bgp, rkn. Контейнер представляет из себя изолированное окружение, где есть всё, что необходимо для работы, что значительно повышает надёжность и отказоустойчивость продукта в целом. Также, платформа позволяет оперативно добавлять новые модули при изменении законодательства.

Установка происходит со стандартного дистрибутива CentOS с расширенным установщиком carbon_kickstart. Возможна установка с ISO или UBS-flash образа. Carbon_kickstart автоматически сделает надёжную разбивку дисков, используемую платформой Carbon, соберёт при необходимости софтрейд.

Мониторинг и система критического обновления платформы Carbon сокращают время от выявления проблемы до её полного устранения на всех серверах системы фильтрации с нескольких дней до нескольких часов. Например: система мониторинга обнаружила проблему на одном из серверов пользователей, один из разрабочтиков её устранил, а через полтора часа уже выпустил Hotfix (критическое обновление) для всех наших пользователей, что навсегда исключает возможность возникновения этой проблемы на каком-либо сервере.

Платформа Carbon имеет 3 встроенных watchdog’a, что позволяет срочно перезагрузить сервер в случае аппаратного или софтверного зависания.

Читать далее

Сообщение от РКН о смене IP-адреса ресурса получения выгрузок

Вчера, 26 октября 2017 всем операторам связи, осуществляющим выгрузку реестра запрещённых материалов, а также фильтрацию трафика, от Роскомнадзора пришло письмо о смене IP-адреса ресурса получения выгрузки операторами связи vigruzki.rkn.gov.ru.

В связи с вопросами от наших пользователей и чтобы прояснить ситуацию по продукту Carbon Reductor, сообщаем, что выгрузка в Вашем сервере фильтрации осуществляется путём обращения по доменному имени, поэтому смена IP-адреса данного ресурса никак не скажется на работоспособности продукта.

Также рекомендуем проверить настройки firewall Вашего маршрутизатора на предмет блокировки нового IP-адреса ресурса для выгрузок. Текущий IP-адрес — 46.61.232.10, новый — 81.177.103.92.


Спасибо, что пользуетесь Carbon Reductor!

Релиз Carbon Reductor 8.01.04 7215

Самое важное

Появилась возможность ограничивать действия в веб-интерфейсе. Настройка, выключение и управление сервером теперь разграничиваются правами доступа. Может быть 2 роли: уровень доступа администратор – редактирование, настройка, перезагрузка и т.д., менеджер – просмотр результатов работы. Пригодится на тот случай, если у Вас несколько человек, которые контролируют работу системы фильтрации и один ответственный — например, главный инженер, имеющий доступ к настройкам системы.

Мы оптимизировали интеграцию с маршрутизаторами. Для снижения нагрузки на маршрутизаторы оператора связи мы ввели возможность работы с целыми подсетями IP-адресов. Из-за повышения количества заблокированных IP-адресов в реестре запрещённых сайтов у некоторых маршрутизаторов возникали проблемы с производительностью – теперь их больше не будет.

Повышена отказоустойчивость при обработке списков – добавлена проверка URL на корректность. Ранее некорректные URL могли привести к сбою процесса обработки списка.

Веб-интерфейс

  • Графики со статистикой работы Carbon Reductor больше не очищаются при обновлении версии продукта.
  • Улучшена стабильность работы веб-интерфейса, исправлена ошибка, в редких случаях приводящая к его недоступности.

Мониторинг

  • Откорректирована работа системы диагностики. Наличие трафика в зеркале анализируется более корректно.
  • Добавлена система проверки статуса BGP сессии при интеграции с маршрутизаторами сети. Если BGP сессия не активна (например, маршрутизатор не отвечает), Carbon Reductor оповестит администратора о сбое в сети, который может привести к пропускам фильтрации.
  • Исправлена ошибка проверки статуса UPS. Это приводило к ложному оповещению администратора о его неисправности.

Фильтрация

Изменена логика разбора реестра для доменов с точкой на конце (для случаев записи example.com.). Теперь такие записи блокируются во всех вариациях, чтобы исключить влияние человеческого фактора при заполнении реестра.

Прочее

  • Режим обслуживания теперь поддерживает работу с хук-файлами (файлы с доп. настройками). Есть некоторые пользователи, которые используют их для собственных настроек.
  • Добавлена поддержка Zabbix-агента, что позволит дополнительно выполнять мониторинг сервера самостоятельно, помимо системы мониторинга Carbon Soft.
  • Исправлен запуск хук-файлов при старте Carbon Reductor.

Спасибо, что пользуетесь Carbon Reductor!

Релиз Carbon Billing 5.25.01

Добрый день! Новая версия Carbon Billing 5 уже вышла. Обо всех нововведениях расскажем в порядке важности.

Оргвопросы

Во-первых, мы наполнили веб-интерфейс подсказками – кнопками «i». Кнопки ведут на документацию по соответствующему функционалу. Да, они были и раньше, но недостаточно. Теперь подсказки стоят в большинстве разделов и напротив полей заполнения и выбора. Больше не нужно писать в техподдержку по вопросам функционала или самостоятельно искать статью в документации.

Во-вторых, разделили техподдержку на 2 линии, чтобы сократить время ответа и решения вопросов. Мы стремимся к тому, чтобы время реакции на любую заявку было до 1-го часа, а решение легких вопросов ещё быстрее. Инженеры заняты решением только технически сложных вопросов, не отвлечены на стандартные вопросы, которые может решить первая линия. Это сделает техподдержку для наших пользователей существенно лучше и быстрее.

Архив тарифов

По многочисленным просьбам мы реализовали архив тарифов. Если раньше тарифы старые, новые, тестовые были в списке тарифов вперемешку и создавали неудобства для пользователей биллинга, то теперь оператор при работе с тарифами будет видеть только те тарифы, которые находятся в работе. Не нужные в данный момент тарифы теперь находятся в архиве тарифов.

Система мониторинга

Улучшили систему мониторинга. Если в работе биллинга будут замечены ошибки, сотрудник техподдержки Carbon Soft узнает об этом и сообщит пользователю биллинга до того, как провайдеру сообщат его абоненты.

Читать далее

РосКомНадзор тестирует Carbon Reductor DPI

Добрый день!

Рады сообщить, что Роскомнадзор в данный момент тестирует решение по фильтрации запрещённых ресурсов Carbon Reductor DPI.

По итогам тестирования будет выдан официальный документ, подтверждающий работоспособность фильтра трафика и соответствие требованиям Роскомнадзора. Тестирование займет от 2-х до 4-х недель. О результатах мы также сообщим.


Спасибо, что пользуетесь Carbon Reductor!

Релиз Carbon Reductor 8.01.03 6100

Самое важное

В систему мониторинга добавлен анализатор трафика, обнаруживающий пропуски фильтрации, в том числе связанные с проблемами в сети провайдера. При обнаружении таковых будет отправлено уведомление администратору сервера фильтрации и в техническую поддержку Carbon Soft.

Также повышена надёжность системы фильтрации — добавлена интеграция с маршрутизаторами по OSPF для получения кратчайших маршрутов до абонентских машин. Благодаря этому ответный пакет от Carbon Reductor дойдёт в несколько раз быстрее до машины абонента, запрашивающей запрещённый ресурс.

Система бэкапов Carbon Reductor теперь позволяет скачать бэкап и восстановить работу сервера фильтрации из резервной копии с FTP-сервера с помощью одной команды.

Веб-интерфейс

Веб-интерфейс Carbon Reductor теперь показывает количество проверенных пакетов для любых имён сетевых интерфейсов, а не только «eth».

Фильтрация

  • Исправлена ошибка в системе разбора реестра, URL с номером порта теперь добавляются корректно.
  • Белые списки IP-адресов для https больше не влияют на фильтрацию при помощи SNI.

HTTPS-proxy

Добавлен тест проверки устаревания сертификата, полученного от центра сертификации Carbon Soft.

Прочее

  • По просьбам нескольких пользователей страница заглушки стала поддерживать код ответа «HTTP/451» «Недоступно по юридическим причинам» вместо «HTTP/200» «Доступ запрещен». Опционально.
  • Активация продукта стала быстрее, откорректирована логика работы с серверами.
  • Для экономии места на сервере автоматически удаляются отчёты, скачанные с портала АС «Ревизор», старше 14 дней.
  • Исправлена работа с интегрированными DNS-серверами. Ранее возникала ошибка из-за добавления в реестр доменов с пробелами.
  • Добавлена поддержка автоматической настройки DHCP-сервера для установки Carbon Reductor в разрыв запросного канала.

Спасибо, что пользуетесь Carbon Reductor!

Релиз Carbon Reductor 8.01.02 3480

Самое важное

Пользователям 8-й версии больше не нужно собственноручно заходить в личный кабинет АС «Ревизор» и проверять таким образом работоспособность системы фильтрации, теперь это делает Carbon Reductor.

В нашей практике мы несколько раз встречались с ситуацией, когда неполадки в сети оператора связи или в аппаратной части сервера фильтрации приводили к пропускам запрещённых ресурсов, к ненулевым отчётам АС «Ревизор» и, соответственно, к потенциальному штрафу.

Регулярно мы разрабатываем всё новые рекомендации по обеспечению защиты от подобных ситуаций:

В новой версии мы пошли дальше и провели интеграцию Carbon Reductor с личным кабинетом АС «Ревизор».

Теперь Carbon Reductor способен скачивать и анализировать отчёты из личного кабинета АС «Ревизор» в автоматическом режиме. Результаты анализа отправляются в систему мониторинга для отслеживания корректности работы Вашего сервера фильтрации. При любых форс-мажорных ситуациях, например, сбой в сети или аппаратной части сервера фильтрации, наша техническая поддержка будет оповещена о неполадках нашей системой мониторинга, сообщит о них администратору Сarbon Reductor на Вашей стороне и решит проблему в самые кратчайшие сроки.

Также мы исправили ошибку, влияющую на создание автоматических заявок о проблемах с сервером фильтрации. Это приводило к созданию заявок о несуществующих проблемах.

Веб-интерфейс

Для Вашего удобства добавлена возможность изменения настроек в веб-интерфейсе.

Мониторинг

  • Мы добавили предупреждение об окончании срока действия ЭЦП (электронная цифровая подпись) за 30 дней в виду того, что процедура получения ЭЦП в некоторых случаях может быть долгой.
  • Проверка интеграции с маршрутизатором теперь учитывает интеграцию с несколькими маршрутизаторами.
  • Исправлены ложные срабатывания проверки высокой нагрузки на процессор.
  • Исправлено дублирование создаваемых заявок от системы мониторинга.

Фильтрация

  • Для исключения блокировок незапрещённых ресурсов через манипуляцию DNS-записями (например, vk, google и пр.) резолвер теперь используется только в чрезвычайных случаях и работает по спискам Carbon Soft.
  • Восстановлена работоспоснобность дополнительных (собственных) правил файрвола для обработки DNS-трафика.

Списки, выгрузки, сертификаты

  • Для снижения нагрузки на маршрутизаторы при анонсировании по BGP появилась возможность использовать список IP-подсетей вместо списка IP-адресов.
  • Исправлено извлечение закрытого ключа из PFX-контейнера средствами Carbon Reductor.

Спасибо, что пользуетесь Carbon Reductor!

Среди наших клиентов

Азимут Цифра 1 Завод РТА Инжинэт АЛРОСА УрФУ