Релиз Carbon Reductor DPI X

Добрый день!

Carbon Soft 6 лет разрабатывает комплексное решение по фильтрации трафика. Более 1000 операторов связи уже избавились от вопросов со стороны Роскомнадзора и РЧЦ.

Мы разработали новый продукт — Carbon Reductor DPI X. Он включает в себя не только новые технологии фильтрации, но и позволит воспользоваться зеркалом для анализа трафика и даст Вам возможность влиять на бизнес показатели, отслеживать безопасность сети и не только.

Представляем Вам список функций Carbon Reductor DPI X, часть из них доступна уже сейчас, а часть выйдет в течение года.

Оповещение абонентов, интеграция с Вашим биллингом

Читать далее

Недоступность сервисов Google, Youtube и других ресурсов из-за блокировки Telegram

В последние дни в нескольких регионах России у абонентов возникают проблемы с доступом к youtube.com, сервисам Google и другим ресурсам несмотря на то, что единый реестр запрещённой информации не содержит данных ресурсов для блокировки. Проблема заключается в том, что компания Google использует сеть доставки контента (CDN). Из-за этого для разных регионов IP-адреса у ресурсов разные, поэтому где-то возникли проблемы с доступом, где-то нет.

Что делать интернет-провайдеру?

Мы обратились в Роскомнадзор и получили разъяснения, что делать оператору связи в ситуации, если абоненты испытывают проблемы с подключением к незапрещённым ресурсам.

  1. Напишите обращение на горячую линию на почтовые адреса hotlinerkn@rkn.gov.ru и hotlinerkn@yandex.ru (в случае если не доступен 1-й).
  2. В тексте сообщения акцентируйте внимание на том, что для пользователей Ваших услуг недоступны ресурсы youtube.com, сервисы Google или иные, так как IP-адреса этого ресурса случайно попали в большую заблокированную подсеть.
  3. Обязательно укажите конкретику, какие именно сервисы недоступны, по каким IP-адресам они расположены.
  4. Если в течение двух дней Вы не получите ответ, тогда сформируйте обращение в Управление Роскомнадзора по ЦФО на сайте https://77.rkn.gov.ru.

Если нет времени ждать ответа от Роскомнадзора

Если для Вас важнее спокойствие абонентов, чем потенциальные пропуски в отчётах АС «Ревизор» и потенциальные штрафы, в Carbon Reductor DPI X мы добавили опцию "Разблокировать популярные сайты в обход требований РКН". Она позволяет предоставить доступ к ресурсам, которые были случайно заблокированы в связи с ограничением доступа к Telegram. В Carbon Reductor 7 и Carbon Reductor DPI 8 опция доступна в демо-режиме на 60 дней.

Вы можете включить опцию под свою ответственность. Будьте внимательны — потенциально она может привести к пропускам и штрафу.

Документация по новой опции.

Также Вы можете помочь пополнить временные списки случайно заблокированных ресурсов по ссылке: www.carbonsoft.ru/whitelist.


Спасибо, что пользуетесь Carbon Reductor DPI!

Как мы починили более 80 провайдеров во время атаки на серверы CISCO

6 апреля в 00:05 местного времени система мониторинга от Carbon Reductor DPI 8 сообщила круглосуточным дежурным о падении серверов у нескольких десятков провайдеров с сообщением «сервер перестал отвечать».

В этот день была проведена массовая хакерская атака на оборудование Cisco по всему миру.

После изучения проблемы инженерным отделом обнаружено, что дело в уязвимости программного обеспечения Cisco IOS, которая позволяет удалённо выполнять команды на устройствах Cisco.

Злоумышленники создали бота, который заходил на роутеры и оборудование провайдеров и вместо файла с настройками и конфигурацией подставлял свой. В итоге у операторов связи и интернет-провайдеров перестали отвечать целые сегменты сети, сотни тысяч абонентов испытывали проблемы с подключением к сети Интернет или вовсе остались без него.

Хронология событий

Что было сделано сотрудниками инженерного отдела Carbon Soft для оперативного устранения последствий атаки:

  • 00:05 Дежурным специалистам поступило несколько сообщений о недоступности серверов пользователей от системы мониторинга Carbon Soft.
  • 00:15 Позвонив трём из них, сотрудники Carbon Soft обнаружили похожие «симптомы» и что все используют Cisco.
  • 00:30 После локализации проблем была найдена информация на специализированных сайтах по безопасности об уязвимости Cisco IOS.
  • 00:40 К этому времени поступили сообщения от системы мониторинга о проблемах уже у 80-ти
    интернет-провайдеров.
  • 00:45 Дежурными специалистами был подключен инженерный отдел к оповещению наших пользователей и решению проблем.
  • К 03:00 ночи работа большинства провайдеров была восстановлена.

Около половины интернет-провайдеров ко времени оповещения знали об уязвимости и уже начали работы по устранению неисправности. Другие были благодарны, так как узнали о проблеме от системы мониторинга и сотрудников Carbon Soft, что позволило почти незаметно для абонентов провести необходимые работы.

Какой вывод можно сделать из данной истории?

Не отключайтесь от системы мониторинга Carbon Soft, ведь она помогает в течение нескольких минут среагировать на потенциальные проблемы и локализовать их, к тому же она идёт в комплекте как с Carbon Reductor DPI, так и другими продуктами компании.

Настройте собственную систему мониторинга с оповещением и созданием задач на дежурного администратора сети, чтобы обезопасить свой бизнес от подобных внештатных ситуаций.


Спасибо, что пользуетесь продуктами компании Carbon Soft!

Как справляются с фильтрацией провайдеры на фоне блокировки Telegram

Блокировка мессенджера Telegram продолжается с 16 апреля 2018 года и выполнятся как по доменным именам, так и по IP-адресам серверов, которые отвечают за работу сервиса. И если на прошлой неделе списки для полной блокировки по IP содержали несколько десятков тысяч IP-адресов, то сегодня их число больше 16 млн.

На более чем 1000 провайдеров Carbon Reductor DPI показывает себя отлично, он способен справиться с большей нагрузкой. Но 16 апреля с единичными проблемами столкнулись несколько интернет-провайдеров. Оборудование перестало справляться с нагрузкой после того как Роскомнадзором были добавлены крупные подсети. В результате неправильной интеграции с маршрутизаторами 2 млн IP-адресов стали добавляться по 1 штуке в правила фильтрации вместо подсетей, что привело к зависанию серверов.

С помощью системы мониторинга техническая поддержка Carbon Soft выявила тех интернет-провайдеров, у кого ещё могут возникнуть проблемы из-за ошибок в скриптах интеграции. 68-ми провайдерам было отправлено оповещение с просьбой обратить внимание на работу маршрутизаторов. Дежурные инженеры по Carbon Reductor в ночь на 17-е апреля помогали провайдерам провести грамотную интеграцию с оборудованием. Позже были выпущены автоматические исправления для оставшихся пользователей.

На текущий момент проведена корректная интеграция по проблемным серверам, фильтрация трафика по реестру запрещённых сайтов происходит в штатном режиме.

Помимо маршрутизаторов у некоторых провайдеров завис проверяющий блокировку АС «Ревизор» из-за огромного количество IP-адресов. Утром 18 апреля Роскомнадзором отправлено письмо с просьбой перезагрузить
программно-аппаратный комплекс.


Спасибо, что пользуетесь Carbon Reductor DPI!

Релиз Carbon Reductor DPI 8.02.04.0135

Самое важное

В свежей версии Carbon Reductor DPI 8 стало проще настроить схему работы «в разрыв» и режим асинхронной маршрутизации, так как теперь они являются стандартными опциями. Режим асинхронной маршрутизации рекомендуется крупным операторам связи для повышения надёжности фильтрации при больших нагрузках.

Ещё мы добавили опцию, чтобы исключить DoS-атаки на страницу-заглушку. У многих пользователей страница-заглушка является публичной, недавно случился прецедент — у одного пользователей внезапно увеличилась нагрузка на сервер, в ходе разбирательств мы обнаружили множественные обращения с неизвестных IP-адресов. Чтобы исключить подобные DoS-атаки, добавлена опция, которая разрешает доступ на страницу-заглушку только определенным IP-адресам или IP-подсетям оператора связи.

Другие изменения

  • Исправлена ошибка в обработке списков РКН, в результате которой из записей удалялся двойной «слеш», проблема была зафиксирована Carbon Reductor Satellite, на фактические результаты фильтрации это не влияло.
  • Автоматически не удалялись списки HSTS после выключения прокси-сервера, что приводило к избыточной блокировке ресурсов — исправлено.
  • Добавлена возможность самостоятельно задавать интервал времени обращения в секундах для проверки обновления реестра РКН, по умолчанию обновление реестра проверяется каждые 5 минут. Пригодится для тех, кто тестирует выгрузку с помощью "дельт", так как рекомендованный интервал проверки обновлений составляет 1 минуту.
  • Для большей информативности и контроля над системой фильтрации в веб-интерфейсе добавлена таблица со статистикой выгрузок списка запрещённых сайтов.

Спасибо, что пользуетесь Carbon Reductor DPI!

Изменения в системах фильтрации — приказ Роскомнадзора 249

25 сентября 2017 года на федеральном портале проектов нормативных правовых актов появился приказ от Роскомнадзора «Об утверждении Требований к способам (методам) ограничения доступа к информационным ресурсам, применяемым в соответствии с Федеральным законом «Об информации, информационных технологиях и о защите информации» и размещаемой информации об ограничении доступа к информационным ресурсам».

За пять месяцев было выпущено несколько версий и теперь 15 марта 2018 года приказ был зарегистрирован в Министерстве Юстиции Российской Федерации с номером №249 от 15 марта 2018 года.

Сам приказ состоит из 7 страниц и содержит требования по ограничению доступа операторами связи к ресурсам, которые есть в реестре Роскомнадзора и подлежат ограничению в соответствии с ч.12 с.15.1. Федерального закона от 27 июля 2006 г. N 149-ФЗ «Об информации, информационных технологиях и о защите информации».

Рассмотрим основные пункты приказа

В требованиях указано, что всё операторы связи обязаны выполнять анализ и фильтрацию трафика с использованием автоматических систем фильтрации трафика.

Строго указаны способы ограничения доступа к информационным ресурсам, находящимся в реестре Роскомнадзора. Операторы связи обязаны:

  1. Выполнять точную фильтрацию для http-записей строго по реестру.
  2. Блокировать https-ресурсы по доменному имени, которому принадлежит запись, например, если запись вида https://example.com/1/2/3, должен быть заблокирован доступ к example.com.
  3. Фильтровать сетевые IP-адреса по всем сетевым портам, в том числе 80, 443.
  4. Блокировать домены по всем сетевым протоколам, в том числе 80, 443, если указана запись вида *.domain.com, то ограничивать доступ к основному доменному имени, а также ко всем доменным именам нижестоящего уровня.

Любые другие способы блокировки не допускаются.

Также приказ содержит требования к странице-заглушке оператора связи:

  1. Размер страницы заглушки не должен превышать 10 Кб.
  2. Содержать текст «Доступ к информационному ресурсу ограничен на основании Федерального закона от 27 июля 2006 г. N 149-ФЗ «Об информации, информационных технологиях и о защите информации».
  3. Заглушка должна содержать уникальный идентификатор, который оператор связи получает при выполнении выгрузки. Данный идентификатор будет ключом, с помощью которого АС «Ревизор» будет определять кому из операторов связи принадлежит полученная страница-заглушка.
  4. На странице-заглушке разрешено размещать рекламную информацию.

Обращаем внимание, что приказ ещё не вступил в силу. После вступления его в силу, ориентировочно через пару недель, все провайдеры использующие Carbon Reductor 7 и Carbon Reductor DPI 8 получат обновление согласно данному законопроекту.

Ниже представлен детальный разбор законопроекта и какие изменения ждут нас в ближайшем будущем.

Детальный разбор отдельных пунктов приказа

п I. 4. Оператор связи обязан обеспечить ограничение доступа только к включенному в выгрузку указателю страницы сайта в сети «Интернет».

Carbon Reductor DPI 8 выполняет только фильтрацию ресурсов, включенных в "Единый реестр запрещенных сайтов".

Если запись выгрузки содержит сведения об указателе страницы сайта в сети «Интернет», использующем сетевой протокол, поддерживающий шифрование, допускается ограничение доступа ко всему доменному имени

Carbon Reductor DPI выполняет фильтрацию https-ресурсов, полностью ограничивая доступ к домену запрещённого сайта.

в том числе путем ограничения запросов пользователей к системе получения информации о доменных именах (далее – DNS-сервер) или выполнения соответствующих настроек DNS-серверов оператора связи.

Для полного выполнения данного законопроекта необходимо выполнить интеграцию с DNS-серверами, расположенными в Вашей сети. Как это сделать читайте в документации.

п I. 5. При наличии в записи выгрузки информации о сетевом адресе или последовательности сетевых адресов и отсутствии информации о доменном имени и указателе страницы сайта в сети «Интернет», оператор связи осуществляет ограничение доступа к указанному сетевому адресу или совокупности сетевых адресов по всем сетевым портам.

Данный пункт охватывает IP-фильтрация, также хотим отметить, что в Carbon Reductor DPI 8 имеется модуль BGP Blackhole. Инструкция по настройке BGP Blackhole. Альтернативой служит интеграция с маршрутизатором (ssh, telnet)

п I. 6. При наличии в записи выгрузки информации о доменном имени и при отсутствии информации об указателе страницы сайта в сети «Интернет», операторы связи осуществляют ограничение доступа ко всему информационному ресурсу по всем сетевым протоколам.

В данном случае подразумевается фильтрация по DNS + HTTP + HTTPS.

п I. 7. При наличии в записи выгрузки информации о доменном имени с указанием вида *.domain.com (маски), оператор связи осуществляет ограничение доступа к основному доменному имени, а также ко всем доменным именам нижестоящего уровня.

Мы уже об этом позаботились, Carbon Reductor DPI 8 выполняет блокировку всей доменной зоны по умолчанию.

п I. 8. Иные способы (методы) ограничения доступа к информационным ресурсам не допускаются.

Резолвер по умолчанию должен быть выключен.

п I. 9. При выгрузке операторам связи присваивается уникальный код (идентификатор), который необходим для подтверждения ограничения операторами связи доступа к информационным ресурсам.

Уникальный код (идентификатор) будет входить в состав реестра, пока он там отсутствует. Он позволит выполнить идентификацию оператора связи.

п I. 10. При обращении пользователя к информационным ресурсам, доступ к которым ограничен на основании Федерального закона от 27.06.2006 № 149-ФЗ оператором связи должно размещаться информационное сообщение «Доступ к информационному ресурсу ограничен на основании Федерального закона «Об информации, информационных технологиях и о защите информации»

Уже подготовлен патч с обновлением содержимого страницы-заглушки. Если Вы используете не входящую в состав продукта стандартную страницу-заглушку, то обратитесь в техническую поддержку, мы поможем Вам изменить её в соотвествии с приказом.

п II. 11. Информация, указанная в пункте 10 настоящих требований, должна размещаться на созданной в информационно-телекоммуникационной сети, в том числе в сети «Интернет», странице оператора связи или оператора связи, к которому осуществлено присоединение сети связи, или поставщика средств анализа трафика (далее – статическая страница), в формате HTML

Поставляемая в комплекте с Carbon Reductor DPI 8 страница-заглушки имеет формат HTML.

без алгоритмов динамического формирования кода страницы и размером не более 10 Кб.

Размер текущей страницы не превышает 10 Кб.

На статической странице также размещается уникальный код (идентификатор), указанный в пункте 9 настоящих требований.

Данная функциональность будет работать после применения нового обновления.

п II. 12. Информация, указанная в пункте 10 настоящих требований, должна занимать не менее чем 50 процентов площади, соответствующей статической страницы.

Уже подготовлен патч с обновлением содержимого страницы-заглушки.

п II. 13. Информация, указанная в пункте 10 настоящих требований, не может размещаться на страницах сайтов в сети «Интернет», содержащих: — новостную информацию; — информацию о способах получения доступа к информационным ресурсам, содержащим информацию, доступ к которой ограничен на основании Федерального закона от 27.06.2006 № 149-ФЗ.

Стандартная страница-заглушка полностью удовлетворяет этим требованиям.

п II. 14. На странице сайта в сети «Интернет», на которой размещена информация, указанная в пункте 10 настоящих требований, может размещаться реклама и иные сведения, распространяемые в соответствии с требованиями действующего законодательства Российской Федерации, в том законодательства о рекламе, а также законодательства о выборах и референдумах.

Пункт, который разрешает использование рекламы на странице-заглушке. В ближайшее время предоставим для этого опционально включаемое готовое решение.


Спасибо, что пользуетесь Carbon Reductor DPI!

Релиз Carbon Reductor DPI 8.02.03.0092

Самое важное

Реестр запрещённых сайтов стремительно увеличивается, из-за большого количества записей в реестре их загрузка в модули фильтрации стала занимать больше времени, это стало особенно заметно на серверах с низкой частотой процессора. Мы ускорили процесс загрузки в модули фильтрации. В некоторых случаях время загрузки изменилось с 2 минут до 20 секунд, а на сервере, соответствующем системным требованиям, загрузка теперь занимает примерно 9 секунд.

Загрузка записей в модули фильтрации могла косвенно влиять на скорость реакции на полученный сетевой пакет и, следовательно, на время получения редиректа абонентом. Проблема была плавающей и проявлялась только на оборудовании, которое не соответствует системным требованиям.

Сигнатуры

Сигнатуры очень важная составляющая работы Carbon Reductor DPI. Мы сделали процесс обновления сигнатур более отказоустойчивым к сетевым проблемам и появлению сигнатур, содержащих ошибки.

Прочее

  • Добавлено расширенное логирование изменений конфигурационного файла. Позволит быстро узнать кто вносил изменения.
  • Чтобы не парализовать работу обновления правил фильтрации дельта-пакет, полученный от серверов Роскомнадзора отбрасывается, если содержит ошибки.
  • Устранена редкая ошибка синхронизации списков с маршрутизатором. Список мог оказать пустым и в таком случае удалялись все правила с маршрутизатора.

Спасибо, что пользуетесь Carbon Reductor DPI!

Ведутся работы по АС «Ревизор»

Роскомнадзор проводит мероприятия по оптимизации работы АС «Ревизор». В ближайшее время возможны ложные срабатывания в пределах нескольких ресурсов. В случае выявления подобных нарушений меры административного воздействия применяться не будут.

Все интересующие вопросы по работе Carbon Reductor DPI задайте на портале технической поддержки Helpdesk.


Спасибо, что пользуетесь Carbon Reductor DPI!

Как интернет-провайдеру выполнить все требования Роскомнадзора

Прошел год как вступили в силу поправки в КоАП РФ, предусматривающие изменение размера ответственности за неисполнение операторами связи обязанности ограничивать или возобновлять доступ к информации, а именно увеличение следующих административных наказаний (штраф):

  • за неисполнение обязанности по ограничению доступа к сайту, включённому в реестр запрещенных ресурсов;
  • за неисполнение обязанности по возобновлению доступа, если ресурс исключён из реестра.

Согласно п.3 ст. 14.1 КоАП РФ такие нарушения наказываются штрафом от 3 до 5 тыс.руб. ‒ для должностных лиц, от 10 до 30 тыс.руб. ‒ для предпринимателей без образования юридического лица, от 50 до 100 тыс.руб. ‒ для юридических лиц.

Мы обновили список рекомендации по настройке и работе с Carbon Reductor DPI 8 и рекомендуем с ним ознакомиться, чтобы на 100% обезопасить Ваш бизнес.

Мигрируйте с Carbon Reductor 7 до Carbon Reductor DPI 8

Процесс миграции с Carbon Reductor 7 до Carbon Reductor DPI 8 займет всего лишь час времени и Вы ежемесячно будете получать новейшие возможности. Если Вы готовы заняться переходом, инженеры Carbon Soft Вам помогут. Все, кто работает по ценам 2017 года могут мигрировать бесплатно. Для получения помощи в миграции создайте заявку в Helpdesk.

Интегрируйте Carbon Reductor DPI 8 с АС «Ревизор»

Интеграция с АС «Ревизор» позволяет Читать далее

Релиз Carbon Reductor DPI 8.02.02.0060

Добрый день! Окончательно отлажен режим получения дельта-пакетов и адаптирована система мониторинга под новый способ получения выгрузки, более подробно о нём читайте в статье.

Обработка списков

Для обеспечения надежности системы фильтрации в список доменов добавляются записи вида http://example.com как example.com. В результате столкнулись с рядом проблем, которые влияли на работу DNS-серверов операторов связи. Чтобы их устранить было сделано следующее:

  • Теперь удаляются все IP-адреса из списка доменов.
  • Всё домены, предназначенные для отправки на DNS-сервер, преобразуются в нижний регистр, так как реестр иногда содержит одинаковые URL в разном регистре.
  • Добавляются только уникальные записи.

Мониторинг

При обнаружении пропусков фильтрации система мониторинга позволяет оперативно сообщить технической поддержке о проблеме на сервере фильтрации путем создания заявки на портале «Helpdesk». Ранее заявка содержала только путь до директории с отчётами АС «Ревизор», инженерам и администраторам необходимо было искать отчёт, в котором обнаружены пропуски. Для быстрого анализа проблемы с пропусками фильтрации теперь в описании к заявке отображается полный путь до отчёта АС «Ревизор».

Улучшение интеграции с АС «Ревизор»

Для контроля общего количества нарушений добавлен дополнительный функционал работы с отчётами АС «Ревизор», который собирает статистику о дате и количестве нарушений. Полученная информация по последним 30 отчётам с нарушениями отображается в веб-интерфейсе. Если пропусков фильтрации не было зафиксировано в течение 60 дней, то будет выведено сообщение «Мониторинг не выявил нарушений».

Прочее

  • В мастер настройки добавлен пункт «выполнение выгрузки с помощью дельта-пакетов» для того, чтобы при первоначальной настройке сразу выбрать желаемый способ выгрузки реестра запрещённых сайтов.
  • Добавлена новая логика обработки дельта-пакетов. При наличии 100 дельта-пакетов Carbon Reductor переходит в режим получения полного реестра, так как это быстрее, чем обрабатывать все дельты по очереди.
  • Платформа Carbon поддерживает функционал восстановления продукта из резервной копии в случае необходимости. Для восстановления нужно указать имя архива из которого выполнить восстановление, а для этого его нужно ещё предварительно найти. Поэтому добавлен вывод списка доступных на сервере резервных копий с помощью команды /app/reductor/service backup_local_list.

Спасибо, что пользуетесь Carbon Reductor DPI!

Среди наших клиентов