Изменения в системах фильтрации — приказ Роскомнадзора 249

25 сентября 2017 года на федеральном портале проектов нормативных правовых актов появился приказ от Роскомнадзора «Об утверждении Требований к способам (методам) ограничения доступа к информационным ресурсам, применяемым в соответствии с Федеральным законом «Об информации, информационных технологиях и о защите информации» и размещаемой информации об ограничении доступа к информационным ресурсам».

За пять месяцев было выпущено несколько версий и теперь 15 марта 2018 года приказ был зарегистрирован в Министерстве Юстиции Российской Федерации с номером №249 от 15 марта 2018 года.

Сам приказ состоит из 7 страниц и содержит требования по ограничению доступа операторами связи к ресурсам, которые есть в реестре Роскомнадзора и подлежат ограничению в соответствии с ч.12 с.15.1. Федерального закона от 27 июля 2006 г. N 149-ФЗ «Об информации, информационных технологиях и о защите информации».

Рассмотрим основные пункты приказа

В требованиях указано, что всё операторы связи обязаны выполнять анализ и фильтрацию трафика с использованием автоматических систем фильтрации трафика.

Строго указаны способы ограничения доступа к информационным ресурсам, находящимся в реестре Роскомнадзора. Операторы связи обязаны:

  1. Выполнять точную фильтрацию для http-записей строго по реестру.
  2. Блокировать https-ресурсы по доменному имени, которому принадлежит запись, например, если запись вида https://example.com/1/2/3, должен быть заблокирован доступ к example.com.
  3. Фильтровать сетевые IP-адреса по всем сетевым портам, в том числе 80, 443.
  4. Блокировать домены по всем сетевым протоколам, в том числе 80, 443, если указана запись вида *.domain.com, то ограничивать доступ к основному доменному имени, а также ко всем доменным именам нижестоящего уровня.

Любые другие способы блокировки не допускаются.

Также приказ содержит требования к странице-заглушке оператора связи:

  1. Размер страницы заглушки не должен превышать 10 Кб.
  2. Содержать текст «Доступ к информационному ресурсу ограничен на основании Федерального закона от 27 июля 2006 г. N 149-ФЗ «Об информации, информационных технологиях и о защите информации».
  3. Заглушка должна содержать уникальный идентификатор, который оператор связи получает при выполнении выгрузки. Данный идентификатор будет ключом, с помощью которого АС «Ревизор» будет определять кому из операторов связи принадлежит полученная страница-заглушка.
  4. На странице-заглушке разрешено размещать рекламную информацию.

Обращаем внимание, что приказ ещё не вступил в силу. После вступления его в силу, ориентировочно через пару недель, все провайдеры использующие Carbon Reductor 7 и Carbon Reductor DPI 8 получат обновление согласно данному законопроекту.

Ниже представлен детальный разбор законопроекта и какие изменения ждут нас в ближайшем будущем.

Детальный разбор отдельных пунктов приказа

п I. 4. Оператор связи обязан обеспечить ограничение доступа только к включенному в выгрузку указателю страницы сайта в сети «Интернет».

Carbon Reductor DPI 8 выполняет только фильтрацию ресурсов, включенных в "Единый реестр запрещенных сайтов".

Если запись выгрузки содержит сведения об указателе страницы сайта в сети «Интернет», использующем сетевой протокол, поддерживающий шифрование, допускается ограничение доступа ко всему доменному имени

Carbon Reductor DPI выполняет фильтрацию https-ресурсов, полностью ограничивая доступ к домену запрещённого сайта.

в том числе путем ограничения запросов пользователей к системе получения информации о доменных именах (далее – DNS-сервер) или выполнения соответствующих настроек DNS-серверов оператора связи.

Для полного выполнения данного законопроекта необходимо выполнить интеграцию с DNS-серверами, расположенными в Вашей сети. Как это сделать читайте в документации.

п I. 5. При наличии в записи выгрузки информации о сетевом адресе или последовательности сетевых адресов и отсутствии информации о доменном имени и указателе страницы сайта в сети «Интернет», оператор связи осуществляет ограничение доступа к указанному сетевому адресу или совокупности сетевых адресов по всем сетевым портам.

Данный пункт охватывает IP-фильтрация, также хотим отметить, что в Carbon Reductor DPI 8 имеется модуль BGP Blackhole. Инструкция по настройке BGP Blackhole. Альтернативой служит интеграция с маршрутизатором (ssh, telnet)

п I. 6. При наличии в записи выгрузки информации о доменном имени и при отсутствии информации об указателе страницы сайта в сети «Интернет», операторы связи осуществляют ограничение доступа ко всему информационному ресурсу по всем сетевым протоколам.

В данном случае подразумевается фильтрация по DNS + HTTP + HTTPS.

п I. 7. При наличии в записи выгрузки информации о доменном имени с указанием вида *.domain.com (маски), оператор связи осуществляет ограничение доступа к основному доменному имени, а также ко всем доменным именам нижестоящего уровня.

Мы уже об этом позаботились, Carbon Reductor DPI 8 выполняет блокировку всей доменной зоны по умолчанию.

п I. 8. Иные способы (методы) ограничения доступа к информационным ресурсам не допускаются.

Резолвер по умолчанию должен быть выключен.

п I. 9. При выгрузке операторам связи присваивается уникальный код (идентификатор), который необходим для подтверждения ограничения операторами связи доступа к информационным ресурсам.

Уникальный код (идентификатор) будет входить в состав реестра, пока он там отсутствует. Он позволит выполнить идентификацию оператора связи.

п I. 10. При обращении пользователя к информационным ресурсам, доступ к которым ограничен на основании Федерального закона от 27.06.2006 № 149-ФЗ оператором связи должно размещаться информационное сообщение «Доступ к информационному ресурсу ограничен на основании Федерального закона «Об информации, информационных технологиях и о защите информации»

Уже подготовлен патч с обновлением содержимого страницы-заглушки. Если Вы используете не входящую в состав продукта стандартную страницу-заглушку, то обратитесь в техническую поддержку, мы поможем Вам изменить её в соотвествии с приказом.

п II. 11. Информация, указанная в пункте 10 настоящих требований, должна размещаться на созданной в информационно-телекоммуникационной сети, в том числе в сети «Интернет», странице оператора связи или оператора связи, к которому осуществлено присоединение сети связи, или поставщика средств анализа трафика (далее – статическая страница), в формате HTML

Поставляемая в комплекте с Carbon Reductor DPI 8 страница-заглушки имеет формат HTML.

без алгоритмов динамического формирования кода страницы и размером не более 10 Кб.

Размер текущей страницы не превышает 10 Кб.

На статической странице также размещается уникальный код (идентификатор), указанный в пункте 9 настоящих требований.

Данная функциональность будет работать после применения нового обновления.

п II. 12. Информация, указанная в пункте 10 настоящих требований, должна занимать не менее чем 50 процентов площади, соответствующей статической страницы.

Уже подготовлен патч с обновлением содержимого страницы-заглушки.

п II. 13. Информация, указанная в пункте 10 настоящих требований, не может размещаться на страницах сайтов в сети «Интернет», содержащих: — новостную информацию; — информацию о способах получения доступа к информационным ресурсам, содержащим информацию, доступ к которой ограничен на основании Федерального закона от 27.06.2006 № 149-ФЗ.

Стандартная страница-заглушка полностью удовлетворяет этим требованиям.

п II. 14. На странице сайта в сети «Интернет», на которой размещена информация, указанная в пункте 10 настоящих требований, может размещаться реклама и иные сведения, распространяемые в соответствии с требованиями действующего законодательства Российской Федерации, в том законодательства о рекламе, а также законодательства о выборах и референдумах.

Пункт, который разрешает использование рекламы на странице-заглушке. В ближайшее время предоставим для этого опционально включаемое готовое решение.


Спасибо, что пользуетесь Carbon Reductor DPI!

Релиз Carbon Reductor DPI 8.02.03.0092

Самое важное

Реестр запрещённых сайтов стремительно увеличивается, из-за большого количества записей в реестре их загрузка в модули фильтрации стала занимать больше времени, это стало особенно заметно на серверах с низкой частотой процессора. Мы ускорили процесс загрузки в модули фильтрации. В некоторых случаях время загрузки изменилось с 2 минут до 20 секунд, а на сервере, соответствующем системным требованиям, загрузка теперь занимает примерно 9 секунд.

Загрузка записей в модули фильтрации могла косвенно влиять на скорость реакции на полученный сетевой пакет и, следовательно, на время получения редиректа абонентом. Проблема была плавающей и проявлялась только на оборудовании, которое не соответствует системным требованиям.

Сигнатуры

Сигнатуры очень важная составляющая работы Carbon Reductor DPI. Мы сделали процесс обновления сигнатур более отказоустойчивым к сетевым проблемам и появлению сигнатур, содержащих ошибки.

Прочее

  • Добавлено расширенное логирование изменений конфигурационного файла. Позволит быстро узнать кто вносил изменения.
  • Чтобы не парализовать работу обновления правил фильтрации дельта-пакет, полученный от серверов Роскомнадзора отбрасывается, если содержит ошибки.
  • Устранена редкая ошибка синхронизации списков с маршрутизатором. Список мог оказать пустым и в таком случае удалялись все правила с маршрутизатора.

Спасибо, что пользуетесь Carbon Reductor DPI!

Ведутся работы по АС «Ревизор»

Роскомнадзор проводит мероприятия по оптимизации работы АС «Ревизор». В ближайшее время возможны ложные срабатывания в пределах нескольких ресурсов. В случае выявления подобных нарушений меры административного воздействия применяться не будут.

Все интересующие вопросы по работе Carbon Reductor DPI задайте на портале технической поддержки Helpdesk.


Спасибо, что пользуетесь Carbon Reductor DPI!

Как интернет-провайдеру выполнить все требования Роскомнадзора

Прошел год как вступили в силу поправки в КоАП РФ, предусматривающие изменение размера ответственности за неисполнение операторами связи обязанности ограничивать или возобновлять доступ к информации, а именно увеличение следующих административных наказаний (штраф):

  • за неисполнение обязанности по ограничению доступа к сайту, включённому в реестр запрещенных ресурсов;
  • за неисполнение обязанности по возобновлению доступа, если ресурс исключён из реестра.

Согласно п.3 ст. 14.1 КоАП РФ такие нарушения наказываются штрафом от 3 до 5 тыс.руб. ‒ для должностных лиц, от 10 до 30 тыс.руб. ‒ для предпринимателей без образования юридического лица, от 50 до 100 тыс.руб. ‒ для юридических лиц.

Мы обновили список рекомендации по настройке и работе с Carbon Reductor DPI 8 и рекомендуем с ним ознакомиться, чтобы на 100% обезопасить Ваш бизнес.

Мигрируйте с Carbon Reductor 7 до Carbon Reductor DPI 8

Процесс миграции с Carbon Reductor 7 до Carbon Reductor DPI 8 займет всего лишь час времени и Вы ежемесячно будете получать новейшие возможности. Если Вы готовы заняться переходом, инженеры Carbon Soft Вам помогут. Все, кто работает по ценам 2017 года могут мигрировать бесплатно. Для получения помощи в миграции создайте заявку в Helpdesk.

Интегрируйте Carbon Reductor DPI 8 с АС «Ревизор»

Интеграция с АС «Ревизор» позволяет Читать далее

Релиз Carbon Reductor DPI 8.02.02.0060

Добрый день! Окончательно отлажен режим получения дельта-пакетов и адаптирована система мониторинга под новый способ получения выгрузки, более подробно о нём читайте в статье.

Обработка списков

Для обеспечения надежности системы фильтрации в список доменов добавляются записи вида http://example.com как example.com. В результате столкнулись с рядом проблем, которые влияли на работу DNS-серверов операторов связи. Чтобы их устранить было сделано следующее:

  • Теперь удаляются все IP-адреса из списка доменов.
  • Всё домены, предназначенные для отправки на DNS-сервер, преобразуются в нижний регистр, так как реестр иногда содержит одинаковые URL в разном регистре.
  • Добавляются только уникальные записи.

Мониторинг

При обнаружении пропусков фильтрации система мониторинга позволяет оперативно сообщить технической поддержке о проблеме на сервере фильтрации путем создания заявки на портале «Helpdesk». Ранее заявка содержала только путь до директории с отчётами АС «Ревизор», инженерам и администраторам необходимо было искать отчёт, в котором обнаружены пропуски. Для быстрого анализа проблемы с пропусками фильтрации теперь в описании к заявке отображается полный путь до отчёта АС «Ревизор».

Улучшение интеграции с АС «Ревизор»

Для контроля общего количества нарушений добавлен дополнительный функционал работы с отчётами АС «Ревизор», который собирает статистику о дате и количестве нарушений. Полученная информация по последним 30 отчётам с нарушениями отображается в веб-интерфейсе. Если пропусков фильтрации не было зафиксировано в течение 60 дней, то будет выведено сообщение «Мониторинг не выявил нарушений».

Прочее

  • В мастер настройки добавлен пункт «выполнение выгрузки с помощью дельта-пакетов» для того, чтобы при первоначальной настройке сразу выбрать желаемый способ выгрузки реестра запрещённых сайтов.
  • Добавлена новая логика обработки дельта-пакетов. При наличии 100 дельта-пакетов Carbon Reductor переходит в режим получения полного реестра, так как это быстрее, чем обрабатывать все дельты по очереди.
  • Платформа Carbon поддерживает функционал восстановления продукта из резервной копии в случае необходимости. Для восстановления нужно указать имя архива из которого выполнить восстановление, а для этого его нужно ещё предварительно найти. Поэтому добавлен вывод списка доступных на сервере резервных копий с помощью команды /app/reductor/service backup_local_list.

Спасибо, что пользуетесь Carbon Reductor DPI!

Релиз Carbon Reductor 7.6.2 131

Добрый день! В последние время публиковались новости только по Carbon Reductor 8 — основные усилия разработчиков сконцентрированы на 8-й версии, тем не менее 7-я версия по-прежнему поддерживается и получает критически важные обновления. О них и пойдёт речь в этой статье.

Хотфиксы

Для Carbon Reductor 7 в мае 2017 года реализована система хотфиксов, которая поставляет важные изменения, не требующие рестарта сервера фильтрации.

За последние полгода мы выпустили следующие хотфиксы:

  • 25.07.2017 — Исправлена недоступность страницы-заглушки в случае, если не указан IP-адрес администратора.
  • 27.07.2017 — Переход на систему мониторинга Carbon Reductor 8. Стандартизована и улучшена работа с автоматически создаваемыми задачами.
  • 15.08.2017 — При разборе реестра URL вида http://example.com:80 приводились к http://example.com, теперь этого больше не происходит ввиду особенностей АС «Ревизор».
  • 18.08.2017 — Изменения в обработке HTTPS трафика — анализ заголовка SNI происходит до отброса пакета из-за нахождения в белом списке IP-адресов провайдера. Иными словами, если на одном IP-адресе расположены запрещённый и безвредный сайты, добавление этого IP-адреса в белый список сохранит запрещённый сайт недоступным по HTTPS.
  • 05.09.2017 — Добавлена защита DNS-серверов, взаимодействующих с Carbon Reductor 7. При обработке в списках доменов обрезаются пробелы.
  • 29.09.2017 — Создание заявок о возникших проблемах унифицировано с Carbon Reductor 8. До этого отправлялось только состояние сервера, а заявки создавались старым мониторингом.
  • 10.10.2017 — Для периодических задач Carbon Reductor добавлены таймауты с многократным запасом для аварийного завершения зависших задач.
  • 28.11.2017 — Откорректирована работа синхронизации нескольких списков с маршрутизатором.
  • 06.12.2017 — Бэкпорт исправлений по диагностике из Carbon Reductor 8. Два теста для проверки срока действия сертификата создают две отдельные задачи — ALARM за месяц (штатное предупреждение) и FATAL за неделю до истечения срока действия — подключается дежурный по мониторингу, получает подтверждение о том, что системный администратор решает проблему.
  • 01.02.2018 — Добавлена возможность выгрузки единого реестра с помощью дельт по логину и паролю. Опционально, по умолчанию выгрузка продолжает работать так, как настроена. Логин и пароль предоставляет Роскомнадзор по запросу. Подробнее о новом способе выгрузки мы писали ранее.
  • 01.02.2018 — Проверка настроек сервера в веб-интерфейсе выдавала ошибку на устаревшую опцию — уровень логирования модуля DNS. Опция, как и её проверка удалены.

Перевод серверов Carbon Reductor 7 на Carbon Reductor 8

На текущий момент мы обновляем пользователей на последнюю версию ПО. Стоимость подписки от этого не меняется, но обращение с сервером фильтрации будет легче и для Ваших администраторов, и для сотрудников технической поддержки. 53% серверов Carbon Reductor уже работают на новой версии. Если Вы готовы заняться обновлением, инженеры Carbon Soft Вам помогут. Для получения помощи в миграции создайте заявку в Helpdesk.


Спасибо, что пользуетесь Carbon Reductor!

Новый механизм выгрузки единого реестра от Роскомнадзора

Добрый день!

Последний месяц Carbon Soft совместно с Роскомадзором плотно тестирует новый способ выгрузки списка запрещённых сайтов. На текущий момент в тестировании приняли участие 10 операторов связи, использующих Carbon Reductor DPI.

Что представляет из себя новый способ выгрузки реестра

В отличие от обычного способа выгрузки реестра новый способ имеет 2 нововведения.

Получение изменений реестра производится с помощью пары логин/пароль через API Роскомнадзора. То есть ЭЦП (электронно-цифровая подпись) в новой системе на текущий момент не нужна. Однако избавляться от неё не нужно. ЭЦП может понадобиться для операторов связи впервые получающих доступ к порталу АС «Ревизор», возможно где-то ещё.

Теперь, помимо полной выгрузки реестра, периодически, раз в 5 минут, отслеживается появление небольших изменений — дельта-пакетов. После чего производится обновление правил фильтрации трафика в соответствии с данными из каждого дельта-пакета. Сам дельта-пакет на текущий момент представляет собой небольшие изменения в реестре Роскомнадзора, примерно от 1 до 10 записей (максимально до 300 ресурсов) и имеет формат аналогичный самому файлу реестра. Каждый дельта-пакет имеет свой идентификационный номер и время создания, по которому как раз и осуществляется проверка наличия новых изменений. Общая ежечасная выгрузка реестра запрещенных сайтов загружается операторами связи по существующим в настоящее время правилам.

Что даёт новый способ выгрузки

Во-первых, это даёт повышенную скорость загрузки и обработки списков, а также повысится эффективность и оперативность реагирования систем фильтрации на изменения в реестре, т.к. системе фильтрации не нужно скачивать весь список при наличии «дельт». С введением выгрузок по дельта-пакетам скорость скачки изменений повысится в разы, а серверу фильтрации нужно будет обработать только новые 5-10 URL, а не весь список как ранее. Новые URL добавятся в правила фильтрации мгновенно. Это делает ещё надёжней и оперативней работу системы фильтрации в целом.

Во-вторых, неудобства связанные с ЭЦП для выгрузки списков теперь исключены. Бывали случаи, что из-за просроченной подписи не происходила выгрузка списка запрещённых сайтов и, как следствие, пропуски фильтрации.

Когда будет переход на новый способ выгрузки списков

Роскомнадзор уже поддерживает 2 механизма выгрузки и продолжит в обозримом будущем. Возможно останется только новый способ выгрузки, но однозначно говорить об этом пока рано.

Возможность использования нового механизма выгрузки уже появилась в новой master-версии Carbon Reductor DPI 8. Изменения в 7-й версии появятся чуть позже, примерно через 2 месяца.

На текущий момент мы уже переводим на новую систему всех желающих. Просто оставьте заявку на портале HelpDesk о своём желании, инженеры технической поддержки Вам помогут. Техническая документация по настройке выгрузки списков также обновлена.

Получить логин и пароль можно в Роскомнадзоре (в случае использования собственной системы фильтрации трафика) или через представителя разработчика системы фильтрации трафика (если используете Carbon Reductor DPI).

Об изменениях в 7-й версии, а также любых других новостях мы сообщим дополнительно, поэтому оставайтесь на связи!


Спасибо, что пользуетесь Carbon Reductor DPI!

Релиз Carbon Reductor DPI 8.01.05.1176

Добрый день! Традиционный ежемесячный релиз Carbon Reductor DPI уже готов. Пройдёмся по порядку в соответствии со списком изменений новой версии.

Самое важное

Оптимизирован алгоритм анализа HTTP трафика, уменьшено количество коллизий для популярных сайтов, что повысило производительность Вашего сервера. В результате максимальное время поиска запрошенного URL в списке запрещённых сайтов уменьшилось на 30% для этих сайтов. В абсолютной величине это время составляет 0,000021 секунды.

Теперь Carbon Reductor может сообщить о сбое в работе сервера даже при неработающих DNS серверах провайдера, которые прописаны в настройках ПО. Для этого на сервере фильтрации хранятся и обновляются IP адреса доменов Carbon Soft. К тому же, если Ваши DNS сервера не работают, мы сообщим Вам об этом.

Блокировка запрещённых ресурсов стала надёжнее за счёт того, что теперь на маршрутизаторе мы можем заблокировать большее количество ресурсов. Теперь отправка списков IP адресов на маршрутизаторы умеет использовать все списки IP адресов и подсетей и не ограничена только списком IP, который обязателен к блокировке по всем протоколам и портам.

Мониторинг

  • Теперь по умолчанию отчёты АС «Ревизор» запрашиваются только для текущей учётной записи. Опционально можно запрашивать отчёты по всем единицам АС «Ревизор», установленным в Вашей сети. Пригодится, если у Вас в сети установлено несколько АС «Ревизор».
  • Переработана система создания заявок по возможным сбоям на сервере фильтрации. Оглавление стало более информативным для администратора сервера, подробности вынесены в тело заявки.
  • В анализе отчётов АС «Ревизор» фраза «Мониторинг в указанную дату не проводился» распознавалась как ошибка. Исправлено.
  • Откорректирована работа теста проверки зацикливания https-proxy, когда одновременно на одном сервере работают https-proxy и страница-заглушка.

Прочее

  • Найдена и исправлена трудновоспроизводимая ошибка, касаемая работы белых списков для https-ресурсов, заблокированных по IP, при указании подсетей.
  • Исправлены небольшие недочеты в веб-интерфейсе.

Спасибо, что пользуетесь Carbon Reductor DPI!

Инсайдерская статистика фильтрации рунета с помощью Carbon Reductor DPI за 2017 год

Добрый день!

В начале осени Carbon Reductor DPI преодолел планку в 1000 операторов связи.

Теперь более половины рынка независимых провайдеров используют наше решение по фильтрации трафика.

На текущий момент Carbon Reductor DPI фильтрует 4,8 млн российских пользователей интернета. В секунду обрабатывается 180 гигабайт трафика.

За 2017 год операторами связи, использующими наше решение отфильтровано более 641 петабайт исходящего трафика или 18,9 квадриллионов сетевых пакетов.

Подробнее о Carbon Reductor DPI.


Спасибо, что пользуетесь продуктами Carbon Soft!

Carbon Reductor DPI прошел тестирование Роскомнадзором

Добрый день!

Рады сообщить, что Carbon Reductor DPI успешно прошел тестирование Роскомнадзором и рекомендован к установке операторам связи по всей России как средство фильтрации трафика по спискам запрещённых сайтов и для выполнения ФЗ-139; ФЗ-149; ФЗ-187; ФЗ-398; ФЗ-436.

В тестировании приняло участие 22 оператора связи — самая большая выборка пользователей среди протестированных решений на рынке. По итогам у всех провайдеров, установивших систему фильтрации в соответствии с системными требованиями, достигнута 100% блокировка запрещённых сайтов и каких-либо нарушений или пропусков фильтрации за время тестирование не выявлено.

Подробная информация о Carbon Reductor DPI

Техническая документация по Carbon Reductor DPI


Спасибо, что пользуетесь Carbon Reductor DPI!

Среди наших клиентов

Клиенты Carbon Soft