Как справляются с фильтрацией провайдеры на фоне блокировки Telegram

Как справляются с фильтрацией провайдеры на фоне блокировки Telegram

Блокировка мессенджера Telegram продолжается с 16 апреля 2018 года и выполнятся как по доменным именам, так и по IP-адресам серверов, которые отвечают за работу сервиса. И если на прошлой неделе списки для полной блокировки по IP содержали несколько десятков тысяч IP-адресов, то сегодня их число больше 16 млн.

На более чем 1000 провайдеров Carbon Reductor DPI показывает себя отлично, он способен справиться с большей нагрузкой. Но 16 апреля с единичными проблемами столкнулись несколько интернет-провайдеров. Оборудование перестало справляться с нагрузкой после того как Роскомнадзором были добавлены крупные подсети. В результате неправильной интеграции с маршрутизаторами 2 млн IP-адресов стали добавляться по 1 штуке в правила фильтрации вместо подсетей, что привело к зависанию серверов.

С помощью системы мониторинга техническая поддержка Carbon Soft выявила тех интернет-провайдеров, у кого ещё могут возникнуть проблемы из-за ошибок в скриптах интеграции. 68-ми провайдерам было отправлено оповещение с просьбой обратить внимание на работу маршрутизаторов. Дежурные инженеры по Carbon Reductor в ночь на 17-е апреля помогали провайдерам провести грамотную интеграцию с оборудованием. Позже были выпущены автоматические исправления для оставшихся пользователей.

На текущий момент проведена корректная интеграция по проблемным серверам, фильтрация трафика по реестру запрещённых сайтов происходит в штатном режиме.

Помимо маршрутизаторов у некоторых провайдеров завис проверяющий блокировку АС «Ревизор» из-за огромного количество IP-адресов. Утром 18 апреля Роскомнадзором отправлено письмо с просьбой перезагрузить
программно-аппаратный комплекс.


Спасибо, что пользуетесь Carbon Reductor DPI!

Опыт использования Carbon Billing 5 от интернет-провайдера ООО «Аванта Телеком»

Опыт использования Carbon Billing 5 от интернет-провайдера ООО «Аванта Телеком»

Веб-сайт: http://avanta-telecom.ru
Рассказывал учредитель компании ООО «Аванта Телеком», Пунин Дмитрий Владимирович.
Задавал вопросы директор проекта Carbon Billing 5, Кучаев Денис Дмитриевич.

Информация о проекте

Абонентская база до 4000 абонентов, г. Краснодар. Carbon Billing 5 в эксплуатации с марта 2016г.
Дата интервью: 05.04.2018.

Процесс внедрения и опыт использования

Работаем с Вами с начала 2016 года, как получилось, что потребовался биллинг?
Ни с того, ни с сего стали оператором. Купили сварочник.

Извините, что купили? При чём здесь сварочник?
Сварочный аппарат, у нас такая история. Нам сказали: “продается сварочный аппарат для оптики, Вам не нужен?”. Мы подумали: “ну ладно, пригодится”. И стали операторами. Не выкидывать ведь его.

Ещё раз, Вы случайно купили сварочный аппарат для оптики и сделали оператора?
Да, у нас вот такая история. Ничего не было, начали с нуля. Был магазин электрики и появился сварочный аппарат.

Как пришли к тому, что у Вас был внедрен Carbon Billing 5?
На том этапе я был крайне непросвещен в теме биллингов. Мы все всегда были связаны с телекомом. Но с биллингами как таковыми не работали. С другом пообщался, он мне рассказал про Carbon Billing, я обратился к форуму НАГ (прим. — один из форумов для интернет-провайдеров), перечитал много информации и решил протестировать, и тестирование плавно переросло в продакшн.

Другие биллинги даже не пробовал и не рассматривал. Там всё как-то пошло-поехало и назад дороги уже не было.

Как проходило внедрение? Были трудности?
Да, трудностей хватало. Мы думали, что всё сразу четко будет работать, но были недоработанные элементы в биллинге, иногда баги вылазили, но техподдержка с ними справлялась. Еще есть момент, понимание “критической ситуации” для меня и “критической ситуации” у вас в регламенте по реагированию на инциденты, оно отличается.

Например, на тот момент для меня одна ситуация была критичной, а ваши сотрудники говорили: «Потерпи до утра, это не критичная задача, решим в рабочее время». С другой стороны, я понимал, отчасти, что у меня SLA не тот, но и с другой стороны, я на тот момент ради редких ситуаций был не готов перейти на повышенный SLA по коммерческим причинам.

Это Вы уже про работу в коммерческой эксплуатации после внедрения рассказываете?
Да, верно, про продакшн, не про тест. Пока тестировали, если были какие-то вопросы, всегда хорошо помогали. Ну и у нас грандиозных поломок не было. Для меня это был новый продукт, мы его изучали, изучали потихоньку, до сих пор изучаем.

Как вообще так, получилось, два года назад начали без ничего и сейчас у вас несколько тысяч абонентов? Некоторые компании растут по 100-200 абонентов в год, бывает вообще не растут.
Честно, я сам не знаю. У нас такая команда, люди работают за идею, а мы даем людям заработать, но дирекция без зарплаты три года уже. Я имею в виду учредители. Как Илон Маск, он богатый человек, но богатеет он отчасти не деньгами, а тем, что он делает, созидает. Spase X свой, Тесла. Он кайфует от этого. Вот и мы также, кайфуем от того, что наша сеть растет. Все свои ресурсы, человеческие и финансовые вкладываем в людей, а они в свою очередь отдают нам то, что нас вдохновляет.

Планы по дальнейшему использованию биллинга?
Я бы IPTV с удовольствием внедрил. Но сейчас СОРМ не сдали, вот сдавать будем в апреле. Три минуты назад с ФСБ разговаривали, согласовывали канал. Надо уже все сдать им и перекреститься. Я бы с удовольствием вложил деньги в развитие новых сервисов, но на данный момент важнее вложить деньги в установленный порядок. Сервисы немного отложены во времени.

На каком-то этапе, я уже с вашими инженерами внедрил у себя TITV. Но каналы, тут арендованные у нас, не позволят одновременно и интернет и телевидение по ним передавать, лягут сразу. Через 3-4 месяца стыкуемся с одним из операторов и будем внедрять уже телевидение.

Если бы Вы оценивали биллинг + техподдержку по десятибалльной шкале, сколько бы поставили?
По десятибалльной поставил бы… Я как не-программист, а человек, который просто там работает в биллинге. По удобству, по работе, ну наверно где-то 7, 5-8 я бы, наверное, поставил. Два балла урезал, так как если дать 10, то не будет гонки за эти два, эти два должны быть стимулом чтобы стать лучше и быть лучше. Бывают какие-то там нюансы, на которые приходится обращать внимание, но как раз на них два балла наберётся.

Если резюмировать Ваш отзыв, проект окупился, всем довольны?
Да, проект работает. Были предложения, от других разработчиков биллинга, купить разом биллинг и в дальнейшем ты освобожден от оплат. Но меня пугает момент перехода на другой биллинг. Это же с ума сойдешь, вот если у тебя 50 абонентов, то пожалуйста. А с несколькими тысячами сложно будет. Это нецелесообразно.

Хм, я делал тестовые закупки у всех конкурентов и общался со многими их клиентами. Так или иначе, в схему работы с клиентами вшита возможность получать деньги регулярно. А как это будет происходить – в виде аренды или платы за починки багов, это уже нюансы. Рынок маленький. По-другому работать нерентабельно с непрогнозируемым оборотом.
Да, отчасти мы это понимаем, если не будет развиваться продукт, можно остановиться где-то сзади. Да и программисты парни не дешевые. На купленном продукте можно далеко не уехать. Тебе скажут, прости, поддержку продукта закрываем, бабла нет, что есть, на том и работайте дальше. В итоге все купят и всё, будете потом раз в пятилетку его продавать. И придётся уходить с этого рынка. Коммерческую часть я тоже понимаю.

Когда мы заходили на этот рынок, было компаний 10, которые делали биллинги и продавали их, сейчас есть 3-4 компании нормальных, где есть минимальная поддержка и выпускающих время от времени обновления. Многих уже нет.
Да, деньги закончились видимо.


Спасибо за интервью и за выбор Carbon Billing 5!

Релиз Carbon Reductor DPI 8.02.04.0135

Релиз Carbon Reductor DPI 8.02.04.0135

Самое важное

В свежей версии Carbon Reductor DPI 8 стало проще настроить схему работы «в разрыв» и режим асинхронной маршрутизации, так как теперь они являются стандартными опциями. Режим асинхронной маршрутизации рекомендуется крупным операторам связи для повышения надёжности фильтрации при больших нагрузках.

Ещё мы добавили опцию, чтобы исключить DoS-атаки на страницу-заглушку. У многих пользователей страница-заглушка является публичной, недавно случился прецедент — у одного пользователей внезапно увеличилась нагрузка на сервер, в ходе разбирательств мы обнаружили множественные обращения с неизвестных IP-адресов. Чтобы исключить подобные DoS-атаки, добавлена опция, которая разрешает доступ на страницу-заглушку только определенным IP-адресам или IP-подсетям оператора связи.

Другие изменения

  • Исправлена ошибка в обработке списков РКН, в результате которой из записей удалялся двойной «слеш», проблема была зафиксирована Carbon Reductor Satellite, на фактические результаты фильтрации это не влияло.
  • Автоматически не удалялись списки HSTS после выключения прокси-сервера, что приводило к избыточной блокировке ресурсов — исправлено.
  • Добавлена возможность самостоятельно задавать интервал времени обращения в секундах для проверки обновления реестра РКН, по умолчанию обновление реестра проверяется каждые 5 минут. Пригодится для тех, кто тестирует выгрузку с помощью "дельт", так как рекомендованный интервал проверки обновлений составляет 1 минуту.
  • Для большей информативности и контроля над системой фильтрации в веб-интерфейсе добавлена таблица со статистикой выгрузок списка запрещённых сайтов.

Спасибо, что пользуетесь Carbon Reductor DPI!

Отзыв о Carbon Reductor DPI от ООО «Пульс-КТ»

Отзыв о Carbon Reductor DPI от ООО «Пульс-КТ»

Почему Вы выбрали Carbon Reductor DPI?
На момент, когда выбирали, у вас было очень много преимуществ по сравнению с другими. Обещали и SNI-фильтрацию и ещё что-то, чего не было у конкурентов.

Техническая поддержка Вас устраивает?
Да, в полном объёме.

Есть ли у Вас предложения по улучшению функциональности?
Я так понимаю, что обновления автоматически с 7-й версии на 8-ю ещё не происходит. Хотелось, чтобы доработали этот момент.

Ваша оценка по десятибалльной шкале?
Ну, думаю 9, есть куда стремиться. Хотя я не могу, конечно, недостатков особо назвать, но тем не менее.


Ващилов Илья Владимирович, заместитель технического директора ООО «Пульс-КТ»


Спасибо, что выбрали Carbon Reductor DPI!

Изменения в системах фильтрации — приказ Роскомнадзора 249

Изменения в системах фильтрации — приказ Роскомнадзора 249

25 сентября 2017 года на федеральном портале проектов нормативных правовых актов появился приказ от Роскомнадзора «Об утверждении Требований к способам (методам) ограничения доступа к информационным ресурсам, применяемым в соответствии с Федеральным законом «Об информации, информационных технологиях и о защите информации» и размещаемой информации об ограничении доступа к информационным ресурсам».

За пять месяцев было выпущено несколько версий и теперь 15 марта 2018 года приказ был зарегистрирован в Министерстве Юстиции Российской Федерации с номером №249 от 15 марта 2018 года.

Сам приказ состоит из 7 страниц и содержит требования по ограничению доступа операторами связи к ресурсам, которые есть в реестре Роскомнадзора и подлежат ограничению в соответствии с ч.12 с.15.1. Федерального закона от 27 июля 2006 г. N 149-ФЗ «Об информации, информационных технологиях и о защите информации».

Рассмотрим основные пункты приказа

В требованиях указано, что всё операторы связи обязаны выполнять анализ и фильтрацию трафика с использованием автоматических систем фильтрации трафика.

Строго указаны способы ограничения доступа к информационным ресурсам, находящимся в реестре Роскомнадзора. Операторы связи обязаны:

  1. Выполнять точную фильтрацию для http-записей строго по реестру.
  2. Блокировать https-ресурсы по доменному имени, которому принадлежит запись, например, если запись вида https://example.com/1/2/3, должен быть заблокирован доступ к example.com.
  3. Фильтровать сетевые IP-адреса по всем сетевым портам, в том числе 80, 443.
  4. Блокировать домены по всем сетевым протоколам, в том числе 80, 443, если указана запись вида *.domain.com, то ограничивать доступ к основному доменному имени, а также ко всем доменным именам нижестоящего уровня.

Любые другие способы блокировки не допускаются.

Также приказ содержит требования к странице-заглушке оператора связи:

  1. Размер страницы заглушки не должен превышать 10 Кб.
  2. Содержать текст «Доступ к информационному ресурсу ограничен на основании Федерального закона от 27 июля 2006 г. N 149-ФЗ «Об информации, информационных технологиях и о защите информации».
  3. Заглушка должна содержать уникальный идентификатор, который оператор связи получает при выполнении выгрузки. Данный идентификатор будет ключом, с помощью которого АС «Ревизор» будет определять кому из операторов связи принадлежит полученная страница-заглушка.
  4. На странице-заглушке разрешено размещать рекламную информацию.

Обращаем внимание, что приказ ещё не вступил в силу. После вступления его в силу, ориентировочно через пару недель, все провайдеры использующие Carbon Reductor 7 и Carbon Reductor DPI 8 получат обновление согласно данному законопроекту.

Ниже представлен детальный разбор законопроекта и какие изменения ждут нас в ближайшем будущем.

Детальный разбор отдельных пунктов приказа

п I. 4. Оператор связи обязан обеспечить ограничение доступа только к включенному в выгрузку указателю страницы сайта в сети «Интернет».

Carbon Reductor DPI 8 выполняет только фильтрацию ресурсов, включенных в "Единый реестр запрещенных сайтов".

Если запись выгрузки содержит сведения об указателе страницы сайта в сети «Интернет», использующем сетевой протокол, поддерживающий шифрование, допускается ограничение доступа ко всему доменному имени

Carbon Reductor DPI выполняет фильтрацию https-ресурсов, полностью ограничивая доступ к домену запрещённого сайта.

в том числе путем ограничения запросов пользователей к системе получения информации о доменных именах (далее – DNS-сервер) или выполнения соответствующих настроек DNS-серверов оператора связи.

Для полного выполнения данного законопроекта необходимо выполнить интеграцию с DNS-серверами, расположенными в Вашей сети. Как это сделать читайте в документации.

п I. 5. При наличии в записи выгрузки информации о сетевом адресе или последовательности сетевых адресов и отсутствии информации о доменном имени и указателе страницы сайта в сети «Интернет», оператор связи осуществляет ограничение доступа к указанному сетевому адресу или совокупности сетевых адресов по всем сетевым портам.

Данный пункт охватывает IP-фильтрация, также хотим отметить, что в Carbon Reductor DPI 8 имеется модуль BGP Blackhole. Инструкция по настройке BGP Blackhole. Альтернативой служит интеграция с маршрутизатором (ssh, telnet)

п I. 6. При наличии в записи выгрузки информации о доменном имени и при отсутствии информации об указателе страницы сайта в сети «Интернет», операторы связи осуществляют ограничение доступа ко всему информационному ресурсу по всем сетевым протоколам.

В данном случае подразумевается фильтрация по DNS + HTTP + HTTPS.

п I. 7. При наличии в записи выгрузки информации о доменном имени с указанием вида *.domain.com (маски), оператор связи осуществляет ограничение доступа к основному доменному имени, а также ко всем доменным именам нижестоящего уровня.

Мы уже об этом позаботились, Carbon Reductor DPI 8 выполняет блокировку всей доменной зоны по умолчанию.

п I. 8. Иные способы (методы) ограничения доступа к информационным ресурсам не допускаются.

Резолвер по умолчанию должен быть выключен.

п I. 9. При выгрузке операторам связи присваивается уникальный код (идентификатор), который необходим для подтверждения ограничения операторами связи доступа к информационным ресурсам.

Уникальный код (идентификатор) будет входить в состав реестра, пока он там отсутствует. Он позволит выполнить идентификацию оператора связи.

п I. 10. При обращении пользователя к информационным ресурсам, доступ к которым ограничен на основании Федерального закона от 27.06.2006 № 149-ФЗ оператором связи должно размещаться информационное сообщение «Доступ к информационному ресурсу ограничен на основании Федерального закона «Об информации, информационных технологиях и о защите информации»

Уже подготовлен патч с обновлением содержимого страницы-заглушки. Если Вы используете не входящую в состав продукта стандартную страницу-заглушку, то обратитесь в техническую поддержку, мы поможем Вам изменить её в соотвествии с приказом.

п II. 11. Информация, указанная в пункте 10 настоящих требований, должна размещаться на созданной в информационно-телекоммуникационной сети, в том числе в сети «Интернет», странице оператора связи или оператора связи, к которому осуществлено присоединение сети связи, или поставщика средств анализа трафика (далее – статическая страница), в формате HTML

Поставляемая в комплекте с Carbon Reductor DPI 8 страница-заглушки имеет формат HTML.

без алгоритмов динамического формирования кода страницы и размером не более 10 Кб.

Размер текущей страницы не превышает 10 Кб.

На статической странице также размещается уникальный код (идентификатор), указанный в пункте 9 настоящих требований.

Данная функциональность будет работать после применения нового обновления.

п II. 12. Информация, указанная в пункте 10 настоящих требований, должна занимать не менее чем 50 процентов площади, соответствующей статической страницы.

Уже подготовлен патч с обновлением содержимого страницы-заглушки.

п II. 13. Информация, указанная в пункте 10 настоящих требований, не может размещаться на страницах сайтов в сети «Интернет», содержащих: — новостную информацию; — информацию о способах получения доступа к информационным ресурсам, содержащим информацию, доступ к которой ограничен на основании Федерального закона от 27.06.2006 № 149-ФЗ.

Стандартная страница-заглушка полностью удовлетворяет этим требованиям.

п II. 14. На странице сайта в сети «Интернет», на которой размещена информация, указанная в пункте 10 настоящих требований, может размещаться реклама и иные сведения, распространяемые в соответствии с требованиями действующего законодательства Российской Федерации, в том законодательства о рекламе, а также законодательства о выборах и референдумах.

Пункт, который разрешает использование рекламы на странице-заглушке. В ближайшее время предоставим для этого опционально включаемое готовое решение.


Спасибо, что пользуетесь Carbon Reductor DPI!

Релиз Carbon Reductor DPI 8.02.03.0092

Релиз Carbon Reductor DPI 8.02.03.0092

Самое важное

Реестр запрещённых сайтов стремительно увеличивается, из-за большого количества записей в реестре их загрузка в модули фильтрации стала занимать больше времени, это стало особенно заметно на серверах с низкой частотой процессора. Мы ускорили процесс загрузки в модули фильтрации. В некоторых случаях время загрузки изменилось с 2 минут до 20 секунд, а на сервере, соответствующем системным требованиям, загрузка теперь занимает примерно 9 секунд.

Загрузка записей в модули фильтрации могла косвенно влиять на скорость реакции на полученный сетевой пакет и, следовательно, на время получения редиректа абонентом. Проблема была плавающей и проявлялась только на оборудовании, которое не соответствует системным требованиям.

Сигнатуры

Сигнатуры очень важная составляющая работы Carbon Reductor DPI. Мы сделали процесс обновления сигнатур более отказоустойчивым к сетевым проблемам и появлению сигнатур, содержащих ошибки.

Прочее

  • Добавлено расширенное логирование изменений конфигурационного файла. Позволит быстро узнать кто вносил изменения.
  • Чтобы не парализовать работу обновления правил фильтрации дельта-пакет, полученный от серверов Роскомнадзора отбрасывается, если содержит ошибки.
  • Устранена редкая ошибка синхронизации списков с маршрутизатором. Список мог оказать пустым и в таком случае удалялись все правила с маршрутизатора.

Спасибо, что пользуетесь Carbon Reductor DPI!

Опыт использования Carbon Billing 5 от интернет-провайдера ООО «Квант»

Опыт использования Carbon Billing 5 от интернет-провайдера ООО «Квант»

Веб-сайт: https://kvant-ber.ru/
Рассказывал технический директор Даутов Руслан Анварович.

Информация о проекте

База до 20 000 абонентов, г.Берёзовский, Свердловская область. Биллинг в эксплуатации с августа 2017г.
Беседовал Кучаев Денис Дмитриевич, директор проекта Carbon Billing 5.

Процесс внедрения и опыт использования

Как пришли к тому, что понадобился биллинг?
Компания уже более 20 лет занимается предоставлением услуг связи, но мы являлись оператором кабельного телевидения. С моим приходом в компанию мне предложили развивать направление передачи данных, ну и в связи с этим возникла необходимость.

До этого биллинга не было?
Биллинга не было, была расчетная система. Она позволяла на базе 1С производить расчёты с абонентами кабельного ТВ и абонентами домофонов.

Какие задачи стояли перед внедрением?
Читать далее

Ведутся работы по АС «Ревизор»

Ведутся работы по АС «Ревизор»

Роскомнадзор проводит мероприятия по оптимизации работы АС «Ревизор». В ближайшее время возможны ложные срабатывания в пределах нескольких ресурсов. В случае выявления подобных нарушений меры административного воздействия применяться не будут.

Все интересующие вопросы по работе Carbon Reductor DPI задайте на портале технической поддержки Helpdesk.


Спасибо, что пользуетесь Carbon Reductor DPI!

Как интернет-провайдеру выполнить все требования Роскомнадзора

Как интернет-провайдеру выполнить все требования Роскомнадзора

Прошел год как вступили в силу поправки в КоАП РФ, предусматривающие изменение размера ответственности за неисполнение операторами связи обязанности ограничивать или возобновлять доступ к информации, а именно увеличение следующих административных наказаний (штраф):

  • за неисполнение обязанности по ограничению доступа к сайту, включённому в реестр запрещенных ресурсов;
  • за неисполнение обязанности по возобновлению доступа, если ресурс исключён из реестра.

Согласно п.3 ст. 14.1 КоАП РФ такие нарушения наказываются штрафом от 3 до 5 тыс.руб. ‒ для должностных лиц, от 10 до 30 тыс.руб. ‒ для предпринимателей без образования юридического лица, от 50 до 100 тыс.руб. ‒ для юридических лиц.

Мы обновили список рекомендации по настройке и работе с Carbon Reductor DPI 8 и рекомендуем с ним ознакомиться, чтобы на 100% обезопасить Ваш бизнес.

Мигрируйте с Carbon Reductor 7 до Carbon Reductor DPI 8

Процесс миграции с Carbon Reductor 7 до Carbon Reductor DPI 8 займет всего лишь час времени и Вы ежемесячно будете получать новейшие возможности. Если Вы готовы заняться переходом, инженеры Carbon Soft Вам помогут. Все, кто работает по ценам 2017 года могут мигрировать бесплатно. Для получения помощи в миграции создайте заявку в Helpdesk.

Интегрируйте Carbon Reductor DPI 8 с АС «Ревизор»

Интеграция с АС «Ревизор» позволяет Читать далее

Отзыв о Carbon Reductor DPI от АО «Транстелеком»

Отзыв о Carbon Reductor DPI от АО «Транстелеком»

Почему Вы выбрали Carbon Reductor DPI?
Ну, на самом деле технологически подошел. У нас схема организации сети такая, что другие не вписывались в неё.

Техническая поддержка Вас устраивает?
Да, всё устраивает.

Как быстро решались вопросы при обращении в техническую поддержку?
Быстро, в течение дня.

Есть ли у Вас предложения по улучшению функциональности?
Да нет. Вроде всё функционирует гладко.

Ваша оценка по десятибалльной шкале?
Я думаю, что 10-ку можно поставить.


Девин Виктор, начальник отдела системного программирования АО «Транстелеком»


Спасибо, что выбрали Carbon Reductor DPI!

Среди наших клиентов