Новые рекомендации от РКН

Добрый день!

Работа над Reductor’ом идет полным ходом, тем временем, Роскомнадзор обновляет правила блокировки ресурсов. Вступают в силу с 15.08.2016.

Ссылка на документ

Из этого мы выделили пару пунктов:


Фильтрация по маскам доменов

Похоже РКН планировал, что вопрос с блокировками субдоменов будет немного более явным, но не вышло.

Если действовать дословно — многие ресурсы будут баниться по «example.com», но не будут по «www.example.com». А если требуется банить субдомены запись будет иметь вид «*.example.com».

Терзают сомнения, что старые записи реестра переделывать не будут, а за открывшиеся ссылки с подстановкой «www.» не будут придираться. Разумнее было бы в реестре явно указывать в тэге записи match_mode=»exact» или match_mode=»with_subdomains», с поведением «with_subdomains» по умолчанию.

Технически почти всё готово — у модуля «dnsmatch» есть флаг «—exact», который говорит искать точные совпадения, не блокируя субдомены. Пока что используется только для собственных списков. Глобально установить его можно будет в следующей выпущенной версии. Немного переписать парсер реестра, чтобы раздельно складывал две категории доменов и добавить 1 правило файрвола — дело 1-2 часов.

Официально одобряется бан «https» ссылок по домену

Текущая логика разбора реестра и использование списка таких доменов для DNS-спуфинга считаются приемлемыми.

Вообще — здорово, что весной мы решили, что DNS-модуль нужен и реализовали его. Кстати, на одну из будущих версий задумана поддержка DNS идущего по IPv6.


Новую версию с поддержкой новых рекомендаций планируем выпустить в начале августа.

Оставайтесь на связи.

Спасибо, что используете продукты Carbon Soft!

Количество пользователей внутреннего роумингового интернет-трафика увеличилось на 21%

В период отпусков выросли показатели интернет-роуминга МТС. Количество пользователей внутреннего роумингового интернет-трафика увеличилось на 21%, а количество генерируемого трафика возросло на 96%. Как утверждает представитель МТС Дмитрий Солодовников, интенсивнее растет именно потребление мобильного трафика. Рост потребления интернет-трафика в 4 раза быстрее, чем увеличение абонентской базы. По сравнению с прошлым годом пользователи смартфонов потребили во внутреннем роуминге трафика более чем на 320%, а владельцы планшетов – на 54%. Количество абонентов МТС, которые пользуются мобильным интернетом в поездках по России, увеличилось на 23%.
Как считает Солодовников, это вызвано, в первую очередь, увеличением территории покрытия сетей LTE, работающие в 83 регионах России. Некоторое значение имеет увеличение количества абонентов оператора, пакетные тарифы, которые дают возможность пользоваться мобильным интернетом на территории страны по тем же ценам, что и в домашнем регионе.
Как сообщает представитель Мегафона Юлия Дорохина, на увеличение потребления мобильного интернета на территории России влияет снижение количества путешествий за рубеж и распространение туризма внутри страны. Если сравнивать текущие показатели с показателями прошлого года, то количество потребляемого трафика выросло минимум в два раза. Также, как отмечает Дорохина, большую роль играет и стоимость услуг, которая в тарифных планах равна стоимости обслуживания в домашней сети.
Что касается еще одного оператора «большой тройки», то компания Вымпелком также предоставила свои данные, из которых видно, что количество абонентов международного роуминга за последний год снизилось на 26%, а во внутрисетевом роуминге увеличилось на 6%.
Точной информации о том, какую часть от дохода операторов составляет внутренний роуминг, нету, но из слов генерального директора Telecom Daily известно, что внутренний роуминг позволяет российским операторам зарабатывать от 1 до 1,5% от всех доходов. Как говорит директор «ТМТ консалтинг» Константин Анкилов, благодаря увеличению потребления трафика во внутреннем роуминге по отношению к росту абонентской базы операторы делают связь все лучше, надежнее и дешевле. Это возможно благодаря тому, что весь трафик идет по собственным сетям, которые при необходимости модернизируются.
По собственной оценке Дениса Кускова, главы Telecom Daily, количество абонентов международного роуминга в прошлом году уменьшилось на 18-25%, а вот количество абонентов внутреннего роуминга увеличилось на 22-27%. Как считает Кусков, к этому привело использование пакетных тарифов, с помощью которых услуги связи по России доступны по тем же ценам, что и в домашнем регионе. Также это связано с увеличением количества смартфонов с поддержкой сетей LTE, увеличением зоны покрытия операторами. Но этот рост не способен существенно повлиять на уровень доходов из-за снижения международного роуминга и из-за использования пакетных тарифов.

Блокировка URL роликов YouTube

Всем привет, на связи Carbon Soft!

Как вы знаете, YouTube с мая перешел на принудительный HSTS и скорее всего значительная часть сервисов тоже начнёт его использовать. В связи с этим, блокировка отдельных URL, которые находятся в реестре запрещенных сайтов стала практически невозможна.

Мы направили официальное письмо в Роскомнадзор с просьбой разъяснить ситуацию и предоставить решение проблемы, юридическое или техническое, ведь неразумно блокировать ресурсы, которыми пользуются десятки миллионов абонентов России.

И вот что нам ответили:

В случае, если оператор связи не имеет технической возможности расшифровать в информационном потоке данных конкретный указатель страницы сайта в сети «Интернет» полагаем, что блокировка доступа может осуществляться, в том числе по доменному имени.

Оригинал обращения в РКН
Оригинал ответа от РКН

Проще говоря РКН ответил: если не можете расшифровать трафик, исполняйте закон и блокируйте весь домен.

Попробуем рассмотреть потенциальные решения проблемы

Блокировать всю соцсеть по домену или адресу подсети

Жуткое решение, чреватое перебежками пользователей от одного провайдера к другому. Хотя Роскомнадзор на наш запрос ответил: «Как хотите, так и делайте, только чтобы те URL, которые есть в реестре были заблокированы. Не можете вырвать URL, блокируйте весь домен.»

В варианте с блокировками по подсетям IP, скорее всего будут заблокированы в том числе многие другие сервисы google, что точно оттолкнёт абонентов от провайдера.

Проксировать только трафик от ревизора

С первого взгляда кажется разумным — и Роскомнадзор и абоненты спокойны. А вот паре провайдеров, которые так делали, а потом напоролись на предписания от прокуратуры после внезапных проверок — не кажется.

Проксировать трафик всех абонентов до youtube

По URL HTTPS отфильтровать в принципе возможно, но только с использованием проксирования с подменой сертификатов. У некоторых так и работает (хотя не понятно насколько это законно). В случае использования HSTS это будет работать только в одном случае — если пользователь сам добавит в свою операционную систему корневой сертификат, который будет использоваться на прокси-сервере. Так уже сделали в Казахстане (и это очень грустно). Автоматически это сделать довольно тяжело — максимум, что сейчас приходит в голову — на странице заглушке давать ссылку на этот сертификат + сделать рассылку по e-mail’ам.

Дополнительно скорее всего придётся дропать весь QUIC-трафик до youtube (http(s) over udp), либо придумывать что с ним делать.

Мысли по поводу снижения болезненности такого подхода:

Направлять в такое прокси весь трафик — было бы очень нежелательно, так создаётся угроза безопасности при доступе к интернет-банкам и многим другим важным вещам. Из мыслей — поднять что-то вроде CA, который выдаёт провайдерам сертификаты с зашитыми в них доменами, которые можно проксировать, либо заставить провайдеров явно это делать самостоятельно.

Второй вопрос — как направить в прокси только нужный трафик, пока что остаётся не решённым. Возможно хитро патчить прокси + использовать DNS-спуфинг одновременно, как бы дико это не звучало.

Блокировать только HTTP, спорить с РКН в судах/до суда

Если есть юридический отдел, попробовать можно. Но, если с РКН это, допустим, прокатит, как быть с прокуратурами и списком Минюста, где есть ссылки с использованием HTTPS — неизвестно.

Итог

Мы готовим новую версию Carbon Reductor с технической возможностью фильтрации HSTS, но автоматически настроить и включить это вряд ли представляется возможным.

В любом случае, оставайтесь на связи и следите за нашими новостями по адресу: www.carbonsoft.ru/blog

Релиз Carbon Billing 5.18.01

Всем привет!

Снова на связи Carbon Soft с новым ежемесячным обновлением Carbon Billing 5. Традиционно выкладываем текстовую версию релиза со списком обновлений.

Видео-презентацию смотрите здесь.

Поехали!


Новое:

  • добавлена интеграция с TITV (см. видео-презентацию);
  • добавлена возможность отображать реквизиты абонента на основной вкладке в любой подгруппе. Интерфейс для менеджеров стал информативнее;
  • добавлена возможность использовать любые поля справочника домов для формирования строки отображения адреса в интерфейсе.

Улучшения:

  • улучшена система мониторинга параметров биллинга и платформы — обнаруженные ошибки автоматически попадают в «Helpdesk», а техподдержка оперативно решит эту проблему;
  • настройка Megogo стала еще проще – занимает 1 час (см. видео-презентацию);
  • доработка мультивалютной системы: создавайте услугу и заключайте договоры в валюте, которая отличается от основной;
  • для операторов, предоставляющих услугу VOIP телефонии по агентской схеме добавлена возможность выставления счетов абоненту от каждого агента отдельно.

Прочее:

  • опция устанавливающая месяц равным 30 дням теперь распространяется и на тип списания «ежемесячно пропорционально количеству дней», если вы хотите, чтобы каждый день списывалась одна и та же сумма;
  • в коммутаторе теперь можно задать любые диапазоны портов — специально для расширяемых коммутаторов;
  • исправлены ошибки, о которых Вы сообщили;
  • теперь объём пени можно задать в десятичных долях;
  • в печатной форме карточки абонента появилась возможность отображать маску сети в формате IP-адреса.

Спасибо, что доверяете нашим решениям. До связи!

Отзывы от пользователей Carbon Reductor

Всем доброго времени суток! Первый месяц лета подошел к концу, а мы всё решаем проблемы с фильтрацией трафика и подключаем новых пользователей к Carbon Reductor. В виде маленького отчета публикуем пару свежих отзывов от новых клиентов.

Спасибо, что выбираете нас!


 

Отзыв от компании ООО «МВ-Самара»

Откуда возникла потребность в поиске решения фильтрации трафика?

Знаем о Федеральном Законе и требуется его исполнять;

Как узнали о нашем продукте?

В интернете, с помощью поисковых запросов;

Почему выбрали именно нас? Что стало решающим при выборе компании?

Нас устроила цена. Выбирали среди нескольких компаний, но уже не вспомню среди кого;

Как проходит работа с нами после покупки? Все ли обновления устраивают, техподдержка?

Да. Все хорошо, все устраивает;

Есть ли идеи по улучшению продукта? Какой функционал вы бы хотели увидеть?

Да честно говоря, даже не думал на эту тему. Все сейчас устраивает. Пока ничего дополнительного, на мой взгляд, не надо.


 

Отзыв от компании ООО «БОСПОР-ТЕЛЕКОМ»

Откуда возникла потребность в поиске решения фильтрации трафика?

В связи с Российским законодательством =) Федеральным Законом;

Как узнали о нашем продукте?

Во основном искали через интернет;

Почему выбрали именно нас? Что стало решающим при выборе компании?

Ценовая политика, выгодные условия аренды ПО;

Как проходит работа с нами после покупки? Все ли обновления устраивают, техподдержка?

Были небольшие недочеты в плане того, что закончился ключ роскомнадзоровский, поставили новый, а он его не видел. После работы вашими ребятами удаленно с сервером что-то сделали, обновили ПО, все заработало.

Есть ли идеи по улучшению продукта? Какой функционал вы бы хотели увидеть?

Да в принципе все устраивает. Не задумывались даже.


Релиз Carbon Reductor 7.1.2

Ежемесячное обновление Carbon Reductor уже подоспело. Добавлен новый функционал и исправлены ошибки. Чтобы разобраться в новых фичах, пойдем по порядку.

Новая система обновления

Теперь вопрос «нужно ли обновляться и на какую версию» решается на стороне сервера. Благодаря этому мы лучше контролируем массовые обновления.

Текущая логика работы такова: на свежую версию обновляются 10 случайных (вероятность 30%) серверов в период первой половины рабочего дня отдела технической поддержки с понедельника по четверг. После этого версия «замораживается» на 24 часа в случае минорных изменений и на 120 часов в случае мажорных изменений, а обращающимся за обновлением отдаётся ссылка на последнюю “обкатанную” версию.

Carbon Reductor Satellite 2.0

Реализация «Ревизора», которая отправляет данные о проверках фильтрации только туда, куда Вы попросите, обновилась.

  • Система умеет проверять фильтрацию HTTP, HTTPS и DNS ресурсов;
  • Поддерживает хуки, так что можно отправлять результаты проверки в собственные системы мониторинга. То есть Вы сможете заблаговременно узнать о проблемах на сервере;
  • Время работы полной проверки сокращено с 5-ти до 1-го часа;
  • Теперь для обновления достаточно одной команды.

Доработки DNS-спуфинга

Теперь DNS-спуфинг работает сразу после установки и дополнительно разработана система интеграции с DNS-серверами провайдера. Поддерживаются bind/named и unbound.

Резолвер

Исправления:

  • Благодаря правильному анализу опции «поддержка IPv6» меньше проблем при использовании интеграции с маршрутизатором;
  • Редуктор не блокирует страницу-заглушку при неправильной настройке зеркала.

Файрвол и веб-интерфейс

Новое:

  • Веб-интерфейс недоступен, если не указан IP администратора;
  • Можно указать конкретные IP-адреса и порты на которых будет доступен веб‑интерфейс. По умолчанию он работает на 0.0.0.0:8080.

Исправления:

  • Исправлена проблема проверки доступности при использовании некоторых систем мониторинга. Проверка TTL=1 переехала из «mangle PREROUTING» в «raw PREROUTING» в цепочку «mirror traffic»;
  • Кастомные редиректы HTTP теперь наследуют опции «--log» и «--save-domain».

Прочее

Новое:

  • На случай внезапно возникшей необходимости доработки системы обращений url‑списков внедрена поддержка черных и белых «Хотфикс-списков». Они страхуют Вас на время, пока Вы не обновитесь на версию с доработками. Отключаемая опция;
  • Адрес дефолтной заглушки для демонстрации работы редиректа переехал с deny.carbonsoft.ru на denypage.ru.

Исправления:

  • Упрощена система обработки списков. Кэш сигнатур изменил формат, благодаря этому теперь нет проблем и специальной обработки URL с некоторыми спецсимволами;
  • Система мониторинга путалась при создании тикетов между несколькими Carbon Reductor, зарегистрированными на одну компанию. В результате периодически возникала ситуация, когда по одному серверу создавалась заявка, а потом сразу же закрывалась по данным, поступившим от другого сервера;
  • Просроченная оплата теперь не плодит несколько тикетов в хелпдеске.
Среди наших клиентов

Азимут Цифра 1 Завод РТА Инжинэт АЛРОСА УрФУ