РосКомНадзор заблокировал LinkedIn

Крупнейшая социальная сеть по поиску людей по профессии теперь заблокирована.

Официальной причиной блокировки стало нарушение закона «О персональных данных», который с 1 сентября 2015 года обязывает хранить персональные данные россиян на территории РФ. Однако, всё еще может измениться если руководство LinkedIn разместит свои сервера в соответствии с законом.

Уже нашлись и смельчаки: один из предпринимателей основал свою социальную сеть, в некотором роде повторяющую функционал заблокированной в России.

Как 100% проходить проверки АС «Ревизор»

Мир вокруг меняется, бизнес-правила тоже. Законопроект на 21 ноября 2016 ещё находится на рассмотрении, но скоро будет принят. Теперь нужно внимательней следить за фильтрацией, иначе любой пропущенный пакет от «Ревизора» может обернуться штрафом. Всё, что мы можем делать со своей стороны мы делаем, но многие вещи может сделать только сетевой/системный администратор провайдера.

Пойдём по порядку.

Настроить Satellite

Ревизор, конечно, всё проверяет, но когда проверка чревата штрафом спокойно отладить блокировку становится невозможно. Мы сделали аналог АС «Ревизор», проверяющий HTTP, HTTPS и DNS фильтрацию и не «стучащий» никуда, кроме почты администратора.

Обновить настройки зеркала трафика

Зеркалировать tcp/80, tcp/443 и udp/53 недостаточно. Нужно отправлять либо весь исходящий трафик абонентов, либо автоматически, или хотя бы периодически следить за тем, что нужно Carbon Reductor для анализа:

  • udp/53 — пока единственный порт на котором анализируется DNS трафик;
  • /usr/local/Reductor/lists/load/port_http.load — файл-список tcp dst портов;
  • /usr/local/Reductor/lists/load/port_https.load — файл-список tcp dst портов;
  • /usr/local/Reductor/lists/load/ip_port.load — файл-список связок из ip + dst портов (tcp и udp);
  • /usr/local/Reductor/lists/load/ip_block.load — файл-список IP которые надо блокировать целиком, независимо от IP.

Настроить свою страницу-заглушку

На отдельном сервере с IP-адресом, доступным абонентам. Это нужно для корректной работы DNS-спуфинга для блокировки по домену. Есть готовое решение.

Можно настроить это на самом Carbon Reductor, но по причине в конце статьи — лучше на отдельном веб-сервере.

Настроить SNI-фильтрацию

Появился довольно неплохой модуль, фильтрующий обращения к HTTPS ресурсам по домену, указанному в поле SNI в пакете Client Hello.

Menu -> «Настройка алгоритма фильтрации» -> «Фильтровать HTTPS по SNI»

Настроить DNS-фильтрацию

В реестре появилось много ресурсов, которые требуется блокировать по домену. А это означает не только по HTTP/HTTPS, а любое обращение к этому домену. В Carbon Reductor появился модуль DNS-спуфинга, вам нужно:

  1. Включить его.
  2. Указать IP-адрес настроенной выше страницы-заглушки.
  3. Указать IP-адрес ревизора (облегчит отладку пропусков блокировок, происходящую постфактум, если это произойдёт).

Интеграция с DNS-серверами

Когда DNS-запросы от Ревизора попадают в DNS-сервера провайдера, они:

  1. Не факт, что попадут в зеркало трафика Carbon Reductor.
  2. А если и попадут, то не факт, что DNS-сервер примет их из-за DNSSEC-валидации.

Поэтому хорошим решением будет подружить DNS-сервера с Carbon Reductor, научив его отвечать на блокируемые домены IP адресом страницы-заглушки с помощью простого набора скриптов:

  • unbound;
  • bind/named;
  • другие — либо брать bind/named и дорабатывать под свой dns-сервер по аналогии, либо отключать DNSSEC-валидацию.

Интеграция с маршрутизатором

Некоторые ресурсы необходимо блокировать полностью по IP по всем протоколам. Находясь в зеркале это сделать невозможно (хотя мы и присылаем соответствующие tcp/icmp ответы на такие обращения), поэтому блокировать их лучше на маршрутизаторе. Каким образом — на ваше усмотрение:

  1. Использование BGP/OSPF Remote Triggered Blackhole.
  2. Настроить отправку команд на оборудование для добавления/удаления/получения списка заблокированных IP в хуке events.sh.

Скорее всего почистить собственные белые списки

Быть добрым к клиентам и разрешить доступ к популярным заблокированным ресурсам типа «рутрэкера» или «порнхаба» было здорово, но теперь это может обойтись довольно дорого.

Настроить дополнительные параметры мониторинга

Первым делом стоит настроить хоть какой-то мониторинг за Carbon Reductor. Там внутри Linux, так что следить хотя бы за его состоянием будет уже хорошо. Но помимо прочего, стоит следить и за состоянием самого Carbon Reductor. Есть готовые плагины для collectd, на их основе можно соорудить аналоги для используемых вами систем мониторинга.

Вообще, мы подумываем сделать полноценный облачный мониторинг, куда сливать кучу подробностей о состоянии серверов и самостоятельно заниматься отслеживанием аномалий и т.д., но здесь есть много «privacy issues», по крайней мере, без согласия представителей провайдера мы это точно делать не можем.

Добиться идеального latency

В случае с анализом зеркала трафика важно, чтобы срабатывание происходило гарантированно быстро. Подробнее почитать про это можно по ссылке.

Кратко:

  • купить хорошие сетевые карты и обязательно настроить их;
  • отказаться от виртуальных машин и перейти на железо;
  • избавиться даже от единичных потерь на стороне зеркалирующего оборудования;
  • озаботиться тем, чтобы Carbon Reductor не занимался ничем кроме фильтрации, в том числе и веб-сервером;
  • отправить критически важных абонентов в разрыв через Carbon Reductor чтобы не беспокоиться о потерях на свитче;
  • заиметь резервный сервер Carbon Reductor (безвозмездно) и настроить схему с их взаимодействием, которая скоро появится;

Что мы планируем сделать со своей стороны в будущем:


Возможность разнести управление и фильтрацию по отдельным машинам

Управление — сервер, отслеживающий и поддерживающий одинаковую конфигурацию на всех фильтрующих серверах.

  • конфигурация;
  • веб-интерфейс;
  • выгрузки;
  • обработка списков;
  • принятие решения об обновлении себя и серверов фильтрации;
  • часть диагностики;
  • активация;
  • резолв;
  • взаимодействие с оборудованием провайдера;

Фильтрация — сервер который занимается только фильтрацией трафика, не имеющий никаких периодических задач.

  • фильтрация HTTP запросов;
  • фильтрация HTTPS по Client Hello и IP;
  • фильтрация DNS запросов без DNSSEC;
  • фильтрация других протоколов по IP / IP+port;
  • загрузка URL/доменов/IP при необходимости;
  • часть самодиагностики;

В итоге планируется получить схему, в которой возможно полностью избежать:

  1. Downtime при обновлениях, штатном обслуживании и перезагрузках, даже если необходимо заменить модули в памяти.
  2. Нагрузки на сервере фильтрации, способной привести к задержке ответа -> пропуску фильтрации.

Это потребует выноса Carbon Reductor для управления на отдельную машину, но к ней не будет требований по скорости работы! А это означает возможность его работы в виртуальных машинах, даже внутри легковесных Linux-контейнеров. И тут появляется возможность держать прямо на этом же сервере:

  • Carbon Reductor Manager;
  • Carbon Reductor Satellite;
  • Carbon Reductor Blockpage;

Задача их одновременной работы довольно сложная, но в этом нам может помочь описанное в следующем пункте.

Переход на Carbon Platform 5

Готовое и проверенное годами работы Carbon Billing 5 решение для работы нескольких бизнес-приложений. Бонусы:

  • привычно для разработки любым разработчиком Carbon Soft — проще привлечь для помощи коллег из других проектов;
  • привычно для обслуживания любым инженером техподдержки Carbon Soft — ответы в хелпдеске будут быстрее;
  • с платформой в бонус идут некоторые решения, повышающие общую надёжность системы:
    • watchdog;
    • дефолтные настройки Linux;
    • правильная разбивка дисков;
    • система обновления, позволяющая получать только полностью проверенные обновления, но оставляющая возможность совместно обкатывать новые возможности.
  • веб-интерфейс, который даёт авторизацию и возможность конфигурировать приложения в браузере. Более того, его использование снимает около 35% подзадач из эпичной задачи, которую мы пока отложили — веб-интерфейс 2.0.

Изменение схемы файрвола

Использование iptables для фильтрации трафика даёт много удобств (не надо писать свой ip/tcp-стэк, логика с проходом пакетов по цепочкам тоже довольно упрощает жизнь), но и много неудобств, одно из них — match-модули не могут возвращать что-то кроме boolean значений (true/false).

Это не подходит для классификации. По уму надо давно взять PF_RING / NETMAP / что-то ещё и переписать всё на работу в userspace, но по сути это разработка нового продукта и требует достаточно времени свободного от срочных задач. Увы, Роскомнадзор и Государственная Дума не спят и постоянно эти задачи создают.

Но недавно мы продумали одну хорошую идею — как дать возможность классификации нашим http / https / dns -модулям при использовании многих списков практически без потери производительности:

  1. Match-модули будут заниматься только проверкой факта, что пакет можно разобрать и проанализировать, в противном случае пакет отбрасывается.
  2. Поиск по базам доменов и URL будет происходить в TARGET модуле (который не будет получать «мусорных» пакетов), оставляющем метку с ID базы, в котором данный домен/URL найден.
  3. Далее, в зависимости от этой метки будет срабатывать отдельное правило с TARGET’ом-соответствующим редиректом. Сравнение меток — дело копеечное, так что правил можно будет вешать сколько душе угодно.

Оптимизация в работе модулей фильтрации


Если остались вопросы

Создайте заявку на тему в портале технической поддержке Helpdesk, мы поможем Вам с настройкой.

Ежегодное изменение цен

Уважаемые пользователи!

В ноябре проведено ежегодное изменение цен в соответствии с договором.


Спасибо, что пользуетесь продуктами Carbon Soft!

Релиз Carbon Billing 5.21.01

Всем привет!

В Carbon Billing 5 вновь внедрены новые фичи и возможности для операторов связи и абонентов. Поехали!


Что нового?

  • В интерфейс добавили интерактивную справку — забыли для чего то или иное поле/группа настроек? Нажмите на кнопку помощи и Вам откроется подробная инструкция. В разделах кнопки появятся постепенно, в зависимости от частоты обращения в техподдержку Carbon Soft.
  • Добавлена возможность настраивать длительность срока архивации бухгалтерских проводок. По умолчанию они хранятся в основной базе биллинга 6 месяцев, после чего переносятся в архив, иногда у пользователей возникала потребность хранить их целый год.
  • По многочисленным запросам добавлена поддержка «1C Предприятие 8.3» и «Бухгалтерия ред. 3.0».
  • Больше способов оплаты для Ваших абонентов — добавлены платежные системы «Payfon», «Intellect Money» и возможность оплаты через терминалы «Московского кредитного банка».
  • Доработана «Заявка на подключение»: теперь абонент может выбрать адрес подключения из списка домов заведенных в биллинге, не беспокоя Вас.

Доработан Hotspot

Один из пользователей хотел, чтобы абоненты при регистрации с мобильных устройств могли не только ввести личные данные, но и отдельным шагом выбрать тариф и произвести оплату (также добавили возможность настраивать длину генерируемого пароля).

Абонент, находясь в зоне предоставления услуг ловит сеть ООО «Лучший провайдер», авторизуется через мобильное устройство с помощью СМС-аутентификации, в 2 шага выбирает тариф и здесь же оплачивает. В итоге абонент имеет выход в интернет через 5 минут после того, как у него возникло такое желание. Получение доступа в интернет для пользователей стало проще.

Добавлена система бонусных баллов

Мотивируйте абонентов платить много и вовремя, за что они получат баллы и оплатят ими дополнительные услуги или интернет, пополняя баланс счета. Сотрудничайте с другими магазинами для взаиморасчетов баллами. Лидеры телекома используют подобные системы. Воспользуйтесь и Вы!

Модернизированы оповещения

Теперь при измении состояния заявки, задачи или если появился новый комментарий в helpdesk, Вы можете оповещать об этом сотрудников техподдержки и абонентов посредством СМС и/или email.

Прочее

  • Исправлены ошибки, о которых Вы сообщили.
  • Для выявления проблем синхронизаци добавлены автотесты биллинга на соответствие статусов абонентов и того, что отправляется на оборудование.

Спасибо, что пользуетесь Carbon Billing 5!

Итоги октября — отзывы

Всем привет!

Обновление Carbon Reductor 7.4.9 уже вышло. Carbon Billing 5.21 скоро подоспеет, а пока публикуем отзывы от пользователей наших продуктов.


Отзыв от ООО «Скайнет»

Как было принято решение о покупке Carbon Reductor?
Карбон Редуктор мне порекомендовал мой знакомый, тоже из телекоммуникаций.

Что понравилось в продукте?
Если с технической стороны, то понравилось, что просто всё установилось, настроилось, очень удобное меню. В основном это. Заработало в два счёта, скажем так.

Есть ли какие-то моменты, которые Вам не понравились?
На данный момент нет вроде, всё нормально.

Как происходит работа с нами после покупки, есть ли какие-то замечания по работе техподдержки?
Замечаний нет. Отвечают ваши сотрудники оперативно. Я, как только оставил заявку, (ну пару раз такое было, что какие-то проблемы у нас возникли) сразу же отреагировали и устранили неполадки. За обновлениями мы особо и не следим. Вроде всё автоматически происходит. Пока нареканий нет.

Есть ли пожелания по функционалу на ближайшее будущее?
Честно говоря, затрудняюсь ответить. Основные функции, которые от него требуются он выполняет. Надо подумать, к сожалению, так сходу вам не отвечу.

Ваше итоговое мнение о Carbon Reductor
Положительно всё. Даже не ожидали, что всё так просто и быстро. Скачал в первый день, запустил на второй день в тестовом режиме. По-моему, месяц, если не ошибаюсь, мы поработали, и дальше уже заключили с вами договор. Ну там небольшой опыт работы с линуксом, но ничего сложного не оказалось.

Отзыв от ООО «Компакт»

Как было принято решение о покупке Carbon Billing 5?
Как начали задумывались о провайдинге, возник вопрос, как управлять абонентами. К вам попали через интернет, смотрели несколько разных вариантов, остановились на вашем, как более оптимальном.

Что Вам понравилось в продукте?
Аутсорсинг по большей части.

Есть какие-то моменты, которые Вам не понравились?
Пока нет, критичных жалоб нет. По не критичным – делают, работают.

Устраивает ли Вас работа техподдержки, время реакции?
В принципе да, устраивает. Нормально.

Итоговое мнение о Carbon Billing 5?
Мы бы посоветовали другим организациям.


Спасибо, что выбрали продукты Carbon Soft!

Релиз Carbon Reductor 7.4.9

Всем привет!
Релиз 7.4.4 не был в публичном доступе, поэтому советуем почитать о предыдущем обновлении, чтобы восстановить хронологию.


В Carbon Reductor 7.4.9 внимание было сконцентрировано на стабилизации продукта, так как принятие закона, согласно которому АС «Ревизор» будет служить источником автоматических штрафов в случае пропусков не за горами.

Веб-интерфейс

Отображение новой структуры списков в веб-интерфейсе. Теперь списки разбиты по группам, для категорий: «обработанные», «Роскомнадзор», «Carbon Soft», «Резолвер» отображаются только существующие списки, для провайдеров отображаются все возможные списки, включая белые, с возможностью редактирования.

Разбор реестра

Так как реестр стал большим, «https» ресурсов в нём всё больше и больше, имеется несколько альтернативных методов блокировки по IP (DNS-фильтрация и SNI) резолвер теперь ставит в очередь на запросы не более 500 доменов, потому что большее число может приводить к превышению выделенного на его работу таймаута, одновременным запускам и другим проблемам. Логика работы резолвера такова, что спустя некоторое время после первого запуска он в основном запускает обработку ресурсов, которые действительно необходимо отрезолвить, то есть часто меняющие свои IP-адреса.

Миграция списков и обновление

Обновление с версии 7.3 на версию 7.4 приводило к минутному downtime фильтрации. Теперь такие задачи как обновление веб-интерфейса и миграция списков происходят до остановки фильтрации. Благодаря собранным данным об использовании списков (только названия и размер) удалось сделать обновление на версию 7.4 практически незаметным. Автоматически будут удалены только временные файлы от старой обработки списков, правильно названные файлы будут аккуратно переименованы и размещены в нужном месте, а о тех, с которыми не удалось разобраться автоматически администратор будет уведомлён по почте + заявкой в хелпдеске.

Обработка списков

Описанное здесь мало кого коснулось, так как версия 7.4 долго не была в полном публичном доступе, ибо обкатывалась, исправлялась и стабилизировалась шаг за шагом. Информация по большей части полезна тем, кто помогал её тестировать.

  • Ресурсы, которые необходимо блокировать по домену снова дополнительно блокируются модулем HTTP для подстраховки, так как число провайдеров, корректно настроивших фильтрацию по DNS довольно мало. Тем не менее, мы настоятельно рекомендуем настроить её в ближайшие сроки.
  • Неправильно обрабатывались URL, содержащие пробелы, что приводило к отсутствию блокировки в оригинальном виде (не фильтровались запросы к ним, совершённые с помощью CURL и старых версий IE).
  • Была возможность повредить кэш сигнатур при многократном одновременном запуске скрипта их обновления, что могло привести к отсутствию блокировки части HTTP-ресурсов.
  • Список минюста не блокировался, так как сохранялся в файл со старым расширением.
  • Мы решили обеспечить обратную совместимость с системами интеграции с DNS серверами провайдера на некоторое время (полгода, год). Запуск резолвера создаёт симлинк на список всех блокируемых доменов, даже если сам резолвер отключен, чтобы старый код, который мы не можем обновить, забирающий https.resolv не сломался. Рекомендуем его обновить на использование файлов load/domain_mask.load, load/domain_exact.load, load/domain_proxy.load и load/domain_hsts.load в соответствии с используемыми опциями.

Исправлено

  • Техподдержка: три дня не создавались автоматические задачи в хелпдеске. (Однако уведомления о проблемах администраторам по email продолжали и продолжают отправляться).
  • Веб-интерфейс: добавление кириллических записей в собственные списки через веб-интерфейс вызывало ошибку 502 Bad Gateway.
  • Не работала проверка содержимого собственных списков, в диагностике были указаны пути до старых собственных списков провайдера.
  • Устранён Segfault вспомогательного модуля фильтрации для прокси-серверов.
  • Улучшение в диагностике: удобочитаемый формат времени в ошибке диагностики «Проверка актуальности списков».
  • Утилиты для отладки: автоматическое удаление дампов requests/replies после их объединения в duplex экономит место на диске.
  • RPM: из репозиториев удалены все устаревшие дефолтные файлы.

Спасибо, что пользуетесь Carbon Reductor!

График работы технической поддержки с 1 по 4 ноября

День Время работы (МСК)
1 — 2 ноября 8:00 — 16:00
3 ноября 8:00 — 15:00
4 ноября Выходной

Круглосуточная поддержка по критичным вопросам оказывается в обычном режиме.
Также в случае форс-мажора на SLA1 вы можете дать интернет всем

Среди наших клиентов

Азимут Цифра 1 Завод РТА Инжинэт АЛРОСА УрФУ