Всем привет!
Релиз 7.4.4 не был в публичном доступе, поэтому советуем почитать о предыдущем обновлении, чтобы восстановить хронологию.

В Carbon Reductor 7.4.9 внимание было сконцентрировано на стабилизации продукта, так как принятие закона, согласно которому АС «Ревизор» будет служить источником автоматических штрафов в случае пропусков не за горами.

Веб-интерфейс

Отображение новой структуры списков в веб-интерфейсе. Теперь списки разбиты по группам, для категорий: «обработанные», «Роскомнадзор», «Carbon Soft», «Резолвер» отображаются только существующие списки, для провайдеров отображаются все возможные списки, включая белые, с возможностью редактирования.

Разбор реестра

Так как реестр стал большим, «https» ресурсов в нём всё больше и больше, имеется несколько альтернативных методов блокировки по IP (DNS-фильтрация и SNI) резолвер теперь ставит в очередь на запросы не более 500 доменов, потому что большее число может приводить к превышению выделенного на его работу таймаута, одновременным запускам и другим проблемам. Логика работы резолвера такова, что спустя некоторое время после первого запуска он в основном запускает обработку ресурсов, которые действительно необходимо отрезолвить, то есть часто меняющие свои IP-адреса.

Миграция списков и обновление

Обновление с версии 7.3 на версию 7.4 приводило к минутному downtime фильтрации. Теперь такие задачи как обновление веб-интерфейса и миграция списков происходят до остановки фильтрации. Благодаря собранным данным об использовании списков (только названия и размер) удалось сделать обновление на версию 7.4 практически незаметным. Автоматически будут удалены только временные файлы от старой обработки списков, правильно названные файлы будут аккуратно переименованы и размещены в нужном месте, а о тех, с которыми не удалось разобраться автоматически администратор будет уведомлён по почте + заявкой в хелпдеске.

Обработка списков

Описанное здесь мало кого коснулось, так как версия 7.4 долго не была в полном публичном доступе, ибо обкатывалась, исправлялась и стабилизировалась шаг за шагом. Информация по большей части полезна тем, кто помогал её тестировать.

• Ресурсы, которые необходимо блокировать по домену снова дополнительно блокируются модулем HTTP для подстраховки, так как число провайдеров, корректно настроивших фильтрацию по DNS довольно мало. Тем не менее, мы настоятельно рекомендуем настроить её в ближайшие сроки.
• Неправильно обрабатывались URL, содержащие пробелы, что приводило к отсутствию блокировки в оригинальном виде (не фильтровались запросы к ним, совершённые с помощью CURL и старых версий IE).
• Была возможность повредить кэш сигнатур при многократном одновременном запуске скрипта их обновления, что могло привести к отсутствию блокировки части HTTP-ресурсов.
• Список минюста не блокировался, так как сохранялся в файл со старым расширением.
• Мы решили обеспечить обратную совместимость с системами интеграции с DNS серверами провайдера на некоторое время (полгода, год). Запуск резолвера создаёт симлинк на список всех блокируемых доменов, даже если сам резолвер отключен, чтобы старый код, который мы не можем обновить, забирающий https.resolv не сломался. Рекомендуем его обновить на использование файлов load/domain_mask.load, load/domain_exact.load, load/domain_proxy.load и load/domain_hsts.load в соответствии с используемыми опциями.

Исправлено

• Техподдержка: три дня не создавались автоматические задачи в хелпдеске. (Однако уведомления о проблемах администраторам по email продолжали и продолжают отправляться).
• Веб-интерфейс: добавление кириллических записей в собственные списки через веб-интерфейс вызывало ошибку 502 Bad Gateway.
• Не работала проверка содержимого собственных списков, в диагностике были указаны пути до старых собственных списков провайдера.
• Устранён Segfault вспомогательного модуля фильтрации для прокси-серверов.
• Улучшение в диагностике: удобочитаемый формат времени в ошибке диагностики «Проверка актуальности списков».
• Утилиты для отладки: автоматическое удаление дампов requests/replies после их объединения в duplex экономит место на диске.
• RPM: из репозиториев удалены все устаревшие дефолтные файлы.

Спасибо, что пользуетесь Carbon Reductor!

В Carbon Reductor 7.4 значительно улучшены самые важные подсистемы. Это полностью переработанная обработка списков, ставшая более гибкой и проще для расширения. Это максимально быстрый разбор реестра, экономично относящийся к столь ценным ресурсам процессора. Это DNS-резолвер, практически не влияющий на работу других подсистем. Помимо этого были полностью обновлены мастер установки и мастер настройки сети, выгрузка единого реестра стала более устойчивой к временным проблемам на стороне сервера, а также произведено множество других улучшений, направленных на повышение удобства и производительности.

Всё это доступно в Carbon Reductor 7.4.

Совершенно новая обработка списков

В обработке списков большое число нововведений. В первую очередь она стала унифицированной для большей части списков. Код стал стройнее и проще, добавление новых видов списков стало проще для разработчиков, а структура списков стала в разы проще для понимания.

Подробнее

Теперь имеется следующая структура внутри /usr/local/Reductor/lists/:

• load — все агрегированные, обработанные и используемые Carbon Reductor списки;
• rkn — всё, что парсер реестра извлёк из него;
• provider — собственные списки провайдера;
• carbonsoft — списки от carbonsoft для оперативного устранения проблем с фильтрацией без обновления самого Carbon Reductor;
• resolver — результаты резолва по разным спискам доменов;
• tmp — промежуточные результаты обработки списков, необходимые обычно только разработчикам.

Унифицированы и имена (расширения) файлов (подробнее в документации). Также теперь списки url_https обрабатываются, как и url_http, что повышает качество фильтрации на стороне прокси-серверов.

Новый разбор реестра

Новая версия парсера реестра в 7 раз быстрее и требует в 13 раз меньше оперативной памяти. Благодаря этому у процессора теперь больше времени на то, чтобы заниматься своей основной задачей — фильтрацией трафика, что позитивно влияет на качество её исполнения.

Обновлён резолвер

Обновление реестра, обработка списков и резолв теперь могут проходить одновременно абсолютно не мешая друг другу, благодаря хорошо продуманной системе блокировок.

Также у резолвера появилась возможность опроса кэша резолва по отдельным спискам доменов, дающая на выходе раздельные списки IP адресов, которые могут использоваться для различных целей (блокировка в файрволе, анонсирование по BGP и т.д.).

Мастер настройки Carbon Reductor

Мастер настройки обновлён и теперь учитывает все новые возможности Carbon Reductor, такие как DNS и SNI фильтрация, валидирует вводимые данные и в целом удобнее. Теперь сразу после установки Carbon Reductor, вероятность того, что потребуется что-то донастраивать будет значительно меньше.

Мастер настройки сети

Теперь мастер настройки сети даёт возможность посмотреть какой трафик приходит в зеркало трафика, если его настроили до установки Carbon Reductor. Также теперь поддерживается пять схем настройки захвата зеркала трафика:

• L2, только чистый трафик без тэгов
• L2, только тэгированный трафик
• L2, перемешанный чистый и тэгированный трафик
• L3, только чистый трафик
• L3, только тэгированный трафик

В случае с L3-зеркалами теперь автоматически выставляется опция, отключающая проверки наличия бриджей при старте.

Повышение отказоустойчивости выгрузок

Теперь выгрузки запускаются реже, но в случае временных проблем на стороне сервера Роскомнадзора ожидают некоторое время и повторяют запрос. Это уже попало в критические исправления 7.3.2 176, но упоминалось только в твиттере.

Возможность использования совместно с прокси-серверами

Теперь есть возможность отправлять часть ресурсов в прокси-сервер по BGP или с помощью DNS спуфинга (последнее поддерживается только прокси-сервером поставляемым в комплекте с Carbon Reductor 8 Alpha).

Возможность легко снизить нагрузку на сервер

Вам больше не требуется идеально настраивать зеркало трафика для того, чтобы снизить нагрузку на сервер в 20 и более раз с помощью опции NOTRACK.

Теперь при включении этой опции, трафик с IP-адресом Carbon Reductor, под которым он выходит в интернет через основной маршрут будет отбрасываться перед правилом NOTRACK, применяемым к зеркальному трафику. В результате эта опция не будет приносить никаких проблем, связанных с потерей доступа в сеть сервера Carbon Reductor.

Прочее

• Возможность пропускать определённую подсеть "в разрыв";
• Запуск обновления больше не запускает резолвер, так как это довольно долгая процедура. Теперь единственная точка запуска резолвера — crond;
• Решены проблемы с не поднимающимся веб-интерфейсом после выключения опции "Заглушка на своём сервере";
• Исправлена ошибка с вычислением длины генерируемого пакета HTTP 302 редиректа в некоторых случаях при использовании опции "Добавлять домен в URL редиректа". Из-за неё некоторые виды оборудования дробили пакет на несколько частей, отбрасывая вторую часть, в итоге редирект игнорировался некоторыми операционными системами;
• DNS-фильтрация теперь поддерживается для IPv6-транспорта.

Желающим присоединиться к тестированию перед обновлением

Приблизительно через неделю мы планируем выпустить эту версию как master — то есть для всех, в плановом обновлении. Если у вас имеется тестовый сервер или Вы готовы тестировать на «продакшне», а потом откатиться — создайте в хелпдеске заявку «Тестирование Carbon Reductor 7.4″.

Спасибо, что пользуетесь Carbon Reductor!

Всем привет!

В этом месяце команда Carbon Reductor уделила значительное внимание новому «SNI‑модулю», который позволит избежать массовых блокировок по IP.

Полный список обновлений ниже:

Выгрузки реестра

Исправлена логика работы RKND (демон, инициирующий срочные выгрузки единого реестра в соответствии с последними рекомендациями Роскомнадзора). Совпадение даты локальной копии реестра и даты на стороне сервера Роскомнадзора считалось устареванием реестра и RKND продолжал его выкачивать раз в пять минут вплоть до появления новой штатной выгрузки.

Улучшен и обкатан SNI-модуль

Теперь у нас есть техническая возможность избежать массовых блокировок ресурсов по IP, использующих HTTPS-протокол и CDN. Также новый модуль является подстраховкой для фильтрации DNS-трафика, если она по какой-либо причине не срабатывает.

В теории, в следующей версии, которая включит в себя новый парсер реестра можно будет отключить резолвер доменов блокируемых https-ресурсов.

Отключение резолвера после выхода следующей версии (мы напишем об этом, прямо сейчас ничего отключать не надо!) даст пару плюсов в плане блокировки:

• Снизится число лишних блокировок ресурсов по IP, когда множество сайтов расположено на одном хостинге;
• Не будут блокироваться легальные сайты в ситуации, когда по злому умыслу в настройках DNS владельцы заблокированных ресурсов указывают их IP-адреса.

DNS-модуль

Добавлена поддержка фильтрации DNS-запросов с указанием дополнительного поля “UDP Payload Size” – теперь фильтрация работает в том числе и для современных Linux-хостов.

Прочее

• Повышена безопасность процесса записи URL и доменов в модули;
• При обнаружении ошибки диагностики «Загрузка URL» показывается больше отладочной информации;
• Незначительно оптимизирована производительность модуля HTTP фильтрации (минус две арифметические операции в 80% попавших на обработку пакетов).

Спасибо, что пользуетесь Carbon Reductor! До связи.