Всем привет!

В этом месяце команда Carbon Reductor уделила значительное внимание новому «SNI‑модулю», который позволит избежать массовых блокировок по IP.

Полный список обновлений ниже:

Выгрузки реестра

Исправлена логика работы RKND (демон, инициирующий срочные выгрузки единого реестра в соответствии с последними рекомендациями Роскомнадзора). Совпадение даты локальной копии реестра и даты на стороне сервера Роскомнадзора считалось устареванием реестра и RKND продолжал его выкачивать раз в пять минут вплоть до появления новой штатной выгрузки.

Улучшен и обкатан SNI-модуль

Теперь у нас есть техническая возможность избежать массовых блокировок ресурсов по IP, использующих HTTPS-протокол и CDN. Также новый модуль является подстраховкой для фильтрации DNS-трафика, если она по какой-либо причине не срабатывает.

В теории, в следующей версии, которая включит в себя новый парсер реестра можно будет отключить резолвер доменов блокируемых https-ресурсов.

Отключение резолвера после выхода следующей версии (мы напишем об этом, прямо сейчас ничего отключать не надо!) даст пару плюсов в плане блокировки:

• Снизится число лишних блокировок ресурсов по IP, когда множество сайтов расположено на одном хостинге;
• Не будут блокироваться легальные сайты в ситуации, когда по злому умыслу в настройках DNS владельцы заблокированных ресурсов указывают их IP-адреса.

DNS-модуль

Добавлена поддержка фильтрации DNS-запросов с указанием дополнительного поля “UDP Payload Size” – теперь фильтрация работает в том числе и для современных Linux-хостов.

Прочее

• Повышена безопасность процесса записи URL и доменов в модули;
• При обнаружении ошибки диагностики «Загрузка URL» показывается больше отладочной информации;
• Незначительно оптимизирована производительность модуля HTTP фильтрации (минус две арифметические операции в 80% попавших на обработку пакетов).

Спасибо, что пользуетесь Carbon Reductor! До связи.

Добрый день!

В этом месяце Роскомнадзор опять подкинул работы новыми рекомендациями по работе с единым реестром, которым Carbon Reductor теперь соответствует. Традиционно выкладываем структурированный список обновлений:

Выгрузки реестра и его обработка

Новое:

• добавлен демон rknd, инициирующий экстренные выгрузки реестра. Он уже помог обнаружить и исправить три недостатка в процессах выгрузки реестра и загрузки URL/доменов в ядро;
• добавлена поддержка масок доменов в разборе реестра;
• добавлена отказоустойчивость для выгрузок реестра;
• теперь отчёт о возникновении проблемы с выгрузкой реестра содержит в себе подробности этой проблемы.

Исправления:

• процессы выгрузки реестра и загрузки URL в ядро теперь не могут быть запущены более 1 раза одновременно. Ранее это приводило к проблеме, идентифицируемой диагностикой как «Проверка загрузки URL в ядро»;
• в случае запуска выгрузок на не активированном Carbon Reductor запускалась старая версия системы активации, что завершалось не удачно. Удалена и заменена актуальной.

Модули ядра

DNS

Новое:

• добавлена поддержка выбора режима матчинга: ‑‑exact и with-subdomains (по умолчанию). Пока не используется, в devel-ветке есть код, который добавляет такую поддержку в кастомные списки DNS (и сами кастомные списки DNS);
• добавлена поддержка регистронезависимого ‑‑icase поиска, отключенная по умолчанию. Он значительно менее производительный, лучше его добавлять дополнительным правилом для тех подсетей откуда запросы часто идут не в нижнем регистре.

Исправления:

• значительно снижена вероятность коллизии хэшей в dnsmatch, что позитивно сказывается на производительности;
• удалено всё оставшееся отладочное логирование, а также логирование checked/matched в dnsmatch.

HTTP

• добавлена поддержка очень коротких доменов в HTTP-матчере (например, http://x.yz).

Прочее

Новое:

• периодические задачи, потенциально способные повлиять на работоспособность фильтрации, подстроены под график проверок Ревизора. Сохраняет дампы трафика в аккуратно подобранной структуре каталогов в /var/lib/revisor_dump/. Добавление в «крон» только вручную;
• добавлена утилита для сохранения трафика от проверок «Ревизора» для последующего анализа — revisor_dump.sh;
• при запуске рестарта по SSH, логируется IP-адрес запустившего;
• добавлен скрипт для превращения списка бэкапов в git-репозиторий с файлом xml для отслеживания изменений в нём;
• commit’ы в /etc/sysconfig/network-scripts/, создаваемые мастером настройки сети стали удобочитаемы.

Исправления:

• проверка обработки пакетов в диагностике иногда имела ложные срабатывания;
• в некоторых случаях проброс переменной LC_CTYPE отличного от ru_RU.UTF-8 при подключении к Carbon Reductor по SSH и запуск обработки списка приводил к ошибке при обработке списков;
• принятие решения об обновлении на новую версию целиком лежит на сервере обновления, все «умности» на клиентской стороне удалены;
• не создавались ссылки на цепочку mirror_traffic в таблице raw, если не была включена опция NOTRACK. В результате не работала его особая обработка и отсеивание лишнего на раннем этапе.

Спасибо, что доверяете решениям Carbon Soft!