Релиз Carbon Reductor 7.2.2

Добрый день!

В этом месяце Роскомнадзор опять подкинул работы новыми рекомендациями по работе с единым реестром, которым Carbon Reductor теперь соответствует. Традиционно выкладываем структурированный список обновлений:

Выгрузки реестра и его обработка

Новое:

добавлен демон rknd, инициирующий экстренные выгрузки реестра. Он уже помог обнаружить и исправить три недостатка в процессах выгрузки реестра и загрузки URL/доменов в ядро;
добавлена поддержка масок доменов в разборе реестра;
добавлена отказоустойчивость для выгрузок реестра;
теперь отчёт о возникновении проблемы с выгрузкой реестра содержит в себе подробности этой проблемы.

Исправления:

процессы выгрузки реестра и загрузки URL в ядро теперь не могут быть запущены более 1 раза одновременно. Ранее это приводило к проблеме, идентифицируемой диагностикой как «Проверка загрузки URL в ядро»;
в случае запуска выгрузок на не активированном Carbon Reductor запускалась старая версия системы активации, что завершалось не удачно. Удалена и заменена актуальной.

Модули ядра

DNS

Новое:

добавлена поддержка выбора режима матчинга: ‑‑exact и with-subdomains (по умолчанию). Пока не используется, в devel-ветке есть код, который добавляет такую поддержку в кастомные списки DNS (и сами кастомные списки DNS);
добавлена поддержка регистронезависимого ‑‑icase поиска, отключенная по умолчанию. Он значительно менее производительный, лучше его добавлять дополнительным правилом для тех подсетей откуда запросы часто идут не в нижнем регистре.

Исправления:

значительно снижена вероятность коллизии хэшей в dnsmatch, что позитивно сказывается на производительности;
удалено всё оставшееся отладочное логирование, а также логирование checked/matched в dnsmatch.

HTTP

добавлена поддержка очень коротких доменов в HTTP-матчере (например, http://x.yz).

Прочее

Новое:

периодические задачи, потенциально способные повлиять на работоспособность фильтрации, подстроены под график проверок Ревизора. Сохраняет дампы трафика в аккуратно подобранной структуре каталогов в /var/lib/revisor_dump/. Добавление в «крон» только вручную;
добавлена утилита для сохранения трафика от проверок «Ревизора» для последующего анализа — revisor_dump.sh;
при запуске рестарта по SSH, логируется IP-адрес запустившего;
добавлен скрипт для превращения списка бэкапов в git-репозиторий с файлом xml для отслеживания изменений в нём;
commit’ы в /etc/sysconfig/network-scripts/, создаваемые мастером настройки сети стали удобочитаемы.

Исправления:

проверка обработки пакетов в диагностике иногда имела ложные срабатывания;
в некоторых случаях проброс переменной LC_CTYPE отличного от ru_RU.UTF-8 при подключении к Carbon Reductor по SSH и запуск обработки списка приводил к ошибке при обработке списков;
принятие решения об обновлении на новую версию целиком лежит на сервере обновления, все «умности» на клиентской стороне удалены;
не создавались ссылки на цепочку mirror_traffic в таблице raw, если не была включена опция NOTRACK. В результате не работала его особая обработка и отсеивание лишнего на раннем этапе.

Спасибо, что доверяете решениям Carbon Soft!