Релиз Carbon Reductor 7.5.1 100

Доброго времени суток!

Продолжаем оптимизировать работу Carbon Reductor под новые реалии контроля фильтрации трафика со стороны РКН. Повышена стабильность выгрузки списков, а фильтрация стала еще лучше.

Самое важное

SNI-фильтрация стала значительно надёжнее в большинстве установок, связано с нюансами трафика в зеркале. Возможен незначительный рост (2-10%) нагрузки на сервер.

Исправлена ошибка с неснимающимся режимом обслуживания на старых выпусках CentOS (6.6 и младше).

Улучшена производительность резолвера в работе со списками.

Повышена надёжность обновления Carbon Reductor

Улучшена стабильность системы обновления. Добавлена дополнительная проверка в момент запуска обновления на случай если скачались некорректные данные. Ранее в случае ответа с ошибкой всегда запускалось скачивание и при обновлении это могло привести к неработоспособности редуктора. Также обновление самого Carbon Reductor теперь нельзя запустить дважды (спасает при запуске ручного обновления во время автоматического обновления).

Работа со списками

Стали более отказоустойчивыми выгрузка реестра и обновление сигнатур. Обновление списков и загрузка URL/доменов/IP в ядро тоже подверглась улучшениям в плане надёжности и понятности. Логируется статистика модуля до загрузки URL и после.

Другое

Унифицировано логирование во многих подсистемах: файрвол, обновление сигнатур, режим обслуживания, загрузка URL. Позволит быстрее находить причину сбоев в работе.
Мастер настройки зеркала трафика и часть других скриптов теперь поддерживают устройства, именуемые не «eth».
Унифицирована система тестирования. Наведён порядок в тестовой инфраструктуре, не касается конечных пользователей напрямую, но это делает Carbon Reductor более защищённым от ошибок разработчиков.
Улучшена работа Carbon Reductor в режиме только редиректора для неавторизованных/заблокированных/неплатящих абонентов без каких-либо списков вообще. Также для неавторизованных пользователей не полностью фильтровался HTTPS-трафик — исправлено.
В веб-интерфейсе в разделе «Информация» теперь выводится информация о файле запроса и его подписи при отсутствии сертификата.
Mikrotik периодически отдаёт пустой ответ при запросе списка IP адресов, не отдавая никакого кода возврата. Теперь это учитывается в примере хука для интеграции с маршрутизатором.
Утилита для поиска по кэшу резолва запрещенных доменов теперь умеет искать как домены по IP, так и IP по домену — используется для ресурсов, которые часто меняют IP-адрес.
Обновлён плагин для collectd (`/usr/local/Reductor/bin/collectd_plugin`), теперь он соответствует новому формату собираемой по модулям ядра статистики.
Исправлено несколько опечаток в диагностике и веб-интерфейсе.

Спасибо, что пользуетесь Carbon Reductor!

Рубрика: Carbon Reductor DPI, Новости | Дата: 2017-02-09

Итоги января

Добрый день!

Начало года в Carbon Soft стало отличным, за январь к нам присоединились более 40 операторов связи, а фильтр трафика и биллинг работают всё стабильней по отзывам наших же пользователей. И, конечно, публикуем 2 из них.

Отзыв от «Завод РТА»

Что Вам не нравится в Carbon Billing 5?
Ну проблемы я уже в пятницу вам озвучил. Вторая проблема, я не успел заявку по ней создать, то что у нас абонентская плата начисляется и 4-м месяцем и 5-м, хотя больше 3-х месяцев не должна начисляться, не знаю, как правильно сейчас сформулировать. Ну а так-то, в общем, всё работает, всё как бы неплохо, кроме вот таких непонятных вычислений.

Как Вам работа техподдержки?
Заявки сейчас у вас стали автоматически создаваться. Раньше приходилось на каждую небольшую проблему создавать заявку. Сейчас диагностика автоматически находит проблемы, сама заявки создает, они по ним сами разбираются, т.е. в большинстве случае я даже участия не принимаю в устранении проблем. Очень удобно, кстати, сделали.

Какие плюсы видите в продукте?
Плюсы есть. Много плюсов на самом деле, и возможностей много у биллинга, настолько много, что мы используем меньше половины, поэтому сильно много сказать вам не могу по всем возможностям. Потому что мы не так много используем из всего что можно.

Ваша оценка по десятибалльной шкале?
Ну, если не брать во внимание вот эти все погрешности, то 10, это с моей технической стороны. Я сам программист, сам понимаю бывают проблемы, баги, опечатки, трудноуловимые ошибки, ну это ваш быт конечно – продукт тяжелый, сложный. В целом всё неплохо.

Отзыв от ООО «Сигнал Сервис»

Что Вам понравилось в Carbon Reductor?
Понравилось? Ну понравилось, что работает, как бы основное. То, что предоставили возможность установки резервного сервера — тоже хорошо, плюс большой. Ну так еще чего-то конкретного выделить… даже не знаю. Основные моменты эти. Ну техподдержка конечно реагирует, но не всегда быстро и не всегда правильно, это бывает. Обычно приходим к консенсусу рано или поздно.

Что не понравилось?
Ну как сказать, ну иногда бывает техподдержка не всегда корректно либо слушает, либо читает. Я расписываю ситуацию и, тем не менее, меня всё равно всё это спрашивают. Я там расписывал ситуацию так как она у меня. У меня немножко другая сеть, она немножко по-другому работает, ну в отличие от пользовательской. Я расписал, ну как бы пытался объяснить, что я вижу проблему так, а пользователи будут видеть проблему по-другому. Но, тем не менее, докопались до определенных моментов, ну это мы уже с Олегом решили, скажем так. Ну в целом, в принципе то, всё хорошо. Как бы работает и работает.

Есть какие-нибудь пожелания по работе техподдержки?
Ну пожелания… Оптимизировать, оптимизировать и еще раз оптимизировать.

Итоговое мнение о Carbon Reductor и оценка по десятибалльной шкале?
Всё очень даже хорошо. Ну где-то на 9,5, но всё равно огрехи есть ещё.

Спасибо, что выбрали Carbon Soft!

Рубрика: Отзывы | Дата: 2017-02-09

Релиз Carbon Billing 5.22.01

Добрый день!

В Carbon Billing 5 вновь добавили несколько фич, упростили взаимодействие с интерфейсом и облегчили жизнь нашим пользователям, но обо всём по порядку.

Что нового?

Больше способов оплаты для Ваших абонентов — добавлены платёжные системы: PayAnyWay, Payfon24, JCC, Kassa24.

В общий аудит добавлена пагинация данных. Теперь можно увидеть часть результатов поиска не ожидая их длительное время. Информация подгружается по мере листания страниц.

Добавлена возможность скрывать поля расширенного поиска из веб-кассы, иногда кассиры путались из-за обилия неиспользуемых полей.

Для операторов связи, клиенты которых могут содержать в наименовании более 7 слов (особенно госучреждения), мы расширили поля для ФИО абонента в 5 раз. Теперь Вы можете вместить любое наименование без сокращений.

Добавлена интеграция связки Stalker + IPTV Portal — даёт возможность быстрого и эффективного запуска видео-услуг на базе IP-сетей.

Другое

Добавлена обработка 1С для редакции бухгалтерии 3.0 в связи с обновлением 1С.
При создании абонента теперь можно быстро ввести дату в соответствующее поле, например при указании даты выдачи паспорта. Ранее для ввода данных приходилось листать виртуальный календарь.
Добавлена возможность интеграции с Eltex SMG-1016M.
Исправлены ошибки, о которых Вы сообщили.
Повышена отказоустойчивость базы данных при перезагрузке сервера по питанию.

Спасибо, что пользуетесь Carbon Billing 5!

Рубрика: Carbon Billing 5, Новости | Дата: 2017-02-07

Отзывы за декабрь

Здравствуйте! 2017 год уже на дворе, команда Carbon Soft отдохнула и уже во всю работает над улучшением продуктов. Традиционно публикуем 2 отзыва от пользователей Carbon Billing 5 и Carbon Reductor.

Отзыв от ООО «Айтех»

Есть ли негативные моменты, над которыми нам можно поработать в Carbon Billing 5?
У нас, да. Замечания есть. На вскидку сложно сказать. Например, возникают ошибки по биллингу — недавно ошибки были по DNS. Через некоторое время всё нормально работает, всё восстановилось. Но когда при таких ошибках начинаешь обращение делать в техподдержку — это очень долго. Ну, я надеюсь, нормально всё будет, мы не собираемся отказываться от биллинга Карбон, ну проблемы бывают.

Какие плюсы видите в биллинге?
Хорошо, что техподдержка, всё-таки, работает, всегда можно обратиться и сделают, устранят проблему. Я не думаю, что у всех биллингов прямо так. Есть которые просто купил, поставил и без всякой техподдержки сам разбирайся. Ну, естественно, мы платим ежемесячную плату. Мы готовы платить деньги, если будет всё работать хорошо и стабильно, мы не отказываемся. Ну проблемы есть, у кого их нет?

Почему именно с нами стали работать?
Во-первых, установка упрощена, можно с одного диска, в принципе, установить всю систему без всяких дополнительных модулей. В основном, у дорогих биллингов модульная система. Для определённых функций нужно определённые модули закачивать, устанавливать, привязывать. Это всё отнимает время, разбираться не хочется. А здесь — сразу установил, начал работать. Цена у вас адекватная за весь функционал.

Оцените Карбон Биллинг 5 по десятибалльной шкале
По десятибалльной — семь бы поставил.

Отзыв от ООО «Протон»

Как было принято решение о покупке Carbon Reductor?
Выбор был именно из-за подписки, что она ежемесячная и поскольку провайдер молодой, пользователей мало, решили, что так легче, дешевле.

Что понравилось в продукте?
Не знаю, пока не могу сказать. Может, то, что автоматические обновления и всё.

Что не понравилось в продукте?
Слишком много правил, т.е. я захотел просто поменять порт у SSH, не смог потому, что в правилах везде 22-й разрешен, а 6-й, который я хотел поменять, не разрешен. Мне изначально приходилось искать куда в ваши правила, в вашу систему, прокинуть порт. Это не совсем удобно. В принципе, по техподдержке хорошо. Пока что нет вопросов.

Есть ли пожелания по функционалу?
Была бы такая штука очень полезна, родительский контроль. Ну еще допустим там статистика по обновлениям есть, статистика по количеству блокировок есть. Было бы очень хорошо логировать, допустим айпишник такой-то пытался обратиться на ресурс в списке закрытых URL’ов такой-то.

Ваше итоговое мнение о Carbon Reductor и оценка по десятибалльной шкале?
Ну положительно. Если по десятибалльной: 7-8. Я прописал в настройках айпишник ревизора, перезапустил демон, всё сделал, а он мне в вебке до сих пор, наверное, пишет, что не указан айпишник ревизора, хотя его в конфиге я поправил. В вебе ошибка есть, но, в принципе, всё работает. Больше, в принципе, ничего. Продукт ну на восьмёрочку, может 7-8. Да. Не дотягивает он пока до 9-10, ну не настолько это пока отточенный продукт.

Спасибо, что выбрали продукты Carbon Soft!

Рубрика: Отзывы | Дата: 2017-01-11

Релиз Carbon Reductor 7.5.0 204 и 8.0.0 1435

Добрый день!

Изменения в связи с обновлением АС «Ревизор»

Добавлен режим обслуживания

В случае, если новая версия Carbon Reductor содержит изменения модулей фильтрации, на время процесса обновления, 10-20 секунд, включается режим обслуживания. Правила файрвола не очищаются полностью, вместо этого добавляется REJECT для всех видов трафика. Эти правила применяются только для АС «Ревизор», если указан его IP‑адрес/подсеть, иначе — для всех абонентов. Это сделано с целью исключить пропуски фильтрации в процессе обновления Carbon Reductor. Такие обновления бывают раз в 2-3 месяца.

А также:

Теперь не указанный IP-адрес АС «Ревизор» считается ошибкой.
Добавлена регистронезависимая фильтрация DNS для всех абонентов, если не указан IP‑адрес/подсеть АС «Ревизор». Может повышать нагрузку на сервер.

Повышение надёжности фильтрации

Теперь в файлах модулей фильтрации выводится статистика по обеим базам данных — как buffer, так и readonly. Ранее счётчики показывались не совсем верно — в какой-то момент от buffer, в какой-то от readonly, что могло привести к ошибочному выводу о том, что база, по которой происходит поиск при фильтрации, обнуляется при обновлении списков или рестарте.
Загрузка URL, доменов и IP в ядро теоретически могла быть запущена в процессе обработки списков и использовать не до конца обработанные списки — исправлено.

Исправления в Carbon Reductor 8

В момент применения собственных списков в веб-интерфейсе выдавалась 404/500 ошибка.
L2-зеркало трафика, настроенное с помощью мастера не работало.
Использование страницы-заглушки Carbonsoft теперь считается ошибкой, т.к. ответ от сервера Carbonsoft не является гарантированным.
Мелкие проблемы с запуском при первой установке.
Ошибка в веб-интерфейсе, в некоторых случаях возникала надпись «Файл не найден».
Ошибка генерации и подписи запроса для получения списка запрещённых сайтов, в результате которой списки не выгружались.

Прочее

Исправлено — Satellite не удалял пустые временные файлы на каждый домен при проверке DNS, что приводило к заполнению inodes. Проверить текущую заполненность можно командой: df -hi /tmp/.
Теперь в отчётах Satellite указывается его IP-адрес. Полезно при использовании нескольких серверов Satellite.
Плагин collectd сломался при обновлении модулей. Теперь он поставляется в комплекте с Carbon Reductor, чтобы обеспечить его автоматическое обновление. Инструкция на github по работе с ним в скором времени будет обновлена и продублирована в документацию Carbon Reductor.
Добавлен режим для Satellite, обеспечивающий отсутствие расхождения содержимого списков на Reductor и Satellite на время проверки фильтрации (используется только в целях агрессивного тестирования разработчиками).

Спасибо, что пользуетесь Carbon Reductor!

Рубрика: Carbon Reductor DPI, Новости | Дата: 2017-01-11

Голосование за функционал Carbon Billing 5

Публикуем результаты первого голосования в декабре 2016 года.

46,7% участников выбрали для реализации:
«Списки сайтов, разрешенных при отрицательном балансе, т.е. сайты, находящиеся в «Справочнике» в разделе «ACL списки разрешенных сайтов» будут попадать автоматически в adress list MikroTik. Данная вкладка пока совместима только с оборудованием вендора Cisco.»

Голосование за функционал

Выбранная функция будет реализована в течение 2-х месяцев.
Мы уже подготовили обновленный список желаемых фич, так что можете принять участие в новом голосовании.

Голосование Январь 2017

Спасибо, что выбрали Carbon Billing 5!

Рубрика: Carbon Billing 5, Новости | Дата: 2017-01-09

График работы технической поддержки с 31 декабря 2016 по 9 января 2017

Поддержка в новогодние праздники будет оказываться через портал HelpDesk.
Рекомендуем не проводить никаких работ до 9 января.

День	Время работы (МСК)
30 декабря	8:00 — 16:00
31 декабря — 2 января	Выходной день
3 — 5 января	8:00 — 16:00
6 — 8 января	Выходной день

Круглосуточная поддержка по критичным вопросам оказывается в обычном режиме.
3-5 января техническая поддержка будет осуществляться для SLA Стандарт по критическим вопросам.
Также в случае форс-мажора на SLA Стандарт вы можете дать интернет всем

Рубрика: Новости | Дата: 2016-12-29

Итоги года 2016 Carbon Billing 5

Добрый день!

Подводим итоги года.

За 2016-й мы интегрировали Carbon Billing 5 более 70 операторам связи. Добавили более 100 новых функций и возможностей для пользователей, упрощающих работу и закрыли более 750 мелких задач!

Закрытые задачи за год:
Задачи за 2016 год

Спасибо, что выбрали Carbon Billing 5. С наступающим!

Рубрика: Carbon Billing 5, Новости | Дата: 2016-12-29

Новогодний корпоратив 2016

24.12.16 в Carbon Soft прошел новогодний корпоратив.

Всей компанией мы ездили на гору «Пильная», взяли в аренду пару теплых домиков и с удовольствием провели время!

Кто-то катался на лыжах, сноубордах, бубликах, гулял, а кто-то готовил мясо и обеспечивал хорошим настроением всю команду!

С наступающим!

Новогодний корпоратив

Рубрика: Новости | Дата: 2016-12-27

АС «Ревизор» теперь производит непрерывную проверку фильтрации

Доброго времени суток!

Роскомнадзор вновь подкидывает работы и заставляет некоторых пользователей понервничать.

У нас есть страница-заглушки: http://denypage.ru. Давненько, когда модуль DNS-фильтрации стал необходим для прохождения проверок ревизора без пропусков, мы приняли довольно тяжелое решение о том, чтобы при обновлении включить этот модуль.

Наша цель была в том, чтобы зафильтровать ресурсы, часто меняющие IP хоть как-то (резолвер этого не гарантирует), не дожидаясь долгой человеческой реакции большого числа людей, чтобы наши дорогие клиенты не получили штрафы.

Взглянули на нагрузку, которую она создаёт и в принципе ничего особо страшного не было. Доросла она где-то до 100-400 тысяч запросов в час и это никого не беспокоило.

После обновления АС «Ревизор», 21 декабря — нагрузка на страницу выросла до 7 000 000 запросов в час, и это только те, которые достучались до контейнера с nginx, обслуживающим эту страницу. Многие запросы стали заканчиваться ошибками HTTP/502 Gateway Timeout, которые фиксируются ревизором. К штрафу это, скорее всего, не приведёт, т.к. ответа от запрещенного ресурса не было, но из РЧЦ к Вам придут с вопросом: «а почему у Вас нет страницы-заглушки?».

Чтобы фильтрация работала как положено нужно настроить собственную страницу заглушку.

Настройка заглушки, варианты:

На отдельном сервере

Чтобы АС «Ревизор» её успешно распознавал, следуйте инструкции (имеющиеся веб-сервера использовать не рекомендуется, потому что инструкция требует выделить отдельный сервер, занимающийся ТОЛЬКО страницей-заглушкой, в противном случае отправленные с помощью DNS-спуфинга редиректы не будут обработаны этим сервером):

https://github.com/carbonsoft/reductor_blockpages

После настройки страницы надо указать в двух местах адрес, доступный всем абонентам и АС «Ревизор»:

Menu -> Настройка алгоритма фильтрации -> URL страницы-заглушки.
Menu -> Настройка алгоритма фильтрации -> IP для DNS-ответов.

На сервере с Carbon Reductor

Не рекомендуется при большой нагрузке. (1000+ абонентов/несколько ревизоров).

Включить можно в «menu -> Настройка алгоритма фильтрации -> Заглушка на этом сервере».

После настройки страницы надо указать в двух местах адрес, доступный всем абонентам и АС Ревизор:

Menu -> Настройка алгоритма фильтрации -> URL страницы-заглушки.
Menu -> Настройка алгоритма фильтрации -> IP для DNS-ответов.

Почему нельзя использовать нашу страницу заглушку в продакшене

Она изначально предназначена исключительно для целей тестирования работоспособности продукта во время демо-периода, а также в являлась временным решением многомесячной давности.
Канал до неё имеет ограничение в 100 Мбит/с, ресурсы процессора тоже имеют свои ограничения. Мы не можем гарантировать её 100% доступность.
Также мы не можем гарантировать то, что ревизор не опознает недоступность нашей страницы-заглушки как доступность блокируемого сайта.

В конце концов, отправлять трафик абонентов и ревизора на нашу заглушку — лишняя нагрузка аплинков, да и интернет штука далекая от 100% надёжности. В общем, единственный способ правильно решить проблему — разворачивать заглушку на отдельном сервере.

Если Вы пропустили статью о том, что обязательно нужно настроить, чтобы не иметь пропусков — пройдитесь по ней.

Рубрика: Carbon Reductor DPI, Новости | Дата: 2016-12-23