Релиз Carbon Reductor 5.9.3

Выход версии 5.9.3 прошёл довольно быстро, тем не менее изменений с версии 5.8 было сделано очень много и ниже мы их опишем.

Новая обработка списков

Мы перешли на python в этой части и не жалеем по нескольким причинам:

  • nosetests позволяют гораздо легче тестировать код
  • код стал значительно чище
  • предыдущая версия на bash становилась всё менее и менее понятной с каждой новой «фишкой»

В результате новая версия обработки сократила число адресов, добавленных в базу зря (чем меньше адресов добавлено, тем выше производительность поиска по ней).

В бонус получили более правильную логику работы с кириллицей и прочими своеобразными URL’ами.

HTTP URL-матчинг модуль

После того, как мы сделали первую версию обработки списков, остро всплыл один недостаток алгоритма матчинга URL, который раньше затыкался (не всегда удачно) на этапе обработки списков. Мы решили поступить правильно и навести в коде модуля ядра «красоту» и переработать его.

Использование cmocka

В самом начале, перед рефакторингом мы поняли, что наш старый костыль для проведения чего-то похожего на Unit-тесты модуля фильтрации (его часть можно использовать в userspace для тестов) ужасен и неудобен. Для перехода на эту замечательную либу для тестирования понадобилось всего 2-3 часа (включая хоть какую-то дружбу тестов с инструментами для разработки команды). Дальше расширить покрытие тестами было уже значительно легче, а с хорошими тестами и рефакторить код получалось куда проще.

Производительность

Если чистая производительность (без учёта влияния нагрузки на сетёвки и прохода по всему сетевому стэку) алгоритма предыдущей версии составляла около 800000 пакетов/сек на 1 ядро процессора ≈2.5-3GHz, то сейчас нам удалось выжать 1900000-2100000 пакетов.

Решение проблемы с //

Имеется такая дурацкая бага:

http://test.url/get//request

часть браузеров приводит к виду

http://test.url/get/request

а часть — нет. Эту проблему имеют многие другие DPI (провели небольшой опрос среди коллег, абсолютно все могут обходить заблокированные HTTP-URL просто добавив второй / в URL). В общем для Carbon Reductor теперь нет разницы, какое число слэшей поставлено в запросе.

В качестве бонуса — это сократило объём используемой Carbon Reductor памяти.

Чистка кода

Перед этой глобальной доработкой мы решили воспользоваться новым опытом, полученным за время разработки Carbon Reductor и привести в порядок весь код проекта. Он стал значительно понятнее и короче аж на 30%. Надеемся, что это позволит нам быстрее двигаться вперёд в будущем!

Исправления багов

Отображение заблокированных адресов в вебе

После добавления новой обработки списков, файл со всеми обработанными URL (http.load) содержит адреса в разных кодировках, из-за чего пока что имеется проблема с его отображением в вебке. В качестве временного workaround, по умолчанию теперь в списках отображается необработанный список Роскомнадзора — rkn.list.

Диагностика

Теперь диагностика проверяет 3 дополнительных источника проблем:

  • неполная загрузка URL в ядро (с версии 5.9.3 — ещё и исправляет)
  • старая версия веб-интерфейса (при неудачном стечении обстоятельств могла вызвать проблему со стартом самого reductor и не работала фильтрация)
  • запуск более чем 1го экземпляра crond (обычно из-за того, что «pid-файлы лгут»). Автоматически это исправлять мы побоялись, но уведомление администратору придёт. В целом это довольно серьёзная ошибка, приводящая к дублированию периодических задач.

Резолв HTTPS

Значительно снижена нагрузка на CPU при запуске резолва, немного ускорена её работа (раньше полный резолв на пустой базе занимал около 1м 30с, сейчас около 55 секунд), а также немного выпрямлен код всей этой подсистемы.

Чего ждать в следующей версии

Двойной буфер для загрузки URL в ядро

Сама она уже написана, лежит в отдельной экспериментальной ветке, осталось только корректно добавить блокировки, но сейчас имеется большое число более приоритетных задач, так что в релизе появится ориентировочно в первой половине ноября.

Без блокировок вероятны (пусть и не столь сильно) kernel panic при переключении. Нам была бы очень полезна помощь в обкатке этой версии под большой нагрузкой.

Оптимизация скорости обработки списков

В версии 5.9.1 мы добились скорости около 1.3 сек для 15000 необработанных URL. К сожалению, реальный мир заставил исправлять ошибки и в 5.9.3 скорость упала почти до 8 секунд. Мы поработаем над этим.


На этом все, всем спасибо :)

 

Релиз Carbon Billing 4.52.117

Всем доброго времени суток! Вы не поверите, но у нас метель в прямом смысле этого слова. На календаре октябрь месяц, а снега выпало уже довольно много. Самое интересное, что в течение дня погода может меняться несколько раз. С яркого осеннего солнышка на метель с жутким зимним ветром. Ну да ладно, давайте по сути :) В этом месяце мы хотим рассказать о последних доработках в Carbon Billing 4. Поехали! Читать далее

Профилактические работы

Доброго времени суток. Сегодня наша компания проводит профилактические работы. Helpdesk может быть временно недоступен, по всем вопросам можете звонить по телефонам:

Время окончания работ — 15:00 по МСК

Последние отзывы о Carbon Billing 5

Здравствуйте! Давно не публиковали отзывов от клиентов. Вчера задали несколько вопросов по работе биллинга и взаимодействию с нашей компанией! Ниже опубликуем текстовый вариант :) Ознакомьтесь!

Своим мнение с нами поделилась компания ООО «АЛЬФА-Телеком». Вот, что они думают:

1. Подскажите, почему выбрали именно наш продукт? Что нравится или не нравится?

Доступная цена, продукт конечно сыроват, но не смотря на это, его постоянно дорабатывают и по сравнению с другими биллинговыми системами, цена на ваш продукт более чем приемлемая.

2. Как проходит работа с нами после покупки? Техническая поддержка, обновления?

Техническая поддержка работает хорошо

3. У вас есть идеи по улучшению продукта?

Хотелось бы видеть в дополнительных функциях список оборудования , что бы были сделаны шаблоны из них можно было подходящие нам оборудование


Следующий отзыв от ИП Бреславская Ирина Анатольевна:

1. Подскажите, почему выбрали именно наш продукт? Что нравится или не нравится?

Понравилась простота разворачивания, поставили и не заморачивались, легкий быстрый старт, удобный интерфейс . Не нравится, что меняется база данных в некоторых функциях, хотелось бы прежние функции из старых версий, что бы в личном кабинете абонента указывалось : «Счета выставлены автоматически, оплату необходимо внести до …»

2. Как проходит работа с нами после покупки? Техническая поддержка, обновления?

Нравится, что поддержка быстро откликается на критичные заявки, но, к сожалению, есть одна заявка которая висит очень долго, хотелось бы поскорее ее закрыть (заявка в очереди разработчика)

3. У вас есть идеи по улучшению продукта?

Все отлично, все рабочие вопросы решаются в момент их поступления


ИП Хомяков Юрий Николаевич

1. Подскажите, почему выбрали именно наш продукт? Что нравится или не нравится?

Нравится то что он работает из коробки.

2. Как проходит работа с нами после покупки? Техническая поддержка, обновления?

К технической поддержке нареканий нет, единственное, что провел вчера обновления и пропал интернет у клиентов, сейчас разбираемся в чем дело.

3. У вас есть идеи по улучшению продукта?

Вообще идеи по улучшению продукта есть, но конкретно сейчас не могу на данный вопрос ответить.


ИП Слесарев Андрей Анатольевич

1. Подскажите, почему выбрали именно наш продукт? Что нравится или не нравится?

Когда выбирал честно говоря не знал что из себя представляет продукт, выбрал только по причине того, что не надо было сразу вкладывать много денег , не высокая абон.плата Ну и второй критерий —  работает из коробки

2. Как проходит работа с нами после покупки? Техническая поддержка, обновления?

Конечно не все гладко, но вполне достойно по пятибалльной шкале на 4 из 5

3. У вас есть идеи по улучшению продукта?

Все идеи пишу в техническую поддержку, они вполне достойно их осуществляют


 

ООО»ТелекомИнвест» г.Белгород

1. Подскажите, почему выбрали именно наш продукт? Что нравится или не нравится?

Администратор так решил, по его выбору продукт приобрели

2. Как проходит работа с нами после покупки? Техническая поддержка, обновления?

Вроде все нормально, все вопросы обсудили на процессе интеграции

3. У вас есть идеи по улучшению продукта?

Надо сделать реализацию хотспота с авторизацией по SMS


Айпибум-Телеком

1. Подскажите, почему выбрали именно наш продукт? Что нравится или не нравится?

Выбрал ваше решение, потому что устраивает цена. Не понравилась интеграция, заняла у нас она пол года.

2. Как проходит работа с нами после покупки? Техническая поддержка, обновления?

После покупки все идет нормально, единственное висит одна заявка в технической поддержки уже более двух месяцев, нам бы решить ее поскорее. Иногда, бывает, что техническая поддержка не так быстро реагирует на заявки.

3. У вас есть идеи по улучшению продукта?

Идей по улучшению продукта нет, все и так хорошо.


Асбестовский техноторговый центр Гарант

1. Подскажите, почему выбрали именно наш продукт? Что нравится или не нравится?

Выбрал продукт по отзывам, решил попробовать, масштабность самого биллинга меня привлекла. Не нравится техническая поддержка, все время когда им звоню они заняты.

2. Как проходит работа с нами после покупки? Техническая поддержка, обновления?

Биллинг мы еще интегрировать до конца, не успели

3. У вас есть идеи по улучшению продукта?

Идеи по улучшению продукта я напишу в письменном виде на вашу почту sales@carbonsoft.ru


Всем компаниям спасибо за обратную связь и советы! Кстати, еще есть один отзыв о нашем фильтре трафика по спискам Роскомнадзора и Минюста Carbon Reductor:

С принятием новых законов перед провайдерами стала проблема организации блокировки сайтов по спискам Роскомнадзора и Минюста. Carbon Reductor отличный вариант. Это законченное автоматическое решение — отточенное, стабильное и гибкое в настройках. Обслуживание и сопровождение Carbon Reductor не требует особых усилий, а в экстренных случаях поддерржка работает очень быстро и качественно. Приятной особенностью является наличие Web-интерфейса и возможность мониторинга и сбора статистики.Агентство-Е

 

 

 

Блокировки сайтов — к чему стоит готовится и как обезопасить себя?

Здравствуйте, друзья! Решили поделиться с вами успехами по внедрению нашего замечательного фильтра трафика Carbon Reductor, а еще обсудить актуальные вопросы, поговорить о наболевшем. Начнем по порядку.

За 2 месяца Carbon Reductor’ом заинтересовались более 60 компаний. Мы растем и в планах сделать полную карту установок – она впечатляет! Разумеется, рост дается не легко, мы постоянно улучшаем продукт и вводим дополнительные фишки, которых нет у конкурентов. Сначала поведаем последние новости, потом расскажем еще немного про продукт. Читать далее

Релиз Carbon Reductor 5.8.1

Регистрация и активация

Теперь регистрация и активация производятся через хелпдеск. В случае неудачи — на ближайший месяц оставлен fallback режим. Это позволит нам продолжить развивать систему мониторинга и добавить много других удобных возможностей.
Читать далее

CLrO1KQUAAAnPDg

Релиз Carbon XGE 5.18

Уже готова к выходу новая версия XGE 5.18, мы сделали для него очень классный логотип :) XGE обзавелся новыми фишками, в частности xgesh теперь чувствует на много лучше, теперь он разбит на несколько файлов и это прекрасно! Читать далее

browser2

Релиз Carbon Reductor 5.7.5

Дождливое лето никак нас не смутило, у нас появилось больше времени на разработку, и мы выпускаем новую версию Carbon Reductor даже чуть раньше срока, потому как накопилось довольно много фишек. Надеемся, что мы сможем держать этот темп и дальше. Читать далее

Среди наших клиентов

Клиенты Carbon Soft