Ограничение поддержки встроенного в Carbon Billing Softrouter 4 Carbon Reductor

Ограничение поддержки встроенного в Carbon Billing Softrouter 4 Carbon Reductor

Довольно долго мы наблюдаем не очень хорошую ситуацию с серверами Carbon Billing Softrouter 4 с используемым встроенным Carbon Reductor и сообщаем, что в скором времени мы будем вынуждены прекратить поддержку этой ветки продукта. Собственно эта статья о причинах почему мы это делаем и о том, что делать тем, кто сейчас пользуется Carbon Reductor на этих маршрутизаторах.

Скажем заранее: пользующихся версией Carbon Reductor для CentOS 6  можно поздравить с тем, что их эти проблемы не беспокоят, а уже перешедшим на неё мы очень и очень благодарны.

Проблемы

Первая проблема в том, что это разные продукты с несколько разными задачами, которые при этом сильно зависят друг от друга и одновременно друг другу мешают. Иными словами, задача Carbon Reductor — фильтровать трафик, никак не влияя на качество предоставляемой абоненту связи. Само собой, находясь на сервере, через который абонент идёт в интернет такое невозможно, задержки растут. В случае, если сервер Carbon Reductor обрабатывает зеркало трафика это неважно — оригинальный трафик идёт точно так же как он шёл, если бы Carbon Reductor не было, нагрузка мозгов свитчей от зеркала трафика возрастает незначительно.

Второй проблема является скорее следствием первой. Поскольку проекты сильно зависят друг от друга — нельзя обновлять их по отдельности. А так уж сложилось, что большая часть пользователей маршрутизаторов обновлять их не очень любит, а регулярно и автоматически (2-3 раза в неделю) тем более, ибо это простои в доступе в сеть, а в случае с Billing Softrouter 4, помимо части отвечающей за маршрутизацию обновляется и биллинг. Мы уверены, все системные администраторы считают, что не стоит лишний раз трогать то, что замечательно работает и разделяем это мнение. Однако Carbon Reductor — довольно динамичный проект, новые версии выходят практически каждый день (обычно даже несколько), поскольку практически каждый день меняется наш неидеальный окружающий мир и мы стремимся не отставать от него. Для корректной работы ему необходимо обновляться хотя бы два раза в неделю.

Третья проблема больше внутренняя — сложность в использовании новых технологий в столь стабилизированной платформе. То, что делается в версии для CentOS 6 за час, практически одной строчкой в версии для Carbon Billing Softrouter 4 и Carbon AS 4 иногда приходится делать очень нетривиальным способом. Более того, эти версии довольно отличаются между собой, поэтому Carbon Reductor встроенный в Carbon Billing Softrouter 4 довольно сильно отстаёт от CentOS 6.

Четвёртая причина — в ядре Linux, используемом в Carbon Billing Softrouter 4 имеется небольшая, но неприятная проблема, возникающая очень редко (может не возникать вообще, может возникать раз в полгода), связанная с зацикливанием пакетов при очень активном использовании цели REJECT в iptables, приводящем к зависанию серверов. В последнее время такие случаи участились из-за проведения проверок роскомнадзора (в это время происходит довольно большое число REJECT’ов при срабатывании блокировок). Нам бы не хотелось, чтобы это беспокоило наших дорогих клиентов и их абонентов. До того как появился Carbon Reductor нам удалось сократить частоту появления этой проблемы до двух раз в год на всех клиентов, так что после переезда она вас вряд ли будет беспокоить. В версии ядра, используемой в CentOS этой проблемы уже нет.

Пятая причина — за последний год практически все уже самостоятельно переехали на CentOS 6 ради новых фишек, версию для Carbon Billing Softrouter 4 сейчас используют всего 18 клиентов, сопровождать её дальше становится уже просто не то чтобы невыгодно, скорее неразумно.

Что будет дальше?

Главное то, что мы хотим чтобы у всех наших клиентов был положительный опыт работы с продуктом и отсутствие проблем с роскомнадзором, но дать его в рамках версии для Carbon Billing Softrouter 4 мы далее не можем. Это хорошие и проверенные временем маршрутизаторы, но для фильтрации стоит использовать отдельное решение. Мы уже выпустили версии в которых можно легко (буквально две опции, галочка и IP адрес) настроить зеркалирование трафика с маршрутизатора на отдельный сервер Carbon Reductor и таким образом переехать на него буквально за пару часов (разве что может потребоваться добавить ещё одну сетевую карту под зеркало, чтобы не нагружать сетёвку для абонентов).

Никаких заморочек с лицензиями и так далее мы устраивать не будем, вам не нужно будет даже ничего переоформлять (главное отписаться с техническую поддержку, чтобы мы помогли с переездом на новый сервер и затем с обоих сторон подтвердили что новый сервер работает правильно). Пользователям SLA сопровождение и аутсорсинг мы бесплатно поможем настроить аппаратное обеспечение и подтюнить сетевой стэк нового сервера для максимальной производительности захвата трафика и фильтрации.

План прекращения поддержки

Само собой мы предоставим достаточно времени чтобы переехать и прекратим поддержку не завтра и не через месяц. Блокировать сервера и саботировать их работу мы само собой не будем, нам это ни к чему. Всё работает так же как и сейчас.

  • 27 мая 2015 — первое оповещение об этом и прекращение новых продаж лицензий на Carbon Reductor, встроенный в Carbon Billing Softrouter 4. Начало помощи с переездом. До 1 июня 2015 мы постараемся дополнительно уведомить об этом клиентов с встроенным Carbon Reductor персонально.
  • 1 августа 2015 — последний полный бэкпорт с версии для CentOS. Без этого вносить мелкие исправления в оставшиеся 4 месяца будет очень сложно из-за большой разницы между ветками. После этого критические исправления в проект вносятся только по заявкам в хелпдеске, с рекомендацией скорейшего переезда на CentOS. На самом деле мы очень надеемся, что таких ситуаций вообще не будет и все отнесутся с пониманием и ещё к началу июля дружно закончат с переездом.
  • 1 октября 2015 — после этого какие-либо, даже критические исправления в проект не вносятся даже при наличии жалоб, он остаётся в состоянии «как есть», на любые жалобы ответом будет «нужно переехать на отдельный сервер с Carbon Reductor установленным на CentOS 6″.

Насчёт отдельного сервера — для 100-2000 абонентов хватит практически любого 64битного железа не более чем пятилетней давности, в которое воткнуты две нормальные внешние сетёвки от Intel (для доступа в сеть ладно, так и быть realtek хватит), цена выйдет приблизительно в 25-30 тысяч рублей. В скором времени мы подготовим более качественные рекомендации по железу с конкретными примерами.

И самое главное — мы обязательно всем поможем с переездом!

Релиз Carbon Reductor 5.5.1

Релиз Carbon Reductor 5.5.1

Что нового?

В этом релизе вас порадует поддержка нескольких списков для разных сетей, улучшение файрвола, белых списков, нашей системы мониторинга, система анализа возможностей настроек оборудования для повышения производительности обработки пакетов и море других приятных мелочей!

Читать далее

Релиз Carbon Billing 5.9.0

Релиз Carbon Billing 5.9.0

Добрый день! Спешим вас порадовать свежим обновлением Carbon Billing 5. В этом релизе мы поработали над производительностью, отчетами для директора и добавили новые платежные системы. Полный список изменений представлен ниже. Читать далее

Релиз Carbon XGE Router 5.13.1

Релиз Carbon XGE Router 5.13.1

Снова здравствуйте! Готово важное предпраздничное обновление Carbon XGE Router! На первый взгляд нового не так много, однако, обновление довольно масштабное. Итак, вот, что появилось в XGE:

1. Мы собрали, протестировали и запустили в эксплуатацию новое ядро linux 2.6.32-504 благодаря этому увеличен список поддерживаемого оборудования (в частности поддерживаемые 10Gb сетевые карты).

2. Произвели слияние основной ветки разработки со стабильной devel-веткой. Это повысило надежность работы XGE и SoftRouter’a и добавило возможность автоматического обновления на последние, стабильные версии. Теперь можно спокойно обновляться, не боясь внезапных проблем.

Кстати, если вы еще не слышали про XGE Router, то можете зайти на наш сайт и прочитать — //www.carbonsoft.ru/products/carbon-as-4

Пользуясь случаем, хотим от лица всей компании поздравить всех женщин с наступающим праздником! Спасибо, что вы с нами! Приятных выходных.

Релиз Carbon Reductor 5.4.1

Релиз Carbon Reductor 5.4.1

Итак, выпущен Carbon Reductor 5.4.1.

Основной целью этого релиза стало улучшение качества технической поддержки, повышение скорости реакции на проблемы и снижение информационного мусора, который отвлекает от реально полезных задач. Что же нового появилось в Carbon Reductor?

Новая система мониторинга

Последние месяцы мы мучились из-за одной проблемы — клиентов с аутсорсингом стало слишком много, чтобы сходу можно было сказать как у них дела.

Старая система уведомлений технической поддержки по e-mail, хорошо подходила, когда пользователей было 10, 50, 100. Но она не позволяла отследить то, что у сервера пропала сеть, с её помощью мы могли узнать только то, что у сервера что-то сломалось, что мы можем отследить. Она не позволяла выявить проблемы в духе отключенного (по какой-либо причине) crond, из-за которого не выгружались списки и при этом не вызывалась диагностика, призванная отследить это.

Теперь сервера пользователей, выбравших подписки уровня сопровождение и аутсорсинг, установивших Carbon Reductor на отдельный сервер с CentOS 6 отправляют отчёт не только об ошибках, а в целом о состоянии сервера, в том числе и о том, что ему хорошо, на наш сервер. Эта функция стала доступна при обновлении.

Благодаря этому у нас появилась цельная «картина мира», с её помощью можно быстро реагировать на проблемы, не ожидая «толчка» со стороны клиентов, быстро выяснять глобальная проблема или локальная, как давно она имеет место и так далее. Выглядит это вот так:

Старая система мониторинга ещё работает, но скорее всего будет упразднена в следующих релизах. У новой системы улучшен подход к уведомлениям — она уведомляет только об изменениях состояния списка пользователей.

Ещё это позволяет нам следить за тем, как своевременно и успешно обновляются сервера наших дорогих клиентов. Около 30% проблем, которые когда либо возникали — были связаны с какими либо особенностями серверов, влиявшими на обновление, так что установленная версия — тоже очень важный аспект, который нужно отслеживать, чтобы обеспечивать гарантированно хорошую работу серверов.

Списки 2.1: новые выгрузка и разбор

10 марта Роскомнадзор сменил формат списка на 2.1, после чего случилась проблема с выгрузками. Вкратце — python-suds, используемый для получения выгрузок падал при получении ответа с zip-архивом с ошибкой. Решение было найдено и появилось у всех клиентов с версией для CentOS 6 в течение двух часов. Также исправление внесено в последние дистрибутивы Carbon Billing 4 и Carbon AS 4, которые выложены на сайте. Пользователям встроенного в них Carbon Reductor необходимо срочно обновиться.

Улучшена работа белых списков

Имелась небольшая проблема с белыми списками для исключения из фильтрации доменов целиком, но оставляя заблокированными конкретные страницы этого домена. Она появилась в ходе внедрения поддержки нового формата выгрузок, но благодаря своевременному фидбэку быстро была исправлена.

Критические обновления проверяются раз в час, в том числе и по выходным

Теперь мы не только быстро узнаём о массовых критических проблемах, благодаря системе мониторинга, но и быстро реагируем на них — если раньше критические обновления проверялись только в 7 утра в понедельник, вторник, среду и четверг, теперь они проверяются каждый час. Таким образом теперь хотфиксы — действительно горячие.

В веб интерфейсе появился раздел «сетевые карты»

Теперь в веб-интерфейсе, не заглядывая в терминал можно увидеть статистику сетевых карт, в частности потери пакетов на них, если они имеют место.

 

Возможность легко вынести Carbon Reductor на отдельный сервер

С сегодняшнего дня все, кто использует Carbon Billing 4 могут спокойно перенести Reductor на отдельный сервер! В меню Carbon Billing 4 в настройках Carbon Reductor можно поставить галочку «Carbon Reductor установлен на другом сервере», ввести IP адрес на который слать зеркало трафика и сделать мягкую перезагрузку, если с настройкой зеркала трафика на коммутаторе возникают проблемы. Всё что остаётся сделать — скопировать сертификат и настроить сеть и Carbon Reductor на новом сервере с CentOS 6 — обычно это занимает около 10 минут.

Релиз Carbon Billing 5.7.0

Релиз Carbon Billing 5.7.0

Пришло время рассказать вам о новой версии Carbon Billing 5.7.0 Наши продукты, последнее время обновляются очень часто, вы не заметили? Спасибо нашим разработчиком за такую оперативность и преданность делу. Каждый день новый биллинг становится все лучше, количество ошибок уменьшается, без того колоссальное количество возможностей и фич увеличивается! Давайте посмотрим, что нового в этом релизе:

Читать далее

Релиз Carbon Reductor 5.3.1

Релиз Carbon Reductor 5.3.1

Всем привет! Вот уже и февраль заканчивается, время очень быстро летит. У нас много изменений! Новые релизы, новые клиенты и друзья, новая планка качества. Сегодня мы выпускаем новую версию Carbon Reductor — фильтр трафика по спискам Роскомнадзора и Минюста. Читать далее

Релиз Carbon Reductor 5.2.1

Релиз Carbon Reductor 5.2.1

Здравствуйте! Февраль богат на релизы, мы работаем не покладая рук с большим энтузиазмом! Сегодня представляем вам новую версию фильтра трафика Carbon Reductor! В прошлом посте мы хвастались результатами внедрения за январь, теперь пришло время рассказать о нововведениях и исправлениях!

Что нового?

1. Появились средства обнаружения и исправления проблем с сетевыми картами, что особенно хорошо.

2. Мы улучшили процесс обработки URL — последняя версия Редуктора успешно проходит проверки Роскомнадзора!

3. Появилась поддержка использования Крипто-Про для подписи сертификата с помощью USB-токена включенного в сервера.

4. Во многие скрипты добавлена поддержка использования хуков для переопределния поведения, а также несколько примеров хуков, располагающихся в папке /usr/local/Reductor/contrib/examples/

5. Теперь ошибки, которые выявила диагностика выводятся в веб-интерфейсе, прямо под шапкой. Можно посмотреть на скриншоте ниже – ни одна проблема точно не будет упущена!

6. Если на сервере по какой-либо причине остановлен crond — это тоже будет отображаться в веб-интерфейсе как ошибка.

7. Опции «фильтровать https по ip» и «Использовать nslookup для определения IP адреса» включены по умолчанию, потому что Роскомнадзор ругался.

8. Исправили баг – теперь при обновлении веб-интерфейса он перезапускается, а раньше продолжала работать предыдущая версия.

Помимо этого, улучшена стабильность и исправлены мелкие ошибки, а еще дополнена документация.

Надеемся, что вы довольны. На забывайте следить за нами в социальных сетях и оставлять отзывы. И еще – у Редуктора есть свой собственный твиттер, вся информация об изменениях, исправлениях и новостях выкладываются там.
До встречи!

 

Релиз Carbon XGE Router 5.12.1

Релиз Carbon XGE Router 5.12.1

Мы продолжаем работать над продуктами Carbon Soft и сегодня представляем вам новую версию Carbon XGE Router 5.12.1. Обновлений не так много, но все же считаем нужным о них рассказать.

Итак, в новой версии:

Добавлена веб-авторизация

Еще добавлена возможность резервирования каналов.

На этом все! Небольшое, но полезное обновление. Ждите следующих анонсов и новых релизов.
Читать далее

Среди наших клиентов