Релиз Carbon Reductor 6.2.0

Релиз Carbon Reductor 6.2.0

Итак, выпускаем версию чуть раньше времени, потому что фишек накопилось много, более того, в devel билде лежат серьёзные доработки по снижению нагрузки в файрволе, надо уже на них переключаться, а это выкатить в master.

Резолвер

Попробовали решить проблему появляющихся в отчётах ревизора проскальзывающих HTTPS-ссылок по ресурсам, периодически меняющимся IP адресам.

  • (bug) резолвер https забивал /tmp/ временными файлами.
  • (bug) больше не резолвятся домены, исключённые из реестра, но оставшиеся в кэше (позже сделаем удаление их из кэша по истечении ttl записи)
  • (feature) Теперь резолвер сохраняет свои предыдущие результаты, у каждого ip отдельный ttl, по умолчанию 480 минут, но можно передать параметром, например IP_TTL=400 (или 4000). Максимальный ttl записи уменьшен до 60 минут.
  • (feature) поддерживаются белые списки для резолва (our.whitehttpslist)
  • (improve) предупреждение про длительную работу резолвера
  • (improve) более понятное логирование использования кэша резолва при рестарте, раньше часто вводило в заблуждение
  • (dev) улучшено логирование резолвера, можно запустить RESOLVER_DEBUG=1 ./reload_ip.sh
  • (dev) общий shell-код обработки списков ip и url вынесен в библиотеку
  • (dev) Добавлен хук обновления для «миграции» кэша резолва в новый формат

P.S: В ходе тестов выяснилось, что новый концепт резолвера пока не приносит максимальную пользу из-за не совсем оптимальных значений TTL для записей и IP. Пока экспериментируем, предположительно в течении двух-трёх дней выпустим обновление, где значения по умолчанию будут наиболее подходящими для реального мира.

Утилиты и производительность

  • (improve) скрипт link_rx_speed теперь поддерживает vlan-интерфейсы
  • (improve) скрипт support_info лучше разбирает структуру бриджей при работе в виртуальных машинах (отличается содержимое /sys/..)
  • (feature) добавлен скрипт для поиска записей по URL / IP в архиве выгрузок реестра, очень удобно разбираться в ситуациях в духе «а должно оно вообще блокироваться?»
  • (feature) автоматическая настройка rps теперь поддерживает Vlan и QinQ-Vlan интерфейсы (пока что сомневаемся, стоит ли его включать для самих сетёвок, в случае, если у них больше одной очереди)

Отказоустойчивость, минимизация простоев и улучшение результатов проверок ревизором

  • (bug) Выгрузки реестра теперь выполняются сперва с опцией cache=None для suds.client.Client, затем без. На части серверов без этой опции выгрузки не проходили по таймауту.
  • (bug) Добавлена случайная задержка от 0 до 300 секунд в начале критического обновления, чтобы снизить «хабраэффект» на сервер обновлений.
  • (feature) в диагностику добавлена проверка модуля на зависание
  • (feature) изменена логика рестарта и обновления carbon reductor. В случае, если настройки ipset’ов и контрольные суммы модулей ядра не изменились (это бывает довольно редко), Carbon Reductor не прерывает работу в процессе обновления и рестарта. На всякий случай имеется force-флаг: /etc/init.d/reductor restart —force. Повторный старт не приводит к ошибкам. Модуль интеграции с биллингом тоже поддерживает мягкий рестарт.
  • (feature) увеличена скорость быстрой перезаливки ipset (при ≈4000 ip с ≈0.7сек => ≈0.02сек) за счёт использования ipset swap.
  • (feature) в случае, если sys.kernel.panic = 0 при старте выставляем его в 100, чтобы сервер перезагружался в случае kernel panic.
  • (logic) Перенесли штатное обновление carbon reductor на 9 утра из-за вероятности пересечения с проверкой ревизора, полезно для клиентов без резервирования Carbon Reductor

P.S: в 6.2.2. будет доступна опция «хардкорная оптимизация трафика», которая отрезает весь лишний трафик (только с сетёвок с зеркалом, находящихся в бриджах, по аналогии с NOTRACK) ещё в raw PREROUTING. Хуки, добавляющие правила в mangle PREROUTING для того, чтобы открыть какой-либо порт на редукторе станут ненужными (filter INPUT нужно будет оставить). Наработки уже есть, осталось только навести лоск.

P.P.S: пустой ip.load не опасная штука, ipset с адресами из этого файла в этот момент заполнен и используется. В скором времени мы придумаем что сделать, чтобы он не смущал в течении всего процесса обновления кэша резолва (в среднем ≈17 секунд).

Обработка списков и разбор реестра

Тут мелочи, но они значительно улучшили результаты проверок ревизором.

  • (bug) В случае, если запись в реестре содержит только домен и ip — блокируем все URL на этом домене по http и IP адрес по https + добавляем домен в список резолвящихся.
  • (bug) исправлена (опять?!) логика с точками в конце GET запроса.
  • (feature) На основе wget сделали дополнительную обработку URL содержащих экранированные символы или кириллицу, перед отправкой в ядро.

Прочее

  • (bug) Удаление дефолтного конфига nginx при рестарте во избежание конфликта с конфигом веб-интерфейса reductor после обновления nginx
  • (bug) Теперь в отчётах по выгрузкам отображаются 60 последних дат, до этого из-за ротирования логов показывалось 0-3.
  • (improve) увеличены начальные задержки между обращениями к серверу РКН (начинаем с 30 секунд, раньше с 10)
  • (improve) подобраны наиболее оптимальные значения hashsize и maxelem для всех ipset.
  • (dev) Адрес дефолтной заглушки переехал (у тех у кого была прописана — поменялся автоматически при обновлении) с helpdesk.carbonsoft.ru/deny на https://deny.carbonsoft.ru/. Решили оставить шуточку про «может лучше посмотреть котиков?» в качестве дополнительной мотивации использовать собственную заглушку — выглядит солиднее, да и меньше канал забиваться будет.

Отчет по внедрениям за февраль!

Отчет по внедрениям за февраль!

Здравствуйте! Февраль стал для нас рекордным месяцем по количеству внедрений Carbon Reductor. Вот список компаний, которые к нам присоединились!

Carbon Reductor

1. ТверьЛайн
2. Кубань-Инет
3. ИП Кулинич
4. МБ-Самара
5. ИП Емельянова
6. ИП Зеленецкий
7. Сигнал Сервис
8. Альтура
9. Волгасвязьсервис
10. ИП Иванов
11. Телеком Сервис
12. Связь Стандарт
13. Кордтелеком
14. ЧувашТелеТрейд
15. Посылторг
16. АйдоТелеком
17. ИнТелКом
18. ОАО ЖКХ г. Никольское
19. Аккорд Телеком
20. Газтел
21. Окей
22. Коннект
23. Ренет Ком
24. Раском
25. Сетевые технологии

Целых 25 компаний теперь могут жить спокойно, Роскомнадзор их не оштрафует :)


 

У Carbon Billing 5 тоже все неплохо

1. ПАО «Северский Трубный Завод»
2. ООО «БСТ»
3. ООО «НК-НЭТ»
4. ООО «Аванта Телеком»
5. ООО «СтройТелеком»
6. ООО «Викском»
7. ООО «айТех»
8. ООО «Транском»
9. ООО «Велес»


 

И по традиции публикуем 2 отзыва от наших клиентов

Алексей (ЗАО Электросвязь)

1. Как нашли информацию о нашем продукте?

Мы уже пользуемся вашим биллингом, я раньше видел Carbon Reductor на вашем сайте. Как только возникла проблема — решил попробовать. Другие компании не рассматривали.

1. Что нравится или не нравится?

Если говорить про Редуктор, то никаких замечаний нет. По поводу биллинга тоже все нравится, только никак не можем перейти на пятую версию, все в процессе еще.


Алексей (Открытые Системы)

1. Как нашли информацию о нашем продукте?

Это давно было, я не помню уже. Скорее всего поисковик, потому что до Carbon Reductor с вами не работал, хотя помню, что рассматривали ваш биллинг.

2. Почему выбрали нас?

Ну во-первых вы дали тестовый период. На меня вышел ваш разработчик Олег и устранил все замечания + за последние 2 года все баги, ошибки или изменения я ему присылаю и он помогает. Единственное, что в последнее время заставляют создавать тикеты в HelpDesk, а не в твиттере писать. По поводу Редуктора Олег мне всегда отвечал, Карбоном я очень доволен, реакцией на исправление программных ошибок и т.д.


Всем спасибо и удачи!

 

Carbon Billing 5.15.0

Carbon Billing 5.15.0

Всем привет! Вышла новая версия Carbon Billing 5.15.0. Как всегда, рассказываем вам о всех изменениях.

1. Обновлен протокол взаимодействия с QIWI
2. Добавлена защита от использование спец символов в названии NAS и платежных сертификатов.
3. Доработан мастер создания абонентов — появилась возможность выдавать snat ip из пула
4. Добавлена возможность автоматической синхронизации абонентов с Redback
5. Добавлена возможность настройки отдельных веб-интерфейсов админки. Теперь вы можете скрыть ненужные поля. Например, для менеджера можно скрыть IP-адрес абонента.
6. Повышена информативность ответа биллинга при запросе платежных систем работающих по протоколу OSMP
7. Добавлен функционал архивации проводок по счету если они старше 6 месяцев для предотвращения разрастания базы данных
8. В услугах VoIP добавлена привязка к оператору предоставляющего эту услугу
9. Повысили производительность биллинга за счет перехода с httpd на nginx+uwsgi
10. Исправлены ошибки о которых вы нам сообщали


 

На этом все. Пишите в комментариях ваши отзывы и предложения! Скачать и протестировать продукт можно по ссылке: //www.carbonsoft.ru/download/

График работы технической поддержки с 7 по 11 марта 2016 г.

График работы технической поддержки с 7 по 11 марта 2016 г.
День Время работы (МСК)
7 — 8 марта Выходной день
9 — 10 марта 8:00 — 16:00
11 марта 8:00 — 15:00

Круглосуточная поддержка по критичным вопросам оказывается в обычном режиме.
Также в случае форс-мажора на SLA1 вы можете дать интернет всем

Роскомнадзор добавил «Роскомсвободу» в список запрещенных ресурсов

Роскомнадзор добавил «Роскомсвободу» в список запрещенных ресурсов

Беспрецедентное событие случилось совсем недавно. Роскомнадзор – организация, занимающаяся борьбой с нелегальным и незаконным контентом, добавил сайт «Роскомсвобода» в список запрещенных сайтов. Связано это было с тем, что на портале присутствуют описания способов обхода всех возможных блокировок, которые использует Роскомнадзор в своей работе.

Данное решение было принято почти год назад – в апреле. Однако в силу вступило только недавно. Интересно, что в судебном решении причина, по которой заблокирован ресурс, не указана конкретно. Владельцы ресурса предпринимали попытку оспорить решение суда, однако этого сделать не удалось. Как сообщил представитель «Роскомсвободы» Артем Козлюк, решение об удалении страницы с информацией о способах обхода блокировок в данный момент обсуждается, само же решение суда и далее будет оспариваться, но уже в вышестоящих инстанциях.

Этот случай – прецедент. Судебная комиссия решила, что страница с информацией, содержащей способы обхода блокировок сайтов, может помощь злоумышленникам в экстремистской деятельности, хотя на практике все обстоит совершенно иначе.

В 2013 году в России начал действовать так называемый антипиратский закон, задачей которого являлась борьба с нелегальным и запрещенным контентом. В этом же году был создан ресурс «Роскомсвобода», который выступает категорически против методов работы «Роскомнадзора» и является одной из организаций, выступающих за свободный доступ к любой информации в Интернете. Существование ресурса стало возможным за счет благотворительности со стороны его посетителей и пользователей, количество которых достаточно большое.

Реестр запрещенных сайтов появился уже в 2012 году, и по мнению создателей, основной его задачей было оградить детей от вредной и запрещенной информации, которая может нанести непоправимый вред их развитию. Однако со временем формулировка изменилась, сам реестр расширился, и в него стали попадать совершенно разные сайты, например, предлагающие нелицензионный контент, пропагандирующие самоубийства, экстремизм и многое другое. И плоды работы «Роскомнадзора» можно легко оценить по данным 2014 года. В 2014 году 525 ресурсов были заблокированы организацией, а 3000 ресурсов по договоренностям с правообладателями или по решению суда удалили противоправную информацию и нелицензионный контент.

По поводу того, что «Роскомсвобода» была заблокирована, особенных переживаний нету, поскольку пользователи, посещающие данный ресурс, наверняка знают способы обхода ограничений «Роскомнадзора». К тому же стоит отметить, что уже были случаи удаления сайтов из реестра, как это случилось с «Википедией» совсем недавно. На этом ресурсе была размещена информация о способах изготовления некоторых видов наркотиков, и после решения суда о блокировке ресурса сайт данную информацию удалил, за что и был удален из реестра.

Реестр отечественного программного обеспечения расширится за счет облаков

Реестр отечественного программного обеспечения расширится за счет облаков

Облачные сервисы – это современный способ хранить любую информацию и оперативно получать к ней доступ. В России существует большое количество облачных сервисов, но только недавно появилась информация о том, что они могут быть включены в общий реестр всего отечественного ПО (до сих пор они в реестр не включены). Документ, в котором говорится о включении облачных сервисов отечественных разработчиков в реестр, подготавливается при помощи Фонда развития информационной демократии во главе с Ильей Массухом. Об этом было рассказано на форуме Cyber Security Forum 2016, в рамках которого глава Фонда также сообщил о том, что документ будет подготовлен в течение ближайших двух месяцев. В пресс-службе Министерства связи комментариев по данному вопросу получить не удалось.

В 2015 году Президентом России был подписан указ, который запрещает приобретение зарубежного программного обеспечения, если в стране имеется отечественный аналог. Для того, чтобы анализировать отечественный рынок ПО было проще, необходимо было создать реестр отечественного программного обеспечения, в котором и можно найти нужное ПО (или не найти). 16 ноября того же года премьер-министром РФ было подписано постановление, в котором прописаны правила ведения реестра, и в этих правилах говорится, что уполномоченным органом по данному вопросу является Минкомсвязи.

Закон 188-ФЗ, который был подписан Президентом, начал свою работу с начала 2016 года, и в данный момент в него включены всего 3 продукта отечественных разработчиков, более 80 претендентов на включение в реестр ждут своей очереди. Отдельным списком идут провайдеры, предлагающие услуги облачного хранения данных, поскольку ранее не планировалось включать их в реестр. Теперь же, как считает директор по развитию бизнеса «Сервионика» (компания, предлагающая услуги IT-аутсорсинга) Андрей Горемульта, после включения облачных сервисов в реестр должно существенно вырасти качество продуктов. Также это может поспособствовать тому, чтобы в стране создавали на базе отечественного продукта ведомственные провайдеры.

Количество разработчиков, как считает советник президента «Ай-Теко» Валерий Квон, которые могут подать заявку на регистрацию своих облачных сервисов, может достичь нескольких сотен. Это послужит дополнительным стимулом для развития, улучшения качества предлагаемых услуг и конкурентоспособности на международном рынке. Облачные сервисы – это очень перспективная сфера, и сейчас отмечается очень большой рост количества и качества таких предложений на рынке. Если добавить эти сервисы в реестр, это может повлечь за собой конкуренцию, которая всегда ведет к улучшению качества услуг, повысит инвестиции в отрасль, что повлечет за собой ее активное развитие.

График работы технической поддержки с 19 по 24 февраля 2016 г.

График работы технической поддержки с 19 по 24 февраля 2016 г.
День Время работы (МСК)
19 февраля 8:00 — 15:00
20 февраля 8:00 — 14:00
21 — 23 февраля Выходной день
24 февраля 8:00 — 16:00

Круглосуточная поддержка по критичным вопросам оказывается в обычном режиме.
Также в случае форс-мажора на SLA1 вы можете дать интернет всем

Среди наших клиентов