Russian Fedora

cообщество русскоязычных участников
международного проекта Fedora

Erlang и systemd

Мы продолжаем работу по systemd-изации Erlang в рамках проекта по улучшению состояния с этим языком в Fedora 21. На текущий момент мы уже включили поддержку socket activation в epmd, которую добавил Matwey V. Kornilov, а также добавили поддержку system notification, что повышает надежность старта приложений, требующих запущенного epmd.

Благодаря новой библиотеке erlang-sd_notify, для поддержки system notification, инженеру Red Hat, John Eckersberg, удалось изменить типа systemd-сервиса для RabbitMQ на Notify (пользователи Red Hat OpenStack 5.0 смогут воспользоваться результатами нашей работы), что резко повысит надежность запуска RabbitMQ в облаках. До сих пор SysV init-скрипт RabbitMQ содержал большое количество хаков, и все равно часто ничего не работало. Такова ненадежность и хрупкость портянок на Bash, из которых состоят SysV-скрипты. И это, между прочим, ПО уровня Enterprise, на котором работают миллионные и миллиардные сервисы, так что понятно, что творится в других случаях.

Помимо этого, разработчик Litecoin и Bitcoin, основатель Fedora Community, Warren Togami, взялся за CouchDB. Он использует его в своем бизнесе, и также был заинтересован, чтоб он работал с большей степенью использования API systemd. CouchDB теперь тоже использует systemd, и мы, как обычно, предложили наши изменения в upstream, на включение. Так, потихоньку, поддержка systemd будет реализована везде.

К сожалению, в Fedora пока еще недоступна поддержка Journald в Erlang, которую более полугода назад разработали в Travelping, но мы работаем над этим. Также неисправленными остались политики SELinux для Erlang-приложений - Warren Togami вместе с Dan Walsh работает над этой задачей.

И напоследок забавная и одновременно печальная новость. К сожалению мы с нашими systemd-изменениями попали в не очень удачное время для CouchDB.

И дело не только в двух огромных изменениях, падающих в git-репозиторий CouchDB прямо сейчас - переход с тестового фреймворка etap на тестовый фреймворк eunit и слияние с проектом BigCouch, а в двух огромных бомбах политкорректности.

Во-1 по коммьюнити ударило [STRIKEOUT:DDoS-ом] обсуждением замены master/slave терминологии на нерасистскую.

Это популярная сейчас тема - если заменить устоявшиеся выражения на политкорректные, то получишь +10 к твоей харизме в геймифицированном реаллайфе. Больше никаких плюсов не будет, лишь бессмысленное отвлечение сил разработчиков на обсуждение политкорректного новояза. И во-2, выяснилось, что в примерах используются образы из рекламной кампании Барака Обамы или его противника.

Нам трудно сказать чьим маскотом был Joe The Plumber, т.к. политики в США со стороны выглядят очень похожими - войны ведут, как республиканцы, так и демократы, так что мы не очень разбираемся, кто там и за кого в этом луна-парке.

К чести коммьюнити, оба обсуждения истратили не столько уж и много энергии участников, и [STRIKEOUT:заняв место в пятницу, чтоб в субботу пораньше освободиться] исправив и закончив оба обсуждения быстрее, чем в аналогичных случаях делали в других коммьюнити, разработчики продолжили программирование.

Короткие новости о контейнерах и виртуализации

Это архивная статья

В последнее время было огромное количество новостей про виртуализацию и контейнеры - тема-то очень горячая! Из-за недостатка времени мы просто кратко упомянем ту часть из них, которая показалась нам интересной.

Инженер Red Hat, Daniel P. Berrangé, продолжает улучшать и облагораживать libvirt. Еще в мае он последовательно улучшил производительность ведения журнала событий в libvirt и ускорил создание правил iptables/firewalld в libvirt. Уже, конечно, не новость, но как то прошла мимо внимания коллег-аналитиков.

Все больше внимания получает связка systemd и контейнеров. Lennart Poettering со своей командой постоянно улучшает возможности для управления контейнерами прямо из systemd. Скорость выпуска его версий довольно впечатляющая, и если кто-то пропустил, то в одной из последних версий systemd была добавлена возможность дополнительной изоляции /usr и /home (монтировать их и сопутствующие директории FHS в режиме только для чтения).

В рамках проекта OpenShift была анонсирована интересная утилита - geard. Она упрощает запуск и взаимодействие контейнеров Docker в системе с systemd, создавая все необходимое, в т.ч. настраивая сеть между контейнерами в пределах кластера.

Людям интересно не только запускать Docker на systemd, но и наоборот - запускать systemd внутри Docker. Обычно рекомендуют запускать лишь одно приложение в контейнере, но как нам кажется логичнее оперировать не отдельными демонами, а логическими сервисами (один сервис может требовать запуска нескольких демонов, и не всегда есть смысл раскидывать их на несколько контейнеров, особенно если надо придерживаться строгого порядка в их запуске). Опять же надо учесть тот факт, игнорируемый многими, что действительно, даже популярные системные демоны порой падают, и нужно чем то их поднимать. Разработчики Docker советуют использовать supervisord, но мы полагаем, что это неправильно, т.к. есть же systemd. Многие приходили к такому же выводу, но запустить systemd внутри контейнера с помощью Docker у них не получалось. К задаче наконец-то приступил наш коллега, Dan Walsh. Он провел исследовательскую работу и добился работы systemd в контейере Docker! Его рецепт пока выглядит длинновато, но в ближайшее время и в systemd, и в Docker будут внесены изменения, которые позволят сократить количество требуемых операций.

Раз уж говорим о Docker, недавно Docker запустили внутри Hadoop YARN, и результаты очень хорошие. YARN предназначается для запуска заданий внутри Hadoop, и раз заданиями могут быть, например, контейнеры Docker, то не превратить ли Hadoop в полноценное решение для манипуляции заданиями и процессами в кластере? Не просто Map-Reduce + хранилище, а целая облачная система общего пользования. Посмотрим, чем это закончится, а пока напомним, что в Fedora 21 из коробки будет доступно очень много компонентов Hadoop.

На днях завершилось еще одно интересное мероприятие - DockerCon. Рекап событий можно найти тут, но нам особенно приятно, что на этом мероприятии не только выступил Dan Walsh с докладом на тему Docker и SELinux, но и было анонсировано, что он включен в состав Docker Governance Advisory Board, как представитель Red Hat. Помимо него из корпоративных участников заявлены следующие компании-пользователи Docker - Google (да, они используют Docker, но них чуть ниже), IBM, Rackspace. Доклад про SELinux Walsh сделал очень вовремя - в Docker нашли какую-то дыру.

https://www.openshift.com/sites/default/files/DanWalshDockah.png

Бывший американский кэгэбэшник Dan Walsh рекомендует Docker и SELinux..

Но не только серверные задачи будут решаться с помощью Docker. Наши коллеги активно работают над широким использованием контейнерных технологий на десктопе. Участник Fedora, Christian Schaller, разработчик gstreamer и GNOME, рассказал о текущем состоянии дел (заметка уже обсуждается на OpenNET.ru). Сделано уже довольно много, и пока мы идем по роадмапу, который составил давным давно Lennart Poettering, в очередной раз обогнав время.

Вообще, контейнеры так радикально изменяют все подходы к управлению приложениями, что возникает вопрос - не сделал ли Docker и новые технологии, типа Project Atomic системы управления пакетами ненужными? Наш коллега, Colin Walters, считает, что нет, не сделал.

Много новостей и от разработчиков CoreOS. Для начала скажем, что пользователи уже начали развертывать тестовые окружения на базе CoreOS (например, заметка раз, заметка два).

Рост интереса к CoreOS закономерно сконвертировался в золотые дублоны и пиастры - проект CoreOS получил 8 миллионов USD инвестиций (это почти 13 тысяч биткойнов по текущему курсу). И инвесторы получили не только полупустой проект, интересный девопсам, но проект в рамках которого все чаще рождаются интересные технологии - CoreUpdate и etcd, неторопливо движущийся к версии 1.0. На базе этих технологий уже строятся работающие коммерческие решения, например, недавно компания Mailgun разработала Vulcand, HTTP-прокси и балансировщик, о чем нам рассказал Rob Szumski в своем блог-посте. Но о гораздо более интересном пользователе etcd мы расскажем чуть ниже.

В последнее время еще один вопрос, регулярно поднимаемый на мероприятиях, это чем отличаются архитектурно CoreOS и Project Atomic. Наш коллега, Major Hayden, попытался ответить на этот вопрос в своем блог-посте. В итоге, Major сделал вывод, что CoreOS уже готов к реальному использованию, в то время, как Project Atomic еще требует полировки.

И наконец, очень интересная новость! Google анонсировал проект Kubernetes (анонс обсуждают на OpenNET.ru). Это система управления контейнерами в кластере, построенная на базе etcd и systemd. В проекте принимают участие такие компании, как Microsoft, Red Hat (почитайте анонс), IBM, Docker, Mesosphere, CoreOS и SaltStack. Для нас эта новость наконец-то ответила на вопрос, почему в последнее время инженеры Google присоединились к разработке systemd. Пока доступно лишь управление контейнерами Docker в кластере виртуальных машин KVM в облаке Google Cloud Platform, но очень вероятно, что возможности вскоре будут серьезно расширены.

Кстати, если вы будете с 15 по 17 октября 2014 в Дюссельдорфе, в Германии, то обязательно зайдите на Linux Plumbers Conference, где будут микроконференции по контейнерам и виртуализации сети (SDN). Пока, к сожалению, программы мероприятия нету.

Linux container virtualization event в Минске, 18 июля

Это архивная статья

Уже довольно скоро состоится еще одно интересное мероприятие.

На этот раз в Минске, 18го июля, куда приедут в гости к Wargaming.net [STRIKEOUT:и будут играть в танчики] и поделятся опытом, знаниями и самыми последними новостями Andrey Wagin и Konstantin Khorenko - разработчики Linux kernel, openvz, criu и сотрудники компании Parallels.

Компания СООО «Гейм Стрим», минский центр разработки Wargaming.net, приглашает всех желающих на встречу Open WG Talk #2. Мероприятие состоится 18 июля с 19.00 до 22.00 в Startup-hub Imaguru по адресу г. Минск, Фабрициуса, 4. Регистрация и welcome-coffee - с 18.30 В этот раз гостями Open WG Talk станут core-разработчики таких популярных open source проектов, как Linux kernel, OpenVZ, CRIU, а также других разработок, которые ведет в области виртуализации Linux компания Parallels.

Константин Хоренко Закончил ВМиК МГУ в 2001 году, пришёл в Parallels (тогда ещё SWsoft) в 2005 году, занимался разработкой ядра (Linux + поддержка виртуализации) продуктов OpenVZ/Virtuozzo/PSBM/PCS, занимался поддержкой ядерной части продуктов в качестве инженера 3-й линии, с 2012 года руковожу командой разработчиков ядра Linux в Parallels.

Доклад: Контейнерная виртуализация в продуктах Parallels: прошлое, настоящее и будущее.

О чем: Доклад раскроет, как эволюционировали продукты Parallels, позволяющие использовать контейнерную виртуализацию, причины тех или иных решений, роль open source разработок и их пользователей. И, конечно, будут в докладе наши планы, и что open source сообщество увидит от Parallels в будущем.

Андрей Вагин Андрей пришёл в Parallels в 2006 году, занимается разработкой ядра Linux, контейнерной системы OpenVZ и сравнительно молодого проекта CRIU. В 2008 году закончил МФТИ.

Доклад: CRIU (Checkpoint/Restore in Userspace). Планы на будущее.

О чем: Все что вы хотели знать о CRIU, но стеснялись спросить... Проект CRIU (Checkpoint /Restore in Userspace) позвляет содавать контрольные точки и осуществлять миграцию сервисов или контейнеров в реальном времени. Некоторое время назад проект преодолел очередной рубеж и вышел из стадии эксперимента. Следующая задача — интегрировать CRIU в сторонние проекты, такие как OpenVZ, LXC, Docker, OpenMPI. Доклад раскроет всю магию процедуры сохранения и восстановления процессов. Вы узнаете, как в любой процесс можно незаметно подсадить паразита-разведчика и вытянуть все тайны, как системный вызов rt-sigreturn пригодился совсем не там, где родился.

Будет показано внутреннее устройство CRIU (без цензуры), блистательные моменты реализации, и почему всё-таки пришлось добавить патчи в ядро. Во второй части доклада будут рассмотрены механизмы взаимодействия CRIU с другими проектами и наиболее частые вопросы интеграции.. *Что такое WG Talk? Это простой и удобный формат мероприятий для обмена знаниями и опытом. Подобные встречи проходят в Wargaming регулярно: на них мы обсуждаем вопросы, волнующие разработчиков, менеджеров, дизайнеров, продюсеров, художников – словом, тех, кто работает в IT и GameDev. Формат встречи включает в себя выступления, лекции, мастер-классы, интервью и много живого общения «в реале».* *Кого мы приглашаем? Лидеров мнений, экспертов, евангелистов и всех, кто готов делиться профессиональными секретами (к слову, проблемами и поиском решений тоже можно и нужно делиться). До этого дня мы проводили WG Talks в закрытом формате – попасть на них могли только сотрудники Wargaming. Но недавно мы подумали, что здорово было бы делиться экспертизой со всеми желающими, звать гостей. Ведь нам действительно есть о чем рассказать! И поэтому мы приглашаем вас на Open WG Talk!*


Если вы будете в это время в Минске, то заходите!

Контейнеры, Project Atomic на службе натовской военщины и отечественные перспективы

Это архивная статья

David Egts написал статью о том, как виртуализация, Docker и Project Atomic (вы уже слышали об этом проекте) помогают натовской военщине создавать надежную военную технику. Мы почитали с интересом, т.к. для нас это до сих пор непривычно. В РФ, как и в СССР, ВПК физически изолирован от "гражданского" сектора экономики, поэтому инвестиции в ВПК как уходили, так и уходят в бесполезные для мирного времени танки и бомбы. В Благословенном Краю, Валиноре, военщина использует обкатанные в массовом гражданском применении технологии, в разработку которых и вкладывается - массовость гражданских тиражей удешевляет их, да и обществу возвращается затраченное на ВПК.
Для нас, повторимся, это странно, т.к. мы привыкли, что на секретном заводе за углом делают высокотехнологичный танк и высокотехнологичную бомбу, а на совершенно другом заводе с другого угла делают убогую и уродливую автомашину для гражданских. Судя по тому, что нам видно, сейчас ситуация нисколько не изменилась - раз в полгода нам сообщают что для российской военщины будут делать специальную российскую операционную систему (совершенно отличную от тех, что используются в гражданских целях) или очередной мифический военно-космический микропроцессор. Само собой, так как время шарашек прошло, а за обычные для ВПК 15-30 тысяч рублей инженеров, программистов и девопсов с достаточной квалификацией нету, то через некоторое время о новостях все забывают. В качестве же операционок используют виндоус на интелях.
Глядя на ситуацию оптимистически, можно рассмотреть и позитивный тренд. Обычное безумие про "не имеющие аналоги на западе" продукты, которое применительно к IT-индустрии выражалось в полубезумном стремлении создать свой суверенный микропроцессор, свою национальную операционную систему, и свой патриотический язык программирования, сменилось на более прагматичные рассуждения о ребрендированном CentOS или даже форке CyanogenMod / Android на заказных ARM-процессорах. Понятно, что это "костлявая рука голода", т.е. отсутствие дешевых и послушных айтишников в отечественном ВПК, заставила мыслить рационально, а не своим умом начальнички доросли до понимания ситуации. Но в целом нам не все ли равно по какому пути система достигла оптимума? Главное, это то, что рассуждения о самобытном, национальном, стали уделом совершенно безумных патриотов и анонимных экспертов.
На днях мы с интересом ознакомились с необычно полосатого качества журналистским исследованием того, можно ли в РФ заменить все ПО на национальное? Ожидая увидеть как раз безумных патриотов и любителей незаменимых и нужных поголовно всем фотошопа и автокада, мы с удивлением заметили, что наверное впервые в РФ журналисты спросили не кого-то из бесконечной гусеницы высокопоставленных экспертов при правительстве, а специалистов из предметной области, в частности Владимира Рубанова из Rosa Lab. Это уже заметный шаг вперед для прессы, без шуток! Осталось лишь надеяться, что понимание, что индустрия развивается не благодаря освоению бюджета, но в основном благодаря работе людей, мнение которых и нужно спрашивать, придет и в пораженные баблоцентризмом высшие сферы общества. Может даже и рунет уничтожать перестанут?
Но, конечно, журналисты были бы не отечественными журналистами, если б не высосали из пальца анонимное мнение анонимного эксперта, которое настолько прекрасно, что стоит привести целиком:
Не все специалисты оптимистично оценивают перспективы использования такого открытого ПО, как Linux, в госструктурах. Источник на рынке ПО заявил корреспонденту «Газеты.Ru»: «Все последние версии Linux разрабатывались под контролем Агентства национальной безопасности США (АНБ). Поэтому они по определению не могут быть безопасными для использования российскими государственными структурами. Более того, Linux находится в юрисдикции Соединенных Штатов, и в случае введения санкций они обязаны будут подчиниться американскому закону и заблокируют доступ к своим продуктам в России. Единственный выход в этой ситуации — это создание собственно российского софта».

image0
Эксперт Gazeta.ru предостерегает!

Справедливости ради, про уничтожение рунета, надо бы заметить что свободный инет уничтожают не только у нас. Недавно в Австрии запретили выходные узлы Tor, а в США гэбня следит за линуксоидами, как за террористами (что в целом объяснимо, учитывая в среднем более высокий интеллектуальный уровень линуксоидов, следовательно больший уровень критики своего государства и меньший уровень оголтелого патриотизма).

Обзор достижений контейнерной изоляции за последние два года

Это архивная статья

На OpenNET.ru опубликовали обзорную статью по контейнерной виртуализации, составленную наполовину из из статьи Павла Емельянова из Parallels, а наполовину из статьи James Bottomley, тоже из Parallels. Павел пообещал ответить на вопросы, так что читайте и комментируйте.

"man hier" reinvented

Это архивная статья

Великий кормчий Linux-коммьюнити, Lennart Poetttering, занялся переработкой довольно устаревшего стандарта на директории в операционной системе (см. man hier). Первый, черновой вариант новой системной иерархии директорий уже готов, но авторы интересуются вашим мнением. Так что если вам есть что добавить (или убавить, что гораздо лучше), не стесняйтесь и напишите письмо на systemd-devel@lists.freedesktop.org.

FOSDEM 2015

Стали известны сроки проведения ежегодного ивента FOSDEM. В 2015 году событие состоится 31го января и 1го февраля. Как и в 2014 году, мы обязательно поедем на FOSDEM 2015, чего и вам рекомендуем. Так что обязательно зарезервируйте денечек.

Кстати, уже объявили о приеме на рассмотрение тем для выступлений в основной части и о темах для т.н. "developer rooms", так что если вам есть что рассказать, то не откладывайте.

Flock 2014

Готовимся к посещению конференции Flock 2014, которая пройдет с 6 по 9 августа в Праге. В 2013 было неплохо, и в этот раз программа мероприятия тоже выглядит интересной. Так что присоединяйтесь - будем рады увидеться! От Russian Fedora пока собираются четверо, но будут и еще.

Python Party в Москве, 19го июля.

Это архивная статья

С удовольствием сообщаем об очередном мероприятии. К сожалению, по датам оно совпадет с еще одним, о котором мы сообщим позднее, вот так получилось.
19 июля в Москве состоится Python Party — встреча сообщества Moscow Python Meetup при поддержке Яндекса.
Мы приглашаем опытных разработчиков, пишущих на Python, пообщаться на профессиональные темы и обменяться опытом.
Из докладов вы узнаете:
  • что интересного происходит сейчас в мире Python и какие сферы его применения наиболее перспективны;
  • как Python используется в Яндекс.Диске;
  • как документировать HTTP API с помощью Sphinx и автоматизировать тестирование примеров HTTP-запросов из документации;
  • как Яндекс решает проблему управления большими распределёнными хранилищами данных.

После выступлений можно пообщаться с докладчиками и другими участниками мероприятия.
Регистрация обязательна, количество мест в зале ограничено.
Когда: в субботу 19 июля, начало в 12:00.

Участники:

Интеграция fedmsg и GitHub

Это архивная статья

Шина fedmsg продолжает обрастать функционалом. Вы уже слышали о появлении тулкита по созданию своих обработчиков сообщений fedmsg, и наши коллеги уже используют его в самописных скриптах. Остается открытым вопрос о том, где брать эти самые сообщения? С источниками данных пока было плоховато. Кроме узлов Fedora, fedmsg уже используется в Debian (работа была проведена в рамках GSoC 2013), и можно получать сообщения и оттуда, хотя наши системы до сих пор не интегрированы в единое пространство. И вот недавно Ralph Bean объявил, что в системе fedmsg возможно подписываться на сообщения GitHub, где уже давно есть развитая система событий и уведомлений в самые разные сервисы.

Осталось лишь интегрироваться с Twitter и Facebook, и новая молодежная социальная сеть готова!