Linux pipe child process

Linux pipes tips & tricks

Pipe — что это?

Pipe (конвеер) – это однонаправленный канал межпроцессного взаимодействия. Термин был придуман Дугласом Макилроем для командной оболочки Unix и назван по аналогии с трубопроводом. Конвейеры чаще всего используются в shell-скриптах для связи нескольких команд путем перенаправления вывода одной команды (stdout) на вход (stdin) последующей, используя символ конвеера ‘|’:

grep выполняет регистронезависимый поиск строки “error” в файле log, но результат поиска не выводится на экран, а перенаправляется на вход (stdin) команды wc, которая в свою очередь выполняет подсчет количества строк.

Логика

Конвеер обеспечивает асинхронное выполнение команд с использованием буферизации ввода/вывода. Таким образом все команды в конвейере работают параллельно, каждая в своем процессе.

Размер буфера начиная с ядра версии 2.6.11 составляет 65536 байт (64Кб) и равен странице памяти в более старых ядрах. При попытке чтения из пустого буфера процесс чтения блокируется до появления данных. Аналогично при попытке записи в заполненный буфер процесс записи будет заблокирован до освобождения необходимого места.
Важно, что несмотря на то, что конвейер оперирует файловыми дескрипторами потоков ввода/вывода, все операции выполняются в памяти, без нагрузки на диск.
Вся информация, приведенная ниже, касается оболочки bash-4.2 и ядра 3.10.10.

Простой дебаг

Исходный код, уровень 1, shell

Т. к. лучшая документация — исходный код, обратимся к нему. Bash использует Yacc для парсинга входных команд и возвращает ‘command_connect()’, когда встречает символ ‘|’.
parse.y:
Также здесь мы видим обработку пары символов ‘|&’, что эквивалентно перенаправлению как stdout, так и stderr в конвеер. Далее обратимся к command_connect():make_cmd.c:
где connector это символ ‘|’ как int. При выполнении последовательности команд (связанных через ‘&’, ‘|’, ‘;’, и т. д.) вызывается execute_connection():execute_cmd.c:

PIPE_IN и PIPE_OUT — файловые дескрипторы, содержащие информацию о входном и выходном потоках. Они могут принимать значение NO_PIPE, которое означает, что I/O является stdin/stdout.
execute_pipeline() довольно объемная функция, имплементация которой содержится в execute_cmd.c. Мы рассмотрим наиболее интересные для нас части.
execute_cmd.c:
Таким образом, bash обрабатывает символ конвейера путем системного вызова pipe() для каждого встретившегося символа ‘|’ и выполняет каждую команду в отдельном процессе с использованием соответствующих файловых дескрипторов в качестве входного и выходного потоков.

Исходный код, уровень 2, ядро

Обратимся к коду ядра и посмотрим на имплементацию функции pipe(). В статье рассматривается ядро версии 3.10.10 stable.
fs/pipe.c (пропущены незначительные для данной статьи участки кода):
Если вы обратили внимание, в коде идет проверка на флаг O_NONBLOCK. Его можно выставить используя операцию F_SETFL в fcntl. Он отвечает за переход в режим без блокировки I/O потоков в конвеере. В этом режиме вместо блокировки процесс чтения/записи в поток будет завершаться с errno кодом EAGAIN.

Максимальный размер блока данных, который будет записан в конвейер, равен одной странице памяти (4Кб) для архитектуры arm:
arch/arm/include/asm/limits.h:
Для ядер >= 2.6.35 можно изменить размер буфера конвейера:
Максимально допустимый размер буфера, как мы видели выше, указан в файле /proc/sys/fs/pipe-max-size.

Tips & trics

В примерах ниже будем выполнять ls на существующую директорию Documents и два несуществующих файла: ./non-existent_file и. /other_non-existent_file.

Перенаправление и stdout, и stderr в pipe

или же можно использовать комбинацию символов ‘|&’ (о ней можно узнать как из документации к оболочке (man bash), так и из исходников выше, где мы разбирали Yacc парсер bash):

Перенаправление _только_ stderr в pipe

Shoot yourself in the foot
Важно соблюдать порядок перенаправления stdout и stderr. Например, комбинация ‘>/dev/null 2>&1′ перенаправит и stdout, и stderr в /dev/null.

Получение корректного кода завершения конвейра

По умолчанию, код завершения конвейера — код завершения последней команды в конвеере. Например, возьмем исходную команду, которая завершается с ненулевым кодом:
И поместим ее в pipe:
Теперь код завершения конвейера — это код завершения команды wc, т.е. 0.

Обычно же нам нужно знать, если в процессе выполнения конвейера произошла ошибка. Для этого следует выставить опцию pipefail, которая указывает оболочке, что код завершения конвейера будет совпадать с первым ненулевым кодом завершения одной из команд конвейера или же нулю в случае, если все команды завершились корректно:
Shoot yourself in the foot
Следует иметь в виду “безобидные” команды, которые могут вернуть не ноль. Это касается не только работы с конвейерами. Например, рассмотрим пример с grep:
Здесь мы печатаем все найденные строки, приписав ‘new_’ в начале каждой строки, либо не печатаем ничего, если ни одной строки нужного формата не нашлось. Проблема в том, что grep завершается с кодом 1, если не было найдено ни одного совпадения, поэтому если в нашем скрипте выставлена опция pipefail, этот пример завершится с кодом 1:
В больших скриптах со сложными конструкциями и длинными конвеерами можно упустить этот момент из виду, что может привести к некорректным результатам.

Источник

Организация взаимодействия процессов через pipe и FIFO в UNIX

Понятие о pipe. Системный вызов pipe()

Наиболее простым способом для передачи информации с помощью потоковой модели между различными процессами или даже внутри одного процесса в операционной системе UNIX является pipe (канал, труба, конвейер).

Важное отличие pip’а от файла заключается в том, что прочитанная информация немедленно удаляется из него и не может быть прочитана повторно.

Pipe можно представить себе в виде трубы ограниченной емкости, расположенной внутри адресного пространства операционной системы, доступ к входному и выходному отверстию которой осуществляется с помощью системных вызовов. В действительности pipe представляет собой область памяти, недоступную пользовательским процессам напрямую, зачастую организованную в виде кольцевого буфера (хотя существуют и другие виды организации). По буферу при операциях чтения и записи перемещаются два указателя, соответствующие входному и выходному потокам. При этом выходной указатель никогда не может перегнать входной и наоборот. Для создания нового экземпляра такого кольцевого буфера внутри операционной системы используется системный вызов pipe () .

Системный вызов pipe

Прототип системного вызова

Описание системного вызова

Системный вызов pipe предназначен для создания pip ‘а внутри операционной системы.

Параметр fd является указателем на массив из двух целых переменных. При нормальном завершении вызова в первый элемент массива – fd[0] – будет занесен файловый дескриптор, соответствующий выходному потоку данных pip ’а и позволяющий выполнять только операцию чтения, а во второй элемент массива – fd[1] – будет занесен файловый дескриптор, соответствующий входному потоку данных и позволяющий выполнять только операцию записи.

Системный вызов возвращает значение 0 при нормальном завершении и значение -1 при возникновении ошибок.

В процессе работы системный вызов организует выделение области памяти под буфер и указатели и заносит информацию, соответствующую входному и выходному потокам данных, в два элемента таблицы открытых файлов , связывая тем самым с каждым pip ’ом два файловых дескриптора . Для одного из них разрешена только операция чтения из pip ’а, а для другого – только операция записи в pipe . Для выполнения этих операций мы можем использовать те же самые системные вызовы read() и write() , что и при работе с файлами. Естественно, по окончании использования входного или/и выходного потока данных, нужно закрыть соответствующий поток с помощью системного вызова close() для освобождения системных ресурсов. Необходимо отметить, что, когда все процессы, использующие pipe , закрывают все ассоциированные с ним файловые дескрипторы , операционная система ликвидирует pipe . Таким образом, время существования pip ’а в системе не может превышать время жизни процессов, работающих с ним.

Прогон программы для pipe в одном процессе

Достаточно яркой иллюстрацией действий по созданию pip ‘a, записи в него данных, чтению из него и освобождению выделенных ресурсов может служить программа , организующая работу с pip ’ом в рамках одного процесса, приведенная ниже:

Наберите программу, откомпилируйте ее и запустите на исполнение .

Организация связи через pipe между процессом-родителем и процессом-потомком. Наследование файловых дескрипторов при вызовах fork() и exec()

Понятно, что если бы все достоинство pip ‘ов сводилось к замене функции копирования из памяти в память внутри одного процесса на пересылку информации через операционную систему, то овчинка не стоила бы выделки. Однако таблица открытых файлов наследуется процессом-ребенком при порождении нового процесса системным вызовом fork() и входит в состав неизменяемой части системного контекста процесса при системном вызове exec() (за исключением тех потоков данных, для файловых дескрипторов которых был специальными средствами выставлен признак, побуждающий операционную систему закрыть их при выполнении exec() , однако их рассмотрение выходит за рамки нашего курса). Это обстоятельство позволяет организовать передачу информации через pipe между родственными процессами, имеющими общего прародителя, создавшего pipe .

Прогон программы для организации однонаправленной связи между родственными процессами через pipe

Давайте рассмотрим программу, осуществляющую однонаправленную связь между процессом-родителем и процессом-ребенком:

Наберите программу, откомпилируйте ее и запустите на исполнение .

Задача повышенной сложности: модифицируйте этот пример для связи между собой двух родственных процессов, исполняющих разные программы.

Источник

Модуль child_process¶

В child_process Модуль предоставляет возможность создавать подпроцессы аналогично, но не идентично popen (3). Эта возможность в первую очередь обеспечивается child_process.spawn() функция:

По умолчанию трубы для stdin , stdout , а также stderr устанавливаются между родительским процессом Node.js и порожденным подпроцессом. Эти трубы имеют ограниченную (и зависящую от платформы) пропускную способность. Если подпроцесс записывает в stdout сверх этого предела без захвата вывода, подпроцесс блокируется, ожидая, пока буфер канала примет больше данных. Это идентично поведению труб в оболочке. Использовать < stdio: 'ignore' >вариант, если выход не будет израсходован.

Поиск команд выполняется с помощью options.env.PATH переменная окружения, если она находится в options объект. Иначе, process.env.PATH используется.

В Windows переменные среды нечувствительны к регистру. Node.js лексикографически сортирует env ключи и использует первый, совпадающий без учета регистра. Подпроцессу будет передана только первая (в лексикографическом порядке) запись. Это может привести к проблемам в Windows при передаче объектов в env вариант, который имеет несколько вариантов одного и того же ключа, например PATH а также Path .

В child_process.spawn() метод асинхронно порождает дочерний процесс, не блокируя цикл событий Node.js. В child_process.spawnSync() Функция обеспечивает эквивалентную функциональность в синхронном режиме, которая блокирует цикл событий до тех пор, пока порожденный процесс не завершится или не завершится.

Для удобства child_process модуль предоставляет несколько синхронных и асинхронных альтернатив child_process.spawn() а также child_process.spawnSync() . Каждая из этих альтернатив реализована поверх child_process.spawn() или child_process.spawnSync() .

• child_process.exec() : порождает оболочку и запускает команду в этой оболочке, передавая stdout а также stderr в функцию обратного вызова по завершении.
• child_process.execFile() : похожий на child_process.exec() за исключением того, что он порождает команду напрямую, без предварительного создания оболочки по умолчанию.
• child_process.fork() : порождает новый процесс Node.js и вызывает указанный модуль с установленным каналом связи IPC, который позволяет отправлять сообщения между родителем и потомком.
• child_process.execSync() : синхронная версия child_process.exec() который заблокирует цикл событий Node.js.
• child_process.execFileSync() : синхронная версия child_process.execFile() который заблокирует цикл событий Node.js.

Для определенных случаев использования, таких как автоматизация сценариев оболочки, синхронные аналоги может быть удобнее. Однако во многих случаях синхронные методы могут существенно повлиять на производительность из-за остановки цикла событий во время завершения порожденных процессов.

Создание асинхронного процесса¶

В child_process.spawn() , child_process.fork() , child_process.exec() , а также child_process.execFile() все методы следуют идиоматическому шаблону асинхронного программирования, типичному для других API-интерфейсов Node.js.

Каждый из методов возвращает ChildProcess пример. Эти объекты реализуют Node.js EventEmitter API, позволяющий родительскому процессу регистрировать функции прослушивателя, которые вызываются при возникновении определенных событий в течение жизненного цикла дочернего процесса.

В child_process.exec() а также child_process.execFile() методы дополнительно допускают необязательный callback должна быть указана функция, которая вызывается при завершении дочернего процесса.

Нерест .bat а также .cmd файлы в Windows¶

Важность различия между child_process.exec() а также child_process.execFile() может отличаться в зависимости от платформы. В операционных системах типа Unix (Unix, Linux, macOS) child_process.execFile() может быть более эффективным, потому что по умолчанию он не порождает оболочку. Однако в Windows .bat а также .cmd файлы не могут быть выполнены сами по себе без терминала, и поэтому не могут быть запущены с помощью child_process.execFile() . При работе в Windows .bat а также .cmd файлы могут быть вызваны с помощью child_process.spawn() с shell набор опций, с child_process.exec() , или путем нереста cmd.exe и прохождение .bat или .cmd файл в качестве аргумента (это то, что shell вариант и child_process.exec() делать). В любом случае, если имя файла сценария содержит пробелы, его необходимо заключить в кавычки.

child_process.exec(command[, options][, callback]) ¶

• command <строка>Команда для запуска с аргументами, разделенными пробелами.
• options
• cwd Текущий рабочий каталог дочернего процесса. Дефолт: process.cwd() .
• env