Linux удалить закомментированные строки

sed — удаление комментариев

Всем привет, Хочу из файла /etc/filebeat/filebeat.yml удалить комментарии в строках 1,3 (нумерация условна, в файле все иначе)

Сами строки не удаляются, только # и все, что после

Вообще, это делается грепом.

Нумерация условна, в файле все иначе… И номера строк тоже…

Перезапись в новый файл — как то «некрасиво», есть еще идеи? Может awk .

так либо опираться на номер строки, либо искать искомое слово. Какой критерий для удаления?

искать искомое слово

Или, т.к. ты хочешь оставить пробелы перед:

Что то не вижу поиск «по шаблону», я не говорил что надо удалять комментарий с 2й строки. В файле много комментариев и они должны остаться.

Удалось достичь результата 3 командами:

Если кто-то может добавить во 2й команде 3 пробела — покажите как, если нет — закрою тему.

ты это ищешь чоле?

Возможно, как использовать? Пример?

Спасибо, но это я уже искал. Читайте шапку. Если не знаете — так и скажите.

ты искал готовое решение, которое собезьянничал в консоль (надеюсь, от рута) а искать надо было объяснение, как с регэкспами работать

Хренею-косею. AWK с энтим справится в масенткую строку. Причем недпредсказуемой хрени от Седа не будет.

Ну давайте пример! Хочу посмотреть! Пока sed отработал хорошо.

Извините, но если бы у меня с регуляками было бы «все хорошо» — я бы и тему не создавал. То что «масло маслянное» — я и так знаю… Я понимаю что примера я не дождусь.

Источник

🐧 Как раскомментировать строки в файле с помощью SED на Linux

В этом руководстве вы узнаете, как раскомментировать строки в файле с помощью SED на Linux.

По словам man sed, Sed – stream editor.

Чтобы продемонстрировать, как раскомментировать строки в файле с помощью sed в linux, возьмем, к примеру, у вас есть файл с приведенным ниже содержимым:

Был закомментирован ряд строк (# в начале).

Как раскомментировать строку по определенным шаблонам, используя SED на Linux

Чтобы раскомментировать определенную строку с определенным шаблоном с помощью sed, просто выполните команду:

Вышеупомянутая команда раскомментирует только первую совпадающую строку.

Замените pattern соответствующим ключевым словом строки и файла с определенным именем файла.

Если файл содержит несколько строк, соответствующих шаблону, и все они закомментированы, и вы хотите раскомментировать их все, убедитесь, что вы запускаете команду sed глобально, используя операцию g:

Например, чтобы раскомментировать строку с шаблоном This, выполните команду;

Если вы хотите запустить set в режиме пробного запуска без фактического применения изменений к встроенному файлу, опустите параметр -i.

Приведенная выше команда раскомментирует только первую закомментированную строку, соответствующую указанному шаблону, которая в данном случае является второй строкой, #This is line2.

Чтобы раскомментировать все закомментированные строки в файле, соответствующем шаблону, This, запустите;

Если вы хотите создать резервную копию исходного файла перед применением изменений, используйте параметр -i. вместо -i, где может быть bak, original, old или любым другим префиксом для добавления к файлу резервной копии .

Как раскомментировать конкретные строки в файле с помощью SED на Linux

Как раскомментировать конкретные строки в файле с помощью SED на Linux

Также можно использовать sed для раскомментирования определенного номера строки в файле.

В файле при использовании редактора vim вы можете отображать номера строк, нажав ESC и введя: set number;

Так, например, вы хотите раскомментировать строку номер 4 в файле, надо запустить sed следующим образом:

Источник

Удаляем комментарии и пустые строки из файла на Linux

Удаляем комментарии и пустые строки из файла на Linux. При редактировании каких-либо конфигурационных файлов, в них присутствуют закомментированные и пустые строки — это не очень удобно (по крайней мере для чтения). Файлы можно отредактировать вручную, если в нем несколько закомментированных и пустых строк, но если файл имеет тысячи таких строк, это трудно сделать вручную. Сегодня в статье научимся избавляться от лишних пустых и закомментированных строк в файле.

Что такое комментарии в программировании?

Если вы загляните в исходный код или файл конфигурации, вы заметите, что многие строки начинаются со звездочки «*», косой черты «/», или хеша «#», или точки с запятой «;».

Эти строки известны как Комментарии.

В программировании комментарий — это удобочитаемое описание или аннотация, используемая для пояснения целей фрагментов кода.

Они помогают пользователям и другим программистам легко понять, что делает код.

Как правило, комментарии и пустые строки будут игнорироваться компиляторами и интерпретаторами. Они предназначены только для программистов.

Синтаксис комментариев варьируется в зависимости от языка программирования.

Теперь давайте посмотрим, как исключить или пропустить эти комментарии и пустые строки и отображать только те строки, которые не закомментированы.

Вывод содержимого файлов без комментариев и пустых строк на Linux

Позвольте мне показать вам содержимое файла sources.list в одной из моих систем Ubuntu:

Вы видите, что многие строки закомментированы символом «#». Это делает файл неудобным для чтения. Это небольшой файл, так что это не страшно.Но когда вы читаете очень длинные файлы конфигурации, например, «httpd.conf» или «php.ini», вам придется пройти через множество комментариев и пустых строк, и будет немного сложно найти, какие строки активны, а какие нет.Чтобы отфильтровать все комментарии и пустые строки от отображения в выводе файла, используйте команду grep, как показано ниже:

• первый символ ^ обозначает начало строки в данном файле, т.е. /etc/apt/sources.list.
• [^ # * /;] — все строки начинаются с любых символов, кроме этих четырех символов «#», «*», «/», «;». Другими словами, все строки, начинающиеся с символов «#», «*», «/», «;» будут исключены из вывода.

Пример вывода вышеуказанной команды:

Все комментарии и пустые строки исчезли.

Теперь вывод вполне читабелен.Я предпочитаю способом через grep фильтровать ненужные строки, отображаемые в выводе. Вы также можете сделать это с помощью команд awk и sed.

Удаление комментариев и пустых строк в файле на Linux

Давайте теперь отредактируем файл чтобы в нем не оставалось закомментированных строк.

Можно и такой командой:

Как удалить комментарии из нескольких файлов

find -name ‘*.c’ | xargs sed -i ‘0,/^*\/$/d’

Если есть вопросы, то пишем в комментариях.

Также можете вступить в Телеграм канал, ВК или подписаться на Twitter. Ссылки в шапки страницы.
Заранее всем спасибо.

Источник

Как я могу удалить все комментарии из файла?

У меня есть файл с комментариями:

Я просто хочу напечатать весь некомментированный код:

Возможность извлечения комментариев из файла очень важна . Какой хороший способ сделать это?

Один из способов , чтобы удалить все комментарии заключается в использовании grep с -o опцией:

• -o : печатает только совпадающую часть строки
• первый ^ : начало строки
• [^#]* : любой символ, кроме # повторяющегося ноля или более раз

Обратите внимание, что пустые строки тоже будут удалены, но останутся только строки с пробелами.

Я верю, что sed справится с этим гораздо лучше, чем grep . Что-то вроде этого:

объяснение

• sed по умолчанию будет смотреть на ваш файл построчно и печатать каждую строку после возможного применения преобразований в кавычках. ( sed » your_file просто напечатает все строки без изменений).
• Здесь мы даем sed две команды для выполнения в каждой строке (они разделяются точкой с запятой).
• Первая команда говорит: /^[[:blank:]]*#/d . В английском это означает, что если строка соответствует хешу в начале (которому предшествует любое количество ведущих пробелов), удалите эту строку (она не будет напечатана).
• Вторая команда: s/#.*// . В английском, то есть, вместо хэш-метки следует столько вещей, сколько вы можете найти (то есть до конца строки) ничем (ничто не является пустым пространством между последними двумя // ).
• Таким образом, это будет проходить через строки удаления вашего файла, которые состоят целиком из комментариев, и любые оставшиеся после этого строки будут исключены из них.

Вы можете получить требуемый результат, используя команду sed. Команда ниже сделала трюк для меня.

• #.*$ — Regexp отфильтрует всю строку, которая начинается с # конца строки

Здесь нам нужно удалить эти строки, чтобы мы заменили их пустыми, пропустив часть «замена».

• g упоминание повторного поиска шаблона, пока не будет достигнут конец файла.

Общий синтаксис sed: s/regexp/replacement/flags FileName

Источник

Bash-скрипты, часть 7: sed и обработка текстов

В прошлый раз мы говорили о функциях в bash-скриптах, в частности, о том, как вызывать их из командной строки. Наша сегодняшняя тема — весьма полезный инструмент для обработки строковых данных — утилита Linux, которая называется sed. Её часто используют для работы с текстами, имеющими вид лог-файлов, конфигурационных и других файлов.

Если вы, в bash-скриптах, каким-то образом обрабатываете данные, вам не помешает знакомство с инструментами sed и gawk. Тут мы сосредоточимся на sed и на работе с текстами, так как это — очень важный шаг в нашем путешествии по бескрайним просторам разработки bash-скриптов.

Сейчас мы разберём основы работы с sed, а так же рассмотрим более трёх десятков примеров использования этого инструмента.

Основы работы с sed

Утилиту sed называют потоковым текстовым редактором. В интерактивных текстовых редакторах, наподобие nano, с текстами работают, используя клавиатуру, редактируя файлы, добавляя, удаляя или изменяя тексты. Sed позволяет редактировать потоки данных, основываясь на заданных разработчиком наборах правил. Вот как выглядит схема вызова этой команды:

По умолчанию sed применяет указанные при вызове правила, выраженные в виде набора команд, к STDIN . Это позволяет передавать данные непосредственно sed.

Вот что получится при выполнении этой команды.

Простой пример вызова sed

В данном случае sed заменяет слово «test» в строке, переданной для обработки, словами «another test». Для оформления правила обработки текста, заключённого в кавычки, используются прямые слэши. В нашем случае применена команда вида s/pattern1/pattern2/ . Буква «s» — это сокращение слова «substitute», то есть — перед нами команда замены. Sed, выполняя эту команду, просмотрит переданный текст и заменит найденные в нём фрагменты (о том — какие именно, поговорим ниже), соответствующие pattern1 , на pattern2 .

Выше приведён примитивный пример использования sed, нужный для того, чтобы ввести вас в курс дела. На самом деле, sed можно применять в гораздо более сложных сценариях обработки текстов, например — для работы с файлами.

Ниже показан файл, в котором содержится фрагмент текста, и результаты его обработки такой командой:

Текстовый файл и результаты его обработки

Здесь применён тот же подход, который мы использовали выше, но теперь sed обрабатывает текст, хранящийся в файле. При этом, если файл достаточно велик, можно заметить, что sed обрабатывает данные порциями и выводит то, что обработано, на экран, не дожидаясь обработки всего файла.

Sed не меняет данные в обрабатываемом файле. Редактор читает файл, обрабатывает прочитанное, и отправляет то, что получилось, в STDOUT . Для того, чтобы убедиться в том, что исходный файл не изменился, достаточно, после того, как он был передан sed, открыть его. При необходимости вывод sed можно перенаправить в файл, возможно — перезаписать старый файл. Если вы знакомы с одним из предыдущих материалов этой серии, где речь идёт о перенаправлении потоков ввода и вывода, вы вполне сможете это сделать.

Выполнение наборов команд при вызове sed

Для выполнения нескольких действий с данными, используйте ключ -e при вызове sed. Например, вот как организовать замену двух фрагментов текста:

Использование ключа -e при вызове sed

К каждой строке текста из файла применяются обе команды. Их нужно разделить точкой с запятой, при этом между окончанием команды и точкой с запятой не должно быть пробела.
Для ввода нескольких шаблонов обработки текста при вызове sed, можно, после ввода первой одиночной кавычки, нажать Enter, после чего вводить каждое правило с новой строки, не забыв о закрывающей кавычке:

Вот что получится после того, как команда, представленная в таком виде, будет выполнена.

Другой способ работы с sed

Чтение команд из файла

Если имеется множество команд sed, с помощью которых надо обработать текст, обычно удобнее всего предварительно записать их в файл. Для того, чтобы указать sed файл, содержащий команды, используют ключ -f :

Вот содержимое файла mycommands :

Вызовем sed, передав редактору файл с командами и файл для обработки:

Результат при вызове такой команды аналогичен тому, который получался в предыдущих примерах.

Использование файла с командами при вызове sed

Флаги команды замены

Внимательно посмотрите на следующий пример.

Вот что содержится в файле, и что будет получено после его обработки sed.

Исходный файл и результаты его обработки

Команда замены нормально обрабатывает файл, состоящий из нескольких строк, но заменяются только первые вхождения искомого фрагмента текста в каждой строке. Для того, чтобы заменить все вхождения шаблона, нужно использовать соответствующий флаг.

Схема записи команды замены при использовании флагов выглядит так:

Выполнение этой команды можно модифицировать несколькими способами.

• При передаче номера учитывается порядковый номер вхождения шаблона в строку, заменено будет именно это вхождение.
• Флаг g указывает на то, что нужно обработать все вхождения шаблона, имеющиеся в строке.
• Флаг p указывает на то, что нужно вывести содержимое исходной строки.
• Флаг вида w file указывает команде на то, что нужно записать результаты обработки текста в файл.

Рассмотрим использование первого варианта команды замены, с указанием позиции заменяемого вхождения искомого фрагмента:

Вызов команды замены с указанием позиции заменяемого фрагмента

Тут мы указали, в качестве флага замены, число 2. Это привело к тому, что было заменено лишь второе вхождение искомого шаблона в каждой строке. Теперь опробуем флаг глобальной замены — g :

Как видно из результатов вывода, такая команда заменила все вхождения шаблона в тексте.

Флаг команды замены p позволяет выводить строки, в которых найдены совпадения, при этом ключ -n , указанный при вызове sed, подавляет обычный вывод:

Как результат, при запуске sed в такой конфигурации на экран выводятся лишь строки (в нашем случае — одна строка), в которых найден заданный фрагмент текста.

Использование флага команды замены p

Воспользуемся флагом w , который позволяет сохранить результаты обработки текста в файл:

Сохранение результатов обработки текста в файл

Хорошо видно, что в ходе работы команды данные выводятся в STDOUT, при этом обработанные строки записываются в файл, имя которого указано после w .

Символы-разделители

Представьте, что нужно заменить /bin/bash на /bin/csh в файле /etc/passwd . Задача не такая уж и сложная:

Однако, выглядит всё это не очень-то хорошо. Всё дело в том, что так как прямые слэши используются в роли символов-разделителей, такие же символы в передаваемых sed строках приходится экранировать. В результате страдает читаемость команды.

К счастью, sed позволяет нам самостоятельно задавать символы-разделители для использования их в команде замены. Разделителем считается первый символ, который будет встречен после s :

В данном случае в качестве разделителя использован восклицательный знак, в результате код легче читать и он выглядит куда опрятнее, чем прежде.

Выбор фрагментов текста для обработки

До сих пор мы вызывали sed для обработки всего переданного редактору потока данных. В некоторых случаях с помощью sed надо обработать лишь какую-то часть текста — некую конкретную строку или группу строк. Для достижения такой цели можно воспользоваться двумя подходами:

• Задать ограничение на номера обрабатываемых строк.
• Указать фильтр, соответствующие которому строки нужно обработать.

Рассмотрим первый подход. Тут допустимо два варианта. Первый, рассмотренный ниже, предусматривает указание номера одной строки, которую нужно обработать:

Обработка только одной строки, номер который задан при вызове sed

Второй вариант — диапазон строк:

Обработка диапазона строк

Кроме того, можно вызвать команду замены так, чтобы файл был обработан начиная с некоей строки и до конца:

Обработка файла начиная со второй строки и до конца

Для того, чтобы обрабатывать с помощью команды замены только строки, соответствующие заданному фильтру, команду надо вызвать так:

По аналогии с тем, что было рассмотрено выше, шаблон передаётся перед именем команды s .

Обработка строк, соответствующих фильтру

Тут мы использовали очень простой фильтр. Для того, чтобы в полной мере раскрыть возможности данного подхода, можно воспользоваться регулярными выражениями. О них мы поговорим в одном из следующих материалов этой серии.

Удаление строк

Утилита sed годится не только для замены одних последовательностей символов в строках на другие. С её помощью, а именно, используя команду d , можно удалять строки из текстового потока.

Вызов команды выглядит так:

Мы хотим, чтобы из текста была удалена третья строка. Обратите внимание на то, что речь не идёт о файле. Файл останется неизменным, удаление отразится лишь на выводе, который сформирует sed.

Удаление третьей строки

Если при вызове команды d не указать номер удаляемой строки, удалены будут все строки потока.

Вот как применить команду d к диапазону строк:

Удаление диапазона строк

А вот как удалить строки, начиная с заданной — и до конца файла:

Удаление строк до конца файла

Строки можно удалять и по шаблону:

Удаление строк по шаблону

При вызове d можно указывать пару шаблонов — будут удалены строки, в которых встретится шаблон, и те строки, которые находятся между ними:

Удаление диапазона строк с использованием шаблонов

Вставка текста в поток

С помощью sed можно вставлять данные в текстовый поток, используя команды i и a :

• Команда i добавляет новую строку перед заданной.
• Команда a добавляет новую строку после заданной.

Рассмотрим пример использования команды i :

Теперь взглянем на команду a :

Как видно, эти команды добавляют текст до или после данных из потока. Что если надо добавить строку где-нибудь посередине?

Тут нам поможет указание номера опорной строки в потоке, или шаблона. Учтите, что адресация строк в виде диапазона тут не подойдёт. Вызовем команду i , указав номер строки, перед которой надо вставить новую строку:

Команда i с указанием номера опорной строки

Проделаем то же самое с командой a :

Команда a с указанием номера опорной строки

Обратите внимание на разницу в работе команд i и a . Первая вставляет новую строку до указанной, вторая — после.

Замена строк

Команда c позволяет изменить содержимое целой строки текста в потоке данных. При её вызове нужно указать номер строки, вместо которой в поток надо добавить новые данные:

Замена строки целиком

Если воспользоваться при вызове команды шаблоном в виде обычного текста или регулярного выражения, заменены будут все соответствующие шаблону строки:

Замена строк по шаблону

Замена символов

Команда y работает с отдельными символами, заменяя их в соответствии с переданными ей при вызове данными:

Используя эту команду, нужно учесть, что она применяется ко всему текстовому потоку, ограничить её конкретными вхождениями символов нельзя.

Вывод номеров строк

Если вызвать sed, использовав команду = , утилита выведет номера строк в потоке данных:

Вывод номеров строк

Потоковый редактор вывел номера строк перед их содержимым.

Если передать этой команде шаблон и воспользоваться ключом sed -n , выведены будут только номера строк, соответствующих шаблону:

Вывод номеров строк, соответствующих шаблону

Чтение данных для вставки из файла

Выше мы рассматривали приёмы вставки данных в поток, указывая то, что надо вставить, прямо при вызове sed. В качестве источника данных можно воспользоваться и файлом. Для этого служит команда r , которая позволяет вставлять в поток данные из указанного файла. При её вызове можно указать номер строки, после которой надо вставить содержимое файла, или шаблон.

Вставка в поток содержимого файла

Тут содержимое файла newfile было вставлено после третьей строки файла myfile .

Вот что произойдёт, если применить при вызове команды r шаблон:

Использование шаблона при вызове команды r

Содержимое файла будет вставлено после каждой строки, соответствующей шаблону.

Пример

Представим себе такую задачу. Есть файл, в котором имеется некая последовательность символов, сама по себе бессмысленная, которую надо заменить на данные, взятые из другого файла. А именно, пусть это будет файл newfile , в котором роль указателя места заполнения играет последовательность символов DATA . Данные, которые нужно подставить вместо DATA , хранятся в файле data .

Решить эту задачу можно, воспользовавшись командами r и d потокового редактора sed:

Замена указателя места заполнения на реальные данные

Как видите, вместо заполнителя DATA sed добавил в выходной поток две строки из файла data .

Итоги

Сегодня мы рассмотрели основы работы с потоковым редактором sed. На самом деле, sed — это огромнейшая тема. Его изучение вполне можно сравнить с изучением нового языка программирования, однако, поняв основы, вы сможете освоить sed на любом необходимом вам уровне. В результате ваши возможности по обработке с его помощью текстов будет ограничивать лишь воображение.

На сегодня это всё. В следующий раз поговорим о языке обработки данных awk.

Уважаемые читатели! А вы пользуетесь sed в повседневной работе? Если да — поделитесь пожалуйста опытом.

Источник