Куда скачиваются файлы wget linux

Команда Wget в Linux с примерами

Wget Command in Linux with Examples

В этом руководстве мы покажем вам, как использовать команду Wget, на практических примерах и подробных объяснениях наиболее распространенных параметров Wget.

Установка Wget

Пакет wget уже предустановлен в большинстве дистрибутивов Linux.

Чтобы проверить, установлен ли пакет Wget в вашей системе, откройте консоль, введите wget и нажмите клавишу ввода. Если у вас установлен wget, система напечатает wget: missing URL , в противном случае он будет печатать wget command not found .

Если wget не установлен, вы можете легко установить его с помощью менеджера пакетов вашего дистрибутива.

Установка Wget на Ubuntu и Debian

Установка Wget на CentOS и Fedora

Синтаксис команды Wget

Прежде чем перейти к использованию wget команды, давайте начнем с обзора основного синтаксиса.

В wget полезности выражение принимает следующий вид:

• options — варианты Wget
• url — URL файла или каталога, который вы хотите скачать или синхронизировать.

Как скачать файл с помощью Wget

В простейшей форме, когда используется без какой-либо опции, wget загрузит ресурс, указанный в [url], в текущий каталог.

В следующем примере мы загружаем tar-архив ядра Linux:

Как видно из рисунка выше, Wget начинает с разрешения IP-адреса домена, затем подключается к удаленному серверу и начинает передачу.

Во время загрузки Wget показывает индикатор выполнения наряду с именем файла, размером файла, скоростью загрузки и предполагаемым временем завершения загрузки. После завершения загрузки вы можете найти загруженный файл в текущем рабочем каталоге .

Чтобы отключить вывод Wget, используйте -q опцию.

Если файл уже существует, Wget добавит .N (число) в конце имени файла.

Использование команды Wget для сохранения загруженного файла под другим именем

Чтобы сохранить загруженный файл под другим именем, передайте -O опцию, а затем выбранное имя:

Команда выше сохранит последнюю файл hugo zip из GitHub latest-hugo.zip вместо его исходного имени.

Использование команды Wget для загрузки файла в определенный каталог

По умолчанию Wget сохраняет загруженный файл в текущем рабочем каталоге. Чтобы сохранить файл в определенном месте, используйте -P параметр:

С помощью приведенной выше команды мы сообщаем Wget сохранить ISO-файл CentOS 7 в /mnt/iso каталог.

Как ограничить скорость загрузки с помощью Wget

Чтобы ограничить скорость загрузки, используйте —limit-rate опцию. По умолчанию скорость измеряется в байтах / секунду. Добавить k за килобайт, m за мегабайты и g за гигабайты.

Следующая команда загрузит двоичный файл Go и ограничит скорость загрузки до 1 Мб:

Эта опция полезна, когда вы не хотите, чтобы wget использовал всю доступную пропускную способность.

Как возобновить загрузку с помощью Wget

Вы можете возобновить загрузку, используя -c опцию. Это полезно, если ваше соединение разрывается во время загрузки большого файла, и вместо того, чтобы начать загрузку с нуля, вы можете продолжить предыдущую.

В следующем примере мы возобновляем загрузку iso-файла Ubuntu 18.04:

Если удаленный сервер не поддерживает возобновление загрузки, Wget начнет загрузку с начала и перезапишет существующий файл.

Как скачать в фоновом режиме с Wget

Для загрузки в фоновом режиме используйте -b опцию. В следующем примере мы загружаем iso-файл OpenSuse в фоновом режиме:

По умолчанию выходные данные перенаправляются в wget-log файл в текущем каталоге. Чтобы посмотреть статус загрузки, используйте tail команду:

Как изменить Wget User-Agent от Wget

Иногда при загрузке файла удаленный сервер может быть настроен на блокировку Wget User-Agent. В подобных ситуациях для эмуляции другого браузера передайте -U опцию.

Приведенная выше команда будет эмулировать Firefox 60, запрашивающий страницу у wget-forbidden.com

Как скачать несколько файлов с помощью Wget

Если вы хотите загрузить несколько файлов одновременно, используйте -i параметр, после которого укажите путь к локальному или внешнему файлу, содержащему список URL-адресов для загрузки. Каждый URL должен быть в отдельной строке.

В следующем примере мы загружаем iso файлы Arch Linux, Debian и Fedora с URL-адресами, указанными в linux-distros.txt файле:

Если вы укажете — имя файла, URL будут считаны из стандартного ввода.

Использование команды Wget для загрузки через FTP

Чтобы загрузить файл с FTP-сервера, защищенного паролем, укажите имя пользователя и пароль, как показано ниже:

Использование команды Wget для создания зеркала сайта

Чтобы создать зеркало сайта с помощью Wget, используйте -m опцию. Это создаст полную локальную копию веб-сайта, перейдя и загрузив все внутренние ссылки, а также ресурсы веб-сайта (JavaScript, CSS, изображения).

Если вы хотите использовать загруженный веб-сайт для локального просмотра, вам нужно будет передать несколько дополнительных аргументов команде выше.

Эта -k опция заставит Wget конвертировать ссылки в загруженных документах, чтобы сделать их пригодными для локального просмотра. -p Опция покажет Wget , чтобы загрузить все необходимые файлы для отображения страницы HTML.

Как пропустить проверку сертификата с помощью Wget

Если вы хотите загрузить файл через HTTPS с хоста, имеющего недействительный сертификат SSL, используйте —no-check-certificate параметр:

Как скачать в стандартный вывод с помощью Wget

В следующем примере Wget тихо (пометит -q ) загрузит и выведет последнюю версию WordPress в stdout (пометит -O — ) и tar передаст ее утилите, которая извлечет архив в /var/www каталог.

Вывод

С помощью Wget вы можете загружать несколько файлов, возобновлять частичную загрузку, зеркалировать веб-сайты и комбинировать параметры Wget в соответствии с вашими потребностями.

Источник

unixforum.org

Форум для пользователей UNIX-подобных систем

• Темы без ответов
• Активные темы
• Поиск
• Статус форума

wget — указать локальный каталог для файлов (где и как? (Zenwalk))

Модератор: /dev/random

wget — указать локальный каталог для файлов

Сообщение zh0rzh » 28.10.2007 10:34

Пробую закачать файлы wget`ом — не могу понять, куда ин сохраняет по умолчанию?
Почитал МАНы — стал закачивать с опцией -P/локальный_каталог

Но хотелось бы по умолчанию прописать в настройки каталог и забыть.
Файл .wgetrc в моей системе отсутствует.
Файла /usr/local/etc/wgetrc тоже нет.
Есть файл /etc/wgetrc — но в нём не нашёл ничего такого, где были бы прописаны пути сохранения скачаных файлов/сайтов.

Как их прописать и где?

Re: wget — указать локальный каталог для файлов

Сообщение SpeedHack » 28.10.2007 11:03

Если параметры не указывать, то закачка будет идти в тот каталог, в котором находишься.

Re: wget — указать локальный каталог для файлов

Сообщение Folderx » 28.10.2007 11:26

/.wgetrc есть, в нём много строк, одна из последних

можно конечно через -P качать, тогда можно прописать алиас для bash в его файле настроек, который тоже у пользователя в каталоге типа вместо wget вставлять wget -P

Источник

Качать с помощью wget на определённый диск

Не получилось разобраться, как указать вгету путь, куда сохранять файл?

Re: Качать с помощью wget на определённый диск

cd каталог_куда_сохранять_файл
wget качаем

ещё опция была вроде

Re: Качать с помощью wget на определённый диск

Я ему говорю качать — а он мне в ответ: bash: syntax error near unexpected token `(‘

Имя файла сложное(много разных знаков). Вероятно он часть имени как то не так обрабатывает.. Это не знаете как побороть?

Re: Качать с помощью wget на определённый диск

>> Имя файла сложное(много разных знаков). Вероятно он часть имени как то не так обрабатывает.. Это не знаете как побороть?

Имя в кавычки возьми, либо экранируй служебные символы

Re: Качать с помощью wget на определённый диск

согласен, что man wget неудобный.

Re: Качать с помощью wget на определённый диск

Спасибо. Вот за что я люблю линукс — за его гибкость. Всё заработало.

Re: Качать с помощью wget на определённый диск

> ещё опция была вроде

Re: Качать с помощью wget на определённый диск

> согласен, что man wget неудобный.

О да ладно! Тебе какой нужен, с картинками?

Re: Качать с помощью wget на определённый диск

>Качать с помощью wget на определённый диск

Разделы дисками называют только гамающиеся школьнеги.

Re: Качать с помощью wget на определённый диск

Re: Качать с помощью wget на определённый диск

Флэшки называют разделами только. ладно, не буду опускаться до твоего уровня.

Re: Качать с помощью wget на определённый диск

Кстати, произошол прикольный глюк. За ночь фильм скачался. Запускаю утром — чуть не упал. Размер превратился из 3 гигов в полтора мега, и лампочка модема мигает, а размер плавно растёт до двух мегов. Почемуто плеер решил скачать фильм ещё раз. Я в ужасе матерю всё свободное ПО, перезагружаю комп — и слава небесам — мой трёхгиговый фильм на месте.

Источник

Как изменить каталог wget по умолчанию от «Видео» до «Загрузки»?

Для вашего варианта использования вы не будете использовать новый пакет для изменения вашей конфигурации. Скорее, вы должны перестроить пакет, который вы изменяете, с измененной конфигурацией по умолчанию (через патч). Затем вы загрузите этот пакет в PPA или аналогичную систему репозитория для легкой установки.

Упаковка одного файла в .deb для изменения конфигурационного файла new .deb не рекомендуется, что если этот другой .deb будет изменен, и вы получите явную версию в своем debian / control, а новая версия слишком новая, ваша система отклонит конфигурационный файл .deb.

Пожалуйста, комментируйте этот ответ, почему вы специально хотите, чтобы .deb выполнял изменения conf, и я могу подробно рассказать о том, как вы это сделаете, если вообще.

Ну, во-первых, я подумал, что сделать такой .deb будет без проблем, во-вторых, я не ожидаю, что конфигурация сильно изменится, и я думаю, что если я переупакую другой пакет, мне нужно будет обновить свой пакет как как только обновление поступит в исходное (?). Я бы очень признателен за вашу помощь, пакет, который я пытаюсь изменить в config, — collectd, и мне просто нужно заменить /etc/collectd/collectd.conf в сценарии postinstall — Fluffy

Making .deb не является проблемой, вам действительно нужно существенное понимание того, как упаковка работает между прочим. Вам нужно будет обновить свой пакет после того, как обновление поступит с оригинала, но это может быть частично решено на основании изменений, включая, но не ограничиваясь тем, какой пакет в настоящее время существует в Ubuntu, и что исправлено в другой версии. Но как только у вас есть патч, вы можете применить его так же легко в новой версии, как и применить его к старой версии, поэтому я упомянул об этом.

Ну, во-первых, я подумал, что создание такого .deb было бы неинтересным, во-вторых, я не ожидаю, что конфигурация сильно изменится, и я думаю, что если я переупакую другой пакет, мне нужно будет обновить пакет, как только обновление поступит в исходное (?). Я бы очень признателен за вашу помощь, пакет, который я пытаюсь изменить в config, является сборником, и мне просто нужно заменить /etc/collectd/collectd.conf в сценарии postinstall — Fluffy

Нужно ли загружать текущий .deb, распаковывать и редактировать его, или мне нужно иметь дело с исходным кодом? — Пушистый

Что такое исходный пакет?

Этот вопрос невозможен в его текущей форме, поэтому позвольте мне подробнее остановиться на других вопросах, которые я видел:

Что такое исходный пакет?

Исходный пакет — это пакет, из которого создаются пакеты двоичного установщика (.debs). Они содержат весь исходный код программы, но со всеми применимыми патчами и информацией о пакете Debian в них.

Выполняет ли редактирование исходный пакет, я редактирую исходный код программы?

Не обязательно. Исходный код программы — это то, из чего создается пакет, но если вы не изменяете этот код, вы можете изменить пакет, даже не касаясь кода. В зависимости от того, что вы пытаетесь сделать.

Итак, чтобы просто объяснить, независимо от того, что вы здесь делаете, вам нужно отредактировать исходный код загруженной программы вверх или исходный код содержащихся в пакете. Таким образом, «Исходный исходный код» будет работать независимо. Сценарии postinst и другие скрипты, связанные с установкой, хранятся в debian/* внутри пакета и не являются частью исходного кода.

Источник

Ubuntu. Использование команды Wget

В этой статье будет рассмотрен процесс использования консольной утилиты wget с наиболее распространенными опциями.

Что такое Wget

Wget — консольная программа для загрузки файлов из интернета, позволяющая скачивать файлы по протоколам HTTP, HTTPS и FTP.

Большое количество опций этой утилиты позволяет скачивать несколько файлов одновременно, возобновлять загрузки, ограничивать скорость скачивания, загружать файлы в фоновом режиме, делать оффлайновое зеркало страниц какого-либо сайта и многое другое.

Установка Wget

В большинстве дистрибутивов Linux пакет wget предустановлен по умолчанию.

Но если wget отсутствует в системе, то его можно загрузить при помощи менеджера пакетов.

Установка Wget в Ubuntu и Debian

Установка Wget в CentOS и Fedora

Синтаксис команд для Wget

Перед началом использования консольной утилиты wget стоит ознакомиться с используемым ей форматом команд.

В общем случае синтаксис команд для wget выглядит так:

где «options» — дополнительные опции, а «url» — ссылка на файл или директорию, которую вы хотите скачать.

Как скачать файл при помощи Wget

Простейший вариант использования wget — скачивание файла в текущую директорию без всяких опций.

В качестве примера рассмотрим команду для скачивания архива с ядром Linux:

При ее использовании wget определяет сопоставляет домен с IP-адресом сервера, подключается к этому серверу и начинает загрузку данных.

В процессе загрузки в консоли будет отображаться строка состояния с именем файла и его размером, скоростью скачивания и примерным подсчетом времени до окончания загрузки. После окончания загрузки скачанный файл можно будет найти в той директории, которая была активна на момент ввода команды.

Чтобы не выводить всю эту информацию в консоль можно запустить wget с опцией -q:

А если файл с таким именем уже существует, то wget сохранит его копию, добавив после оригинального названия цифровой номер.

Как сохранить скачиваемый файл под другим именем

Для того, чтобы автоматически сохранить скачиваемый файл под другим названием можно воспользоваться опцией -O, указав после нее желаемое имя файла:

В данном примере с GitHub скачивается архив с движком Hugo (master.zip) и сохраняется на компьютере под названием latest-hugo.zip

Как скачать файл в определенную директорию

По умолчанию wget сохраняет скачиваемый файл в текущую активную директорию. Чтобы сохранить файл по другому пути можно воспользоваться опцией -P, указав после нее место для сохранения:

В данном примере файл с образом дистрибутива CentOS 7 будет скачан в директорию /mnt/iso/.

Как ограничить скорость скачивания

Для ограничения скорости загрузки можно воспользоваться опцией —limit-rate (обратите внимание: два дефиса в начале), указав предел допустимой скорости в байтах, килобайтах (суффикс k) или мегабайтах (суффикс m):

В вышеприведенных примерах скорость загрузки будет ограничена до 1 мегабайта или 1024 килобайт в секунду.

Как возобновить загрузку

Если при помощи wget загружался крупный файл, но соединение прервалось, то можно продолжить его загрузку при помощи опции -c вместо того, чтобы начинать загружать с самого начала:

Однако, при этом необходимо чтобы сам сервер поддерживал возможность возобновления загрузки. В ином случае wget начнет загрузку с начала и перезапишет имеющийся файл.

Как скачивать файлы в фоне

Чтобы загрузить файл в фоновом режиме можно воспользоваться опцией -b:

Это полезно если вы загружаете какой-то крупный файл и во время его загрузки хотите продолжать пользоваться консолью.

Как изменить User-Agent при скачивании

В некоторых случаях удаленный сервер может блокировать доступ для нестандартных User-Agent, используемых ботами или утилитами вроде wget.

Как быть в таких ситуациях? Эмулировать User-Agent какого-нибудь распространенного браузера при помощи опции -U:

В примере выше wget будет скачивать содержимое сайта http://wget-forbidden.com/, эмулируя браузер Firefox 60.

Как скачивать сразу несколько файлов

Для одновременной загрузки нескольких файлов можно воспользоваться опцией -i и задать путь к текстовому файлу со списку URL для загрузки:

Содержимое файла linux-distros.txt может выглядеть следующим образом:

Каждый URL в списке должен начинаться с новой строки.

Как скачивать файлы по FTP

Для скачивания файлов с требующего авторизации FTP-сервера нужно указать свой логин и пароль:

Как скачать сайт при помощи Wget

Для создания зеркала веб-сайта можно использовать wget с опцией -m. При этом будет создана локальная копия вебсайта со всем его содержимым, включая картинки:

Если скачиваемый веб-сайт планируется использовать для локального просмотра, то стоит добавить несколько дополнительных аргументов:

Опция -k нужна для того, чтобы wget автоматически сконвертировал все гиперссылки в загружаемых HTML-файлах для их работоспособности оффлайн. А опция -p включает в список объектов для скачивания необходимые для правильного отображения сайта ресурсы, вроде скриптов (JavaScript) и таблиц стилей CSS.

Как пропустить проверку SSL-сертификата

Если нужно скачать файл по HTTPS-протоколу с ресурса, обладающего некорректным SSL-сертификатом (распространенный пример — владелец поставил вручную бесплатный сертификат от Let’s Encrypt и забыл продлить его спустя три месяца), то можно воспользоваться опцией —no-check-certificate (опять-таки, два дефиса в начале):

Заключение

Несмотря на кажущуюся незамысловатость, wget — довольно навороченная утилита.

В данной статье были рассмотрены наиболее распространенные сценарии ее использования для скачивания нескольких файлов одновременно, возобновления сбойных загрузок и созданий локальных зеркал веб-сайтов.

Если этого недостаточно — можно ознакомиться с официальным руководством по Wget.

Источник