Как использовать wget, инструмент для загрузки Ultimate Command Line

Новее не всегда лучше, и команда wget является доказательством. Впервые выпущенное в 1996 году, это приложение до сих пор остается одним из лучших менеджеров загрузок на планете. Если вы хотите загрузить один файл, целую папку или даже зеркально отразить весь веб-сайт, wget позволит вам сделать это всего несколькими нажатиями клавиш.

Конечно, есть причина, по которой не все используют wget: это приложение для командной строки, поэтому начинающим приходится учиться немного времени. Вот основы, чтобы вы могли начать.

Как установить wget

Прежде чем вы сможете использовать wget, вам необходимо установить его. Как это сделать, зависит от вашего компьютера:

• Большинство (если не все) дистрибутивов Linux поставляются с wget по умолчанию. Таким образом, пользователям Linux не нужно ничего делать!
• Системы MacOS не поставляются с wget, но вы можете установить инструменты командной строки, используя Homebrew. После настройки Homebrew просто запустите brew install wget в Терминале.
• Пользователи Windows не имеют легкого доступа к wget в традиционной командной строке, хотя Cygwin предоставляет wget и другие утилиты GNU, а оболочка Bash Ubuntu в Windows 10 также поставляется с wget.

После того, как вы установили wget, вы можете сразу начать использовать его из командной строки. Давайте скачаем несколько файлов!

Скачать один файл

Давайте начнем с чего-то простого. Скопируйте URL-адрес файла, который вы хотите загрузить в своем браузере.

Теперь вернитесь к терминалу и введите wget , а затем вставленный URL. Файл загрузится, и вы увидите прогресс в реальном времени.

Обратите внимание, что файл будет загружен в текущую папку вашего терминала, поэтому вам нужно cd в другую папку, если вы хотите, чтобы он хранился в другом месте. Если вы не уверены, что это значит, ознакомьтесь с нашим руководством по управлению файлами из командной строки. В статье упоминается Linux, но концепции одинаковы для систем MacOS и Windows, работающих под управлением Bash.

Продолжить незавершенную загрузку

Если по какой-либо причине вы остановили загрузку до того, как она могла закончиться, не беспокойтесь: wget может начать работу с того места, где она остановилась. Просто используйте эту команду:

wget -c file

Ключ здесь -c , который является «опцией» на языке командной строки. Этот конкретный параметр сообщает wget, что вы хотите продолжить существующую загрузку.

Зеркало весь сайт

Если вы хотите загрузить весь веб-сайт, wget может выполнить эту работу.

wget -m http://example.com

По умолчанию это загрузит все на сайте example.com, но вы, вероятно, захотите использовать еще несколько опций для удобного зеркала.

• - convert-links изменяет ссылки внутри каждой загруженной страницы, чтобы они указывали друг на друга, а не на Интернет.
• - page-реквизиты загружает такие вещи, как таблицы стилей, поэтому страницы будут выглядеть правильно в автономном режиме.
• - no-parent останавливает wget от загрузки родительских сайтов. Поэтому, если вы хотите загрузить http://example.com/subexample, у вас не будет родительской страницы.

Объедините эти варианты по вкусу, и вы получите копию любого веб-сайта, который вы можете просматривать на своем компьютере.

Обратите внимание, что зеркалирование всего сайта в современном Интернете займет много места, поэтому ограничьте его небольшими сайтами, если у вас нет практически неограниченного хранилища.

Скачать весь каталог

Если вы просматриваете FTP-сервер и находите всю папку, которую хотите загрузить, просто запустите:

wget -r ftp://example.com/folder

r в этом случае сообщает wget, что вы хотите рекурсивную загрузку. Вы также можете включить - noparent , если хотите избежать загрузки папок и файлов выше текущего уровня.

Скачать список файлов одновременно

Если вы не можете найти всю папку нужных вам загрузок, wget все равно может помочь. Просто поместите все URL загрузки в один файл TXT.

затем укажите wget на этот документ с помощью опции -i . Как это:

wget -i download.txt

Сделайте это, и ваш компьютер загрузит все файлы, перечисленные в текстовом документе, что очень удобно, если вы хотите оставить загрузку на ночь.

Еще несколько хитростей

Мы могли бы пойти дальше: Wget предлагает множество вариантов. Но это руководство предназначено для того, чтобы дать вам отправную точку. Чтобы узнать больше о том, что может сделать wget, наберите man wget в терминале и прочитайте, что произойдет. Вы многому научитесь.

Сказав это, вот еще несколько вариантов, которые я считаю опрятными:

• Если вы хотите, чтобы загрузка выполнялась в фоновом режиме, просто включите параметр -b .
• Если вы хотите, чтобы wget продолжала пытаться загрузить файл даже в случае ошибки 404, используйте параметр -t 10 . Это будет пытаться загрузить 10 раз; Вы можете использовать любой номер, который вам нравится.
• Если вы хотите управлять пропускной способностью, опция - limit-rate = 200k ограничит скорость загрузки до 200 КБ/с. Измените номер, чтобы изменить ставку.

Здесь можно многому научиться. Вы можете посмотреть загрузку исходного кода PHP или настроить автоматический загрузчик, если хотите получить больше знаний.