GNU Wget - это открыто распространяемая утилита для загрузки файлов из интернета. Она поддерживает протоколы HTTP, HTTPS, и FTP, загрузку с серверов прокси по протоколу HTTP.

Благодаря рекурсивной загрузке Wget может создавать локальные копии удаленных сайтов.

Проверка заголовков файлов по протоколам HTTP и FTP дает возможность обновлять ранее загруженные файлы, а также при использовании Wget можно реализовывать зеркальное хранение сайтов или набора файлов на FTP.

Если сервер, с которого загружается файл, поддерживает докачку файла, то в случае обрыва Wget продолжит загружать файл именно с того места, где оборвалась загрузка.

Для простой загрузки файла наберем в терминале


Эта же команда с параметром "-c" или "-continue" продолжит оборванную загрузку.
По умолчанию файл будет сохранен в домашней директории пользователя, но если wget запустили из другой директории, то в ней и сохранится файл.

Для загрузки из файла, содержащего ссылки либо html-страницы нужно использовать параметр "-i"

Для создания локальной копии сайта используется параметр "-m"
Кроме этого ключ "-r" означает рекурсивную загрузку, "-к" конвертирует ссылки в автономные для удобства просмотра, а "-np" не выпустит Wget выше начального адреса.

Другие полезные ключи:

Включение и исключение файлов при загрузке

-A acclist | -accept acclist

-R rejlist | -reject rejlist

Задаёт разделяемые запятыми шаблоны имён файлов, которые следует загружать (acclist) или игнорировать (rejlist).

-k | -convert-links

Превращает абсолютные ссылки (типа http://www...) в относительные (типа file///home/vasya/www/index.html) для удобства локального просмотра. Чтобы локально в броузере просмотреть скачанный сайт, открываете файл index.html в броузере и бродите по ссылкам точно так же, как если бы вы были подключены к Интернету.

-p --page-requisites

Загружать все файлы, которые нужны для отображения страниц HTML. Например: рисунки, звук и каскадные стили. После завершения загрузки конвертировать ссылки в документе для просмотра в автономном режиме. Это касается не только видимых ссылок на другие документы, а ссылок на все внешние локальные файлы.

Ограничение канала загрузки –limit-rate=значение в кб. Например:

wget --limit-rate=50k http://www....

Это приведет к тому, что скорость загрузки не будет превышать указанных в примере пятидесяти килобайт/сек.


Подробный русский man Wget можно найти в интерактивной системе просмотра системных руководств (man-ов).