Wget - выкачиваем сайт целиком

Опубликовано muff в Втр, 2011-08-23 00:59

Рано или позндно, возникает необходимость загрузки файлов с веб-ресурсов напрямую на сервер. Конечно, можно пользоваться инструментом, поставляемым по умолчанию в FreeBSD - fetch. Однако он не предоставляет тех возможностей, которые есть у wget. На страницах ресурса множество примеров загрузок выполнено именно с использованием wget.

Для того, чтобы воспользоваться возможностями wget, необходимо выполнить его установку из портов:

# cd /usr/ports/ftp/wget && make install && rehash

Опции сборки устанавливаю следующие:

Options for wget 1.12_4

[ ] GNUTLS   Support for SSL via GnuTLS
[ ] IPV6     Support for IPv6
[X] NLS      Native Language Support with gettext
[X] OPENSSL  Support for SSL via OpenSSL
[X] IDN      Support IDN (Internationalized Domain Names)

Установка прошла не очень быстро, в основном за счет устанавливаемых зависимостей.

С возможностями wget можно ознакомиться на странице man-руководства. Я же наведу только один пример - выкачка сайта целиком (как и было указано в названии статьи):

# wget -r -k -p -N -l 1 http://muff.kiev.ua/

Значение используемых ключей:

-r рекурсия
-k конвертация ссылок на полученных страницах
-p включать все содержимое страниц (картнки и т.п.)
-N включить time-stamping. Понадобится, если потом нужно будет скачать только обновившиеся ресурсы
-l глубина ссылок(по умолчанию 5)