Wget - выкачиваем сайт целиком

user warning: Table './muffsql1/cache_filter' is marked as crashed and should be repaired query: SELECT data, created, headers, expire, serialized FROM cache_filter WHERE cid = '2:60ab6e56ed90a00cbf80ac9c0b8527bf' in /usr/local/www/muff.kiev.ua/includes/cache.inc on line 27.
user warning: Table './muffsql1/cache_filter' is marked as crashed and should be repaired query: UPDATE cache_filter SET data = 'Рано или позндно, возникает необходимость загрузки файлов с веб-ресурсов напрямую на сервер. Конечно, можно пользоваться инструментом, поставляемым по умолчанию в FreeBSD - fetch. Однако он не предоставляет тех возможностей, которые есть у wget. На страницах ресурса множество примеров загрузок выполнено именно с использованием wget.\nДля того, чтобы воспользоваться возможностями wget, необходимо выполнить его установку из портов:\n<table border=\"1\" cellspacing=\"1\" cellpadding=\"1\" width=\"100%\">\n<tbody>\n<tr>\n<td># cd /usr/ports/ftp/wget && make install && rehash</td>\n</tr>\n</tbody>\n</table>\nОпции сборки устанавливаю следующие:\n\n<table border=\"1\" cellspacing=\"1\" cellpadding=\"1\" width=\"100%\">\n<tbody>\n<tr>\n<td>\n \nOptions for wget 1.12_4\n<pre>\n[ ] GNUTLS Support for SSL via GnuTLS\n[ ] IPV6     Support for IPv6\n[X] NLS      Native Language Support with gettext\n[X] OPENSSL  Support for SSL via OpenSSL\n[X] IDN      Support IDN (Internationalized Domain Names)</pre></td>\n</tr>\n</tbody>\n</table>\n\nУстановка прошла не очень быстро, в основном за счет устанавливаемых зависимостей.\nС возможностями wget можно ознакомиться на <a href=\"http://muff.kiev.ua/content/wget-rukovodstvo-gnu-wget\">странице man-руководства</a>.  Я же наведу только один пример - выкачка сайта целиком (как и было указано в названии статьи):\n<table border=\"1\" cellspacing=\"1\" cellpadding=\"1\" width=\"100%\">\n<tbody>\n<tr>\n<td># wget -r -k -p -N -l 1 <a href=\"http://muff.kiev.ua/\">http://muff.kiev.ua/</a></td>\n</tr>\n</tbody>\n</table>\nЗначение используемых ключей:\n<ul>\n<li class=\"rtejustify\">-r рекурсия</li>\n<li class=\"rtejustify\">-k конвертация ссылок на полученных страницах</li>\n<li class=\"rtejustify\">-p включать все содержимое страниц (картнки и т.п.)</li>\n<li class=\"rtejustify\">-N включить time-stamping. Понадобится, если потом нужно будет скачать только обновившиеся ресурсы</li>\n<li class=\"rtejustify\">-l глубина ссылок(по умолчанию 5)</li>\n \n</ul>\n \n', created = 1767356946, expire = 1767443346, headers = '', serialized = 0 WHERE cid = '2:60ab6e56ed90a00cbf80ac9c0b8527bf' in /usr/local/www/muff.kiev.ua/includes/cache.inc on line 112.
user warning: Table './muffsql1/cache_filter' is marked as crashed and should be repaired query: SELECT data, created, headers, expire, serialized FROM cache_filter WHERE cid = '2:5ad5583268225ad58928b88705a082b1' in /usr/local/www/muff.kiev.ua/includes/cache.inc on line 27.
user warning: Table './muffsql1/cache_filter' is marked as crashed and should be repaired query: UPDATE cache_filter SET data = 'какая ос?\nfree bsd или Linux?\nМожно такое сделать на CentOs? \n \n', created = 1767356946, expire = 1767443346, headers = '', serialized = 0 WHERE cid = '2:5ad5583268225ad58928b88705a082b1' in /usr/local/www/muff.kiev.ua/includes/cache.inc on line 112.
user warning: Table './muffsql1/cache_filter' is marked as crashed and should be repaired query: SELECT data, created, headers, expire, serialized FROM cache_filter WHERE cid = '2:df1fa73f9f7072c472808c948102747e' in /usr/local/www/muff.kiev.ua/includes/cache.inc on line 27.
user warning: Table './muffsql1/cache_filter' is marked as crashed and should be repaired query: UPDATE cache_filter SET data = 'OS FreeBSD\nМожно и под Linux - wget только нужно установить. Можно даже под виндой - wget для windows тоже есть :)\n', created = 1767356946, expire = 1767443346, headers = '', serialized = 0 WHERE cid = '2:df1fa73f9f7072c472808c948102747e' in /usr/local/www/muff.kiev.ua/includes/cache.inc on line 112.
user warning: Table './muffsql1/cache_filter' is marked as crashed and should be repaired query: SELECT data, created, headers, expire, serialized FROM cache_filter WHERE cid = '2:b1f58154e0889ad9e13f315115f79cf2' in /usr/local/www/muff.kiev.ua/includes/cache.inc on line 27.
user warning: Table './muffsql1/cache_filter' is marked as crashed and should be repaired query: UPDATE cache_filter SET data = ' \n \n', created = 1767356946, expire = 1767443346, headers = '', serialized = 0 WHERE cid = '2:b1f58154e0889ad9e13f315115f79cf2' in /usr/local/www/muff.kiev.ua/includes/cache.inc on line 112.
user warning: Table './muffsql1/cache_filter' is marked as crashed and should be repaired query: SELECT data, created, headers, expire, serialized FROM cache_filter WHERE cid = '2:07243fc0252056071eaa62af8c18d662' in /usr/local/www/muff.kiev.ua/includes/cache.inc on line 27.
user warning: Table './muffsql1/cache_filter' is marked as crashed and should be repaired query: UPDATE cache_filter SET data = '<a class=\"thickbox\" href=\"/files/imagepicker/1/wake_up_ua.png\"><img alt=\"Вставай, Україно!\" class=\"imgp_img\" src=\"/files/imagepicker/1/thumbs/wake_up_ua.png\" style=\"height:200px; width:150px\" /></a>\n', created = 1767356946, expire = 1767443346, headers = '', serialized = 0 WHERE cid = '2:07243fc0252056071eaa62af8c18d662' in /usr/local/www/muff.kiev.ua/includes/cache.inc on line 112.
user warning: Table './muffsql1/cache_filter' is marked as crashed and should be repaired query: SELECT data, created, headers, expire, serialized FROM cache_filter WHERE cid = '3:cc913d232116f0426090404133377d88' in /usr/local/www/muff.kiev.ua/includes/cache.inc on line 27.
user warning: Table './muffsql1/cache_filter' is marked as crashed and should be repaired query: SELECT data, created, headers, expire, serialized FROM cache_filter WHERE cid = '2:d9a86123bfcbc57878743027b584400b' in /usr/local/www/muff.kiev.ua/includes/cache.inc on line 27.
user warning: Table './muffsql1/cache_filter' is marked as crashed and should be repaired query: UPDATE cache_filter SET data = '<a href=\"http://muff.kiev.ua/rss.xml\"><img alt=\"RSS\" width=\"160\" height=\"60\" src=\"http://muff.kiev.ua/files/muf-rss.png\" /></a>\n', created = 1767356946, expire = 1767443346, headers = '', serialized = 0 WHERE cid = '2:d9a86123bfcbc57878743027b584400b' in /usr/local/www/muff.kiev.ua/includes/cache.inc on line 112.
user warning: Table './muffsql1/cache_filter' is marked as crashed and should be repaired query: SELECT data, created, headers, expire, serialized FROM cache_filter WHERE cid = '3:39649256b636e3d5ded656bc52bd8c01' in /usr/local/www/muff.kiev.ua/includes/cache.inc on line 27.

Опубликовано muff в Втр, 2011-08-23 00:59

Рано или позндно, возникает необходимость загрузки файлов с веб-ресурсов напрямую на сервер. Конечно, можно пользоваться инструментом, поставляемым по умолчанию в FreeBSD - fetch. Однако он не предоставляет тех возможностей, которые есть у wget. На страницах ресурса множество примеров загрузок выполнено именно с использованием wget.

Для того, чтобы воспользоваться возможностями wget, необходимо выполнить его установку из портов:

# cd /usr/ports/ftp/wget && make install && rehash

Опции сборки устанавливаю следующие:

Options for wget 1.12_4

[ ] GNUTLS   Support for SSL via GnuTLS
[ ] IPV6     Support for IPv6
[X] NLS      Native Language Support with gettext
[X] OPENSSL  Support for SSL via OpenSSL
[X] IDN      Support IDN (Internationalized Domain Names)

Установка прошла не очень быстро, в основном за счет устанавливаемых зависимостей.

С возможностями wget можно ознакомиться на странице man-руководства. Я же наведу только один пример - выкачка сайта целиком (как и было указано в названии статьи):

# wget -r -k -p -N -l 1 http://muff.kiev.ua/

Значение используемых ключей:

-r рекурсия
-k конвертация ссылок на полученных страницах
-p включать все содержимое страниц (картнки и т.п.)
-N включить time-stamping. Понадобится, если потом нужно будет скачать только обновившиеся ресурсы
-l глубина ссылок(по умолчанию 5)