Drupal - Генерируем Sitemap

user warning: Table './muffsql1/cache_filter' is marked as crashed and should be repaired query: SELECT data, created, headers, expire, serialized FROM cache_filter WHERE cid = '2:5d135ae3f7c516be249da935a5c7c913' in /usr/local/www/muff.kiev.ua/includes/cache.inc on line 27.
user warning: Table './muffsql1/cache_filter' is marked as crashed and should be repaired query: UPDATE cache_filter SET data = 'Для улучшения работы  с сайтом поисковых систем, решил "прицепить" sitemap. Немного общей информации:\nSitemap - это XML-файл, который содержит информацию о страницах сайта: URL страницы, дату последнего изменения, частоту изменения, "важность" страницы. Эта информация позволяет поисковым системам быстрее и качественнее просканировать Ваш вебсайт, но не даёт гарантии что страницы будут проиндексированы.\nПоисковые системы необходимо проинформировать о наличии файла Sitemap. Лучше всего добавить директиву Sitemap в файл robots.txt:\n<table border=\"1\" cellspacing=\"1\" cellpadding=\"1\" width=\"100%\">\n<tbody>\n<tr>\n<td class=\"rtejustify\">User-agent: * \n Sitemap: <a href=\"http://example.com/sitemap.xml\">http://example.com/sitemap.xml</a></td>\n</tr>\n</tbody>\n</table>\n \nЕсли нет доступа к файлу robots.txt можно вручную проинформировать поисковую систему о расположении файла Sitemap: \n<ul>\n<li class=\"rtejustify\">для Yandex это нужно сделать в консоли <a href=\"http://webmaster.yandex.ru/\">Яндекс.Вебмастер</a>; \n </li>\n<li class=\"rtejustify\">для Google необходимо воспользоваться <a href=\"http://www.google.ru/webmasters/\">панелью инструментов Google</a>.</li>\n</ul>\n \n Итак, что такое sitemap более-менее понятно. Приступаем к уствновке. Скачиваем и распаковываем модуль XML sitemap. (на момент написания статьи была доступна версия 6.x-1.4):\n<table border=\"1\" cellspacing=\"1\" cellpadding=\"1\" width=\"100%\">\n<tbody>\n<tr>\n<td>\n# cd /путь_к_сайту/sites/all/modules\n# wget http://ftp.drupal.org/files/projects/xmlsitemap-6.x-1.2.tar.gz\nwget <a href=\"http://ftp.drupal.org/files/projects/xmlsitemap-6.x-1.2.tar.gz\" title=\"http://ftp.drupal.org/files/projects/xmlsitemap-6.x-1.2.tar.gz\">http://ftp.drupal.org/files/projects/xmlsitemap-6.x-1.2.tar.gz</a> \n --2010-07-22 21:41:55-- <a href=\"http://ftp.drupal.org/files/projects/xmlsitemap-6.x-1.2.tar.gz\" title=\"http://ftp.drupal.org/files/projects/xmlsitemap-6.x-1.2.tar.gz\">http://ftp.drupal.org/files/projects/xmlsitemap-6.x-1.2.tar.gz</a> \n Распознаётся ftp.drupal.org... 64.50.236.52, 64.50.233.100 \n Устанавливается соединение с ftp.drupal.org|64.50.236.52|:80... соединение установлено. \n Запрос HTTP послан, ожидается ответ... 200 OK \n Длина: 59345 (58K) [application/x-gzip] \n Сохраняется в каталог: `xmlsitemap-6.x-1.2.tar.gz\'.\n100%[====================================================>] 59 345 78,6K/s в 0,7s\n2010-07-22 21:41:58 (78,6 KB/s) - `xmlsitemap-6.x-1.2.tar.gz\' сохранён [59345/59345]\n \n# tar -xzf xmlsitemap-6.x-1.2.tar.gz \n  \n</td>\n</tr>\n</tbody>\n</table>\nПотом необходимо включить необходимые модуля. Путь следующий: Управление => Конструкция сайта => Модули.\n<ul>\n<li class=\"rtejustify\">XML sitemap — генерирует файл sitemap.xml</li>\n<li class=\"rtejustify\">XML sitemap engines — уведомляет поисковые системе о вашем sitemap файле</li>\n<li class=\"rtejustify\">XML sitemap node — добавляет в sitemap информацию о нодах</li>\n<li class=\"rtejustify\">XML sitemap taxonomy — добавляет в sitemap информацию о терминах таксономии</li>\n<li class=\"rtejustify\">XML sitemap user — добавляет в sitemap информацию о пользователях</li>\n</ul>\nЕсли не очень дружим с английским, <a href=\"http://drupaler.ru/translate/languages/ru/export?project=xmlsitemap\">скачиваем</a> русификацию.\nПриступаем к настройке. Переходим в Управление => Настройка сайта => XML sitemap. Рассмотрим доступные опции и возможности.\n<h3 class=\"rtejustify\">Закладка Sitemap</h3>\nAdd all the links to the default language sitemap — добавляет к адресам языковой префикс (используется только на многоязычных сайтах).\nCron limit — количество ссылок, которые будут обновлены (дата последней модификации, приоритет и т.д.) за один запуск крона. По умолчанию 100.\nCache directory — директория где будет храниться файл sitemap. По умолчанию sites/default/files/xmlsitemap\nUse stylesheet — Использовать стили при просмотре файла sitemap.xml. По умолчанию отключено, лучше включить.\nFront page change frequency — Средняя частота изменения главной страницы, т.е как часто на главную добавляются ноды, создаются комментарии (если они выводятся в блоке), и т.д. По умолчанию Hourly — каждый час.\nFront page priority — Приоритет главной страницы. Так как количество страниц, которые за один проход скачает и проиндексирует поисковик, ограничено, приоритет помогает ему определить порядок индексирования. По умолчанию 1.\nPromotion priority adjustment — Дополнительный приоритет для нод на главной странице. Это число будет добавлено к приоритету нод (по умолчанию 0.5) который находятся на главной странице. По умолчанию 0.3.\nComment ratio priority adjustment — Дополнительный приоритет для ноды с максимальным количеством комментариев. Для остальных нод с комментариями, приоритет будет добавлен пропорционально их числу. Логика такая, что если у ноды есть комментарии, то она более интересна читателям чем ноды без них. По умолчанию 0.2.\n<h3 class=\"rtejustify\">Закладка Search engines</h3>\nSubmit the sitemap when content changes — Уведомлять поисковики об изменении файла sitemap.\nFrequency of sitemap submission — Частота, с которой поисковикам будет отсылаться новый файл sitemap.\nПосле этих опций перечислены поисковики в которые нужно отправлять уведомления.\n<h3 class=\"rtejustify\">Закладка Tools</h3>\nDelete the sitemap cache files — удалить закэшированную версию sitemap.xml\nFlag the sitemap as requiring update — установить отметку что файл sitemap требует обновления.\nSubmit the sitemap to all the active search engines — Отослать ссылку на файл sitemap всем активным поисковикам, отмеченных в разделе Search engines.\nSubmit the sitemap to xxx — Уведомить поисковик xxx.\n \nЕсли активировать модуль XML sitemap node, то можно в свойствах каждой ноды выставлять уникальный приоритет:\n<a class=\"thickbox\" title=\"Sitemap\" href=\"/files/imagepicker/1/sitemap.png\"><img alt=\"Sitemap\" src=\"/files/imagepicker/1/thumbs/sitemap.png\" /></a>\nПример файла sitemap.xml:\n<a class=\"thickbox\" title=\"Sitemap\" href=\"/files/imagepicker/1/sitemap2.png\"><img alt=\"Sitemap\" src=\"/files/imagepicker/1/thumbs/sitemap2.png\" /></a>\n \n', created = 1767368478, expire = 1767454878, headers = '', serialized = 0 WHERE cid = '2:5d135ae3f7c516be249da935a5c7c913' in /usr/local/www/muff.kiev.ua/includes/cache.inc on line 112.
user warning: Table './muffsql1/cache_filter' is marked as crashed and should be repaired query: SELECT data, created, headers, expire, serialized FROM cache_filter WHERE cid = '2:ad4aece9c05ae9b3154ddcca66d0c1b9' in /usr/local/www/muff.kiev.ua/includes/cache.inc on line 27.
user warning: Table './muffsql1/cache_filter' is marked as crashed and should be repaired query: UPDATE cache_filter SET data = 'А где задается change freq для остальных, кроме главной, страниц?\n', created = 1767368478, expire = 1767454878, headers = '', serialized = 0 WHERE cid = '2:ad4aece9c05ae9b3154ddcca66d0c1b9' in /usr/local/www/muff.kiev.ua/includes/cache.inc on line 112.
user warning: Table './muffsql1/cache_filter' is marked as crashed and should be repaired query: SELECT data, created, headers, expire, serialized FROM cache_filter WHERE cid = '2:f1cc61fa61472f103a7d3a697a6f1323' in /usr/local/www/muff.kiev.ua/includes/cache.inc on line 27.
user warning: Table './muffsql1/cache_filter' is marked as crashed and should be repaired query: UPDATE cache_filter SET data = 'Пока не было необходимости в изменении. Так что, к сожалению, не смогу подсказать.\nЕсли нашли решение - просьба прокомментировать решение.\n', created = 1767368478, expire = 1767454878, headers = '', serialized = 0 WHERE cid = '2:f1cc61fa61472f103a7d3a697a6f1323' in /usr/local/www/muff.kiev.ua/includes/cache.inc on line 112.
user warning: Table './muffsql1/cache_filter' is marked as crashed and should be repaired query: SELECT data, created, headers, expire, serialized FROM cache_filter WHERE cid = '2:b1f58154e0889ad9e13f315115f79cf2' in /usr/local/www/muff.kiev.ua/includes/cache.inc on line 27.
user warning: Table './muffsql1/cache_filter' is marked as crashed and should be repaired query: UPDATE cache_filter SET data = ' \n \n', created = 1767368478, expire = 1767454878, headers = '', serialized = 0 WHERE cid = '2:b1f58154e0889ad9e13f315115f79cf2' in /usr/local/www/muff.kiev.ua/includes/cache.inc on line 112.
user warning: Table './muffsql1/cache_filter' is marked as crashed and should be repaired query: SELECT data, created, headers, expire, serialized FROM cache_filter WHERE cid = '2:07243fc0252056071eaa62af8c18d662' in /usr/local/www/muff.kiev.ua/includes/cache.inc on line 27.
user warning: Table './muffsql1/cache_filter' is marked as crashed and should be repaired query: UPDATE cache_filter SET data = '<a class=\"thickbox\" href=\"/files/imagepicker/1/wake_up_ua.png\"><img alt=\"Вставай, Україно!\" class=\"imgp_img\" src=\"/files/imagepicker/1/thumbs/wake_up_ua.png\" style=\"height:200px; width:150px\" /></a>\n', created = 1767368478, expire = 1767454878, headers = '', serialized = 0 WHERE cid = '2:07243fc0252056071eaa62af8c18d662' in /usr/local/www/muff.kiev.ua/includes/cache.inc on line 112.
user warning: Table './muffsql1/cache_filter' is marked as crashed and should be repaired query: SELECT data, created, headers, expire, serialized FROM cache_filter WHERE cid = '3:cc913d232116f0426090404133377d88' in /usr/local/www/muff.kiev.ua/includes/cache.inc on line 27.
user warning: Table './muffsql1/cache_filter' is marked as crashed and should be repaired query: SELECT data, created, headers, expire, serialized FROM cache_filter WHERE cid = '2:d9a86123bfcbc57878743027b584400b' in /usr/local/www/muff.kiev.ua/includes/cache.inc on line 27.
user warning: Table './muffsql1/cache_filter' is marked as crashed and should be repaired query: UPDATE cache_filter SET data = '<a href=\"http://muff.kiev.ua/rss.xml\"><img alt=\"RSS\" width=\"160\" height=\"60\" src=\"http://muff.kiev.ua/files/muf-rss.png\" /></a>\n', created = 1767368478, expire = 1767454878, headers = '', serialized = 0 WHERE cid = '2:d9a86123bfcbc57878743027b584400b' in /usr/local/www/muff.kiev.ua/includes/cache.inc on line 112.
user warning: Table './muffsql1/cache_filter' is marked as crashed and should be repaired query: SELECT data, created, headers, expire, serialized FROM cache_filter WHERE cid = '3:39649256b636e3d5ded656bc52bd8c01' in /usr/local/www/muff.kiev.ua/includes/cache.inc on line 27.

Опубликовано muff в Чт, 2010-07-22 23:15

Для улучшения работы с сайтом поисковых систем, решил "прицепить" sitemap. Немного общей информации:

Sitemap - это XML-файл, который содержит информацию о страницах сайта: URL страницы, дату последнего изменения, частоту изменения, "важность" страницы. Эта информация позволяет поисковым системам быстрее и качественнее просканировать Ваш вебсайт, но не даёт гарантии что страницы будут проиндексированы.

Поисковые системы необходимо проинформировать о наличии файла Sitemap. Лучше всего добавить директиву Sitemap в файл robots.txt:

User-agent: *
Sitemap: http://example.com/sitemap.xml

Если нет доступа к файлу robots.txt можно вручную проинформировать поисковую систему о расположении файла Sitemap:

для Yandex это нужно сделать в консоли Яндекс.Вебмастер;
для Google необходимо воспользоваться панелью инструментов Google.

Итак, что такое sitemap более-менее понятно. Приступаем к уствновке. Скачиваем и распаковываем модуль XML sitemap. (на момент написания статьи была доступна версия 6.x-1.4):

# cd /путь_к_сайту/sites/all/modules

# wget http://ftp.drupal.org/files/projects/xmlsitemap-6.x-1.2.tar.gz

wget http://ftp.drupal.org/files/projects/xmlsitemap-6.x-1.2.tar.gz
--2010-07-22 21:41:55-- http://ftp.drupal.org/files/projects/xmlsitemap-6.x-1.2.tar.gz
Распознаётся ftp.drupal.org... 64.50.236.52, 64.50.233.100
Устанавливается соединение с ftp.drupal.org|64.50.236.52|:80... соединение установлено.
Запрос HTTP послан, ожидается ответ... 200 OK
Длина: 59345 (58K) [application/x-gzip]
Сохраняется в каталог: `xmlsitemap-6.x-1.2.tar.gz'.

100%[====================================================>] 59 345 78,6K/s в 0,7s

2010-07-22 21:41:58 (78,6 KB/s) - `xmlsitemap-6.x-1.2.tar.gz' сохранён [59345/59345]

# tar -xzf xmlsitemap-6.x-1.2.tar.gz

Потом необходимо включить необходимые модуля. Путь следующий: Управление => Конструкция сайта => Модули.

XML sitemap — генерирует файл sitemap.xml
XML sitemap engines — уведомляет поисковые системе о вашем sitemap файле
XML sitemap node — добавляет в sitemap информацию о нодах
XML sitemap taxonomy — добавляет в sitemap информацию о терминах таксономии
XML sitemap user — добавляет в sitemap информацию о пользователях

Если не очень дружим с английским, скачиваем русификацию.

Приступаем к настройке. Переходим в Управление => Настройка сайта => XML sitemap. Рассмотрим доступные опции и возможности.

Закладка Sitemap

Add all the links to the default language sitemap — добавляет к адресам языковой префикс (используется только на многоязычных сайтах).

Cron limit — количество ссылок, которые будут обновлены (дата последней модификации, приоритет и т.д.) за один запуск крона. По умолчанию 100.

Cache directory — директория где будет храниться файл sitemap. По умолчанию sites/default/files/xmlsitemap

Use stylesheet — Использовать стили при просмотре файла sitemap.xml. По умолчанию отключено, лучше включить.

Front page change frequency — Средняя частота изменения главной страницы, т.е как часто на главную добавляются ноды, создаются комментарии (если они выводятся в блоке), и т.д. По умолчанию Hourly — каждый час.

Front page priority — Приоритет главной страницы. Так как количество страниц, которые за один проход скачает и проиндексирует поисковик, ограничено, приоритет помогает ему определить порядок индексирования. По умолчанию 1.

Promotion priority adjustment — Дополнительный приоритет для нод на главной странице. Это число будет добавлено к приоритету нод (по умолчанию 0.5) который находятся на главной странице. По умолчанию 0.3.

Comment ratio priority adjustment — Дополнительный приоритет для ноды с максимальным количеством комментариев. Для остальных нод с комментариями, приоритет будет добавлен пропорционально их числу. Логика такая, что если у ноды есть комментарии, то она более интересна читателям чем ноды без них. По умолчанию 0.2.

Закладка Search engines

Submit the sitemap when content changes — Уведомлять поисковики об изменении файла sitemap.

Frequency of sitemap submission — Частота, с которой поисковикам будет отсылаться новый файл sitemap.

После этих опций перечислены поисковики в которые нужно отправлять уведомления.

Закладка Tools

Delete the sitemap cache files — удалить закэшированную версию sitemap.xml

Flag the sitemap as requiring update — установить отметку что файл sitemap требует обновления.

Submit the sitemap to all the active search engines — Отослать ссылку на файл sitemap всем активным поисковикам, отмеченных в разделе Search engines.

Submit the sitemap to xxx — Уведомить поисковик xxx.

Если активировать модуль XML sitemap node, то можно в свойствах каждой ноды выставлять уникальный приоритет: