[Вопрос]

Например имеем:

http://site.com/forum/showthread.php?p=123
http://site.com/forum/showthread.php?t=456

при этом обе сылки ведут на одну и ту же тему.

Если я правильно понял то p = post, t = thread.

Но Google идентифицирует это как дублирование контента и такого куча на форуме. Как бы это дело отключить, чтобы тема была доступна по одному только URL?

есть полезный файл robots.txt

Так и не смог найти как запретить через robots.txt подмножество динамических URL при этом оставив для индексации другое подмножество. Еще есть варианты?

Originally Posted by Ajiotaj

Так и не смог найти как запретить через robots.txt подмножество динамических URL при этом оставив для индексации другое подмножество. Еще есть варианты?

Disallow:
Clean-param: p /forum/showthread.php
- В таком случае робот посчитает все страницы с параметром p одинаковыми и не будет их дергать.

Если я правильно понял это работает только с роботом Яндекса, а как быть с Google?

Ajiotaj, это для всех роботов ...

У Яндекса в вебмастере нашел справку по этому вопросу. У Google ничего официального нет - по крайней мере не было найдено по запросу "clean param google".

Originally Posted by Ajiotaj

Например имеем:

http://site.com/forum/showthread.php?p=123
http://site.com/forum/showthread.php?t=456

при этом обе сылки ведут на одну и ту же тему.

Если я правильно понял то p = post, t = thread.

Но Google идентифицирует это как дублирование контента и такого куча на форуме. Как бы это дело отключить, чтобы тема была доступна по одному только URL?

С дублированием контента воевать довольно сложно.
В данном случае можно так:

ищем:

PHP Code:

if (!empty($postid) AND $threadedmode == 0)
{
    $postinfo = verify_id('post', $postid, 1, 1);
    $threadid = $postinfo['threadid']; 


вставляем после:

if(!$show['member'])
{
exec_header_redirect('showthread.php?' . $vbulletin->session->vars['sessionurl_js'] . "t=$threadid");
}

m0rbid добавил 17.05.2010 в 18:59
Но оно вам не особо поможет, там в урлах может быть еще около миллиарда всякой ненужной поисковику гадости. Чтоб зделать все конкретно по сео-феншую, нужо пол воблы переписать, и даже в ядро нос сунуть.

Подключите google.webmastertools - там есть такая возможность (запрета индексации определенных ссылок).



вот скриншот

Запрещаете параметр p - и будет Вам счастье, гугл такие страницы индексировать не будет.

turistua спасибо, уже нашел это.

Так же прописал в запрет индексации таких страниц в robots.txt, кому интересно вот мой:

Disallow: /forum/clientscript/
Disallow: /forum/cpstyles/
Disallow: /forum/customavatars/
Disallow: /forum/customprofilepics/
Disallow: /forum/images/
Disallow: /forum/modcp/
Disallow: /forum/ajax.php
Disallow: /forum/album.php
Disallow: /forum/announcement.php
Disallow: /forum/attachment.php
Disallow: /forum/calendar.php
Disallow: /forum/converse.php
Disallow: /forum/cron.php
Disallow: /forum/editpost.php
Disallow: /forum/exernal.php
Disallow: /forum/global.php
Disallow: /forum/group.php
Disallow: /forum/image.php
Disallow: /forum/inlinemod.php
Disallow: /forum/joinrequests.php
Disallow: /forum/login.php
Disallow: /forum/misc.php
Disallow: /forum/moderator.php
Disallow: /forum/member.php
Disallow: /forum/memberlist.php
Disallow: /forum/newattachment.php
Disallow: /forum/newreply.php
Disallow: /forum/newthread.php
Disallow: /forum/online.php
Disallow: /forum/poll.php
Disallow: /forum/postings.php
Disallow: /forum/printthread.php
Disallow: /forum/private.php
Disallow: /forum/profile.php
Disallow: /forum/report.php
Disallow: /forum/register.php
Disallow: /forum/reputation.php
Disallow: /forum/sendmessage.php
Disallow: /forum/showgroups.php
Disallow: /forum/search.php
Disallow: /forum/sendtofriend.php
Disallow: /forum/subscription.php
Disallow: /forum/tags.php
Disallow: /forum/threadrate.php
Disallow: /forum/usercp.php
Disallow: /forum/usernote.php
Disallow: /forum/showthread.php?p=
Disallow: /forum/showthread.php?s=