htmlbook.ru - настольная книга администратора

Файловый Архив

  • Неограниченное количество категорий и суб-категорий
  • Настройки прав доступа по группам
  • Настройки прав доступа по каждой категории
  • Предпросмотр медиа файлов: FLV, IFLV, F4A, F4V, MP4, MP3, MOV и других...
  • Мультизагрузка файлов - SWFUploader
  • Добавление файлов с сервера
Подробности и история обновлений продукта в этой теме
Loading

Go Back   форум vBSupport.org > >
Register Изображения Меню vBsupport Files Manager Аллея Звёзд Реклама на форуме Search Today's Posts Mark Forums Read
  • Мемберка
  • Администраторам
  • Premoderation
  • For English speaking users
  • Изменения в правах
  • Каталог Фрилансеров
Пароли на скачивание файлов в Member Area меняются автоматически каждый день
Если вам нужно скачать какой то скрипт, за паролем ко мне в ЛС
привет какирам kerk
Ещё раз обращаем Ваше внимание: всё, что Вы скачиваете и устанавливаете на свой форум, Вы устанавливаете исключительно на свой страх и риск.
Сообщество vBSupport'а физически не в состоянии проверять все стили, хаки и нули, выкладываемые пользователями.
Помните: безопасность Вашего проекта - Ваша забота.
Убедительная просьба: при обнаружении уязвимостей или сомнительных кодов обязательно отписывайтесь в теме хака/стиля
Спасибо за понимание
На форуме введена премодерация ВСЕХ новых пользователей

Почта с временных сервисов, типа mailinator.com, gawab.com и/или прочих, которые предоставляют временный почтовый ящик без регистрации и/или почтовый ящик для рассылки спама, отслеживается и блокируется, а так же заносится в спам-блок форума, аккаунты удаляются
for English speaking users:
You may be surprised with restriction of access to the attachments of the forum. The reason is the recent change in vbsupport.org strategy:

- users with reputation < 10 belong to "simple_users" users' group
- if your reputation > 10 then administrator (kerk, Luvilla) can decide to move you into an "improved" group, but only manually

Main idea is to increase motivation of community members to share their ideas and willingness to support to each other. You may write an article for the subject where you are good enough, you may answer questions, you may share vbulletin.com/org content with vbsupport.org users, receiving "thanks" equal your reputation points. We should not only consume, we should produce something.

- you may:
* increase your reputation (doing something useful for another members of community) and being improved
* purchase temporary access to the improved category:
10 $ for 3 months. - this group can download attachments, reputation/posts do not matter.
20 $ for 3 months. - this group can download attachments, reputation/posts do not matter + adds eliminated + Inbox capacity increased + files manager increased permissions.

Please contact kerk or Luvilla regarding payments.

Important!:
- if your reputation will become less then 0, you will be moved into "simple_users" users' group automatically.*
*for temporary groups (pre-paid for 3 months) reputation/posts do not matter.
Не можете скачать вложение?
Изменения в правах групп пользователей
внимательно читаем эту и эту темы
Короткая версия - тут
Уважаемые пользователи!

На форуме открыт новый раздел "Каталог фрилансеров"

и отдельный раздел для платных заказов "Куплю/Закажу"

 
 
Old  
Luntick
На доске почёта
Прощаемся
 
banned nax
Default Новый взгляд на robots.txt 17

Как-то мой знакомый админ пожаловался, чтобы он не предпринимал, а поисковые роботы Google продолжают индексировать странички из профиля пользователя, а Яндекс индексирует сессии, и вместе они ещё тащут с форума кроме тем ещё и посты. Предложил ему поставить на сайт другой файл robots.txt. Помогло. Ещё бы, по другому и не должно быть, потому что Лунтик написал.
Вот, собственно, он, файл robots.txt
Code:
User-agent: *
Disallow: /*.php?*attachmentid
Disallow: /*.php?*p
Disallow: /*.php?*pp
Disallow: /*.php?*sort
Disallow: /*.php?*order
Disallow: /*.php?*mode
Disallow: /*.php?*s
Disallow: /*.php?*u
Расшифрую как читается строчка в файле, ну, и немного прокомментирую.
- название файла не требуется и это плюс, теперь содержимое вашего сайта скачиванием robots.txt не получишь
- элемент кода * означает для робота запрет (при наличии в начале строки Disallow: /) на индексировании всего, что находится перед запрещённым к индексации файлом
- код *.php означает для робота запрет на индексирование всех файлов сайта с расширением .PHP

Таким образом, из всего массива файлов назначаем запрет только для тех файлов который в правой части адреса содержат определённые переменные. Так, например

Disallow: /*.php?*u

Означает запрет на индексирование всех профилей пользователей, при этом не имеет значения то, как называется файл и что находится в адресе до и после переменной u

Приведённый код файла robots.txt не следует рассматривать как исчерпывающий по количеству запретов на индексирования роботами поисковиков - это вам решать то, какие файлы нужны для индексирования, а какие, нет. Поясню для тех, кто ещё не приступил к созданию файла robots.txt на своём сайте - код файла можно написать в блокноте и сохранить файл как текст, затем, сохранённый файл robots.txt поместить в корень сайта.
 
Bot
Yandex Bot Yandex Bot is online now
 
Join Date: 05.05.2005
Реклама на форуме А что у нас тут интересного? =)
Old  
Luntick
На доске почёта
Прощаемся
 
banned nax
Default 9

Продолжу в развитии темы о новом взгляде.
Сложилось устойчивое мнение о том, что файл robots.txt необходим в тех случаях, когда следует запретить роботам индексацию страниц форума, ну, а то, что не запрещено, по умолчанию должно быть разрешено.
Это, конечно, справедливо, но для человека, которому достаточно общепринятых норм поведения в обществе. Робот же будет воспринимать отсутствие запрета в буквальном смысле – тащи с сайта всё что обнаружишь. Поэтому для работа необходимо вводить не только запреты, но и разрешения на индексацию определённых страниц.
Например, вы не возражаете, что бы сайт сканировался на разных языках и не запрещаете роботам индексацию страниц с переменной langid
HTML Code:
/index.php?langid=1
То есть вам нужна эта страница в поиске и действительно, робот её проиндексирует, поскольку нет запрета для этого. НО вам-то нужна в индексе та же страница, но на других языках, мол, пусть робот и это исполнит. И как он должен исполнить, если ему всё разрешено, конечно же, как получится.
HTML Code:
/index.php?langid=1&langid=2
/index.php?langid=2
/index.php?langid=1&langid=2&langid=1& langid=2
/index.php?langid=1&langid=2&langid=1& langid=2&langid=2&langid=1& langid=2
……………………………..
И так далее.
В результате страницы с одинаковым содержимым робот проиндексирует по разным адресам. Для того что бы этого не произошло необходимо не по умолчанию разрешить роботу индексацию, а разрешить роботу индексацию в файле robots.txt. Сказано, сделано;
HTML Code:
Allow: /*.php?langid=1
Allow: /*.php?langid=2
Указанные строки в файле robots.txt означают, что роботам разрешено индексирование на двух языках всех файлов .php
На то, что все файлы индексируются, указывает звёздочка (*). В тоже время, будут индексироваться страницы с адресами, которые робот пропишет справа от langid=1 и langid=2, потому что по умолчанию робот считает, что в конце адреса находится значок звёздочки. (*). Исправить это можно поставив значок ($) в конце строки с адресом – это будет означать для робота конец адресной строки
HTML Code:
Allow: /*.php?langid=1$
Allow: /*.php?langid=2$
Теперь робот будет сканировать только указанные выше адреса, отсекая адреса той же страницы справа. В тоже время, робот не будет сканировать с ПХП файлы у которых есть в адресе переменные, находящиеся между знаком вопроса (?) и langid. Что бы разрешит роботу сканирование переменных ПХП файлов воспользуемся значком звёздочки (*).
Файл robots.txt будет выглядеть следующим образом;
HTML Code:
Allow: /*.php?*langid=1$
Allow: /*.php?*langid=2$
Но и этот код файла robots.txt нельзя назвать окончательным, потому что между знаком вопроса и переменной в конце адресной строки, langid, появятся нежелательные переменные, то есть, вот так может выглядеть адрес страницы;
HTML Code:
/index.php?langid=1&langid=2&langid=1& langid=2&langid=2&langid=1& langid=2$
В этом случае как раз и пригодится запрет роботу на сканирование. Запрещаем в файле robots.txt все комбинации langid=1& langid=2&;
HTML Code:
Allow: /*.php?*langid=1$
Allow: /*.php?*langid=2$
Disallow: /*.php?*langid=2&langid=1
Disallow: /*.php?*langid=1&langid=1
Disallow: /*.php?*langid=2&langid=2
Disallow: /*.php?*langid=1&langid=2
Вот это содержимое файла robots.txt определит сканирование нужных вам страниц на двух языках.
В заключении вернусь в начало темы к переменной, order, в строке файла robots.txt, которая была запрещена
HTML Code:
Disallow: /*.php?*order
Напомню, что этой строкой запрещалось сканирование всех адресов, содержащих указанную переменную. Однако, эта переменная появляется при просмотре страниц с темами в разделе. Иначе, робот не пойдёт дальше первой страницы раздела форума. Что бы открыть для индексирования все страницы раздела, необходимо разрешить индексирование переменной order в файле forumdisplay.php
HTML Code:
Allow:    /*.php?f*order
Disallow: /*.php?*order
То есть, из всего массива файлов с переменной order роботам разрешено сканировать только страницы раздела форума.
 
Old  
TAIFUN
Человек
vBSSecurity
 
TAIFUN's Avatar
Default 2

Внимание!

Вышеуказанный способ (см. первое сообщение темы) может значительно уменьшить посещаемость на вашем форуме. Проверено.
 
Old  
StenLi
На доске почёта
Пожизненный блэк
 
banned nax
Default 0

TAIFUN, За счет вылетания мусора из индекса?)
Страниц в поиске меньше - доля показов и кликов соответственно снижается. Это ведь очевидно...
 
Old  
TAIFUN
Человек
vBSSecurity
 
TAIFUN's Avatar
Default 0

StenLi,
Посещаемость упала после внесения в robots куска, который указан в первом сообщении. Статистика показала когда начался спад, затем посмотрел когда редактировался последний раз robots.txt - совпадение.

После чего я убрал этот кусок.

Скорей всего это из-за Disallow: /*.php?*p
 
Old  
StenLi
На доске почёта
Пожизненный блэк
 
banned nax
Default 1

TAIFUN, Гости, в т.ч. и ПС видят ссылки с сессиями, в первом посте мы видим
Code:
Disallow: /*.php?*s
Вопрос: Что тогда должны индексировать ПС если им запрещено все?
 
Old  
inso
Знаток
 
inso's Avatar
Default 0

Я правильно понимаю, чтобы запретить индексацию страниц на разных языках (англ и рус), мне надо в роботс дописать
Quote:
Originally Posted by Luntick View Post
Disallow: /*.php?*langid=1$
Disallow: /*.php?*langid=2$
?
 
Old  
inso
Знаток
 
inso's Avatar
Default 0

Извиняюсь, что повторно напоминаю о себе. Подскажите пожалуйста как для гугла исключить индексирование сайта на других языках?

inso добавил 07.07.2015 в 23:19
А еще страницы вида http: //site.ru/showthread.php?p=2808

Last edited by inso : 07-08-2015 at 12:21 AM. Reason: Добавлено сообщение
 
 

Tags
robots.txt, robots.txt для vbulletin, robots.txt для булки

Thread Tools

Posting Rules
You may not post new threads
You may not post replies
You may not post attachments
You may not edit your posts

BB code is On
Smilies are On
[IMG] code is On
HTML code is Off




All times are GMT +4. The time now is 10:43 PM.


Powered by vBulletin® Version 3.8.6
Copyright ©2000 - 2016, Jelsoft Enterprises Ltd.