Дубли страниц сайта домена с www и без, Joomla не причем или как склеить домен с www и без при помощи директивы Host и 301 редиректа (переадресаци) - часть 2.
Часть 1 - "Борьба с дублями главной страницы на сайтовом движке joomla".
Часть 3 - "Как узнать проиндексированные страницы Яндексом и поиск дублей среди них".
Часть 5 - "Проиндексированные страницы google"
Часть 6 - "Дубли Joomla с разными категориями и id материала"
Часть 7 - "Избавляемся от дублей страниц при помощи файла .htaccess"
Привет вебмастера вы зашли на сайт Net-Rabota.ru, сегодня мы рассмотрим проблему, о которой многие начинающие вебмастера не знают, эта проблема отображения вашего сайта с www и без.
И так поехали, мой вам совет обязательно следите за дубляжом страниц вашего сайта, если честно я не следил, за своими дублями именно этого сайта.
И очень сильно поплатился, так как большая часть сайтов у меня на Wordpress, данный сайт у меня на Joomla, и вот все-таки когда я решил посмотреть свои проиндексированные страницы, то просто обалдел!
Яндекс видит 2000 страниц, Google 7000 страниц, при реальных 250-ти страницах + 500 страниц поиска сайта (тоже не желательно их индексировать), кстати если вы не знаете как посмотреть есть ли у вас дубли страниц, то читайте статью:”Как определить какие страницы проиндексированные поисковыми системами и поиск среди них дублей страниц”
Все знают, что Joomla может плодить дубли, но я не думал, что в таком количестве как видит Google, аж 7000 страниц.И я стал анализировать проиндексированные страницы поисковой системой Google, и ужаснулся, как я мог такое допустить, оказывается этот поисковик индексирует домен моего сайта с www и без.
То есть джумла в этом случае не причем, просто поисковые системы могут воспринимать домен с www и без как два разных сайта, и я получил из одного сайта, два абсолютно похожих друг на друга, с www и без.
И в итоге получается очень плохая ситуация, дубляж всего сайта, то есть поисковик думает, что существует два разных сайта полностью похожих друг на друга, и даже может случиться такое что какой то из этих доменов с www и без может иметь разные показатели тиц и pr, и в такой ситуации ни чего хорошего не получится, и все ваши усилия которые вы вкладываете в раскрутку сайта в пустую!
Нужно было склеить домен с www и без, а я тупо позабыл.
Славу богу, что яндекс не видит дублей моего сайта такого типа с www и без, потому что я хоть не забыл в файле robots.txt прописать директиву host, таким путем я склеил для яндекса домен с www и без.
Далее я подробно расскажу, как это сделать.
И так мне срочно нужно было избавляться от домена с www, так как яндекс определил основной домен моего сайта без www, и я уже порядочно расплодил беклинков на свой сайт без www.
Итак, первое, что нам нужно сделать, это добавить свой сайт в панель вебмастеров Google, я уже писал об этом в статье: “Панель вебмастеров Google”, так что в этой статье читайте подробную инструкцию этого шага.
Но обратите внимание добавить нужно сайт с www и без, то есть вы добавите два сайта (конкретный пример на моем сайте: net-rabota.ru и net-rabota.ru).
Далее в панели вебмастеров выбираем сайт без www (это в моем случае), конфигурация сайта >> настройка.
Видим параметры настройки “основной домен”, здесь нам нужно поставить галочку в нужную позицию, в моем случае нужно выбрать “Отображать URL-адреса как net-rabota.ru” (то есть, я выбрал предпочтение показа домена без www) и нажать на кнопку сохранить.
После этого в панели вебмастеров Google, удаляем сайт с www (net-rabota.ru), добавление сайта с www и без в панель Google делается для того, чтобы подтвердить право собственности на эти два домена, если этого не сделать, тогда у вас не получиться установить предпочтение к домину с www или без.
Кстати ели вы не создали и не добавили свою карту сайта в панели вебмастеров, то читай статью: “как создать карту сайта” и добавлять нужно не обыкновенный адрес ссылки вашей карты сайта а ссылку именно в формате xml.
После действия по выбору предпочтения домена с www и без, вам в панели вебмастеров Google придет письмо (нужно зайти на вкладку “сообщения”), следующего содержания:
“Предпочтительный домен вашего сайта изменен.
Предпочтительный домен сайта https://net-rabota.ru/ был обновлен.
Предыдущий предпочтительный домен: -
Новый предпочтительный домен: net-rabota.ru
Если вы не обновляли этот параметр, свяжитесь с другими подтвержденными владельцами сайта. Дополнительную информацию можно найти в Cправочном центре Инструментов для веб-мастеров.”
Это письмо подтвердит, что вы все сделали правильно, и после этого приступаем к следующему шагу.
Далее нужно сделать переадресацию - 301 редирект. Для этого в файле .htaccess прописываем:
RewriteEngine on
RewriteCond %{HTTP_HOST} ^www.site.ru
RewriteRule ^(.*)$ http://site.ru/$1 [R=301,L]
Если вам нужно наоборот сделать редирект с http://site.ru на www.site.ru, то запись будет выглядеть так:
RewriteEngine On
RewriteCond %{HTTP_HOST} ^site.ru
RewriteRule (.*) http://www.site.ru/$1 [R=301,L]
Таким образом, я сделал переадресацию с net-rabota.ru на net-rabota.ru, для тех, кто не знает где находится .htaccess, он находится в корневой папке вашего сайта и может иметь формат htaccess.txt, в этом случае его нужно переименовать в .htaccess, не забудьте про точку впереди.
Чтобы переделать файл .htaccess, можете скачать его себе на компьютер, и открыть его в обычном блокноте, добавить туда строчки, которые я указал выше, и сохранить. Далее закачайте его себе в корневую папку вашего сайта.
Для тех вебмастеров, которые только что создали свой сайт, не спешите выполнять те действия, которые я описал выше, сначала нужно в файл robots.txt прописать директиву Host, этим вы склеите домены в глазах яндекса.
Это будет выглядеть следующим образом:
User-Agent: Yandex
Host: site.ru
Директиву Host понимает только Яндекс. Google ее не понимает.
Более подробно о файле robots.txt, читай статью: “как правильно составить файл robots.txt”
Дальше обязательно нужно дождаться, когда Яндекс правильно склеит домен, а уже потом делать переадресацию в файле .htaccess
Если вы поторопитесь и не дождетесь Яндекса, когда он склеит домены, то он всегда будет считать их разными доменами, так как. для склеивания зеркал он должен проиндексировать их оба и сравнить. А если вы настроили переадресацию он это сделать не сможет.
И так на этой странице я разобрал проблему зеркал домена с www и без, кто хочет быть в курсе новых способов борьбы с дублями в joomla, подпишитесь на мою RSS.
