web master | Индексация сайта
Главная » Индексация сайта
    РейтингРейтингРейтингРейтингРейтинг

Индексация сайта

В данной статье мы рассмотрим, каким образом можно ускорить индексацию сайта, и сделать так, что бы его отлично индексировали поисковые системы. 

Содержание:
  • § 1. Индексация 
  • § 2. Ускорение индексации сайта.
  •         2.1. Как ускорить индексацию сайта – бесплатные способы
  •         2.2. Как ускорить индексацию сайта – платные варианты
  • § 3. Способы быстро индексировать сайт  
  • § 4. Как проверить индексацию сайта
  • § 5. Как запретить индексацию сайта или страницы в поисковых системах

§ 1. Индексация

Индексация сайта – это процесс добавления поисковыми системами контента в индексную базу. Индексация сайта представляет собой процесс внесения информации о контенте сайта в базу поисковых систем. Непосредственно индекс это и есть база данных поисковой системы. Если сайт не проиндексирован, то его страницы не смогут оказаться в поисковой выдаче. 

Индексацией занимаются специальные поисковые роботы. Следуя определенным алгоритмам, они обходят всю страницу целиком, находя при этом разрешенные к индексации ссылки, а также всю информацию и изображения. 


§2. Ускорение индексации сайта.

Быстрая индексация сайта интересует всех вебмастеров. Это вполне реально, и добиться этого можно бесплатными способами. Все что связано с оптимизацией сайта под поисковые системы, включает в себя внутренние и внешние факторы. Работать необходимо как над теми, так и над другими. Начинать нужно именно с внутренней оптимизации. 

2.1. Как ускорить индексацию сайта – бесплатные способы

1. Создайте карту сайта для Google (sitemap) в формате xml. Для создания html и xml карт для своего сайта воспользуйтесь онлайн-генератором XML-Sitemaps.com, который бесплатно обрабатывает до 500 страниц. После генерации сохраняете sitemap в корне своего сайта в формате xml. Для того, чтобы скормить xml-карту поисковой систему Google, нужно зарегистрировать аккаунт в Сервисе Google Webmaster, и затем в меню Sitemap добавить ссылку на вашу xml-карту вида ваш_сайт/sitemap.xml. После регистрации в этом сервисе можно настроить русский язык интерфейса. По моим наблюдениям, после добавления sitemap в Google робот этой поисковой системы начинает чаще заглядывать на ваш сайт и лучше егоиндексировать. Кроме того, сервис Google для вебмастеров предлагает много полезных опций.

2. Зарегистрируйтесь в сервисе Яндекс.Вебмастер и добавьте свой сайт, что позволит отслеживать индексацию страниц сайта Яндексом, а также пользоваться другими полезнымыми функциями.

3. Организуйте RSS-трансляцию материалов с вашего сайта и зарегистрируйте вашу RSS-ленту в RSS-каталогах. Это позволяет публиковать анонсы ваших материалов на других сайтах.

4. Напишите статью,а лучше несколько  и опубликуйте ее в каталогах статей. Чтобы найти каталоги статей, просто наберите “каталог статей” или “добавить статью” в любом поисковике. В статье разместите 2-4 ссылки на главную страницу вашего сайта или на внутренние страницы. Подробнее о продвижении статьями читайте здесь: “Продвижение сайта статьями”.

5. Грамотная внутренняя перелинковка очень важна для ускорения индексации сайта. Все страницы должны иметь 2-3 ссылки на главную. Продублируйте меню. Например, если у вас горизонтальное меню в верхней части сайта, то продублируйте его в нижней части. Сделайте дополнительные ссылки на основные разделы меню на всех страницах сайта.

6. Сделайте навигацию на сайте так, чтобы любая страница вашего сайта была доступна не далее.

7. Старайтесь не делать выпадающие меню на скриптах и flash, это затрудняет индексацию сайта поисковыми системами.

8. Добавьте сайт в формы добавления поисковиков:
Добавить сайт в Яндекс
Добавить сайт в Google
Добавить сайт в Рамблер
Добавить сайт в Апорт
Добавить сайт в MSN
Добавить сайт в Gogo
В Mail.ru нет смысла добавляться, так как используется поисковая база Яндекса.

9. Добавьте сайт в рейтинги:
Добавить сайт в Рамблер Топ 100
Добавить сайт в Рейтинг Mail.ru

10. Добавьте сайт в каталоги:
Добавить сайт в Dmoz – выбираете подходящую категорию, и ищете ссылку “Предложить URL” в правом верхнем углу.
Добавить сайт в Каталог Mail.ru – выбираете подходящую категорию, и внизу ищете ссылку “Добавить сайт”.

11. Добавьте сайт в социальные закладки. Большой плюс социальных закладок в том, что в них можно добавлять внутренние страницы сайта. В каждом сервисе необходимо зарегистрироваться.
memori.ru
moemesto.ru
bobrdobr.ru
rumarkz.ru
myscoop.ru
mister-wong.ru
100zakladok.ru
bookmark.searchengines.ru
Для облегчения добавления страниц сайта в социальные закладки воспользуйтесь сервисами SEndez.ru, а также установите кнопки добавления в закладки в конце каждой статьи вашего сайта от сервисов Однакнопка или Как-так. Это позволит вашим посетителям самостоятельно добавлять ваши статьи, которые им понравились, в свои социальные закладки. Подобные англоязычные сервисы – AddThis.com и SocialPoster.com. Я рекомендую добавлять каждую стоящую статью с вашего сайта в сервисы социальных закладок.

12. Старайтесь избегать зон .info и .org при регистрации домена, так как бывает, что Яндекс плохо их индексирует.

2.2. Как ускорить индексацию сайта – платные варианты

1. Купите ссылок на главную или внутренние страницы своего сайта  на биржах ссылок SapeXap или CLX. Чтобы получить максимальный эффект, рекомендую покупать ссылки с сайтов, размещенных в Яндекс.Каталоге (для Яндекса) и в Dmoz’e (для Google). Быстрее всего индексируются ссылки с главных страниц сайтов. Чем выше показатели тИЦ и Google PageRank на купленных сайтах, тем лучше. Во избежание недоразумений рекомендую вручную просматривать сайты, на которых вы купили ссылки.

2. Напишите статью со ссылками на свой сайт и опубликуйте ее на биржах статей SeozavrXmestLiex. Плюс этого варианта в том, что можно быстро найти массу сайтов и разместить на них статью.

3. Напишите и платное разместите статьи на сайтах схожей тематики. Найти сайты, которые готовы разместить ваши статьи, можно на специализированных форумах:
forum.searchengines.ru
mastertalk.ru
Плюс этого варианта в том, вы платите за размещение статьи один раз.

1. Грамотная структура сайта. Меню ресурса должно быть составлено так, чтобы от стартовой страницы сайта, до самой последней можно было бы добраться, кликнув по ссылкам минимальное количество раз. Следуя этому принципу, индексация не затянется надолго.

2. Внутренняя перелинковка сайта. Это необходимо для ускорения индексации внутренних страниц ресурса, так как поисковики просматривают страницы сайта по внутренним ссылкам, ведущим на них. 

3. Карта интернет-ресурса. Обязательно создайте карту сайта. Если сайт не маленький, то необходимо создать файл  sitemap.xml в дополнение к карте.  Не забудьте в robots.txt прописать путь к этому файлу. Карту сайта необходимо поместить на расстояние одного клика от главной страницы ресурса, обычно ее делают на статической странице блога.

4. Пройдите регистрацию в офисах веб-мастера поисковых систем Yandex и Google. Это поможет вам полностью контролировать свой сайт.

5. Добавляйте новые,  не проиндексированные страницы сайта в так называемые адурилки систем поиска .

Яндексhttp://webmaster.yandex.ru/addurl.xml,

Google -  http://www.google.ru/addurl/.

6. Зарегистрируйтесь в системах, отслеживающих рейтинг сайтов. Можно использовать систему статистики liveinternet. Поисковые системы следят за ними и в первую очередь индексируют те сайты, которые находятся в их числе.

7.  Подайте заявку на регистрацию в посещаемых каталогах. Для каждой поисковой системы создан свой каталог. На сегодняшний день ведущими являются Яндекс каталог нашего Яндекса и Dmoz поисковой системы Google. 

8. Добавляйте опубликованные статьи в популярные сервисы закладок. Например, в закладки Гугла или Яндекса. Они часто индексируются поисковыми роботами. 

9. Спрашивалки. Например, Ответы@Mail.ru. Отвечайте на вопросы и размещайте в ответе ссылку на свою, опубликованную статью. Среди интернет-пользователей подобные порталы пользуются особой популярностью. Текстовый контент на них все время добавляется, поэтому поисковые машины индексируют страницы таких сервисов постоянно. Но будьте осторожны, так как распространителей спама здесь жестоко карают. Не нужно в своих ответах оставлять ссылки на страницы слишком часто.

10. Если вы занимаетесь продвижением блога, то можно воспользоваться RSS-трансляцией. Необходимо поместить RSS-ленту в наиболее раскрученные RSS-каталоги, тогда ваши анонсы будут видны на многих интернет-ресурсах.

11. Регистрация и активное участие в популярных тематических форумах. В тексте своей подписи укажите адрес вашего сайта. 

12. Рассылка писем посредством электронной почты. Этот способ считается перспективным для ускорения индексации страниц молодого сайта. Воспользуйтесь, к примеру, сервисом MailList.ru. В письмах первой рассылки, которую вы организуете, должны находиться ссылки на ваш ресурс. После этого рассылку нужно разместить в своем блоге. Данный способ часто используют, чтобы ускорить индексацию сайта.

13.  В инструментах для вебмастеров от Google есть  функция как "Посмотреть как Googlebot".  Она  позволяет занести опубликованную страницу в индекс Гугла практически мгновенно. Метод работает безотказно.


§ 3. Способы быстро индексировать сайт

При помощи пинг сервисов. Пинг сервисы – это сервисы пингования сайта с целью оповестить поисковик о некоторых изменениях на ресурсе, а именно, публикации новой статьи и становления ее в очередь на индексация. В wordpress, пинг сервисы встроены в админке, вам просто нужно немного увеличить их количество. Для других бесплатных CMS, можно использовать плагины, или специальные программы пингаторы.

При помощи сервиса поисковика аддурил. Аддурилка от английского add url — добавить url, добавление сайта в поисковые системы.

  1. Яндекс аддурилка — http://webmaster.yandex.ru/addurl.xml
  2. Гугл аддурилка —  http://www.google.ru/intl/ru/addurl.html
  3. Mail аддурилка — http://go.mail.ru/addurl
  4. Bing аддурилка — http://www.bing.com/webmaster/SubmitSitePage.aspx

Через, веб-мастера поисковика. Здесь мы создаем аккаунты веб-мастеров.

  1. Яндекс веб-мастер — http://webmaster.yandex.ru
  2. Гугл вебмастер — https://accounts.google.com
  3. Bing вебмастер- http://www.bing.com/webmaster

При помощи специальной программы. Бесплатная программа под названием HWaddurl — вам нужно только добавить Url и нажать клавишу «Начать» дальше программа сделает все сама.

При помощи аккаунтов в социальных сетях, к примеру Твиттер или Вконтакте. Здесь, всего лишь достаточно распространить статью в социальной сети и индексация 2013 ей обеспечена.


§ 4. Как проверить индексацию сайта

1. Самый простой и быстрый способ проверки индексации сайта в Google. На сайте google.ru проведите поиск:

site:домен.ru

Вводите только имя домена, без www. Если, доменное имя вашего сайта – habibimag.ru, то необходимо ввести:

site:habibimag.ru

В поиске отобразится список страниц, которые Google нашел на сайте, а вверху страницы с результатами, под самим полем поиска, отобразится:

Результатов: примерно ...

Теперь вам известно, сколько страниц проиндексировал Google на указанном вами сайте, и  какие именно. Быстро и легко.

Если  вам необходимо проверить, имеется ли в индексе определенная страница вашего сайта.

Снова идем на сайт google.ru и вводим в поле поиска команду:

cache:http://ваш_домен.ru/страница.php

Измените  ваш_домен.ru  на доменное имя своего сайта, а страница.php – на имя нужной страницы. Нажмите  на Поиск. Google проверит, имеется ли запрашиваемая вами страница в кеше.

2. Проверяем, включен ли ваш сайт в Яндекс каталог.

Яндекс регистрирует в своем каталоге некоммерческие сайты бесплатно, но в течении трех месяцев. 

Предположим, что прошло три месяца с момента подачи заявки в Яндекс Каталог, и вам необходимо проверить наличие вашего сайта в нем. Делаем следующее:

1. Открываем страницу http://yaca.yandex.ru/yca/cy/ch/.
Эта страница поиска в каталоге.

2. Вводим домен сайта.
Вводим только ваш_домен.ru, без http://www.

3. Жмем  "Найти"

Если вам повезло и ваш сайт уже включен в Яндекс Каталог, то на странице отобразится информация о вашем сайте.


§ 5. Как запретить индексацию сайта или страницы в поисковых системах

 Есть ситуации, когда нужно закрыть от индексации либо весь сайт, либо какую-то часть: разделы, страницы, ссылки и т.д.

Обычно запрет индексации ставится на различные служебные модули сайта.  Так же это может быть и секретный раздел на форуме, содержание которого мы не хотим показывать всем. Кроме того, надо закрыть дубли страниц от индексации, которые могут создавать различные движки сайтов.

Запрещать индексировать можно как всю страницу целиком, так и отдельную ее часть, например кусок текста или ссылку. 

Запрет индексации сайта в robots.txt

При помощи файла robots.txt мы можем запретить индексацию отдельной страницы или целого раздела сайта. 

User-agent: *
Disallow: /kolobok.html
Disallow: /foto/

Где, * - определяет, что инструкции предназначены для всех ПС;
Disallow: /kolobok.html - запрещает индексировать файл kolobok.html;
Disallow: /foto/ - дает запрет на индексацию всего содержимого папки foto.

Если вам надо запретить несколько папок и/или страниц, все их указываем в robots.

Запрет индексации страницы в мета-теге robots

Для запрета индексации отдельной страницы можно воспользоваться мета-тегом robots.  Этот мета тег подчиняется общим правилам формата html и должен находится в заголовке страницы между тегами <head><⁄head>.

Пример записи для запрета:

<meta name="robots" content="noindex, nofollow">

Атрибут content может содержать такие условия:

index - разрешает индексацию этой страницы;
noindex – запрещает индексацию страницы ;
follow – разрешает индексировать ссылки на этой странице;
nofollow – запрещает индексацию ссылок на странице;
all – включает в себя сразу index и follow (разрешает индексировать и страницу и ссылки);
none – включает noindex и nofollow, т.е. запрещает индексацию

пример записи, которая разрешает все:

<meta name="robots" content="all"/>

Или запрещает все и индексацию текста и ссылок:

<meta name="robots" content="none"/>

Так же, можно указать для какой ПС предназначены ограничения в мета теге robots. 

<meta name="yandex" content="all"/>

Запрет индексации ссылки: атрибут rel="nofollow" тега <A>

Что бы закрыть конкретную ссылку от индексации можно воспользоваться атрибутом rel="nofollow" в теге <A>.

Пример записи атрибута:

<a href="http://site.ru" rel="nofollow">ссылка</a>

Атрибут rel="nofollow" учитывают все нужные нам поисковики: Яндекс и Google. В отличие от мета-тега «robots», который, запрещает индексировать сразу все ссылки, «rel» закрывать только одну ссылку. 

Часто этот атрибут применяют, когда не желают терять по ссылкам ссылочный вес страницы.

Запрет индексации тегом <noindex>

При помощи тега <noindex> можно закрыть от индексации определенную часть страницы. Вебмастера закрывают этим тегом счетчики статистики и скрипты на сайтах.

Пример записи:

<noindex>часть страницы, которую надо закрыть от индексации</noindex>

Тег «noindex» может располагаться в любой части страницы и не чувствителен к вложенности. Что бы сделать его валидным, применяйте такую запись:

<!––noindex––>текст, индексирование которого нужно запретить<!––/noindex––>

Запрет индексации в htaccess

Файл htaccess может заблокировать доступ к определенной части сайта, например к отдельной странице. Если вы хотите закрыть страницу от Яндекса то вам нужна такая запись.

RewriteEngine On
RewriteCond %{HTTP_USER_AGENT} yandex
RewriteRule ^тут_урл_страницы$ - [F]



Вот мы и разобрали все возможные способы и методы запрета индексации как целых разделов или страниц сайта, так и каких-то определенных частей.


Ну и на этом данная статья подошла к своему завершению. Надеюсь вам было интересно и теперь вы с легкость сможете добавить сайт в поисковики, а это значит, что вы получите максимальное количество посетителей за минимальный промежуток времени. Желаю всем скорейшей индексации и положительного настроения, всем пока.

 ЧИТАЙТЕ ТАКЖЕ:

css template

Не забывайте написать ваш комментарий, понравилась ли статья. От вас пару слов, а мне — признание поисковых систем, что пишу нормальные человеческий статьи. Заранее спасибо вам!