Индексация сайта!

За индексацию вашего сайта отвечает файл robots.txt, что же он из себя представляет?

Robots.txt - это файл текстового формата, заложенный в корневой папке вашего сайта! Он отвечает за индексацию вашего сайта в различных поисковых системах! С помощью него роботы поисковых систем определяют что можно, а что нельзя индексировать на вашем сайте, т.е. это как бы закон вашего сайта и вы являетесь его владельцем, поэтому вы можете управлять законом и корректировать его в свою пользу!

Когда вы создаете свой сайт в таких системах как ucoz.ru, то файл robots.txt формируется автоматически! Как правило первый месяц сайт будет заморожен, это нужно для того, что бы вы успели наполнить его уникальным контентом, сделать его ярким и удобным для пользователей! В первый месяц ваш robots.txt будет выглядеть так:

User-agent: * 

Disallow: /

Это означает, что всем роботам запрещено индексировать ваш сайт! Если его сделать таким:

User-agent: * 

Disallow: *

Это будет говорить о том, что всем роботам разрешается индексировать всю информацию на вашем сайте! 

По истечении месяца блокировки, такие сайты как ucoz.ru автоматически меняют robot.txt на стандартный, но если вы справились с оформлением сайта раньше истечения срока блокировки и хотите быстрее запустить свой сайт в развитие, тогда вам необходимо создать на рабочем столе файл формата .txt, залить туда стандартный robots.txt и  заменить им существующий файл в корневой папке вашего сайта! Вот так выглядит стандартный robots.txt для всех сайтов ucoz.ru:

User-agent: * 

Disallow: /a/

Disallow: /stat/

Disallow: /index/1

Disallow: /index/2

Disallow: /index/3

Disallow: /index/5

Disallow: /index/7

Disallow: /index/9

Disallow: /panel/

Disallow: /admin/

Disallow: /secure/

Disallow: /informer/

Disallow: /mchat/

Disallow: /search/ 

Sitemap: www.ваш сайт.ucoz.ru/sitemap.xml 

User-agent: Yandex

Host: www.ваш сайт.ucoz.ru

Sitemap: www.ваш сайт.ucoz.ru/sitemap.xml