Если вы являетесь членом маркетинговой команды или разработчиком веб-сайта, вы захотите, чтобы ваш сайт был виден в результатах поиска. А для того, чтобы он был показан в результатах поиска, вам нужно, чтобы ваш веб-сайт и его различные веб-страницы были просканированы и проиндексированы поисковыми ботами (роботами).
На технической стороне вашего веб-сайта есть два разных файла, которые помогают этим ботам находить то, что им нужно: Robots.txt и XML sitemap.
Robots.txt
Файл Robots.txt — это простой текстовый файл, который размещается в корневом каталоге вашего сайта. Этот файл использует набор инструкций, чтобы сообщить роботам поисковых систем, какие страницы вашего сайта они могут и не могут сканировать.
Файл robots.txt также можно использовать для блокировки доступа определенных роботов к сайту. Например, если сайт находится в разработке, может иметь смысл заблокировать роботам доступ, пока он не будет готов к запуску.
Файл robots.txt обычно является первым местом, которое роботы посещают при доступе к веб-сайту. Даже если вы хотите, чтобы все роботы имели доступ ко всем страницам вашего веб-сайта, все равно хорошей практикой будет добавить файл robots.txt, который это позволяет.
Файлы robots.txt также должны включать местоположение другого очень важного файла: XML Sitemap. Он содержит сведения о каждой странице вашего веб-сайта, которую вы хотите, чтобы обнаружили поисковые системы.
Как добавить XML-карту сайта в файл robots.txt
Вот три простых шага по добавлению местоположения XML-карты сайта в файл robots.txt:
Шаг № 1: найдите URL-адрес вашей карты сайта
Если ваш сайт был разработан сторонним разработчиком, вам нужно сначала проверить, предоставили ли они вашему сайту XML-карту сайта.
По умолчанию URL-адрес вашей карты сайта будет /sitemap.xml. Например, XML-карта сайта для https://crghome.ru — это
https://crghome.ru/sitemap.xml
Поэтому введите этот URL-адрес в своем браузере с вашим доменом вместо «crghome.ru».
Некоторые веб-сайты имеют более одной XML-карты сайта, для которой требуется карта сайта для карт сайта (известная как индекс карты сайта). Например, если вы используете плагин Yoast SEO с WordPress, индекс карты сайта будет автоматически добавлен в /sitemap_index.xml.
https://crghome.ru/sitemap_index.xml
Вы также можете найти свою карту сайта через поиск Google, используя операторы поиска, как показано в примерах ниже:
site:crghome.ru filetype:xml ИЛИ filetype:xml site:crghome.ru inurl:sitemap
Но это сработает только в том случае, если ваш сайт уже просканирован и проиндексирован Google.
Если у вас есть доступ к файловому менеджеру вашего сайта, вы можете выполнить поиск по файлу карты сайта xml.
Если вы не нашли карту сайта на своем сайте, вы можете создать ее самостоятельно. Существует множество инструментов, которые помогут в этом, включая генератор XML Sitemap, который бесплатен для 500 страниц, но вам нужно будет вручную удалить все страницы, которые вы не хотите включать. В качестве альтернативы следуйте протоколу, описанному на сайте Sitemaps.org.
Шаг № 2: Найдите файл Robots.txt
Вы можете проверить, есть ли на вашем сайте файл robots.txt, введя /robots.txt после вашего домена), например, https://crghome.ru/robots.txt.
Если у вас нет файла robots.txt, вам придется создать его и добавить в корневой каталог вашего веб-сервера. Для этого вам понадобится доступ к вашему веб-серверу. Обычно он размещается в том же месте, где находится основной файл "index.html" вашего сайта. Расположение этих файлов зависит от типа программного обеспечения веб-сервера. Вам следует рассмотреть возможность получения помощи веб-разработчика, если вы не очень хорошо знакомы с этими файлами.
Расположение robots.txt в файловом менеджере
Просто не забудьте использовать все строчные буквы для имени файла, содержащего содержимое вашего robots.txt. Не используйте Robots.TXT или Robots.Txt в качестве имени файла.
Шаг № 3: Добавьте местоположение карты сайта в файл Robots.txt
Теперь откройте robots.txt в корне вашего сайта. Опять же, для этого вам понадобится доступ к вашему веб-серверу. Поэтому обратитесь к веб-разработчику или в свою хостинговую компанию за инструкциями, если вы не знаете, как найти и отредактировать файл robots.txt вашего сайта.
Чтобы облегчить автоматическое обнаружение файла карты сайта через robots.txt, все, что вам нужно сделать, это поместить директиву с URL-адресом в ваш robots.txt, как показано в примере ниже:
Карта сайта: https://crghome.ru/sitemap.xml
Итак, файл robots.txt выглядит следующим образом:
Карта сайта: https://crghome.ru/sitemap.xml User-agent:* Disallow:
ПРИМЕЧАНИЕ. Директива, содержащая местоположение карты сайта, может быть размещена в любом месте файла robots.txt. Он не зависит от строки user-agent, поэтому не имеет значения, где он размещен.
Вы можете увидеть это в действии на работающем сайте, посетив свой любимый сайт, добавив /robots.txt в конец домена. Например, https://crghome.ru/robots.txt.
Файл robots.txt в реальном времени
Что делать, если у вас несколько файлов Sitemap?
Согласно рекомендациям Google и Bing по картам сайта, XML-карты сайта не должны содержать более 50 000 URL-адресов и не должны превышать 50 МБ в несжатом виде. Поэтому в случае большого сайта с большим количеством URL-адресов вы можете создать несколько файлов Sitemap.
Вы должны перечислить все местоположения файлов Sitemap в файле индекса Sitemap. Формат XML файла индекса Sitemap похож на файл Sitemap, что делает его картой сайта карт сайтов.
Если у вас несколько файлов Sitemap, вы можете указать URL-адрес файла индекса Sitemap в файле robots.txt, как показано в примере ниже:
Sitemap: https://crghome.ru/sitemap_index.xml
Или вы можете указать отдельные URL-адреса для каждого из файлов Sitemap, как показано в примере ниже:
Sitemap: https://crghome.ru/sitemap_pages.xml Sitemap: https://crghome.ru/sitemap_posts.xml
Надеюсь, теперь вам понятно, как создать файл robots.txt с местоположением Sitemap. Сделайте это, это поможет вашему веб-сайту!
