Настройка служебных страниц на 1С-Битрикс

настройка СЛУЖЕБНЫХ СТРАНИЦ САЙТА НА 1С БИТРИКС Robots.txt, карта сайта, 404 страница, страница заглушка и страница по умолчанию
Существуют важные страницы сайта, которые в проекте «с нуля» могут отсутствовать, и это отсутствие может существенно повлиять на функционирование и продвижение вашего сайта. При всем при этом, создать их и настроить – не такая уж и сложная задача, и это вложение вашего времени весьма позитивно скажется в дальнейшем на функционировании Вашего webпроекта.

В данной статье мы рассмотрим основные вопросы настройки и создания Robots.txt, карты сайта, 404 страницы, страницы заглушки и новой страницы по умолчанию для сайтов под управлением CMS 1С Битрикс.

Проведем краткий обзор этих таких служебных страниц.

НАСТРОЙКА ROBOTS.TXT ДЛЯ 1С БИТРИКС

Эта страница говорит роботам поисковых систем (Яндекс, Google и другие), какие страницы вашего сайта индексировать не надо.

Robots.txt будет первой страницей, которую поисковый робот скачает с вашего сайта – и это делает ее страницей номер один в нашем списке.

Проверьте адрес
https://www.вашсайт.ru/robots.txt

User-Agent: *

Disallow: /bitrix/

Disallow: /*show_include_exec_time=

….

Disallow: /personal/

Allow: /bitrix/components/

Allow: /bitrix/panel/

User-agent: Yandex

Disallow: /bitrix/

Disallow: /search/

Allow: /bitrix/components/

Allow: /bitrix/panel/

Sitemap: https://www.вашсайт.ru/sitemap_index.xml

Host: https://www.вашсайт.ru/

Если вы не нашли эту страницу, и ваш сайт на 1C-Битрикс, вы можете сэкономить свое время и воспользоваться генератором, встроенным в Битрикс на странице

Рабочий стол – Маркетинг - Поисковая оптимизация - Настройка robots.txt

Расположена она будет по адресу :

https://вашсайт.ru/bitrix/admin/seo_robots.php?lang=ru

Также есть замечательная инструкция от специалистов 1С-Битрикс по установке и настройке robots.txt

Если этот файл есть, желательно проверить его на ошибки.

В директивах Disallow перечислены разделы, которые индексировать(и вообще заходить поисковыми роботами) не надо, Allow соответственно указывает на страницы, которые индексировать надо в обход правил Disallow. Обратите внимание, что если конкретный раздел указать несколько раз, то будет применено последнее правило.

Проверьте правильное написание директив Disallow|Allow:

1. Каждая директива дает ограничение на 1 папку, писать несколько директив в одной строке нельзя.

Если ограничение стоит на папку, название должно совпадать с названием раздела на сайте с точностью до регистра

Если папка /superblog/, нельзя писать SUPERblog, SuperBlog, SuPeRbLog или как угодно по-другому, ТОЛЬКО superblog

P.S. Постарайтесь избегать названий на кириллице
НЕЛЬЗЯ:
Disallow: /test/ /tmp/
Disallow: /test/
/tmp/
НУЖНО:
Disallow: /test/
Disallow: /tmp/
2. Символ * если используется, то только в контексте User-agent: *
Disallow: *.jpeg
не сработает
Disallow: (0-9)*/
тоже не сработает
3. В директиве Host нужно указание доменного имени без префикса протокола

Название доменного имени в зоне .рф пишется punicode (например, здесь вы можете его привести https://r01.ru/domain/whois/instruments/converter.php )

Примечание: обычно название основного хоста должно быть в единственном написании, с www или без www, и во втором случае, сео-специалисты рекомендуют ставить редирект. Например, есть сайт gigasnk.ru, для которого выбрано написание с www как основное. Можете проверить :). В Host директиве должно стоять основное описание www.gigansk.ru)

Обратите внимание, на нашей практике мы встречали замечательный вирус-троян, который оставлял содержимое robots.txt обычным при выдаче людям, и подменял его при выдаче роботам. На всякий случай проверьте, как увидят ваш файл роботы, когда зайдут на страницу.

Для этого можно воспользоваться сервисом https://bertal.ru по инструкции на скриншоте.

КАРТА сайта (sitemap) для 1С Битрикс помогаем роботам работать

Как мы уже увидели, в файле robots.txt нужно указать карту сайта – это список страниц вашего сайта в общеизвестном формате xml, с указанием времени их изменения и приоритета при индексации.

Почему это важно?

Робот, как мы выяснили, при первом заходе скачает robots.txt, заглянет в него, и, увидев карту сайта, точно возьмет ее к сведению и пройдет по ссылкам в ней. Если он ее не найдет, то это не означает, что он ваш сайт не проиндексирует совсем, это просто будет происходить несколько дольше – а сейчас, как никогда, важно быть в тренде и обновляться своевременно.

Вручную создавать карту сайта – долго и достаточно бессмысленно, поэтому по созданию карты сайта 1С-Битрикс также любезно подготовил инструкцию, с которой можно ознакомиться по ссылке

Благодаря этому инструменту можно настроить карту сайта и динамическая информация будет обновляться автоматически. Чтобы быть уверенным в том, что ваша карта сайта будет обновляться точно автоматически и регулярно, предлагаем настроить агента на обновление карты сайта.

Страница 404 для 1С Битрикс

Важная страница, которая обязательно должна быть настроена корректно – это страница 404.

Почему она важна?

Структура сайта в большинстве случаев меняется регулярно, и старые ссылки становятся неактуальными. Здесь, конечно, необходим 301 редирект (об этом мы расскажем в следующей статье), но в любом случае, при отсутствии запрашиваемого адреса пользователю надо предоставить какую-то информацию, и установить соответствующий статус в заголовке страницы, чтобы поисковые системы понимали, что такой страницы на текущий момент не существует.

Битрикс по умолчанию должен установить стандартную 404 страницу, но в любом случае проверить ее наличие необходимо.

Сначала проверим наличие этой страницы и отработку заголовков.

Перейдем на наш сервис проверки заголовков и введем заведомо несуществующий адрес.

url с некорректым адресом, отдает 404

Здесь важно, чтобы заголовок, отдаваемый страницей, указывал 404 и текст на странице был.

Если у вас нет ответа от подобной страницы, значит, отдача заголовков с сервера происходит некорректно, и надо обратиться к хостеру или системному администратору для решения этой проблемы.

Если хостинг настроен правильно, и не хватает только самой страницы, алгоритм установки будет примерно следующим.

1) Создадим файл в корневом каталоге с названием 404.php. Скопируем и вставим туда следующий код:

<?

include_once($_SERVER['DOCUMENT_ROOT'].'/bitrix/modules/main/include/urlrewrite.php');

CHTTP::SetStatus("404 Not Found");

@define("ERROR_404","Y");

require($_SERVER["DOCUMENT_ROOT"]."/bitrix/header.php");

$APPLICATION->AddChainItem("404 Not Found", "");

$APPLICATION->SetTitle("404 Not Found.");



$APPLICATION->SetPageProperty('title', "К сожалению,такая страница не найдена.");

?>

<div class="sections"> <div class="section content_header"> <div class="width">

<div align="center"><? $APPLICATION->ShowTitle() ?></div>

</div> </div> <div class="section"> <div class="width">

<? $APPLICATION->IncludeComponent( "bitrix:main.map", ".default",

array( "LEVEL" => "3", "COL_NUM" => "2", "SHOW_DESCRIPTION" => "N", "SET_TITLE" => "Y", "CACHE_TIME" => "36000000", "COMPONENT_TEMPLATE" => ".default", "CACHE_TYPE" => "A" ), false ); ?>

</div> </div> </div>

<?require($_SERVER["DOCUMENT_ROOT"]."/bitrix/footer.php");?>

В этом коде мы в явной форме прописываем заголовки, подключаем стандартный шаблон сайта и вызываем компонент карты сайта. Который формируется на основании указанного меню в настройках главного модуля.

2) Проверяем файл .htaccess в корневой директории. В нем должна быть следующая строчка: ErrorDocument 404 /404.php. Если ее нет, дописываем ее.

Если мы все сделали верно, и у нас правильные настройки сервера, 404 страница начнет отрабатывать корректно.

С точки зрения SEO, выдачи 404 заголовка и определенной страницы (не дубля нормальной страницы сайта), в принципе достаточно.

Но возможно, вы захотите оформить 404 страницу более интересно или полезно для вашего посетителя, например, показать ему лучшие товары каталога, или ознакомить с последними новостями, или дать поиграть в интерактивную небольшую игру. Здесь полет фантазии не ограничен, и многие крупные компании оформляют свою 404 страницу весьма разными оригинальными способами.

Главное – не забыть показать пользователю, что он все-таки попал на несуществующую страницу.

Страница-заглушка для сайта

Если вы планируете доработки на сайте, или обновление сайта – в общем, любая ситуация, когда надо закрыть работающий сайт на короткий промежуток времени - вам с высокой долей вероятности понадобится страница – заглушка.

Такая страница используется для того, чтобы показать посетителю, что сайт скоро откроется, вместо стандартного уведомления, которое очень похоже на уведомление об ошибке.

Стандартное уведомление уж очень напоминает сообщение об ошибке, что не принесет вам положительной репутации и скорее отпугнет посетителя от сайта в целом. Хорошим решением будет сверстать красивую страницу и объяснить пользователю, почему сайт закрыт именно сейчас и что он скоро вернется в строй.


Для этого вам надо положить свой макет по адресу site_closed.php в "/bitrix/php_interface/include" или "/local/php_interface/include" и включить в настройках Битрикс временное ограничение к публичной части


Минус ограничения Битрикс состоит в том, что он накладывается на все сайты в случае многосайтовости и не предусматривает тонкой настройки ограничений (что может обойти программист, который знает настройку обработчиков и работу с правами)
Новая страница сайта

И напоследок можно сделать страницу, которая будет общим шаблоном для всех новых только что созданных страниц. Это не является «служебной» страницей, но служит общим целям сайта, поэтому мы вкратце расскажем и о ней.

Обычно для новых созданных страниц создается пустая страница с надписью «Text here…», что конечно, замечательно, но не очень хорошо в том плане, что во первых – английский знают еще, к сожалению, не все, во–вторых, подобная формулировка говорит скорее о недостатке компетенции или времени у контет-менеджера, что даст не самое лучшее впечатление о вашем сайте.

В шаблоне сайта Битрикс можно настроить такой шаблон по умолчанию и разместить на нем произвольный текст, компоненты и все необходимое для того, чтобы страницы на стадии наполнения были чуть более привлекательными.

Для этого надо перейти в шаблон сайта по адресу bitrix/templates/.default/page_templates/standard.php и отредактировать страницу. Тогда она будет всегда подключаться по умолчанию при создании станицы через Эрмитаж или административную панель.

Остались вопросы?

Отправьте нам заявку и наши специалисты бесплатно проконсультируют Вас по вопросам разработки сайта на Битрикс.

Обратный звонок
Оставить заявку
Узнайте об интеграции с нуля
Узнайте об интеграции
уже готового сайта