За контакт
[email protected]
Регистрирайте се! Влезте

Влезте с вашите данни

Забравихте вашата парола?

Нямате регистрация?Регистрирай се

0
Enicomp.eu Enicomp.eu
  • Начало
  • За нас
  • Курсове и обучения
  • Магазин
    • Консултации
    • Готови сайтове
    • Поддръжка
    • Изработка на сайт
    • SEO услуги
    • Инсталация на приложения
  • Услуги
    • Изработка на сайт
    • Уеб дизайн
    • Уеб сайт базиран на WordPress
    • Фейсбук страница
    • SEO оптимизация
  • Портфолио
  • Полезни статии
    • Статии за WordPress
    • Термини в дигиталния бизнес
    • Формули за продаващ текст
    • SEO термини
    • 100 Идеи за онлайн бизнес
    • Полезни съвети
    • Маркетинг статии
  • Контакт
  • Начало
  • За нас
  • Курсове и обучения
  • Магазин
    • Консултации
    • Готови сайтове
    • Поддръжка
    • Изработка на сайт
    • SEO услуги
    • Инсталация на приложения
  • Услуги
    • Изработка на сайт
    • Уеб дизайн
    • Уеб сайт базиран на WordPress
    • Фейсбук страница
    • SEO оптимизация
  • Портфолио
  • Полезни статии
    • Статии за WordPress
    • Термини в дигиталния бизнес
    • Формули за продаващ текст
    • SEO термини
    • 100 Идеи за онлайн бизнес
    • Полезни съвети
    • Маркетинг статии
  • Контакт
  • Home
  • Термини в дигиталния бизнес
  • Robots.txt

Термини в дигиталния бизнес

12 юни

Robots.txt

  • In Термини в дигиталния бизнес
Robots.txt

Файл с препоръки за роботи за търсене. Например, не индексирайте определени страници от сайта. Поставен в основната директория. 

Robots.txt е текстов файл, който уеб администраторите създават, за да инструктират уеб роботите (обикновено роботи на търсачките) как да обхождат страници на уебсайта си. Файлът robots.txt е част от протокола за изключване на роботи (REP), група от уеб стандарти, които регулират как роботите обхождат мрежата, достъпват и индексират съдържание и предоставят това съдържание на потребителите. REP също така включва директиви като мета роботи , както и инструкции за страница, поддиректория или в целия сайт за това как търсачките трябва да третират връзките (като „следване“ или „nofollow“).

На практика файловете robots.txt показват дали определени потребителски агенти (софтуер за обхождане на уеб) могат или не могат да обхождат части от уебсайт. Тези инструкции за обхождане са определени чрез „забраняване“ или „разрешаване“ на поведението на определени (или всички) потребителски агенти.

Основен формат:
Потребителски агент: [име на потребителски агент]Забраняване: [URL низ да не се обхожда]

Заедно тези два реда се считат за пълен файл robots.txt — въпреки че един файл robots може да съдържа няколко реда потребителски агенти и директиви (т.е. забранява, разрешава, забавяне на обхождането и т.н.).  

Как работи robots.txt?

Търсачките имат две основни задачи:

  1. Обхождане в мрежата за откриване на съдържание;
  2. Индексиране на това съдържание, така че да може да се обслужва на търсещите, които търсят информация.

За да обхождат сайтове, търсачките следват връзки, за да стигнат от един сайт до друг – в крайна сметка, обхождайки много милиарди връзки и уебсайтове. Това поведение на пълзене понякога е известно като „паяк“.

След като пристигне в даден уебсайт, но преди да го отвори, роботът за търсене ще потърси файл robots.txt. Ако намери такъв, роботът първо ще прочете този файл, преди да продължи през страницата. Тъй като файлът robots.txt съдържа информация за това как търсачката трябва да обхожда, информацията, намерена там, ще инструктира по-нататъшни действия на робота на този конкретен сайт. Ако файлът robots.txt не съдържа директиви, които забраняват активността на потребителския агент (или ако сайтът няма файл robots.txt), той ще продължи да обхожда друга информация на сайта.

Основни правила на robots.txt, които трябва да се спазват:

  • За да бъде намерен, файл robots.txt трябва да бъде поставен в директорията от най-високо ниво на уебсайт.
  • Robots.txt е чувствителен към малки и големи букви: файлът трябва да бъде наречен „robots.txt“ (не Robots.txt, robots.TXT или друго).
  • Някои потребителски агенти (роботи) може да изберат да игнорират вашия файл robots.txt. Това е особено често срещано при по-злобни роботи като роботи за злонамерен софтуер или стъргачи на имейл адреси.
  • Файлът /robots.txt е публично достъпен: просто добавете /robots.txt в края на всеки основен домейн, за да видите директивите на този уебсайт (ако този сайт има файл robots.txt!). Това означава, че всеки може да види какви страници правите или не искате да бъдат обхождани, така че не ги използвайте, за да скриете личната потребителска информация.
  • Всеки поддомейн в основен домейн използва отделни файлове robots.txt. Това означава, че и blog.example.com, и example.com трябва да имат свои собствени файлове robots.txt (в blog.example.com/robots.txt и example.com/robots.txt).
  • Като цяло е най-добрата практика да се посочи местоположението на всякакви карти на сайтове, свързани с този домейн, в долната част на файла robots.txt. Ето един пример:

 

Карти на сайтове в robots.txt
close

Чек-лист за създаване и популяризиране на YouTube канал

В следващия емейл ще получите Чек-листа

We don’t spam! Read our privacy policy for more info.

Проверете входящата си поща или папката със спам, за да потвърдите абонамента си.

Tags:Robots.txt
  • Share:
enicomp.eu
enicomp.eu

Може да харесате също

Какво е одит на сайт

Какво е одит на сайт

  • февруари 8, 2023
  • by enicomp.eu
  • in Термини в дигиталния бизнес
КАКВО Е ОДИТ НА САЙТА Одитът на сайта е анализ на ресурс по редица критерии. Процедурата е предназначена за идентифициране на...
Какво е адаптивност на уебсайта
Какво е адаптивност на уебсайта
февруари 7, 2023
Какво е WEBVISOR
Какво е WEBVISOR
февруари 6, 2023
Какво е VIRTUAL PRIVATE SERVER (VPS)
Какво е VIRTUAL PRIVATE SERVER (VPS)
февруари 4, 2023

Маркетингови статии

Какво е одит на сайт
Какво е одит на сайт
08фев.,2023
Какво е адаптивност на уебсайта
Какво е адаптивност на уебсайта
07фев.,2023
Какво е WEBVISOR
Какво е WEBVISOR
06фев.,2023
Какво е VIRTUAL PRIVATE SERVER (VPS)
Какво е VIRTUAL PRIVATE SERVER (VPS)
04фев.,2023
Какво е Virtual Hosting
Какво е Virtual Hosting
03фев.,2023
Какво е Usability
Какво е Usability
02фев.,2023
Какво е Sidebar
Какво е Sidebar
31ян.,2023

Помощна информация

  • Политика за използване на бисквитки
  • Политика за сигурност на личните данни
  • Политика за защита на личните данни
  • Общи условия
  • HTML карта на сайта
  • XML Карта на сайта

Полезни линкове

  • Facebook
  • Instagram
  • Youtube

Абонирайте се за нашия бюлетин

Проверете входящата си поща или папката със спам, за да потвърдите абонамента си.

Нашите курсове

  • Безплатни курсове
  • Чат ботове

Enicomp.eu 2022 - Агенция за дигитален маркетинг - всички права запазени

Този сайт използва бисквитки за по-добро потребителско преживяване. We'll assume you're ok with this, but you can opt-out if you wish. НастройкиПриемам
Поверителност & Политика за бисквитките

Privacy Overview

This website uses cookies to improve your experience while you navigate through the website. Out of these cookies, the cookies that are categorized as necessary are stored on your browser as they are essential for the working of basic functionalities of the website. We also use third-party cookies that help us analyze and understand how you use this website. These cookies will be stored in your browser only with your consent. You also have the option to opt-out of these cookies. But opting out of some of these cookies may have an effect on your browsing experience.
Necessary
Always Enabled
Necessary cookies are absolutely essential for the website to function properly. This category only includes cookies that ensures basic functionalities and security features of the website. These cookies do not store any personal information.
Non-necessary
Any cookies that may not be particularly necessary for the website to function and is used specifically to collect user personal data via analytics, ads, other embedded contents are termed as non-necessary cookies. It is mandatory to procure user consent prior to running these cookies on your website.
SAVE & ACCEPT