Шта је датотека Роботс.ткт у домени?

искључен

Од странеРиан Дубе

Последњи пут ажурирано31. јануара 2019

Ако имате веб локацију и бринете о СЕО здрављу ваше веб локације, требало би да се добро упознате са датотеком роботс.ткт на вашем домену. Вјеровали или не, то је узнемирујуће велик број људи који брзо покрећу домен, инсталирају брзу ВордПресс веб страницу и никада се не труде да раде било шта са својом роботс.ткт датотеком.

Ово је опасно. Лоше конфигурисана датотека роботс.ткт може заправо уништити СЕО здравље вашег сајта и оштетити све шансе које имате за раст вашег промета.

Шта је датотека Роботс.ткт?

Тхе Роботс.ткт датотека је правилно именована, јер је у основи датотека која садржи директиве за веб роботе (попут робота претраживача) о томе како и шта могу индексирати на вашој веб локацији. Ово је веб стандард који следе веб локације од 1994. године и сви главни претраживачи се придржавају стандарда.

Датотека се чува у текстуалном формату (са екстензијом .ткт) у коријенској мапи вашег вебсајта. У ствари, можете да видите датотеку робот.ткт било које веб локације само укуцавањем домена, а затим /роботс.ткт. Ако ово покушате са гроовиПост, видећете пример добро структуриране датотеке робот.ткт.

Датотека је једноставна, али ефикасна. Овај пример датотеке не разликује роботе. Команде се издају свим роботима коришћењем Кориснички агент: * директива. То значи да се све наредбе које га прате примењују на све роботе који посећују локацију како би је претражили.

Одређивање Веб претраживача

Можете одредити и посебна правила за одређене веб индексе. На пример, можете да омогућите Гооглеботу (Гоогле-овом претраживачу веб страница) да претражи све чланке на вашој веб локацији, али можда ћете желети да онемогућите руском претраживачу веб података Иандек Бот да претражује чланке на вашој веб локацији о којима су омаловажавајуће информације Русија.

Постоји стотине веб претраживача који претражују интернет информацијама о веб локацијама, али овде је наведено 10 најчешћих због којих бисте требали бити забринути.

• Гооглебот: Гоогле претраживач
• Бингбот: Мицрософтов претраживач Бинг
• Сркати: Иахоо претраживач
• ДуцкДуцкБот: ДуцкДуцкГо претраживач
• Баидуспидер: Кинески претраживач Баиду
• ИандекБот: Руски претраживач Иандек
• Екабот: Француски претраживач Екалеад
• Фацебот: Фејсбук бота који се пузи
• иа_арцхивер: Алека'с веб претраживач
• МЈ12бот: Велика база података за индексирање веза

Узмимо горе наведени пример, ако желите да Гооглебот допусти да индексира све на вашој веб локацији, али сте желели блокирајте Иандек да индексира ваш чланак на руском чланку, додаћете следеће редове у свој роботс.ткт датотека.


Кориснички агент: гооглебот
Дисаллов: Дисаллов: / вп-админ /
Онемогући: /вп-логин.пхп

Кориснички агент: иандекбот
Дисаллов: Дисаллов: / вп-админ /
Онемогући: /вп-логин.пхп
Дисаллов: / русија /

Као што видите, први одељак само блокира Гоогле да индексира вашу ВордПресс страницу за пријаву и административне странице. Други одељак блокира Иандек од истог, али и из целог подручја ваше веб локације где сте објављивали чланке са антируским садржајем.

Ово је једноставан пример како можете да користите Онемогући наредба за контролу одређених веб претраживача који посећују вашу веб локацију.

Остале команде Роботс.ткт

Дисаллов није једина наредба којој имате приступ у датотеци роботс.ткт. Такође можете да користите било коју другу команду која ће усмеравати како робот може да претражи вашу веб локацију.

• Онемогући: Каже корисничком агенту да избегава индексирање одређених УРЛ-ова или целих секција ваше веб локације.
• Дозволи: Омогућује вам прецизно подешавање одређених страница или подмапа на вашој веб локацији, иако сте можда онемогућили родитељску фасциклу. На пример, можете онемогућити: / абоут /, али дозволити: / абоут / риан /.
• Одлагање-одлагање: Ово поручује алата за претрагу да сачека кк број секунди пре него што почне да индексира садржај веб локације.
• Ситемап: Наведите претраживачима (Гоогле, Питај, Бинг и Иахоо) локацију ваших КСМЛ ситемапова.

Имајте на уму да ботови хоће само слушајте команде које сте унели када наведете име робота.

Честа грешка коју људи чине је онемогућавање подручја попут / вп-админ / из свих ботова, али затим одредите одјељак гооглебот и само забрану осталих подручја (попут / абоут /).

Будући да ботови следе само наредбе које сте навели у њиховом одељку, морате поново да покренете све оне наредбе које сте навели за све ботове (користећи * усер-агент).

• Онемогући: Наредба која се користи да кажем корисничком агенту да не претражи индексирање одређеног УРЛ-а. За сваки УРЛ је дозвољен само један ред "Дисаллов:".
• Дозволи (важи само за Гооглебот): Наредба да се Гооглеботу каже да може приступити страници или поддиректоријуму иако његова матична страница или поддиректоријум могу бити онемогућени.
• Одлагање-одлагање: Колико секунди би алат за индексирање требало да сачека пре учитавања и претраживања садржаја странице. Имајте на уму да Гооглебот не признаје ову наредбу, али стопа претраживања може се поставити у Гоогле Сеарцх Цонсоле.
• Ситемап: Користи се за позивање локације КСМЛ ситемапа повезаних са овом УРЛ адресом. Имајте на уму да ову наредбу подржавају само Гоогле, Аск, Бинг и Иахоо.

Имајте на уму да је циљ роботс.ткт да помогне легитимним ботовима (попут ботова претраживача) да ефикасније прегледају вашу веб локацију.

Постоји много гадних алата за индексирање који претражују вашу веб локацију да би радили ствари попут стругања е-адреса или украли ваш садржај. Ако желите да испробате и користите датотеку роботс.ткт да блокирате ове алате да не претражују било шта на вашој веб локацији, не брините се. Креатори тих претраживача обично игноришу све што сте ставили у датотеку роботс.ткт.

Зашто забранити било шта?

Потезање Гоогле-овог претраживача да претражи толико квалитетног садржаја на вашој веб локацији је главна брига за већину власника веб локација.

Међутим, Гоогле троши само ограничено претраживање буџета и стопа индексирања на појединачним локацијама. Стопа индексирања износи колико ће захтјева у секунди Гооглебот поднијети вашој веб локацији током догађаја претраживања.

Важнији је буџет за индексирање, колико укупних захтева Гооглебот постави да претражи вашу веб локацију у једној сесији. Гоогле „троши“ буџет за индексирање фокусирајући се на области ваше веб странице које су веома популарне или су се недавно промениле.

Ниси слеп за ове информације. Ако посетите Гоогле алатке за вебмастере, можете видети како алат за индексирање обрађује вашу веб локацију.

Као што видите, алат за индексирање свакодневно одржава активност на вашој веб локацији. Не претражују се све веб локације, већ само оне које сматра најважнијим.

Зашто то остављате Гооглеботу да одлучи шта је најважније на вашој веб локацији, када помоћу датотеке роботс.ткт можете да му кажете које су најважније странице? То ће спречити Гооглебот да троши вријеме на страницама мале вриједности на вашој веб локацији.

Оптимизирање буџета за индексирање

Гоогле Вебмастер Тоолс такође вам омогућава да проверите да ли Гооглебот добро чита вашу датотеку роботс.ткт и да ли постоје грешке.

Ово вам помаже да проверите да ли сте правилно структурирали датотеку роботс.ткт.

Које странице треба да онемогућите са Гооглебота? Добро је да СЕО сајта онемогући следеће категорије страница.

• Дуплиране странице (попут страница прилагођених штампачу)
• Странице са захвалницама пратећи налоге на бази формулара
• Обрасци за наруџбу или информације
• Контакт странице
• Странице за пријаву
• Странице „продаје“ водећег магнета

Не занемарујте своју датотеку Роботс.ткт

Највећа грешка коју нови власници веб страница чине је да чак ни не погледају своју датотеку роботс.ткт. Најгора ситуација могла би бити да датотека роботс.ткт заправо блокира уопште вашу веб локацију или подручја ваше веб локације.

Обавезно прегледајте датотеку роботс.ткт и проверите да ли је оптимизована. На овај начин, Гоогле и други важни претраживачи „виде“ све феноменалне ствари које нуде свету са ваше веб локације.