Să examinăm cum să creăm un fișier corect pentru robotul de căutare pentru Joomla 2.5 / 3.x - robots.txt
Acest fișier este necesar pentru a spune roboților ce să indice nu este necesar.
Inițial, robots.txt are acest formular
Pentru a înțelege esența acestui fișier, să aruncăm o privire la ceea ce este scris aici și la ce operatori (comenzi) suportă.
Agentul utilizator este numele robotului pentru care este destinată instrucțiunea. Implicit în Joomla este * (un asterisc) - aceasta înseamnă că instrucțiunea este destinată absolut tuturor roboților de căutare.
Cele mai comune nume pentru roboți sunt:
Nu este necesar să folosiți instrucțiuni separate pentru fiecare robot în majoritatea cazurilor. Numai în cazul anumitor proiecte specifice și al sarcinilor specifice.
Fiecare robot înțelege majoritatea comenzilor și numai pentru unii, de exemplu pentru robotul Yandex, există echipe proprii.
Prin urmare, puteți pune în siguranță * (stea) și scrie instrucțiuni pentru toată lumea. Dacă un robot nu cântă ceva, va ignora pur și simplu această comandă și va continua să funcționeze.
Dezactivează - dezactivează indexarea conținutului directorului sau adresei URL specificate.
Permite - dimpotrivă, permite indexarea unui dosar sau a unei adrese URL.
Gazdă - specificați oglinda principală a site-ului (cu www sau fără www)
Și pentru ca Yandex să nu ia în considerare astfel de pagini de serviciu, directiva robots.txt specifică directiva Clean-param.
Același exemplu cu căutarea pe site:
Clean-param: searchword / - directiva interzice indexarea tuturor URL-urilor cu parametrul? Cuvânt de căutare
Crawl-delay - directiva până acum numai familiară Yandex. Acesta indică la ce interval să fie scanate paginile, intervalul fiind specificat în secunde.
Poate fi util dacă aveți o mulțime de pagini și o încărcare destul de mare pe server, deoarece cererea fiecărui robot către pagina site-ului este o sarcină pe server. Robotul poate scana mai multe pagini pe secundă și astfel poate încărca serverul.
exemplu:
Crawl-delay: 5 - intervalul pentru încărcarea paginii - 5 secunde.
Directive specifice pentru Yandex puteți vedea aici >>
Toate directivele sunt scrise dintr-o linie nouă, fără permisiune.
Vă urez bun și rapid indexare!
Sincer, Oleg.