De ce deschide și închide motoarele de căutare de către persoane
Trebuie să spun că este contrar politicilor de motoarele de căutare. Regula principală pentru un site bun, în conformitate cu motoarele de căutare, este o cerință de a arăta site-ul „așa cum este“. Pentru a da conținut a fost același pentru ambele roboții și utilizatori.
Folosind această abordare poate duce la interzicerea site-
De ce să deschidem un site pentru roboții de indexare, dar aproape de vizitatori.
Motivul este unul. Se prepară un conținut care ar trebui să scadă în index (parallelnopishu despre serviciu, care trimite Yandex bot pe site-ul pentru instantanee / amenințând / indexarea acestor pagini în 10 minute), iar la momentul potrivit pentru al deschide pentru vizitatori.
Cum pentru a verifica disponibilitatea site-ului Yandex bot
Poyanenie. Numărul 1 este răspunsul la serverul de verificare Yandex. Sub 2 este o verificare de disponibilitate pentru indexare.
S-au găsit? Apoi pagina este indexat de Yandex și Google nu va fi în căutare, respectiv, nu se încadrează. Fix problema!
Înapoi la site-ul temei de închidere a utilizatorilor și în ciuda faptului că motoarele de căutare pot indexa și proces.
Cum să pună în aplicare
Este dat seama că este destul de simplu și eficient. nu va arunca la nivel de utilizator - o mulțime de complicații, și sensul nu este clar dacă sau nu. Du-te imediat la nivelul de acces la resursa.
1. Deschideți accesul numai la sine și roboților de căutare.
2. Închideți toate celelalte acces.
implementarea tehnică
Avem nevoie de un fișier .htaccess localizat în rădăcina site-ului.
Redirecționează toți vizitatorii la un alt site, cu excepția unui IP (poate fi util pentru dezvoltarea web)
Codul de mai jos permite antenele motoarelor de căutare (în acest caz, Googlebot) pentru a vizualiza pagina și face astfel încât eu, cu meu IP, ar putea intra pe site-ul fără o parolă, iar clienții mei și vizitatori - cu o parolă. De asemenea, acest cod pentru a autoriza XHTML și CSS validat! (W3.org)
AuthName „Administrația NumeSite“
AuthUserFile /home/sitename.com/.htpasswd
AuthType de bază
Necesită valid de utilizator
Ordinul neagă, permite
Refuzați de la toate
Se lasă la 24 \\. 205 \\. 23 \\. 222
Se lasă la w3.org htmlhelp.com
Se lasă la googlebot.com
satisface Orice
Cred că are sens să folosească prima opțiune, și permisiunea pentru boti pentru a lua al doilea.
Certificatul Google scris:
Verificați dacă robotul accesează serverul dvs. este într-adevăr Googlebot (sau utilizator drugimagentom Google), puteți utiliza un revers DNS-interogare. Verificați dacă numele se referă la googlebot.com domeniu, utilizarea directă DNS-anchetă pentru acest nume de Googlebot. Acest lucru este util să faceți dacă suspectați că Googlebot să acceseze cu crawlere site-ul dvs. în timp ce autorii de spam sau alte probleme.
Unii roboți pot deghizeze Yandex roboți prin specificarea user-agent adecvat. Puteți verifica faptul că robotul este cel pentru care ea pretinde utilizarea de identificare, bazată pe căutare DNS inversă (de căutare DNS inversă).
Pentru a face acest lucru, urmați acești pași:
După determinarea numelui de gazdă, puteți verifica dacă acesta aparține Yandex. Numele tuturor roboților Yandex termină în „yandex.ru“, „yandex.net“ sau „yandex.com“. Dacă numele de gazdă are un final diferit, ceea ce înseamnă că robotul nu aparține Yandex.
De fapt, a găsit aypishniki și prescrie că e în regulă.