Robots.txt - ajutați Yandex și Google să indexeze site-ul, robots.txt pentru WordPress
Bună ziua tuturor rătăcitorilor, rătăcind plasa în căutarea cunoștințelor. Discuția de astăzi va fi despre un instrument important pentru un webmaster numit robots.txt. Dacă suntem interesați de modul de a câștiga bani pe Internet și vrem să câștigăm bani pe site. apoi pentru a promova site-ul dvs. (blog) robots.txt nu este un rol lipsit de importanță.
Și astfel, pentru dvs. cum să câștigați bani pe Internet, obiectivul este primul, ceea ce înseamnă că timpul este bani și mai întâi:
Robots.txt pentru WordPress
În primul rând vreau să spun că mulți bloggeri de multe ori ignora robots.txt și nu iau măsuri pentru a restricționa indexarea în roboților de căutare Google și Yandex. Aceasta este cu siguranță afacerea lor, dar când mi-am creat robots.txt am observat cum sa schimbat traficul site-ului meu:
Nu voi spune că 100% a fost afectat de robots.txt, dar după crearea sa tendința de creștere a dispărut. De aici am ajuns la concluzia că, dacă vom crea un site web pentru a câștiga bani, aveți nevoie pentru a profita la maximum de site-ul dvs. adaptat la toate cerințele și, prin urmare, încă mai au nevoie de un robots.txt, și a creat-o pentru un motiv.
Robots.txt corect pentru WordPress puteți copia aici de aici:
robots.txt
Robots.txt poate fi comparat cu comandantul armatei și, pentru a fi mai precis, el este controlorul de trafic pe site pentru roboți de căutare. Nu este greu de ghicit că, pentru a promova și promova site-ul, aveți nevoie de un set de măsuri.
Este important nu numai pentru a ridica populare statistici căutări Yandex pentru elaborarea unui nucleu semantic și să scrie conținut unic, dar, de asemenea, trebuie să vă faceți griji cu privire la utilizarea unui motor de căutare Yandex și Google pagini indexate de pe site (Alte sisteme de căutare nu văd, cota lor este foarte mică în căutarea RuNet) . Rapidul și completă Yandex și Google va indexa site-ul dvs., cu atât mai repede se va muta resursa în SERP.
Pentru a îndeplini această sarcină, avem două instrumente principale. În primul rând - sitemap (XML Harta site-ului), iar al doilea un robots.txt, care permite păianjeni bloc să indice tot ceea ce nu este de interes pentru a avansa (motor) fișiere, și, uneori, poate afecta chiar și în promovarea site-ului (duplicate de conținut).
Robots.txt - autoritatea de reglementare a roboților de căutare sau de ce explică Yandex și Google ce să indexeze.
Robots.txt și XML Sitemap (fișiere care vă permit să gestionați indexarea site-ului) sunt importante pentru promovarea proiectului ca o constituție a țării. În fișierul robots.txt există reguli incontestabile de comportament pentru roboții de căutare. Una dintre greșelile tehnice ale webmasterilor începători este ignoranța cu privire la existența unor astfel de fișiere importante sau la compilarea și utilizarea incorectă a acestora.
Eu la un moment dat el a ignorat mai întâi fișierul robots.txt, dar când am decis să experimenteze și a creat un robots.txt pentru site-ul dvs., am văzut o schimbare și a ajuns la concluzia că nu tot conținutul de orice resursă care a fost creat pe orice motor CMS ar trebui să fie disponibile pentru indexarea în motoarele de căutare. Din păcate, motoarele CMS fișiere robots.txt și absente Sitemap XML.
Absența unui fișier robots.txt complică munca pentru botul de căutare. Barca, ajunge la rădăcina site-ului dvs., găsirea fișierul robots.txt va căuta pagini care urmează să fie indexate ori de câte ori se poate obține prin intermediul (fișiere și directoare). Acest lucru va duce la:
În primul rând, faptul că robotul de căutare va fi petrece mult timp și la expirarea acestuia o indexare a resurselor, va merge departe cu ea, într-adevăr ratat de așteptare pentru pagina de indexare.
Mai jos, vom arunca o privire asupra robots.txt la rotițe.
Dezasamblam Robots.txt în părți sau directive și reguli pentru scrierea unui fișier robots.txt (disallow, user-agent, host)
Dacă creați un fișier robots.txt este gol, atunci roboții de căutare vor percepe acest lucru ca permisiunea de a scormoni nasul în cazul în care ea place, așa că suntem siguri că pentru a umple aceste directive de fișiere pentru motoarele de căutare. Deci, să luăm în considerare robotul.txt oferit de mine în detaliu:
Sub directiva "User-agent", începem să scriem interdicțiile folosind directiva interzicere (Disallow). Când (Disallow :) el nu a interzis fără a continua, și după cum știm, în viața noastră, care nu este interzis este permis, în acest caz, roboți motor de căutare va fi o privire la site-ul dvs. și le va indexa totul.
Pentru a interzice, trebuie să introduceți un semn (/). oferă o interdicție cu privire la indexarea tuturor celor ce vor fi scrise după ce, în cazul în care după (/) nimic nu este scris, atunci roboții de căutare vor înțelege modul în care o astfel de interdicție de directivă să indice întregul site. Nu ne place și, prin urmare, (Disallow) după semnul (/), vom specifica un fișier sau folder pe găzduirea pe site-ul nostru, de exemplu, Disallow: / wp-admin, interzic astfel directorul indicele «wp-admin», precum și toate fișierele și directoarele începând cu caracterele "wp-admin".
Dacă trebuie să închidem indexarea orice fișier sau folder, apoi da o directivă, cum ar fi (Disallow: / wp-content / plugins) - înseamnă să «wp-content» director, închidem pentru roboții de căutare dosarul «pluginuri».
În cazul crawlerele trebuie să închidă fișierul, dosarul sau o extensie de oriunde de pe site-ul, vom folosi un asterisc (*) - ceea ce înseamnă că orice (inclusiv unul gol). De exemplu: (Disallow: * / furaje) - ceea ce înseamnă că, în orice dosar este interzisă indexarea «furaje». Pe scurt, cu directiva (Disallow), ne-am dat seama, merge mai departe.
Apoi, totul este simplu, directiva gazdă este recomandată pentru a evita problemele cu oglinzile site-ului (domenii cu www și fără www). Ar trebui să indice către motorul de căutare Yandex site-ul principal mirror (ca atunci când se utilizează 301 redirecționări). La mine domeniul cu www, înseamnă, mă înregistrez astfel: (gazdă: www.realnodengi.ru). Veți intra pe cont propriu.
Asta e tot, nimic complicat în scris fișierul robots.txt nu este, acum știi ce este în robots.txt, iar dacă nu îndeplinesc robots.txt de mai sus, puteți scrie singur.
Nu uitați să configurați redirecționarea 301 - este, de asemenea, important pentru site-ul dvs. ca robots.txt.