Bună ziua! În total, am fost angajat în construirea de site-uri pentru aproximativ 6 ani. Nu știu dacă este o mulțime sau nu, dar asta nu este scopul. De-a lungul acestei perioade am schimbat doi furnizori de hosting - acum al treilea.
Concluzia pe care am făcut-o pentru mine pe baza propriei mele experiențe este următoarea: în promovarea cu succes a site-ului, calitatea muncii unui hostess și capacitatea serverului pe care sunt localizate site-urile joacă un rol imens. Motoarele de căutare nu le plac în mod clar resursele care se încadrează în mod constant și se află în afara zonei de acces. Prin urmare, eu personal am amuzat atunci când oamenii vorbesc cu entuziasm despre modul în care plătesc pentru găzduirea doar un dolar pe lună. În mod implicit, nu poate fi faptul că o astfel de găzduire este capabilă să furnizeze servicii de calitate.
Alegerea mea este un furnizor de hosting bun și fiabil și un tarif scump, presupunând o capacitate mare de servere. Și din moment ce nu am ajuns încă la VDS și încă nu simt nicio nevoie specială pentru acest lucru, am destul de mult de un server web personal, în principiu, considerat o alternativă convenabilă la VDS.
Dar, în același timp, "există o bătrână pe bătrână". În primul rând, "glandele" au proprietatea de a se descompune și, prin urmare, apar defecțiuni la orice echipament. În al doilea rând, există un număr de factori externi care pot avea un impact semnificativ asupra performanței site-urilor.
Un factor pozitiv pentru factorul de webmaster, care supraîncarcă serverul, este creșterea prezenței, factorii negativi - atacurile ddos, precum și boturile inutile de căutare "snooping" pe site-uri.
Recent au primit un mesaj de la hostess că au identificat încărcări grave ale serverului din acțiunile motoarelor de căutare și o listă mare a acestor roboți. De fapt, se dovedește a fi un fel de atac mic dsd, când acești bots solicită sute de pagini de site-uri în câteva secunde.
Cum să vă protejați de boturile de căutare nedorite? Fără să mă gândesc de două ori, m-am uitat pe Internet și am găsit o soluție - să completez fișierul .htaccess cu următorul conținut:
ordinea permite, respinge
permiteți tuturor
# Apoi, lista de utilizatori la care refuzăm accesul
SetEnvIfNoCase User-Agent JS-Kit Bad_Bot
SetEnvIfNoCase User-Agent PostRank bad_bot
SetEnvIfNoCase User-Agent Python-urllib bad_bot
SetEnvIfNoCase User-Agent UnwindFetchor bad_bot
SetEnvIfNoCase User-Agent facebookexternalhit bad_bot
SetEnvIfNoCase User-Agent TweetmemeBot bad_bot
SetEnvIfNoCase User-Agent Butterfly bad_bot
SetEnvIfNoCase User-Agent MFE_expand bad_bot
SetEnvIfNoCase User-Agent Java bad_bot
SetEnvIfNoCase User-Agent Summify bad_bot
SetEnvIfNoCase User-Agent MetaURI bad_bot
SetEnvIfNoCase User-Agent FlipboardProxy bad_bot
SetEnvIfNoCase User-Agent ScribdReader bad_bot
SetEnvIfNoCase User-Agent RockMelt bad_bot
SetEnvIfNoCase User-Agent InAGist bad_bot
SetEnvIfNoCase User-Agent NING bad_bot
SetEnvIfNoCase User-Agent TweetedTimes bad_bot
SetEnvIfNoCase User-Agent PaperLiBot bad_bot
SetEnvIfNoCase Biblioteca utilizator-Agent bad_bot
SetEnvIfNoCase User-Agent Ezooms bad_bot
SetEnvIfNoCase Utilizator-agent strawberryj bad_bot
SetEnvIfNoCase User-Agent Scooper bad_bot
SetEnvIfNoCase User-Agent Ahrefs bad_bot
SetEnvIfNoCase User-Agent Spider bad_bot
SetEnvIfNoCase User-Agent Nici unul bad_bot
SetEnvIfNoCase User-Agent EventMachine bad_bot
SetEnvIfNoCase User-Agent aiHitBot bad_bot
SetEnvIfNoCase User-Agent SolomonBot bad_bot
SetEnvIfNoCase User-Agent SearchBot bad_bot
SetEnvIfNoCase User-Agent Wget bad_bot
SetEnvIfNoCase Crawler User-Agent bad_bot
Ordine Permite, Neagă
Permiteți tuturor
Neagă de la env = bad_bot
În mod similar, în această listă de roboți interzise, puteți scrie și numele unui alt bot care vă primește. Cred că veți înțelege.