În acest articol voi descrie principalele elemente ale motorului de căutare, voi arăta cum sunt legate și vor atinge o mică istorie a apariției motoarelor de căutare.
Nu confunda Wandex și Yandex!
Primul motor de căutare rus a fost Rambler. Acum există încă Rambler, dar motorul lui Yandex este folosit pentru căutare. Acesta reprezintă aproximativ 1% din toate interogările de căutare.
Ne întoarcem la întrebarea cum funcționează sistemul de căutare și cum funcționează motorul de căutare
Sistemul de căutare constă din trei elemente principale:
1. roboți spiders (agenți, roboți, ocolind tot spațiul de Internet și site-urile de scanare)
Motorul de căutare are mai mulți agenți roboți, fiecare dintre care își îndeplinește funcția:
2. Index (baza de date a documentelor și parametrii suplimentari în forma prelucrată)
Indicele este un depozit al motorului de căutare, unde toate informațiile se află într-o formă prelucrată și comandată. De exemplu, documentele sunt stocate într-o formă curățată din html-markup, indexul conține date despre locația diferitelor cuvinte din document și alte informații. Indexul este actualizat constant.
Într-un număr de motoare de căutare există actualizări semnificative. În acest caz, o actualizare completă a indexului de căutare, pe baza căreia se creează rezultatele căutării, nu este constantă, dar după un timp. Actualizare - este momentul actualizării motorului de căutare, în care rezultatele căutării pentru multe solicitări se schimbă grav.
3. Algoritmul de căutare (mecanismul care permite formarea problemei)
Când motorul de căutare primește o cerere, algoritmii motorului de căutare o procesează. În forma prelucrată, aceasta intră mai mult în sistem.
Dacă interogarea este populară, rezultatele căutării pentru aceasta pot fi stocate în memoria cache (stocate într-un motor de căutare), iar în viitor când se primește aceeași interogare, rezultatele căutării sunt ridicate din memoria cache. Dacă interogarea este unică, algoritmii de căutare, bazați pe formulele din ele, formează un răspuns la interogarea din indexul motorului de căutare.
Formula de formare a rezultatelor căutării poate diferi în funcție de solicitare, tipul său (informații comerciale, informații, navigare etc.), geografie (formula pentru interogări regionale poate fi mai simplă decât pentru regiunea Moscovei).
Ne-am uitat la un model simplificat al motorului de căutare. Motoarele de căutare reale sunt mult mai complexe și includ mecanisme pentru combaterea spamului, vrăjitoriilor și multe altele.
Ce este învățarea în mașină?
Motorul de căutare Yandex creează formule pentru clasarea site-urilor bazate pe învățarea mașinilor.
Foarte simplist, acest sistem poate fi reprezentat după cum urmează:
- În programul de învățare a mașinilor, sunt încărcați factorii prin care sunt clasificați documentele și rezultatele căutării sunt sortate după setul de interogări. Programul caută modele între rezultatele căutării și factorii paginilor "bune" și "proaste". Modelele găsite sunt incluse în formula de clasificare. De exemplu, dacă pe toate site-urile "bune" fondul a fost albastru și pe toate site-urile "rău" - galben, atunci programul poate stabili formula care mărește pozițiile paginilor cu fundal albastru și subreportând pozițiile paginilor cu fundal galben.
- Formulele obținute sunt testate, iar dezvoltatorii determină parametrii pentru anumiți parametri, calitatea căutării noilor formule sa îmbunătățit sau nu.
- Dacă calitatea căutării sa îmbunătățit - formulele sunt încărcate în căutarea principală și încep să proceseze cererile utilizatorului.
După cum putem vedea, chiar și un model simplificat al funcționării motorului de căutare este destul de complex și constă în multe sisteme. Motoarele de căutare reale sunt mult mai complicate, astfel încât procesul de promovare a site-ului este nu numai dificil, ci și foarte interesant.