Cuprins
Când motoarele de căutare ajung pe un site web, încep să caute fișierul robots.txt pentru a-l citi. Va depinde de conținutul său, astfel încât păianjenul motorului de căutare să continue în interiorul site-ului sau să meargă la altul.Fișierul robots.txt conține o listă de pagini care pot fi indexate de motorul de căutare, la rândul său restricționând selectiv accesul la anumite motoare de căutare.
Utilizator agent: Este folosit pentru a specifica ce robot va urma comenzile care sunt prezentate.
Nu permite: Este folosit pentru a identifica ce pagini vor fi excluse în timpul procesului de analiză de către motorul de căutare. Este important ca fiecare pagină care trebuie exclusă să aibă linii separate și să înceapă, de asemenea, cu simbolul /. Cu această simbolologie se specifică; la „toate paginile site-ului”.
Este extrem de important ca fișierul robots.txt să nu aibă nicio linie goală.
Câteva exemple sunt prezentate mai jos;
- Când doriți să excludeți toate paginile; agentul Utilizator este: Nu permiteți: /.
- Dacă obiectivul nu este excluderea oricărei pagini, atunci fișierul robotos.txt nu trebuie să existe pe site, adică toate paginile site-ului vor fi vizitate în mod egal.
- Atunci când un anumit robot este exclus, acesta va fi:
- Utilizator agent: Nume robot Nu permiteți: / Utilizator agent: * Nu permiteți:
- Când o pagină este exclusă; Utilizator agent: * Nu permiteți: /directory/path/page.html
- Când toate paginile unui director sunt excluse de pe site-ul web cu subfolderele corespunzătoare, acesta va fi; Utilizator agent: * Nu permiteți: / directorul /
O altă caracteristică este de a preveni indexarea conținutului duplicat găsit pe site, pentru a nu fi penalizat.
Alte considerații care trebuie luate în considerare este că unii roboți pot ignora instrucțiunile prezentate în acest fișier și trebuie, de asemenea, să fie clar că fișierul este public, deoarece oricine scrie www.example.com/robots.txt poate avea acces la acesta.
Acum întrebarea poate fi; Cum se generează fișierul robots.txt?
De fapt, este destul de simplu, deoarece este un document text cu numele „robots.txt” și apoi îl încărcați în rădăcina domeniului paginii, acolo vor merge motoarele de căutare să caute să fie citite.
Un fișier de bază robots.txt poate fi:
Agent utilizator: *
Nu permiteți: / private /
Se generează instrucțiuni pentru a refuza accesul la un director care va fi „privat” pentru toate motoarele de căutare.
Comanda determină că este adresată tuturor roboților (User-agent: *), specificând că directorul este interzis (Disallow: / private /).
Parametrul care este utilizat pentru motorul de căutare Google este; Utilizator-agent: Googlebot
După cum sa menționat anterior, utilizarea sa în SEO este utilizată pentru a restricționa accesul roboților la duplicarea conținutului.V-a plăcut și ați ajutat acest tutorial?Puteți recompensa autorul apăsând acest buton pentru a-i oferi un punct pozitiv
