crawler

Googles neuer Guidline für robots.txt

Google neue Bewertung der robots.txts Google mischt die Karten neu. Ade schöne robots.txt oder wie Du Crawl Budget spart, Seiten und Links richtig kennzeichnest. Was ist eine robots.txt? Die robots.txt ist eine Textdatei, welche im Stammverzeichnis einer Internetseite –  dem Root – angelegt wird.  Wie erstellt man eine robots.txt Datei?Da es sich um eine Textdatei handelt, verwendet …

Googles neuer Guidline für robots.txt Weiterlesen »