Google hat die Datei "robots.txt" indiziert

Push-Nachrichten von MacTechNews.de

Würden Sie gerne aktuelle Nachrichten aus der Apple-Welt direkt über Push-Nachrichten erhalten?

Forum>Netzwerke>Google hat die Datei "robots.txt" indiziert

dom_beta22.03.1111:44

Hallo,

ich habe gerade durch Zufall gesehen, daß Google die Datei robots.txt in den Index aufgenommen hat.

Kann mir jemand erklären weswegen?

MfG

„...“

Kommentare

uplift22.03.1111:56

Weil Sie auf dem Webserver liegt?!

„Computer erleichtern uns ungemein die Arbeit an Problemen, die wir ohne sie nicht hätten. Ich habe keine Lösung, aber ich bewundere das Problem.“

macdevil22.03.1112:35

Ooooh...

„Wie poste ich richtig: Ich schreibe einfach überall irgendwas hin. Egal wie unnötig mein Post ist.“

dom_beta22.03.1114:18

Es ist ein wenig unlogisch, die robots.txt in den Index aufzunehmen und bei der Google-Suche auch noch anzeigen zu lassen.

„...“

sierkb22.03.1114:49

ich habe gerade durch Zufall gesehen, daß Google die Datei robots.txt in den Index aufgenommen hat.
Kann mir jemand erklären weswegen?
Es ist ein wenig unlogisch, die robots.txt in den Index aufzunehmen und bei der Google-Suche auch noch anzeigen zu lassen.

Das ist so gewollt.

W3C: HTML4 (Original): B.4 Notes on helping search engines index your Web site: B.4.1 Search robots

W3C: HTML4 (offizielle deutsche Übersetzung): B.4 Anmerkungen zum Thema: Suchmaschinen helfen, die eigene Website zu indexieren: B.4.1 Such-Robots:

Wikipedia (en): Robots exclusion standard
Wikipedia (de): Robots Exclusion Standard

Zitat Wikipedia (en): Robots exclusion standard: Disadvantages :

[..]
Disadvantages

The protocol is purely advisory. It relies on the cooperation of the web robot, so that marking an area of a site out of bounds with robots.txt does not guarantee privacy. Some web site administrators have tried to use the robots file to make private parts of a website invisible to the rest of the world, but the file is necessarily publicly available and its content is easily checked by anyone with a web browser.
[..]

Kommentieren

Diese Diskussion ist bereits mehr als 3 Monate alt und kann daher nicht mehr kommentiert werden.

TechTicker

Kurz: Apple weitet Rückgabefristen deutlich aus...

macOS 15.2 steht ab sofort zur Verfügung

Parallels führt x86-Windows auf M-Macs aus – Te...

iPhone 17 "Air": Weitere Informationen zu Preis...

iPod-Vater Tony Fadell wollte Sonos kaufen – St...

Kurz: Trump unterstützt Musk als TikTok-Besitze...

Apple-Leak spricht vom "iPad Air M3"