Heute hat Google im offiziellen Webmasterblog den neuen Useragenten vorgestellt, mit dem zukünftig die Aufnahme bei Google-News verhindert werden kann, die Seiten aber dennoch im Index bleiben.
Um beispielsweise die komlette Webseite von Google-News herauszunehmen wird folgender Code in der robots.txt benötigt:
Include pages in Google web search, but not in News:
User-agent: Googlebot
Disallow:
User-agent: Googlebot-News
Disallow: /
weitere Beispiele gibt [...]
Artikel mit dem Tag:
