migmedia.net

lost+found

NGINX inline robots.txt

2013-01-16
Tags: nginx, web

Eben schnell eine “allen Spidern - alles verbieten” -robot.txt anlegen?

geht auch in der nginx-conf kurz und gut:

location = /robots.txt {
    return 200 'User-agent: *\nDisallow: /\n';
}

Zusätzlicher Vorteil: Egal ob die Anwendung in eine robots.txt erstellt bzw. mitbringt oder nicht, nginx liefert nur disallow all aus.