como manipulo estos archivos

User-agent: *
Disallow:

esta bien solo eso colocar en el archivo???

si tengo varias carpetas que tambien quiero que se localizen como le hago ???

y si no quiero que se vean ciertas carpetas en los buscadores como le hago???

creo que te has equivocado de link rodarreh..

el tema del archivo robots.txt es muy sencillo

solo tienes que crear un archivo robots.txt y ubicarlo en el directorio principal de tu web (donde se encuentra el index.html)

y el contenido del archivo debe ser algo similar a esto:

User-Agent: nombre-del-robot
Disallow: pagina.html
Disallow: directorio/


con el comando Disallow lo que haces es no permitir el acceso a dicho archivo o directorio, allí tu eliges que es lo que no quieres que vean los robots..

aqui tienes una lista de todos los robots

si quieres aplicar una regla para todos simplemente coloca * en user-agent

un ejemplo claro podría ser este: http://www.ennenespanol.com/robots.txt

Juegos Online Gratis | Drivers | Fotos, videos XXX Gratis!