Tutos específicos hay muchos pero te recomiendo usar este robots.txt para vBulletin:

Saludos.

El Archivo que Adjunto Rafael es en caso tengas los foros en la carpeta /foros/

Este seria el robots.txt si tienes el foro en la Raiz

Código:

User-agent: *
Disallow: /ajax.php
Disallow: /attachment.php
Disallow: /cron.php
Disallow: /editpost.php
Disallow: /global.php
Disallow: /image.php
Disallow: /inlinemod.php
Disallow: /joinrequests.php
Disallow: /login.php
Disallow: /misc.php
Disallow: /moderator.php
Disallow: /newattachment.php
Disallow: /newreply.php
Disallow: /newthread.php
Disallow: /online.php
Disallow: /poll.php
Disallow: /postings.php
Disallow: /printthread.php
Disallow: /private.php
Disallow: /profile.php
Disallow: /register.php
Disallow: /report.php
Disallow: /reputation.php
Disallow: /search.php
Disallow: /sendmessage.php
Disallow: /showgroups.php
Disallow: /subscription.php
Disallow: /threadrate.php
Disallow: /usernote.php

A ver si pueden ayudarme.

Entiendo que el robots.txt que da Rafael es para cuando el foro esta en /foros y el que da Jhonnyf es para cuando esta en el raiz.

Ahora bien mi consulta es...

Yo tengo el foro en /foro obviamente uso el de Rafael, borrandole la letra "S" sin embargo mi pregunta es esta...

Donde coloco el robots.txt

En la carpeta Raiz o dentro de la carpeta / FORO?
Imagino que en el Raiz, pero quiero estar seguro.

Gracias!!

En la raíz, igual ese te servirá para la demás profundidad de carpetas.

Saludos.

Listo,
Realizado...

• Una vez hecho esto... solo cabe esperar o hay que anunciar en algun lado?
• Otra consulta, como sabemos que los robots estan accediendo y cuales son?
• Algun comentario especial de las ventajas sobre la insercion de este archivo en nuestro dominio y como afecta al trafico y visitas potenciales recibidas?
• Siempre debe llamarse robots.txt o puede que tenga otros nombres tambien.?

Gracias!!

Iniciado por DMGLA

Listo,
Realizado...
Una vez hecho esto... solo cabe esperar o hay que anunciar en algun lado?

Solo esperar, aunque por experiencia he visto que Igualito Google te indexa ese contenido

Iniciado por DMGLA

Otra consulta, como sabemos que los robots estan accediendo y cuales son?

En quien está en linea (online.php) puedes ver algunos y que paginas visitan, basicamente es como cualquier visitante que mira tu web y graba lo que ve

Iniciado por DMGLA

Algun comentario especial de las ventajas sobre la insercion de este archivo en nuestro dominio y como afecta al trafico y visitas potenciales recibidas?

Solo evita que los motores indexen contenido que no deberia como el formulario de registro, archivos javascript, etc

Iniciado por DMGLA

Siempre debe llamarse robots.txt o puede que tenga otros nombres tambien.?
Gracias!!

Si, en el caso de Google se debe llamar asi

aqui más informacion:
Bloquear o eliminar páginas mediante un archivo robots.txt - Ayuda de Herramientas para webmasters de Google

Gracias Jhonnyf

Iniciado por Jhonnyf

Solo evita que los motores indexen contenido que no deberia como el formulario de registro, archivos javascript, etc

Ahora bien, y como hago esta restriccion que comentas?
Donde la escribo en el robots.txt? y si es asi, me das une ejemplo de como no deberian buscar en el registro o en javascript?

Saludos!!!

Simplemente pones el archivo robots.txt en la raiz de tu foro con la ubicacion de los directorios y/o archivos a bloquear, en los post de arriba se explica eso y tambien en el enlace de google Webmaster que puse