with tag tab hacer create commits github robots.txt

tag - Cómo detener Google indexando mi repositorio de Github



github api tags (4)

Utilizo Github para almacenar el texto de uno de mis sitios web, pero el problema es que Google también indexa el texto en Github. Así que el mismo texto aparecerá en mi sitio y en Github. por ejemplo, esta búsqueda El mejor golpe es mi sitio. El segundo golpe es el repositorio de Github.

No me importa si la gente ve las fuentes, pero no quiero que Google lo indexe (y tal vez penalice el contenido duplicado). ¿Hay alguna manera, además de tomar el repositorio privado, de decirle a Google que deje de indexarlo?

¿Qué sucede en el caso de Github Pages ? Esos son sitios donde la fuente se encuentra en un repositorio de Github. ¿Tienen el mismo problema de duplicación?

Haga que esta búsqueda sea la más exitosa en el sitio de Marpa, pero no veo la source en el resultado de la búsqueda. ¿Cómo?

Corto awnser. Sí, puedes hacerlo con robots.txt.

Si desea evitar que Googlebot rastree contenido en su sitio, tiene varias opciones, incluido el uso de robots.txt para bloquear el acceso a archivos y directorios en su servidor.

Necesita un archivo robots.txt solo si su sitio incluye contenido que no desea que indexen los motores de búsqueda. Si desea que los motores de búsqueda indexen todo en su sitio, no necesita un archivo robots.txt (ni siquiera uno vacío).

Si bien Google no rastrea ni indexa el contenido de las páginas bloqueadas por robots.txt, aún podemos indexar las URL si las encontramos en otras páginas de la web. Como resultado, la URL de la página y, potencialmente, otra información disponible públicamente, como el texto ancla en enlaces al sitio, o el título del Open Directory Project (www.dmoz.org), pueden aparecer en los resultados de búsqueda de Google.

Fuentes:

http://support.google.com/webmasters/bin/answer.py?hl=en&answer=93708 http://support.google.com/webmasters/bin/answer.py?hl=en&answer=156449

El archivo https://github.com/robots.txt de GitHub permite la indexación de los blobs en la rama ''master'', pero restringe todas las otras ramas. Entonces, si no tienes una rama ''master'', Google no debe indexar tus páginas.

Cómo eliminar la rama ''master'':

En tu clon, crea una nueva rama; llamémosla ''main'' y presiónala en GitHub.

git checkout -b main git push -u origin main

En GitHub cambie la rama predeterminada (consulte en la sección Configuración de su repositorio) o aquí https://github.com/blog/421-pick-your-default-branch

A continuación, elimine la rama principal de su clon y de GitHub:

git branch -d master git push origin :master

Haga que otras personas que ya hayan bifurcado su repositorio hagan lo mismo.

Alternativamente, si desea apoyar financieramente a GitHub, puede ir a https://help.github.com/articles/making-a-public-repository-private

Si quieres mantenerte en la rama principal, parece que no hay forma de evitar el uso de un repositorio privado (y aumentar la venta de tu cuenta de GitHub) o usar otro servicio que ofrezca repositorios privados gratis como Bitbucket .