从Google Search 结果列表中删掉网站信息【札记】

网站域名类似于：https://www.config.com.

现在要从Google的搜索结果列表里面删掉所有与该域名相关的结果。

 

方法一： 添加robots.txt 文件至 https://www.config.com/robots.txt, 即网站根目录

 

服务器架构如下：

1. 在Apache Server Host 所在主机划了两个虚拟服务器主机：

 https://www.config.com 和 https://test.config.com

 

这两个虚拟服务器的环境都是 Tomcat5.5, 用来运行一系列web 应用。

Apache Server 地址映射到两个不同的主机，都监听在端口8443口上。

 

1. 登录Google webmaster tool ：https://www.google.com/webmasters/tools/home?hl=zh-CN

 

 按照Google的官方文档，如何生成robots.txt 文件，如何生成验证文件：google*.html.

 

2. 个人认为是最关键的：

    将上面生成(robots.txt 也可以自己手动新建，文件名一定要是“robots.txt")的两个文件上传至网站的根目录。

 

一般情况下，打开https://www.config.com/ 如果没有跳转的话，一般会有个welcome主页显示，将文件上传至主页文件所在目录即可。一般情况下可以是如下目录：

    1. Tomcat/webapp/ROOT/

    2. Tomcat/webapp/appName/

 

我这里的做法就是上传至/webapp/appName/下面，做完这一切之后，理论上来说，应该就行了，但是我错了，我的情况和理论情况有很大的出入。

当在浏览器窗口输入: https://www.config.com/robots.tx t时，页面出现了跳转。

于是跑到代码中，将跳转的地方过滤掉。再试。但是出现了404 错误，无法访问txt文件。

 

于是我把server上的tomcat 原封不动的down下来，放到本地进行测试。

https://localhost/robots.txt

是没有问题的，这就说明tomcat中的配置没有问题。于是很自然的联想到应该是Apache Server 的配置问题。

 

最后转战Apache Server，编辑apache 的http 配置文件：/etc/httpd/conf/httpd.conf

 

 在如下配置中新增指令：

<VirtualHost *:80>

    ServerName www.config.com

    DocumentRoot /var/www/html

    ErrorLog logs/error_log

    CustomLog logs/access_log combined

 

    RewriteEngine On

    RewriteRule ^/google(.*)\.html$ /var/www/html/googlebe2e31644183d63e.html [L]

    RewriteRule ^/robots\.txt$ /var/www/html/robots.txt [L]

    ....

</VirtualHost>

 

 

并将robots.txt 和 googlexxxx.html 两个文件拷到 DocumentRoot 所对应的目录中，在我这里是: /var/www/html 中。

最后重启apache server。

 

再次在浏览器窗口中输入： https://www.config.com/robots.txt

发现还是404错误。

但是输入：http://www.config.com/robots.txt

发现运行正常。再次输入：http://www.config.com/googlebe2e31644183d63e.html

也是正常的能够访问，但是换成：【https】就报404错误。

 

看到这儿，很明显就是ssl.conf中的配置问题了。

于是定位到/etc/httpd/conf.d/ssl.conf 中，新增如下指令：

<VirtualHost *:443>

    ...

    ServerName www.config.com

    ProxyPass /robots.txt !

    ProxyPassMatch ^/google(.*).html !

    ....

</VirtualHost>

 

关于apache 的指令，请参考apache官方文档：

http://httpd.apache.org/docs/current/mod/directives.html
http://httpd.apache.org/docs/current/mod/mod_proxy.html#proxypass

 

Note:

【！】指令表示不想对某个子目录进行反向代理.

【ProxyPassMatch】指令表示url正则匹配，不仅仅只是简单的前缀匹配。和【ProxyPass】的单一的前缀匹配不同。

http://blog.csdn.net/fenglibing/article/details/6796094

http://blog.csdn.net/xxfigo/article/details/11180673

http://www.iteye.com/topic/807101

 

 

保存文件后退出，重启apache server。

最后再次在浏览器窗口中输入：

https://www.config.com/robots.txt

http://www.config.com/robots.txt

https://www.config.com/googlebe2e31644183d63e.html

http://www.config.com/googlebe2e31644183d63e.html

 

四个都运行正常。世界是如此的美好。

特此记录解决这一过程中所出现的一些列问题。

 

方法二：

在网站主页的index.html 的head标签中添加 <meta> 标签

<meta name="robots" content="noindex,nofollow">

详细的设置信息，可以参考如下文档：

http://www.robotstxt.org/meta.html

http://www.elegantthemes.com/blog/tips-tricks/how-to-stop-search-engines-from-indexing-specific-posts-and-pages-in-wordpress

https://productforums.google.com/forum/#!topic/webmasters/wmy9vTkcIdY