周五晚上浏览的时候发现,服务器不能访问,显示超过限定流量,这个服务器是和南闲一起租的,每月的流量4G,按说以我们两个网站流量根本不能超额,但是根据南闲的反馈,周五下午他已经发现流量达到3.5G,结果一下午就占用了500M。
今天分析日志时,南闲发现绝大多数来自百度、YAHOO之类搜索引擎的爬虫(简单说来,搜索引擎会针对网页进行内容分析抓取,而这个分析抓取的过程,事实上并不访问WEB页面,而只是根据meta,Keywords之类进行读取,结果反而造成大量的流量)。现在看来是能访问了,但不知道会如何解决,如果这个问题不解决~~~,囊中羞涩的意思我就要体会下了。