星期四, 五月 25, 2006
星期六, 五月 20, 2006
星期三, 五月 17, 2006
星期日, 五月 14, 2006
星期六, 五月 13, 2006
星期五, 五月 12, 2006
星期四, 五月 11, 2006
牛逼得无语:一份关于搜索引擎机器人的研究报告
Drunk Men Work Here - On Bots - Fresh Zero Content for Compulsive Clickers
如果有人作一个包含2,147,483,647个页面的网站,目的是用来做搜索引擎的机器人行为研究,你是不是觉得他疯了?
1年前,真的有人这么做了。大家现在差不多忘了这档子事,这哥们又冒出来了,这次还带来了一份报告,他还真把这事情作成了: http://drunkmenworkhere.org/219。
既然作成了,就值得看看了。我以前曾经说过,抓取这事情不是那么简单的,如何能按最合适的频率抓取数据,也是一个很好的数学模型。国内的百度,搜狗之类,显然这个就没作好。
要是能搞个中文的机器人分析,肯定很有趣。百度那样的疯狂死抓法,作出来的图样会不会有一种变态的美呢?
1年前,真的有人这么做了。大家现在差不多忘了这档子事,这哥们又冒出来了,这次还带来了一份报告,他还真把这事情作成了: http://drunkmenworkhere.org/219。
既然作成了,就值得看看了。我以前曾经说过,抓取这事情不是那么简单的,如何能按最合适的频率抓取数据,也是一个很好的数学模型。国内的百度,搜狗之类,显然这个就没作好。
要是能搞个中文的机器人分析,肯定很有趣。百度那样的疯狂死抓法,作出来的图样会不会有一种变态的美呢?