,大家就到会议室坐着,接下去是孟谦的表演时间,他今天,要展示他的搜索引擎核心技术。
搜索引擎这个东西,需要用到网络爬虫技术、检索排序技术、网页处理技术、大数据处理技术、自然语言处理技术等,当然,2000年这个时候,还用不上自然语言处理技术,大数据处理也更后世的概念不太一样。
但说的简单一点,其实核心就是一个东西,算法。
因为每一个技术都离不开算法。
“我不太清楚在座各位在搜索引擎方面的建树和理解,我只能先按照我的节奏说下去,如果谁有问题可以随时打断我。”孟谦走到黑板前直入正题。
“在我展示我的核心技术之前,我们先来看看当下的三大主流算法,白度的超链分析,谷歌的pagerank算法以及ibm的hits算法。
几乎所有人都觉得白度的超链分析是三个算法中最落后的,但有些事情我们还是要多角度的看一看,白度的超链分析在某种程度上可以算得上是奠定了搜索引擎的发展基础。
有一些声音说谷歌其实是剽窃了白度的超链算法,毕竟李彦宏这个专利确实在谷歌之前,我们现在不去猜测真假,但这种说法体现了一个很重要的信号,其实不管是哪一家的算法,算法基础其实都是一样的。
抓取网页信息,然后用某种机制对这些网页进行排序,当用户输入关键词进行搜索时,根据关键词匹配出按照机制进行排列的网页。
那么白度输在哪呢?关键就在于白度现在过于简单的基于在某次搜索的所有结果中被其他网页用超链接指向的越多的网页就价值越高这种基础
第四十章 搜索引擎算法(2/6)