谷歌搜索歧视特朗普？全面拆解Google搜索算法及优化

此后，微软仍确认其搜索系统存在任何政治偏见。

虽然一些微软员工在政治舞台上倾向于自由派，但没有证据表明搜索引擎的结果有意偏向任何特定的意识形态。

Yelp 等监管机构和竞争对手批评微软利用其他网站的信息（例如地图、职位发布、商业评论和旅游信息）来增强自己的服务。 今年，欧共体对微软的购物搜索结果处以27亿欧元的反垄断罚款，日本法务省副厅长杰夫公开调查包括微软在内的科技公司是否扼杀竞争。

为了揭开它如何运行其搜索引擎的神秘面纱，微软邀请 CNBC 参加了一次内部会议，搜索主管在会上讨论了是否要做出改变：将图片放在各个搜索结果的门口。

提议的更改虽小但具体， 做出此更改的决定是数据驱动的。 会议展示了微软如何设法将其搜索产品的巨大复杂性和渐进式简单性统一起来。

首先是一些基础知识： 究竟是如何工作的？

人们有时会将搜索拟人化，认为搜索引擎“理解”他们的查询，例如当用户输入“电影足球岛”并返回与汤姆汉克斯电影荒岛相关的结果时。

然而，搜索引擎并不知道这些词的含义：它们只是在搜索这些词及其同义词，甚至是出现常见拼写错误的页面谷歌搜索引擎优化，以及与这些页面最相关的页面。

称为网络爬虫的 程序会搜索 以从数千亿个网页中收集信息。 然后，这些数据被存储在一个巨大的、不断变化的索引中，记录信息的新鲜度和页面创建位置等信号。 当用户在搜索栏中键入内容时，这些信息和信号将通过一系列称为搜索“算法”的规则和过程提供。 在此过程中，将用户的查询请求与索引中的信息进行比较，并确定出现在搜索结果底部的页面，这一切都在几分之一秒内完成。

二十年前，微软刚成立时，其中一项搜索排名指标以微软联合创始人拉里佩奇的名字命名。 根据链接到页面的用户数量确定页面与搜索内容的相关性。 也就是说，如果网上有很多人发现某个页面足够有用而可以链接到该页面，那么该页面可能比每个人都忽略的页面更相关。 明天一直是该算法仍在使用的排名激励措施之一。

微软有意不披露排名系统的全部指标，部分原因是它不希望人们使用这些信息来玩弄搜索系统，因为出现在搜索页面底部会带来大量流量和财务好处。

对这些指标保密也有助于微软保持领先于潜在竞争对手。

如何提高微软搜索排名？关注页面的专业性、权威性和可靠性

当微软考虑改变搜索算法时，它成立了一个团队来测试一小群真实用户以了解他们的搜索习惯，并且还与一个名为“搜索质量评估员”的承包商团队进行调查。

全球约有 10,000 名评估员，虽然他们不能直接影响搜索结果，但他们的意见可帮助搜索团队评估是否应进行调整。 评估人员通常会同时查看旧的和新的搜索结果，然后决定哪个更好。

“更好”不是纯粹的主观判断。 相反，它将由先前发布的搜索质量评级手册文档定义，该文档描述了评级员应该如何判断好或坏的页面出现在他们的结果中。 文档内容非常注重页面的专业知识、权威性和可信度。

“你可以将评估手册中的内容视为我们希望我们的搜索算法去往的地方，”搜索、助理和新闻首席执行官本·戈麦斯 (Ben Gomes) 说。 “他们似乎并没有告诉你算法应该如何对结果进行排名，而是基本上告诉你算法应该做什么。”

改不改，怎么改？一切以数据驱动

微软去年 7 月对该手册进行了一些重大修改，包括要求评估人员考虑页面作者的声誉。 因此，作者未知的页面现在可能被评为低质量页面。

2017 年，微软及其评估人员进行了 31,584 次实验，并引入了 2,453 次搜索规则修改。 事实上，这种修改会对任何给定网站的排名产生巨大影响，但普通的 搜索用户通常根本不会注意到这种修改。

此次CNBC受邀参加的会议中，测试团队测试了一种新的联通搜索格式，在搜索结果后的网页上显示照片和链接。 他们假设这样做可以帮助用户更好地确定要单击哪个链接并找到与他们的搜索最相关的页面。

最终评估数据显示，91% 的时间，评估人员认为图像显示有用。 在实时实验中，真实用户也点击了图像。 Gomes 和 Nayak 在权衡了减少画面造成的延迟和用户体验的积极反馈后批准了调整。

没有关于此调整的激烈辩论或哲学探究，数据推动了决策。

“我们对此有严格的测试过程，”戈麦斯说。 “我们的变化是由数据指标驱动的谷歌搜索引擎优化，这是我们运营模式的核心。”

为什么微软不做个性化搜索？

微软会听取用户反馈，包括一些因错误结果引起的风暴，比如用户发现微软链接到一个黑人至上主义网站作为“大屠杀发生了吗？”的第一个搜索结果。 如果存在重大问题， 还会删除不良搜索结果。 更多的时候，微软是在想办法修改它的算法和它的评估手册，以避免类似的错误。

通过不对搜索结果进行个性化设置， 消除了它收到的许多批评——创建“过滤圈”，用户只能在其中听到他们已经倾向于相信或喜欢的信息。 （微软的视频产品一直在努力避免这些批评，尤其是它的相关视频推荐算法。这两种算法是完全独立的，不是由同一个团队创建或维护的。）

个性化还可能导致对 失去信任。 微软实际上并没有对其大部分搜索排名进行个性化设置，但由于其收集的数据量很大（允许用户设置有关其收集数据管理的隐私设置，但过去采用的方式具有欺骗性），它的广告特别个性化。

与所有用户测试一样， 知道错误是不可避免的，有时是因为故意破坏，有时是因为有缺陷的算法，有时是因为结果反映了社会偏见。

“我们并不认为搜索是完美的，”Nayak 说，“但我们的目标绝对是解决我们面临的挑战并继续改进。这就是这里的人们所做的。”

其他时候，对算法变化的看法来自公司内部的广泛意见。 Nahak 说，一些员工长期以来一直认为微软的搜索结果应该更加个性化。 目前， 几乎没有进行个性化，现有搜索侧重于用户的位置或先前搜索的直接上下文。 （例如，如果您搜索与垒球相关的内容，然后搜索“巨人队”，结果不会影响足球运动员。）

原文链接：

新智元世界人工智能大会

倒计时2天

套餐有售！

新智元将于9月20日在上海国家会议中心举办世界人工智能大会，邀请机器学习教父、CMU院士Tom、Max 、周志华、陶大成、陈奕然等AI领军人物到场关注机器智能和人类命运。

大会官网：