1700494748
1700494749
遗憾是将我们的实际行为与事后认定的最佳行为进行比较后得到的产物。在多臂老虎机问题中，巴纳德说的“无可估量的损失”其实是可以精确测量的，遗憾也可以被赋予一个数值：采用某个策略后获取的回报总额与每次都选对最有利拉把时（如果我们从一开始就知道拉下哪个拉把能赢钱，该有多好啊），所获取的回报总额理论值之间的差。我们可以针对不同策略计算出这个差值，然后找出差值最小的那些策略。
1700494750
1700494751
1985年，赫伯特·罗宾斯第二次尝试破解多臂老虎机问题，此时，距离他提出赢留输变策略已经有30年了。他和同事、哥伦比亚大学数学家黎子良合作，提出了与遗憾有关的几个重要特点。第一，假设你不是全知全能，那么让你感到遗憾的事情可能就会不断增加，永远无法停止，即使你选择的是最有效策略，这是因为，即使最有效策略也不一定每次都是完美无缺的。第二，如果你选择的是最有效策略，那么遗憾增加的速度就会比你选择其他策略时的速度慢一些，在采用好的策略时，遗憾增加的速度将越来越慢，因为你对问题的了解程度在加深，做出更明智选择的能力在加强。第三，同时也是最具体的一个特点，数量最少的遗憾（同样需要假定你不是全知全能）就是每次拉下老虎机把手时遗憾的数量以对数速率增加。
1700494752
1700494753
遗憾以对数速率增加，意味着前10次拉动老虎机拉把与后面90次所造成的遗憾同样多，意味着在10年时间里，第一年留下的遗憾数量等于其余9年留下的遗憾总和。（同理，在100年时间里，前10年犯下的错误等于后90年的错误总和。）这种情况让我们多少可以找到一点儿安慰。总的来说，我们不可能指望有朝一日我们将再也没有新的遗憾。但是，如果我们采用一种遗憾最少化算法，就有望减少每年新增的遗憾数量。
1700494754
1700494755
自黎子良、罗宾斯之后，研究人员在过去几十年里一直致力于寻找可以确保遗憾最少化的算法。在他们提出的算法当中，最受欢迎的就是上限置信区间算法。
1700494756
1700494757
直观表现的统计数据通常在数据点上方或下方添加所谓的误差条线，以表明该测量值是不确定的；误差条线表示的是被测量数量真实值所在的合理范围，即“置信区间”。随着我们收集的数据越来越多，置信区间将不断缩小，这说明测量值越来越精准。（例如，有两台老虎机，你在一台老虎机上玩了两次，其中有一次赢钱了，在另一台老虎机上玩了10次，有5次赢钱了。这两台机器的期望值相同，但是前者的置信区间更宽。）上限置信区间算法告诉我们，多臂老虎机问题非常简单，可以直接选择置信区间上限最高的那个方案。
1700494758
1700494759
因此，上限置信区间算法与基廷斯指数一样，也为多臂老虎机的每个拉把赋予了一个数值。在上限置信区间算法中，这个数值就是根据目前掌握的信息，计算该拉把在合理情况下可以产生的最高值。因此，该算法不关心截至目前已经取得最好成绩的是哪个拉把，相反，它会选择在合理情况下未来有可能取得最佳成绩的那个拉把。例如，如果你从未去某家餐厅就餐，那么就你了解的信息看，这家餐厅可能非常棒。即使你已经去过一两次并且品尝了两道菜，你获取的信息也不足以表明这家餐厅一定比不上你经常去的那些餐厅。同基廷斯指数一样，上限置信区间一定大于期望值，但是随着某个方案给我们的体验越来越多，两者之间的差就会越来越小。（只有一次中评的餐厅仍然有可能非常棒，但是收到过几百次中评的餐厅一定不会很好。）上限置信区间算法给出的推荐意见与基廷斯指数的推荐意见应该没有多大区别，但是前者的计算难度小得多，而且无须几何贴现这个前提条件。
1700494760
1700494761
上限置信区间算法所采用的原理有一个绰号——“面对不确定性时的乐观主义”。他们指出这种乐观主义是有充分理由的。这些算法强调通过已知证据推断某个选择方案可能产生的最佳结果，而计算的结果倾向于我们了解程度较低的可能情况。因此，他们自然会在决策过程中增加探索的比重，满怀热情地选择新的事物，因为任何新鲜事物接下来都可能变得非常重要。麻省理工学院的莱斯利·基布灵就曾采用相同的原理，她设计的“乐观机器人”在探索周围空间时，赋予未知地形的值比较高。显然，这个原理对于人类生活同样有所启示。
1700494762
1700494763
上限置信区间算法的成功，是对怀疑者的一个正式回应。根据这些算法给出的建议，我们应该满怀激情地结识新人，尝试新鲜事物，因为在没有相反证据的时候，我们都应该假定可以取得最好的结果。从长远看，乐观主义是防范遗憾的最有效措施。
1700494764
1700494765
1700494766
1700494767
1700494769
算法之美：指导工作与生活的算法 网上“土匪”
1700494770
1700494771
2007年，谷歌的产品经理丹·西罗克向公司请假，去参加当时身为参议员的巴拉克·奥巴马在芝加哥举行的总统竞选活动。作为“新媒体分析”团队的负责人，西罗克把谷歌在网站上的一个做法移植到鲜红的总统竞选“捐款”按钮上。结果令人大吃一惊——他的这个举动直接促使捐款金额增加了5700万美元。
1700494772
1700494773
西罗克到底对那个按钮做了什么呢？
1700494774
1700494775
答案是A/B测试。
1700494776
1700494777
A/B测试的步骤大概是这样的：某公司为某个网页设计了几个不同的草稿。他们可能想了解不同的颜色、图片、新闻报道标题或者屏幕上各项内容的不同排列有什么样的效果。于是，他们把登录网站的用户随机分配到这些排列不同的页面上，通常各页面的访问人数相等。一个用户可能看到按钮是红色的，另一个用户则可能看到按钮是蓝色的；一个用户可能看到的是“DONATE”（捐款），另一个可能看到的是“CONTRIBUTE”（捐助）。然后，他们对相关的计量体系（例如点击率或者用户平均捐助金额）进行监视。一段时间之后，如果从统计数据可以观察到显著效果，“获胜”的版本通常就会站稳脚跟，或者成为另一轮实验的参考标准。
1700494778
1700494779
西罗克在奥巴马捐赠页面上完成的A/B测试反映了一些问题。对于第一次访问竞选网站的用户，“捐赠并领取礼物”按钮取得了最好的成绩，即使把发放礼物的成本剔除之后，仍然效果最佳。对于长期订阅新闻但是从来没有掏过腰包的访问者，“捐款”按钮效果最好，可能是因为这个表达可以唤起他们的负疚感。对于过去曾经捐过款的访问者，“捐助”按钮吸引追加捐款的效果最好，其中的道理可能是已经“捐款”的人随时可以进一步“捐助”。令竞选团队吃惊的是，在所有情况下，奥巴马的一张简简单单的黑白全家福照片所取得的效果竟然超过团队可以找到的任何其他照片及视频。所有这些独立的优化手段加到一起，产生了巨大的实际效果。
1700494780
1700494781
如果在过去10年里你使用过互联网，那么你就已经成为其他人考虑的探索与利用问题中的一分子了。企业希望找到利润的主要来源，同时又希望尽可能赚取更多的利润，因此他们探索、利用。亚马逊、谷歌等大型科技公司在2000年前后开始在他们的用户身上进行实时A/B测试，随后互联网在几年时间里就变成了全世界规模最大的对照实验。那么这些企业探索和利用的对象是什么？一言以蔽之，就是：让你移动鼠标、掏腰包。
1700494782
1700494783
企业A/B测试的内容包括站点导航、主题行和营销邮件的投送时间，有时甚至包括公司的某些实际要素和定价。除了公开的谷歌搜索算法和公开的亚马逊结账流程以外，现在的企业还会在不告知用户的情况下对网页进行一些神秘而微妙的变更。（2009年，谷歌就曾有测试41种蓝色以确定某个工具条颜色的行为。）在某些情况下，任何两个用户可能都不会得到完全相同的体验。
1700494784
1700494785
数据科学家、脸书（Facebook）数据小组前负责人杰夫·哈默巴赫曾告诉《彭博商业周刊》：“我们这代人中最聪明的人正在想方设法让人点击广告。”艾伦·金斯堡在诗作《嚎叫》中用一句不朽的诗句形容“垮掉的一代”：我看见我们这一代人中最聪明的人毁于疯狂的行为。同样，我们也可以把哈默巴赫的这句话视为千禧年的“嚎叫”。对于这种情况，哈默巴赫的看法是“糟透了”。但是，无论人们如何利用网络，在网络上做实验以研究人们的点击行为都是可以的，而且链接可以指向过去的营销人员根本想不到的地方。
1700494786
1700494787
当然，我们都知道2008年奥巴马的参选结果。但是，有人知道他的分析团队负责人丹·西罗克的去向吗？奥巴马就任总统后，西罗克回到了美国西部，与谷歌的同事皮特·库曼合作创办了网站优化公司Optimizely。2012年，当又一轮的总统选举拉开帷幕时，该公司的客户名单里不仅包含奥巴马竞选连任的团队，还可以看到奥巴马的挑战者、共和党候选人米特·罗姆尼的竞选团队。
1700494788
1700494789
A/B测试大约于10年前首次被使用，如今这个优化利器已经脱下了神秘的外衣，并且理所当然地植入到网络上的经营行为与政治活动之中。当你再一次打开浏览器时，你眼前的色彩、图片、文本甚至定价（当然还有广告）肯定都是探索与利用算法根据你的鼠标点击为你量身定制的。在这个特定的多臂老虎机问题中，你不是那名赌徒，而是奖池中的累积奖金。
1700494790
1700494791
几年来，A/B测试的程序也越来越完善。A/B测试最经典的做法是将流量均分给两个选择方案，测试一段时间之后，再将所有流量都分配给获胜一方。但是，这种做法将导致一半用户在测试的过程中只能接受较差的那个方案，因此它未必最有利于解决问题。如果可以找到更好的做法，就有可能得到丰硕的回报。在谷歌近500亿美元的年收入额中，超过90%的比例来自付费广告，而互联网商务一年的成交额为数千亿美元。这说明探索与利用算法是互联网的一个非常重要的经济技术动力来源。关于最优算法的争论一直甚嚣尘上，统计学家、工程师和博客作者就各种经营环境下探索与利用的最有效平衡方法这个问题争论不休。
1700494792
1700494793
精确地区分人们在探索与利用问题上的不同观点似乎是一件晦涩难懂的事情，但是事实证明，区分这些观点非常重要，这不仅与总统选举和互联网经济有关，而且与人们的生活也有密不可分的关系。
1700494794
1700494795
1700494796
1700494797
[
上一页 ]
[ :1.700494748e+09 ]
[
下一页 ]