安克雷奇,德纳里会议中心。
巨大的落地玻璃窗外,是连绵起伏的楚加奇山脉和尚未消融的冰川。
而窗内,却是另一番热火朝天的景象。
数千名来自世界各地的计算机科学家、数学家和工程师汇聚于此。
空气中弥漫着咖啡的香气和高密度的智力火花。
在这个经济危机的寒冬,各大科技巨头的预算都砍到了大动脉。
即使谷歌和微软的展台,此刻显得格外朴素,只有几张海报和几个无精打采的实习生。
但以太动力的展台却是个异类。
方雪若穿着一身剪裁利落的香奈儿白色职业装,踩着高跟鞋,指挥着两个工人把一只巨大的展示箱摆在以太动力(Aether Dynamics)的展台上。
在那只防弹玻璃柜里,并不是什么炫酷的机器人,也不是滚动的宣传片。
数十张NVIDIA Tesla C870显卡整齐排列,散热风扇在LED灯带的照耀下泛着冷冽的金属光泽,充满了暴力的工业美感。
旁边竖着一块极其嚣张的标语牌??
“WE HAVE COMPUTING POWER. DO YOU?”(我们有算力,你有吗?)
在金融危机阴云笼罩的背景,这种赤裸裸的“炫富”行为立刻引来了无数侧目。
“那个穿白西装的女人是谁?”几个挂着微软工牌的工程师窃窃私语。
“听说是以太动力的CFO。”
“以太动力?没听说过。”
“这你都没听说过?它的老板是林允宁!新闻看没看?”
“就是那个搞出暗流体理论的林允宁?他不是物理学家么?来凑什么热闹?”
“你真是啥也不懂。”其中一人推了推眼镜,语气里带着几分不屑,“最近特别火的线型注意力机制知道吧,就是他在ICML提出来的......听说以太动力靠着这个算法,不止买了好多钱,还研究出了小分子药物筛选的方法。”
“那又怎么样?隔行如隔山,图像识别可不是解微分方程。”
而在展台的另一侧,方佩妮正被一群穿着格子衬衫的年轻博士生们围着。
作为以太动力的首席架构师,她今天被迫营业。
“这位女士,请问你们的CUDA核心利用率......”
一个麻省理工的博士生问道。
方佩妮低着头,手指紧紧攥着数据单,指关节发白。
她没有像雪若那样长袖善舞,而是像一台被按下了播放键的复读机,语速飞快且毫无起伏:
“单精度浮点性能518 GFLOPS,显存带宽76.8 GB/s,我们重写了BLAS库,矩阵乘法效率比官方库提升了40%......”
“酷………………
几个年轻男生眼睛都直了。
强劲的算力猛兽,加上难得一见的亚裔美女,在极客眼中简直性感得要命。
这不就是现实版的“美女与野兽”么?
上午十点,主会场。
原本只能容纳两千人的大厅被挤得水泄不通,连过道上都坐满了人。
当林允宁走上讲台时,原本还有些嘈杂的会场瞬间安静了下来。
无论这帮搞计算机的人多么心高气傲,面对一个刚刚在《Science》上发表了诺奖级理论,被物理学界视为“明日之星”的人物,基本的敬畏还是有的。
林允宁今天没有穿正装,依然是那件标志性的深灰色连帽衫,显得随意而松弛。
他身后的屏幕上,PPT极其简洁。
标题:《Deep Residual Learning for Image Recognition》(用于图像识别的深度残差学习)。
“大家早上好。”
林允宁没有寒暄,直接按下翻页笔。
屏幕上出现了一张对比图。左边是目前主流的AlexNet(8层),右边是一根细长的,密密麻麻的柱状图。
“这是我们构建的深层神经网络??ResNet-101。"
林允宁指着右边的图,声音平稳,“它有101层。”
"--"
台下瞬间炸了锅。
“101层?他疯了吧?”
“简直荒谬!这么多层数,梯度早就消失了!根本训练不起来!”
“这就是物理学家的傲慢吗?以为层数越多越好?”
一位坐在前排,头发花白的老教授站了起来。
他是来自MIT计算机实验室的权威,坚定的SVM(支持向量机)拥护者。
“林先生,”
老教授也不管是不是提问环节,直接抓过麦克风,“你的理论很漂亮。但众所周知,神经网络一旦超过20层,就会面临严重的退化问题(Degradation Problem)。训练误差不降反升。你这101层,是在做数学游戏,还是
在堆积木玩?”
台下响起一阵低笑。
深层神经网络是个漂亮的学术陷阱,这是在场所有人的共识。
加深网络层数,只会得到一堆无法收敛的垃圾参数。
林允宁并没有辩解。
他笑了笑,按下了下一页PPT。
那是ResNet的核心结构??一个简单的跳跃连接(Skip Connection)。
H(x)=F(x)+ x
“教授,您说得对。深层网络很难训练,就像让一个人传话给第100个人,信息肯定会失真。”
林允宁指着那条连接线,“但如果我们给信息修一条‘高速公路呢?
“我们不再让网络去学习完整的输出,而是让它只学习‘残差’(Residual)。如果这一层什么都不做,它就是恒等映射(Identity Mapping),信息可以无损地流向下一层。
“这不仅仅是数学游戏。为了训练这个模型,以太动力的算力中心满负荷运转了整整两周。
“数学不会骗人,但直觉会。至于它到底是不是浪费电费......”
林允宁看了一眼台下神色各异的众人,关掉了PPT:
“下午的ImageNet挑战赛,结果会说明一切。”
下午三点,ImageNet Workshop现场。
这里的气氛比上午还要紧张。
李飞飞教授站在台侧,手心里全是汗。
这是ImageNet的第一战,如果大家都跑不出好成绩,那这个巨大的数据集就会沦为业界的笑柄。
大屏幕上,实时的排行榜(Leaderboard)正在滚动。
比赛已经开始半小时了。
排在第一的是微软亚洲研究院的团队,Top-5错误率:26.2%。
紧随其后的是牛津大学的VGG组:26.8%。
谷歌团队:27.1%。
数字在小数点后一位艰难地跳动着。
每一次刷新,如果有队伍能降低0.1%,都会引来一阵小小的欢呼。
这就是2008年计算机视觉的天花板。
在SVM和手工特征提取的框架下,想再进一步,比登天还难。
“看来这就是极限了。”
刚才提问的那位MIT老教授摇了摇头,有些遗憾,“25%左右的错误率,离实用还差得远。也许,机器的视觉极限就在这里了......”
站在老教授身边的李飞飞,神色也有些黯淡。
确实,这个级别的错误率,意味着无法使用。
也就意味着ImageNet注定只是个算法的试金石,而不是真正实用的数据库。
“以太动力提交了。”
不知道是谁喊了一嗓子。
所有人的目光都集中到了屏幕的最后一行。
几秒钟的延迟后。
大屏幕突然闪烁了一下。
排行榜发生了一次剧烈的变动。
原本拥挤在26%区间的条目并没有动。
但在它们上方,遥远的上方,突然跳出了一个新的条目。
Rank 1: Aether Dynamics (ResNet-101)
Top-5 Error: 11.73%
静。
死一样的寂静。
刚才还喧闹无比的会场,此刻连一根针掉在地上的声音都能听见。
26%和11.73%。
这不仅仅是差距,这是两个物种的区别。
这就好比百米赛跑,大家都跑10秒,突然来了一辆呼啸的顶级超跑,两三秒就到了终点。
大家的第一反应不是震惊,而是一一出Bug了。
"11.73% ??"
MIT老教授猛地站起来,椅子被带倒了都浑然不觉,“他们是不是用了训练集做测试?这是严重的数据泄露!”
质疑声像潮水一样涌起。
没人敢相信,在这个大家都还在骑自行车的年代,突然有人开着法拉利冲过了终点线。
台侧,李飞飞颤抖着手拿起了麦克风。
“各位......请安静。”
她的声音有些发飘,带着一种见证历史的眩晕感,“作为主办方,我们可以确认:测试集是完全保密的(Blind Test)。以太动力的模型从未见过这些图片。
“成绩......真实有效。”
这句话像是一道惊雷,彻底劈碎了旧世界的最后一丝侥幸。
坐在前排的杰弗里?辛顿(Geoffrey Hinton),这位在这个领域坐了几十年冷板凳的深度学习教父,此刻缓缓摘下了眼镜。
他看着屏幕上那个断崖式领先的数字,眼眶有些发红。
“深度学习......”
辛顿喃喃自语,声音哽咽,“黎明,真的来了。”
他第一个站起身,用力地鼓掌。
掌声从第一排开始蔓延,迅速席卷了整个大厅,最后变成了雷鸣般的风暴,差点掀翻了德纳里中心的屋顶。
MIT的老教授颓然坐回椅子上,手中的笔掉在地上。
他看着那个年轻的华夏身影,叹了口气:
“时代......变了。”
角落里,林允宁坐在方雪若旁边,手里拿着一罐可乐,优哉游哉地喝了一口。
展台区,形势瞬间逆转。
原本那些只是路过看热闹的风投和巨头代表,此刻像闻到血腥味的鲨鱼一样,疯狂地涌向以太动力的展台。
“方小姐!我是Andreessen Horowitz的!能不能聊聊A轮?”
“我们是西门子医疗的!这个算法能用在CT影像识别上吗?我们想谈谈独家合作!”
“我是波音公司的......”
方雪若坐在高脚椅上,手里依然端着那杯早就凉透的咖啡。
她没有起身迎接,甚至没有露出太过热情的笑容。
她只是优雅地翘着腿,看着那些平日里高高在上的资本家们,此刻为了那一张薄薄的名片而挤破了头。
“Penny,名片发完了吗?”
方雪若侧头问道。
“还剩最后几张。”
方佩妮推了推眼镜,虽然面对这么多人还是很紧张,但她的背挺得很直,“刚才按照您的吩咐,已经把那几家想谈独家买断的公司回绝了。”
“做得好。
方雪若嘴角勾起一抹猎人的微笑。
她不需要再去推销了。
那个“11.73%”的数字,就是这世界上最昂贵的广告。
现在,她是那个坐在网中央的蜘蛛,等着猎物自己撞上来。
晚宴结束后,林允宁躲开了所有记者的围堵,独自回到了安克雷奇万豪酒店的房间。
窗外,绚烂的极光如同绿色的绸缎,在夜空中缓缓流动。
相比于楼下酒吧里的狂欢,林允宁的房间里安静得只有加湿器的嗡嗡声。
他刚刚拒绝了谷歌副总裁的晚宴邀请,也推掉了辛顿教授的学术沙龙。
对于外界来说,今天是他和他的以太动力封神的一天。
ResNet-101,这个名字将从今晚开始,统治计算机视觉领域至少三到五年。
他亲手推开了人工智能爆发的大门。
但林允宁靠在窗边,看着那变幻莫测的极光,眼神里却没有多少兴奋的情绪。
对他而言,AI只是工具,只是一把好用的铲子。
现在这把铲子磨得足够锋利了,可以用来挖更深的东西了。
仅此而已。
“叮。”
电脑上传来一声加密邮件的提示音。
林允宁放下可乐,走到桌前。
发件人:赵振华。
标题只有两个字:【突破】。
林允宁的手指微微一顿,点开了邮件。