社会热点

大会|惊喜与挑战并行的NSDI 2017(2)

字号+ 作者: 来源: 2017-04-27

在如今的Azure数据中心中,正如下图所示,每一台服务器上都插上了一块FPGA,部署在本机网卡与外部网路之间,并通过PCIe连接到服务器上,FPGA 之间通过 LTL (Lightweight Transport Layer) 通信,在微秒级别的时间内

  大会|惊喜与挑战并行的NSDI 2017(2)

在如今的Azure数据中心中,正如下图所示,每一台服务器上都插上了一块FPGA,部署在本机网卡与外部网路之间,并通过PCIe连接到服务器上,FPGA 之间通过 LTL (Lightweight Transport Layer) 通信,在微秒级别的时间内就可以到达数据中心内任何的FPGA,真正做到了低延迟高带宽。这样一种部署的方式和软硬件协同设计的方法让FPGA从CPU中接手网络功能并进一步加速了SDN,使得Host SDN得以在如今的高带宽数据中心网络中部署。软件定义网络以这样一种全新的方式与硬件相融合,兼具灵活性与高效性。

  大会|惊喜与挑战并行的NSDI 2017(2)

  • 持续火爆的数据中心研究
  • 数据中心的研究一直是NSDI上的焦点,很多的工作都围绕着数据中心的网络来展开。

    负载均衡(Load balance)和拥塞控制(Congestion control)一直是数据中心网络中的经典问题。在14年的Sigcomm上,思科发表了CONGA,在如今看来仍然是state-of-art的congestion-aware load balance机制,在今年的NSDI上,他们又卷土重来,在文章Let it flow【4】中提出了一个非常简单的负载均衡方法,延续了他们在CONGA里面的思路:与其在每个数据包上做负载均衡,不如考虑在Flowlet的粒度上做。这里的Flowlet可以认为是以时间维度来切分的批量网络包。其简洁的新负载均衡算法,一言以蔽之,即只要随机的安排Flowlet到可用的网络路径上即可均衡流量。这种看似随机的做法其实却能非常好的感知网络拥堵,从而做到负载均衡。这一做法的深层次原因在于:在拥塞严重的路径上,Flowlet的大小会降低,而在通畅的路径上,Flowlet的大小会增长。这一机制(下图绿色) 比现有的很多流量均衡方法都有显著优势,而比起复杂的机制CONGA(下图红色),也只有10~20%的差别。

      大会|惊喜与挑战并行的NSDI 2017(2)

    在另一个工作Flowtune【5】中,MIT的研究员则关注网络带宽分配的收敛速度问题。在数据中心网络中,网络管理者会事先基于不同的策略定义优化的目标,把网络的带宽迅速的分给当前的数据流。这个优化目标是事先定义好的,比如说可以是流之间公平性(Fairness)或者流完成时间(FCT)。传统的网络带宽分配这方面工作基本都是基于数据包(packet)这个粒度,收敛到目标状态所需要的时间相对较长。这篇文章提出按照Flowlet的粒度来分配网络带宽,每一个Flowlet都由一个中心化的控制器来决定发送速率。这里面关键的问题是如何快速计算出收敛到的最优速率,针对这一挑战,他们提出了一个新的Newton-Exact-Diagonal方法来解决这个问题,并且设计实现了一个在CPU上的多核并行可扩展的系统。

  • 机器学习和网络系统
  • 随着机器学习和人工智能系统的迅速发展,以及这些技术在生产环境中的大规模应用,很多网络系统的工作开始研究如何针对性的优化这些新应用。这届的NSDI大会上涌现出了不少跟机器学习相关的文章,研究员们并不只停留于设计实现网络系统来为机器学习算法应用服务,还有更多的学者将机器学习方法应用到网络系统的实际问题之中,而这个角度的工作相对来说是比较少的,十分令人欣喜。

    Curator【6】是华盛顿大学和Nutanix合作的系统,它是一个部署在后端的MapReduce-style的框架,用于处理存储系统中的后台任务,比如说磁盘碎片整理,冷热数据搬运,备份数据等。论文介绍了他们多年来在分布式存储系统设计上的经验。值得一提的是,他们提出了用强化学习的方法来去确定SSD和HDD中分别存储的数据量,并称相较于经验性的阈值策略方法会降低20%的延迟。

    无独有偶,这种动态阈值的思想在这届NSDI大会中关于内容分发网络(CDN)相关的工作AdaptSize【7】也得到了体现。CDN是一种节点散落在不同地理位置的大规模分布式系统。举例来说,很多网络应用中需要的资源,例如视频和图片等这样的静态资源,就可以预先缓存在就近的节点上。当用户请求数据时,CDN系统根据网络状态的实际情况重定向用户请求到就近节点上,以方便用户的访问。这样既减轻核心服务器的负载压力,又降低了获取资源的延迟,提高了用户体验。在CDN上,一般会区分冷热数据,把用户经常访问的热数据 (Hot object) 放在内存这样的低访问延迟的存储模块中,而剩下的放在磁盘中,这样内存中的热数据就构成一个缓存。这里最关键的问题就是,什么样的数据需要放进内存,现有的做法无非是把全部都放进去然后根据访问频率把低频的踢出,或者是基于一个阈值把小数据放进去,毕竟小数据更加划算。这篇文章采用一个马尔可夫模型,根据请求的模式 (Request pattern) 自动调节相应阈值决定缓存的文件大小,进而获得更好的缓存命中率。这个论文的结果非常的令人振奋,相比于现有的其他方法有近20个百分点的提升!


    1.本站遵循行业规范,任何转载的稿件都会明确标注作者和来源;2.本站的原创文章,请转载时务必注明文章作者和来源,不尊重原创的行为我们将追究责任;3.作者投稿可能会经我们编辑修改或补充。

    相关文章
    • 胡歌拍《繁花》:2017年就见了王家卫

      胡歌拍《繁花》:2017年就见了王家卫

    • 海南高院白皮书:全省毒品犯罪2017年来逐年下降

      海南高院白皮书:全省毒品犯罪2017年来逐年下降

    • 杭州102个刚需小区,30%价格跌回2017年!老小区的情况最为严重

      杭州102个刚需小区,30%价格跌回2017年!老小区的情况最为严重

    • 显卡2017年暴涨原因:比特币疯涨 炒家狂购显卡挖比特币致一卡难求

      显卡2017年暴涨原因:比特币疯涨 炒家狂购显卡挖比特币致一卡难求