如今，超过四分之三的互联网流量来自流媒体视频，预计这一数字只会随着时间的推移而增加。为了满足这一需求，互联网服务提供商以较高的价格为消费者提供了更快的数据速度，并且在某些地区提供了每秒千兆的传输层。

但是，这些价格较高的计划实际上是否可以提高视频流的质量?一个华尔街日报的调查最近回答了这个问题与尼克菲姆斯特教授，美国芝加哥大学的专家对通信网络的性能和安全性的帮助下，在协作，这两个通知消费者和推进科学。

这个故事始于三年前，当时记者认为这是一个简单的问题：更快的速度对流式视频重要吗?为了回答这个问题，他们求助于当时在普林斯顿大学的Feamster，以他在网络计算机系统方面的专业知识。Feamster的小组已经开发了可以可靠地衡量消费者在家中收到的实际互联网速度的软件系统，这是《华尔街日报》询问的重要组成部分。但是收集另一半数据(这些家庭中流式视频服务的性能)将需要系统，机器学习和招聘的结合。

像Netflix，Amazon和YouTube之类的视频提供商可以收集有关用户通过其软件获得的质量的数据时，ISP和外部研究人员却处于黑暗之中。在《华尔街日报》的帮助下，研究人员招募了60多个家庭，收集了有关其互联网服务的信息，并安装了监控通过其网络的数据的监视器。但是挑战仍然存在。

“我们基本上是在胡说八道的流量;所有流量都是加密的，我们看不到任何内容，我们不知何故想知道：用户是否正在播送Netflix视频，如果是，分辨率是多少?并且，开始播放需要多长时间?”纽鲍尔大学计算机科学教授兼数据与计算中心教务长Feamster说，他7月1日加入了UChicago教职。“这是一个有趣且非常具有挑战性的机器学习推理问题。我们看到了一堆加密数据，我们重新尝试计算该视频的质量-不仅是“速度”，还包括用户实际体验的质量。”

这项工作导致了一篇研究论文和一个名为Net Microscope的新工具，该工具可以从加密数据流中实时推断出视频流质量指标，例如启动延迟和分辨率。通过从志愿者之家收集超过200,000个视频会话中的数据，该团队训练了一个模型，该模型可以查看加密的数据并确定来自Netflix，YouTube，Amazon和Twitch的流以及最终用户体验的质量。

从那里，研究人员最终可以回答《华尔街日报》提出的问题：这些服务如何以不同的互联网速度运行?该研究发现，流媒体视频性能早于ISP提供的高端计划就已经达到稳定水平，而每秒100兆位以上的计划仅在一定程度上改善了启动延迟和分辨率，即使多个设备同时观看视频也是如此。

对于消费者来说，这是宝贵的信息，如果他们对自己的流式视频质量不满意，他们可能会被迫升级到更昂贵的计划。Feamster说，但这对于ISP也是有用的信息，他们可以更好地帮助他们的客户找到性能不佳的真正原因，而不仅仅是建议更快的服务。

Feamster说：“我们所做的任何事情都能从根本上帮助消费者进一步了解该问题，最终也将有助于网络本身的运营。”“所以这是双向的。”

该项目符合Feamster对通信网络的性能和安全性的更广泛研究重点，其中包括物联网技术，在线平台的审查和信息控制以及网络中立性和宽带访问等政策问题。

像《华尔街日报》项目一样，许多这些研究领域和政策问题都需要创建新的软件和系统，以收集数据并衡量现实世界中的绩效。从他在数据和计算中心的新角色的角度来看，Feamster认为该项目是他的开端，他希望在数据科学，公共政策和调查新闻学的交汇处能开展更多的工作。

Feamster说：“解决政策问题取决于能否获得良好的数据，因为为辩论提供信息所需要的是关于实际情况的准确信息。”“这些数据集通常是不存在的，没有一堆速度测试数据落入我们的膝盖，无法回答这些问题。我们必须设计方法并构建系统来收集其他人没有的数据……然后我们可以提供答案。”