您现在的位置是:首页 > 科技网站首页科技
前沿科技资讯:改变计算规则可以减轻大数据对互联网的影响
- 科技
- 2021-06-22 01:06:00
- 来源:
很多小伙伴们对于互联网、科技、这方面的信息知识都是比较需要的吧,如今我们的生活当中处处都充满了通信、互联网、科技、数码,那么今天小编就来为大家分享一些关于到通信、互联网、科技、数码方面的信息吧。
当我们在日常生活中前所未有地依赖互联网的时候,由莫沙拉夫·乔杜里和哈沙·马迪亚斯塔领导的U-M研究小组已经找到了一种方法,让科技公司、银行和卫生系统从我们现有的基础设施中挤出更多的能力。
对大数据软件工具Apache Spark设计的改变可以使世界上最大的计算能力用户在减轻他们在互联网上的负担的同时,更快地处理高达16倍的大量任务。 乔杜里是一名助理教授,Madhyastha是计算机科学和工程的副教授。 该修改称为Sol,现在可在GitHub上下载。
星火是一个开源的电子框架,充当任务管理器,协调庞大的单个计算机网络,作为一台大型计算任务的单机一起工作。 它是世界上使用最广泛的同类工具之一,被每一家主要的科技公司以及银行、电信公司、政府和许多其他公司使用。
当Spark在十年前建立时,这项工作的大部分发生在大型数据中心,那里的巨大机器库位于一个站点。 但今天,它越来越多地被用来连接遍布全球并通过互联网连接的机器。
乔杜里在加州大学伯克利分校的研究生期间帮助建造了Spark。 他解释说,它使用一个称为执行引擎的组件将工作打包给单个机器。 它主要是为大型数据中心设计的,在那里,同一个本地网络上的一组机器可以快速地相互通信。 但是,当机器相隔数千英里,通过相对狭窄的互联网管道连接时,它的效率就会降低。
Chowdhury说:“Spark现有的执行引擎在最后一分钟就决定在哪里发送工作——只有在CPU发出信号表明它已经准备好进行更多的工作之后,它才会发送新的任务。” “这种方法最大限度地提高了灵活性,当一项任务被安置在一个单一的数据中心时,这是有意义的。 但互联网连接的机器之间的通信需要更长的时间。 最后一分钟的方法常常使CPU没有得到充分利用,这意味着它们正坐在一起等待工作。”
于是,乔杜里和马达莎,与研究生研究助理范来和杰有以及本科生祥峰朱一起写了一个新的执行引擎,名为Sol。 索尔采取了一种更积极主动的方法;它不是等待CPU发出信号,表明他们已经准备好接受一项新工作,而是猜测哪些是下一个排队,并积极地向他们推送新任务。 它还指示机器在可能的情况下在本地处理数据,而不是不断地在机器之间移动数据。
这意味着减少机器之间数据和命令的洗牌,减轻互联网的负担,加快数据处理。 乔杜里的团队发现,它的计算速度极快,使普通任务的速度提高了4到16倍。
虽然目前可用的版本是软件的研究版本,而不是一个更抛光的产品,乔杜里说,以目前的形式发布它是一种在速度是必不可少的时候推动研究的方式。
他说:“范来已经开始帮助那些想要尝试的人了。” “我们正在尽我们所能迅速行动。”