当前位置:网站首页>阿里云的MaxCompute数加(原ODPS)用的怎样?

阿里云的MaxCompute数加(原ODPS)用的怎样?

2020-11-08 14:34:02 Noosphere

最底层是Linux+PC Server,上层软件是飞天,飞天是阿里云09年开始开发的一款分布式系统软件,主要提供分布式存储和分布式计算的调度、编程框架。开发语言是C++, 2013年该系统在生产环境支持调度5000台机器的集群。

飞天比较有意思的是模块的名字,都是从中国传统的神话中选择,比如分布式存储模块叫盘古,调度叫伏羲。

站在hadoop的角度看,飞天提供的功能和hadoop是类似的,在yarn之前,hadoop主要的编程模型是MapReduce,飞天的编程模型是一个有向无环图,而且除了支持批处理任务以外还支持常驻的Service。实现的细节上当然完全不同,首先实现的编程语言飞天就选择了C++。其他像安全、运维体系都有很大区别。

ODPS是在飞天之上提供的一套服务,功能包括SQL,基于java的Mapreduce编程框架,图计算编程模型,一系列机器学习算法的实现等等。所有的功能是以RESTful API的形式对外提供,所以从系统边界上说,这层API隔离了ODPS平台和用户的系统,和hadoop的区别也很明显。ODPS设计之初就是为了对外开放,做基于互联网的多租户的公共数据处理服务,所以安全性在ODPS的设计和实现中具有最高的优先级。

对于未来交通行业产生的影响不具备足够的知识回答,我想大概可以从大规模数据处理能力对交通运输行业的影响这个角度考虑。在加上ODPS方便了大规模数据处理能力获取这个角度。

利益相关:阿里员工,前ODPS团队成员

版权声明
本文为[Noosphere]所创,转载请带上原文链接,感谢
https://segmentfault.com/a/1190000037761764