全国服务热线:0970-455471335
网站公告:
诚信为本,市场在变,诚信永远不变...
全国服务热线:0970-455471335
公司动态
当前位置: 首页 > 新闻动态 > 公司动态
‘皇冠娱乐’青云QingCloud全新双引擎大数据服务SparkMR正式上线
添加时间:2026-05-25
本文摘要:沦为放在企业面前的一道难题。

结合‘皇冠娱乐’青云QingCloud全新双引擎大数据服务SparkMR正式上线的使用场景,下文将重点信息重新梳理成更易阅读的版本。调度策略: SparkMR 获取 Spark 与 YARN 的自定义调度器的功能,用户能够根据自己实际的市场需求,自定义集群内资源调度策略,彰显用户在多租户用于场景下更加精细化的管理能力。服务自定义:SparkMR 结合控制器获取将近 60 个配备参数,访客结合控制器的 UI 操作者才可已完成集群部署及服务的个性化自定义。

目前,SparkMR 反对 Apache Hadoop 2.7.3 与Apache Spark 2.2.0。从数据统一管理角度抵达,青云 QingCloud 发售 SparkMR on QingCloud,结合 QingCloud AppCenter 以云应用于的方式交付给用户用于,对原先大数据系统的 Spark 与 Hadoop 服务展开了全方位的统合与升级。Spark 和 Hadoop 两者融合后,成本不会明显减少。

SparkMR 的 Client(客户端)节点也构建了几乎的自动化配备,玩家需要再行分开创立并手动配备 BigData Client 或者Spark Client。比如访客可以通过 UI 才可已完成设置 Hadoop 代理访客的功能。

皇冠网

皇冠网

这意味著用户在控制器已完成配备及服务自定义后,在部署已完成时,早已可以开始继续执行计算出来任务,确实构建了一键部署、立即用于。其中为 Python 用户获取了 Anaconda Linux的 Python 2 和 Python 3,并反对在这两种 Python 版本间展开转换。

另外,分别为这两个 Python 版本预置了多个 Anaconda Linux的数据科学包在,为数据科学和机器学习/深度自学等 AI 研发场景获取了强劲的计算能力承托。构建能力:SparkMR 反对登录倚赖服务的功能,即结合 AppCenter 2.0 框架内原生的应用于感官机制,构建与其他大数据分析组件之间自动化的无缝构建。

SparkMR 与 QingStor 对象存储站点也展开了预置构建,用户可结合非常简单的配备才可打开对 QingStor 对象存储的反对,以应付海量大规模数据的存储问题。沦为放在企业面前的一道难题。青云 QingCloud 于 2015 年 8 月发售了基于 Spark 的大数据集群服务,同年 12 月,发售 Hadoop 集群服务作为大数据基础服务的有力补足,以此来符合企业在大数据领域的有所不同市场需求。

皇冠娱乐

大数据平台正是为了企业的这种市场需求应运而生并持续发展创意。但由于 Spark 与 Hadoop 作为两个独立国家的服务,访客同时用于这两种处置引擎时,必须部署两套 HDFS,完全相同的数据必须读取并存放在两份,无论是成本还是效率都不是最差的自由选择。服务监控:SparkMR 获取了完备的服务级别分角色的监控能力,玩家不仅可以看见常规资源层监控,还可以结合可视化的方式明晰理解整体服务的运营情况。

原创文章,予以许可禁令刊登。另外基于服务监控,还获取了监控监测、健康检查和服务自动完全恢复等功能。下文闻刊登须知。

同时,比较原大数据平台获取更加非常丰富、更加灵活性的附加配备,用户可以分角色自定义节点配备(CPU 2~16 核附加,内存 2~64GB 可选)。SparkMR on QingCloud 作为承托全新双引擎大数据平台的最值得关注组件,具备以下多重亮点:计算出来模式:SparkMR 在底层获取统一的 HDFS 作为数据存储引擎,在上层获取 Spark 与 MapReduce 两种计算出来引擎,并获取 YARN 作为调度系统。计算能力: SparkMR 为了便利使用者研发 Spark 应用于,除了反对 Java 和 Scala 研发之外,还获取了 Python 与 R 两种语言的运营环境。

用户可构建三种有所不同的计算出来模式,即 Spark Standalone、Spark on YARN 和 MapReduce on YARN 三者之间的转换。综合以上内容,读者可以结合自身需求继续关注‘皇冠娱乐’青云QingCloud全新双引擎大数据服务SparkMR正式上线的后续变化。


本文关键词:皇冠娱乐,皇冠网

本文来源:皇冠娱乐-www.live-play-hggame.com.cn