ChinaAzure在HDinsight中使用Spark功能

国际版的Azure 已经可以正常支持Spark应用,但是当我们在使用中国版的Azure的时候,在Azure中国版官网里面发现了有对Spark服务的介绍,而真正去使用的时候,却发现无法创建。只有Storm,HBase和Hadoop。如图:

创新互联是一家专业从事成都网站建设、网站设计、网页设计的品牌网络公司。如今是成都地区具影响力的网站设计公司,作为专业的成都网站建设公司,创新互联依托强大的技术实力、以及多年的网站运营经验,为您提供专业的成都网站建设、营销型网站建设及网站设计开发服务!

China Azure 在HDinsight 中使用Spark 功能

那问题来了,中国版Azure的HDInsight是否支持Spark?
答案当然可以,不过需要自定义一下:

  1. 首先我们需要创建一个PAAS 层SQL Database 用来用以存储Hive、Oozie的元数据。

    China Azure 在HDinsight 中使用Spark 功能

  2. 创建基于PAAS 层的HADOOP 集群:

    HDInsight 3.1 clusters会安装Spark 1.0.2
    HDInsight 3.2 clusters会安装Spark 1.2.0

    China Azure 在HDinsight 中使用Spark 功能

  3. 配置集群节点和虚拟机:

    China Azure 在HDinsight 中使用Spark 功能

  4. 配置访问用户,勾选配置Oozie云存储:

    China Azure 在HDinsight 中使用Spark 功能

  5. 配置Oozie存储SQL Database数据库:

    China Azure 在HDinsight 中使用Spark 功能

  6. 配置存储:

    China Azure 在HDinsight 中使用Spark 功能

  7. 使用脚本安装Spark:

    China Azure 在HDinsight 中使用Spark 功能

  1. 插入Spark 配置脚步:

    https://hdiconfigactions.blob.core.windows.net/sparkconfigactionv03/spark-installer-v03.ps1 。节点类型选择"仅头结点"

    China Azure 在HDinsight 中使用Spark 功能

    最后点击"创建"按钮即可。


文章题目:ChinaAzure在HDinsight中使用Spark功能
URL链接:http://www.kmzsk.com/article/pcogjs.html

其他资讯

Copyright © 2026 昆明姝彩聂商贸有限公司 All Rights Reserved 滇ICP备2025072963号-9
友情链接: 自适应网站建设 品牌网站建设 app网站建设 重庆企业网站建设 专业网站设计 网站建设改版 重庆网站建设 定制网站制作 网站建设方案 成都网站建设公司 H5网站制作 商城网站建设 网站建设 手机网站建设套餐 成都网站建设 四川成都网站设计 定制网站建设 成都企业网站设计 重庆手机网站建设 宜宾网站设计 网站建设推广 阿坝网站设计