本篇文章847字,读完约2分钟
阿里云国际站经销商,主营阿里云,腾讯云,华为云,亚马逊aws,谷歌云gcp,微软云az,免费开户,代充值优惠大,联系客服飞机@jkkddd
通过ES-Hadoop实现Hive读写阿里云Elasticsearch数据
准备工作创建同一专有网络下的阿里云Elasticsearch和E-MapReduce(以下简称EMR)实例、关闭Elasticsearch实例的自动创建索引功能并创建索引和Mapping、下载与Elasticsearch实例版本一致的ES-Hadoop安装包。
步骤一:上传ES-Hadoop JAR包至HDFS
将已下载的ES-Hadoop安装包上传至EMR Master节点的HDFS目录下。
步骤二:创建Hive外表
创建Hive外表,与Elasticsearch索引中的字段进行映射。
步骤三:通过Hive写入索引数据
通过HiveSQL,向Elasticsearch实例的索引中写入数据。
步骤四:通过Hive读取索引数据
通过HiveSQL,读取Elasticsearch实例中的索引数据。
步骤一:上传ES-Hadoop JAR包至HDFS
下载ES-Hadoop安装包,其版本需要与Elasticsearch实例保持一致。
本文使用elasticsearch-hadoop-6.7.0.zip。
登录E-MapReduce控制台,获取Master节点的IP地址,并通过SSH登录对应的ECS机器。
具体操作步骤请参见登录集群。
将已下载的elasticsearch-hadoop-6.7.0.zip上传至Master节点,并解压获得elasticsearch-hadoop-hive-6.7.0.jar。
创建HDFS目录,将elasticsearch-hadoop-hive-6.7.0.jar上传至该目录下。
步骤二:创建Hive外表
在EMR控制台的数据开发模块中,创建HiveSQL类型的作业。
具体操作步骤请参见Hive SQL作业配置。
标题:阿里云24h自助充值,免费开户
地址:http://www.chinaktz.com.cn/zhgnzx/25561.html