博客
关于我
Linux基于Hadoop2.8.0集群安装配置Hive2.1.1及基础操作
阅读量:802 次
发布时间:2023-02-03

本文共 2358 字,大约阅读时间需要 7 分钟。

安装Apache Hive

前言

安装Apache Hive前提是要先安装Hadoop集群,且Hive只需在Hadoop的NameNode节点集群里安装。安装前需确保Hadoop已启动。

本文将介绍Hive的安装步骤,包括下载、解压、配置环境变量、修改配置文件、上传驱动包、创建hive-env.sh文件等内容。

下载

下载最新版本的Hive文件,访问官方网站或使用镜像地址:

wget http://mirrors.hust.edu.cn/apache/hive/hive-2.1.1/apache-hive-2.1.1-bin.tar.gz

解压

将压缩文件解压:

tar -zxvf apache-hive-2.1.1-bin.tar.gz

移动文件夹

将解压后的文件移动到Hadoop的目录中:

mv apache-hive-2.1.1-bin /usr/local/hadoop/

配置环境变量

配置环境变量,确保Hive能够正常运行:

source ~/.bashrc

修改配置

配置hive-site.xml

进入Hive的配置目录,将默认配置文件复制并重命名:

cd $HIVE_HOME/confcp hive-default.xml.template hive-site.xml

创建存储目录

创建Hive的存储目录并赋予权限:

hadoop fs -mkdir -p /user/hive/warehousehadoop fs -chmod 777 /user/hive/warehouse

创建临时目录并赋予权限:

hadoop fs -mkdir -p /tmp/hive/hadoop fs -chmod 777 /tmp/hive/

检查目录是否创建成功:

hadoop fs -ls /user/hive/hadoop fs -ls /tmp/

如图所示,确认目录已创建。

修改hive-site.xml中的临时目录

将hive-site.xml中的${system:java.io.tmpdir}替换为Hive的临时目录,例如:

hive.tmp.dir
/usr/local/hadoop/apache-hive-2.1.1-bin/tmp

将${system:user.name}替换为root:

hive.root.username
root

修改数据库相关配置

如果使用Postgres数据库,将以下配置修改为相应的值:

javax.jdo.option.ConnectionURL
jdbc:postgresql://192.168.174.200:5432/postgres?charSet=utf-8

将ConnectionDriverName修改为PostgreSQL驱动:

javax.jdo.option.ConnectionDriverName
org.postgresql.Driver

将ConnectionUserName和ConnectionPassword修改为数据库登录名和密码:

javax.jdo.option.ConnectionUserName
postgres
javax.jdo.option.ConnectionPassword
postgres

将schema.verification设置为false:

hive.metastore.schema.verification
false

上传postgres驱动包

将Postgres驱动包上传到Hive的lib目录中:

cp postgresql.jar /usr/local/hadoop/apache-hive-2.1.1-bin/lib/

新建hive-env.sh文件

进入Hive的配置目录,复制并修改hive-env.sh文件:

cd /opt/hive/apache-hive-2.1.1-bin/confcp hive-env.sh.template hive-env.sh

在hive-env.sh中添加以下内容:

export HADOOP_HOME=/usr/local/hadoop/hadoop-2.8.0export HIVE_CONF_DIR=/usr/local/hadoop/apache-hive-2.1.1-bin/confexport HIVE_AUX_JARS_PATH=/usr/local/hadoop/apache-hive-2.1.1-bin/lib

初始化数据库

进入Hive的bin目录,初始化数据库:

cd /usr/local/hadoop/apache-hive-2.1.1-bin/binschematool -initSchema -dbType postgres

如图所示,初始化完成后Hive数据库中已创建多个表。

启动Hive

进入Hive的bin目录,启动Hive:

cd /usr/local/hadoop/apache-hive-2.1.1-bin/bin./hive

如图所示,Hive已成功启动。

转载地址:http://llzfk.baihongyu.com/

你可能感兴趣的文章
Objective-C实现无锁链表(附完整源码)
查看>>
Objective-C实现无锁链表(附完整源码)
查看>>
Objective-C实现时间戳转为年月日时分秒(附完整源码)
查看>>
Objective-C实现是否为 Pythagoreantriplet 毕氏三元数组算法(附完整源码)
查看>>
Objective-C实现显示响应算法(附完整源码)
查看>>
Objective-C实现晚捆绑测试实例(附完整源码)
查看>>
Objective-C实现普通矩阵A和B的乘积(附完整源码)
查看>>
Objective-C实现更新数字指定偏移量上的值updateBit算法(附完整源码)
查看>>
Objective-C实现最优二叉搜索树算法(附完整源码)
查看>>
Objective-C实现最大和连续子序列算法(附完整源码)
查看>>
Objective-C实现最大最小距离算法(附完整源码)
查看>>
Objective-C实现最大的非常大的数字算法(附完整源码)
查看>>
Objective-C实现最大类间方差法OTSU算法(附完整源码)
查看>>
Objective-C实现最大非相邻和算法(附完整源码)
查看>>
Objective-C实现最小二乘多项式曲线拟合(附完整源码)
查看>>
Objective-C实现最小二乘法(附完整源码)
查看>>
Objective-C实现最小值滤波(附完整源码)
查看>>
Objective-C实现最小公倍数LCM算法(附完整源码)
查看>>
Objective-C实现最小生成树 boruvka算法(附完整源码)
查看>>
Objective-C实现最小编辑距离问题算法(附完整源码)
查看>>