博客
关于我
Linux基于Hadoop2.8.0集群安装配置Hive2.1.1及基础操作
阅读量:802 次
发布时间:2023-02-03

本文共 2367 字,大约阅读时间需要 7 分钟。

安装Apache Hive

前言

安装Apache Hive前提是要先安装Hadoop集群,且Hive只需在Hadoop的NameNode节点集群里安装。安装前需确保Hadoop已启动。

本文将介绍Hive的安装步骤,包括下载、解压、配置环境变量、修改配置文件、上传驱动包、创建hive-env.sh文件等内容。

下载

下载最新版本的Hive文件,访问官方网站或使用镜像地址:

wget http://mirrors.hust.edu.cn/apache/hive/hive-2.1.1/apache-hive-2.1.1-bin.tar.gz

解压

将压缩文件解压:

tar -zxvf apache-hive-2.1.1-bin.tar.gz

移动文件夹

将解压后的文件移动到Hadoop的目录中:

mv apache-hive-2.1.1-bin /usr/local/hadoop/

配置环境变量

配置环境变量,确保Hive能够正常运行:

source ~/.bashrc

修改配置

配置hive-site.xml

进入Hive的配置目录,将默认配置文件复制并重命名:

cd $HIVE_HOME/conf
cp hive-default.xml.template hive-site.xml

创建存储目录

创建Hive的存储目录并赋予权限:

hadoop fs -mkdir -p /user/hive/warehouse
hadoop fs -chmod 777 /user/hive/warehouse

创建临时目录并赋予权限:

hadoop fs -mkdir -p /tmp/hive/
hadoop fs -chmod 777 /tmp/hive/

检查目录是否创建成功:

hadoop fs -ls /user/hive/
hadoop fs -ls /tmp/

如图所示,确认目录已创建。

修改hive-site.xml中的临时目录

将hive-site.xml中的${system:java.io.tmpdir}替换为Hive的临时目录,例如:

hive.tmp.dir
/usr/local/hadoop/apache-hive-2.1.1-bin/tmp

将${system:user.name}替换为root:

hive.root.username
root

修改数据库相关配置

如果使用Postgres数据库,将以下配置修改为相应的值:

javax.jdo.option.ConnectionURL
jdbc:postgresql://192.168.174.200:5432/postgres?charSet=utf-8

将ConnectionDriverName修改为PostgreSQL驱动:

javax.jdo.option.ConnectionDriverName
org.postgresql.Driver

将ConnectionUserName和ConnectionPassword修改为数据库登录名和密码:

javax.jdo.option.ConnectionUserName
postgres
javax.jdo.option.ConnectionPassword
postgres

将schema.verification设置为false:

hive.metastore.schema.verification
false

上传postgres驱动包

将Postgres驱动包上传到Hive的lib目录中:

cp postgresql.jar /usr/local/hadoop/apache-hive-2.1.1-bin/lib/

新建hive-env.sh文件

进入Hive的配置目录,复制并修改hive-env.sh文件:

cd /opt/hive/apache-hive-2.1.1-bin/conf
cp hive-env.sh.template hive-env.sh

在hive-env.sh中添加以下内容:

export HADOOP_HOME=/usr/local/hadoop/hadoop-2.8.0
export HIVE_CONF_DIR=/usr/local/hadoop/apache-hive-2.1.1-bin/conf
export HIVE_AUX_JARS_PATH=/usr/local/hadoop/apache-hive-2.1.1-bin/lib

初始化数据库

进入Hive的bin目录,初始化数据库:

cd /usr/local/hadoop/apache-hive-2.1.1-bin/bin
schematool -initSchema -dbType postgres

如图所示,初始化完成后Hive数据库中已创建多个表。

启动Hive

进入Hive的bin目录,启动Hive:

cd /usr/local/hadoop/apache-hive-2.1.1-bin/bin
./hive

如图所示,Hive已成功启动。

转载地址:http://llzfk.baihongyu.com/

你可能感兴趣的文章
Objective-C实现circle sort圆形排序算法(附完整源码)
查看>>
Objective-C实现coulombs law库仑定律算法(附完整源码)
查看>>
Objective-C实现DBSCAN聚类算法(附完整源码)
查看>>
Objective-C实现dijkstra银行家算法(附完整源码)
查看>>
Objective-C实现Dinic算法(附完整源码)
查看>>
Objective-C实现disjoint set不相交集算法(附完整源码)
查看>>
Objective-C实现DisjointSet并查集的算法(附完整源码)
查看>>
Objective-C实现djb2哈希算法(附完整源码)
查看>>
Objective-C实现DNF排序算法(附完整源码)
查看>>
Objective-C实现double factorial iterative双阶乘迭代算法(附完整源码)
查看>>
Objective-C实现double factorial recursive双阶乘递归算法(附完整源码)
查看>>
Objective-C实现double hash双哈希算法(附完整源码)
查看>>
Objective-C实现double linear search recursion双线性搜索递归算法(附完整源码)
查看>>
Objective-C实现DoublyLinkedList双链表的算法(附完整源码)
查看>>
Objective-C实现DPLL(davisb putnamb logemannb loveland)算法(附完整源码)
查看>>
Objective-C实现Edmonds-Karp算法(附完整源码)
查看>>
Objective-C实现EEMD算法(附完整源码)
查看>>
Objective-C实现EM算法(附完整源码)
查看>>
Objective-C实现EM算法(附完整源码)
查看>>
Objective-C实现entropy熵算法(附完整源码)
查看>>