博客
关于我
Linux基于Hadoop2.8.0集群安装配置Hive2.1.1及基础操作
阅读量:794 次
发布时间:2023-02-03

本文共 2358 字,大约阅读时间需要 7 分钟。

安装Apache Hive

前言

安装Apache Hive前提是要先安装Hadoop集群,且Hive只需在Hadoop的NameNode节点集群里安装。安装前需确保Hadoop已启动。

本文将介绍Hive的安装步骤,包括下载、解压、配置环境变量、修改配置文件、上传驱动包、创建hive-env.sh文件等内容。

下载

下载最新版本的Hive文件,访问官方网站或使用镜像地址:

wget http://mirrors.hust.edu.cn/apache/hive/hive-2.1.1/apache-hive-2.1.1-bin.tar.gz

解压

将压缩文件解压:

tar -zxvf apache-hive-2.1.1-bin.tar.gz

移动文件夹

将解压后的文件移动到Hadoop的目录中:

mv apache-hive-2.1.1-bin /usr/local/hadoop/

配置环境变量

配置环境变量,确保Hive能够正常运行:

source ~/.bashrc

修改配置

配置hive-site.xml

进入Hive的配置目录,将默认配置文件复制并重命名:

cd $HIVE_HOME/confcp hive-default.xml.template hive-site.xml

创建存储目录

创建Hive的存储目录并赋予权限:

hadoop fs -mkdir -p /user/hive/warehousehadoop fs -chmod 777 /user/hive/warehouse

创建临时目录并赋予权限:

hadoop fs -mkdir -p /tmp/hive/hadoop fs -chmod 777 /tmp/hive/

检查目录是否创建成功:

hadoop fs -ls /user/hive/hadoop fs -ls /tmp/

如图所示,确认目录已创建。

修改hive-site.xml中的临时目录

将hive-site.xml中的${system:java.io.tmpdir}替换为Hive的临时目录,例如:

hive.tmp.dir
/usr/local/hadoop/apache-hive-2.1.1-bin/tmp

将${system:user.name}替换为root:

hive.root.username
root

修改数据库相关配置

如果使用Postgres数据库,将以下配置修改为相应的值:

javax.jdo.option.ConnectionURL
jdbc:postgresql://192.168.174.200:5432/postgres?charSet=utf-8

将ConnectionDriverName修改为PostgreSQL驱动:

javax.jdo.option.ConnectionDriverName
org.postgresql.Driver

将ConnectionUserName和ConnectionPassword修改为数据库登录名和密码:

javax.jdo.option.ConnectionUserName
postgres
javax.jdo.option.ConnectionPassword
postgres

将schema.verification设置为false:

hive.metastore.schema.verification
false

上传postgres驱动包

将Postgres驱动包上传到Hive的lib目录中:

cp postgresql.jar /usr/local/hadoop/apache-hive-2.1.1-bin/lib/

新建hive-env.sh文件

进入Hive的配置目录,复制并修改hive-env.sh文件:

cd /opt/hive/apache-hive-2.1.1-bin/confcp hive-env.sh.template hive-env.sh

在hive-env.sh中添加以下内容:

export HADOOP_HOME=/usr/local/hadoop/hadoop-2.8.0export HIVE_CONF_DIR=/usr/local/hadoop/apache-hive-2.1.1-bin/confexport HIVE_AUX_JARS_PATH=/usr/local/hadoop/apache-hive-2.1.1-bin/lib

初始化数据库

进入Hive的bin目录,初始化数据库:

cd /usr/local/hadoop/apache-hive-2.1.1-bin/binschematool -initSchema -dbType postgres

如图所示,初始化完成后Hive数据库中已创建多个表。

启动Hive

进入Hive的bin目录,启动Hive:

cd /usr/local/hadoop/apache-hive-2.1.1-bin/bin./hive

如图所示,Hive已成功启动。

转载地址:http://llzfk.baihongyu.com/

你可能感兴趣的文章
Linux卸载和安装yum
查看>>
linux卸载软件
查看>>
Linux压缩和归档命令的速查表
查看>>
Linux压缩和打包
查看>>
linux压缩和解压缩命令
查看>>
linux压缩解压缩命令:gzip、tar、zip、bzip2
查看>>
linux双机热备 oracle,oracle for linux双机热备实战
查看>>
Linux发展史:带你穿越技术的时光隧道
查看>>
Linux发行版三巨头,你会选择哪一个?
查看>>
Linux句柄数过多问题排查
查看>>
linux后台启动seata,yearning
查看>>
linux启动后执行脚本(/etc/rc.local文件)
查看>>
linux命令
查看>>
linux命令之rsync同步速度分析
查看>>
linux命令之tcpdump
查看>>
linux命令压缩
查看>>
linux命令大全
查看>>
Linux命令大全(非常详细)零基础入门到精通,收藏这一篇就够了
查看>>
Linux命令大全,从A到Z都有总结,封神之作!
查看>>
linux命令学习——md5sum
查看>>