一、环境

组件版本Apache Hive3.1.3Postgres JDBC42.3.6Apache Hadoop3.3.2Apache Iceberg0.14.0Java1.8.0_111Apache maven3.8.6

二、Docker 镜像构建

#####################################################################################################################################

# 1. 环境变量

#####################################################################################################################################

#自定义目录，根据实际情况进行更改

BASE_DIR=/opt/soft/lakehouse/hive

#镜像仓库地址

HARBOR_PATH=core.harbor.apps.g66666.hk.my-demo.tech/lakehouse

#版本变量

HIVE_VERSION=3.1.3

HADOOP_VERSION=3.3.2

POSTGRES_JDBC_VERSION=42.3.6

ICEBERG_VERSION=0.14.0

#####################################################################################################################################

# 2. 源码编译

#####################################################################################################################################

cd ${BASE_DIR}

# 下载源码包

wget https://dlcdn.apache.org/hive/hive-${HIVE_VERSION}/apache-hive-${HIVE_VERSION}-src.tar.gz

# 解压

tar -zxf apache-hive-${HIVE_VERSION}-src.tar.gz

#编译

cd apache-hive-${HIVE_VERSION}-src/standalone-metastore/

# pom.xml 中修改 hadoop版本为 ${HADOOP_VERSION}

#编译源码

mvn clean package

# 编译好的二进制包

${BASE_DIR}/apache-hive-${HIVE_VERSION}-src/standalone-metastore/target/apache-hive-metastore-3.1.3-bin.tar.gz

#####################################################################################################################################

# 3. 依赖配置

#####################################################################################################################################

cd ${BASE_DIR}

# 下载Hadoop二进制安装包

wget https://dlcdn.apache.org/hadoop/common/hadoop-${HADOOP_VERSION}/hadoop-${HADOOP_VERSION}.tar.gz

# 解压

tar -zxf hadoop-${HADOOP_VERSION}.tar.gz

# 删除 doc 减少 镜像依赖

cd hadoop-${HADOOP_VERSION}/share

rm -rf doc

# 解压刚才编译好的 二进制安装包

tar -zxf ${BASE_DIR}/apache-hive-${HIVE_VERSION}-src/standalone-metastore/target/apache-hive-metastore-${HIVE_VERSION}-bin.tar.gz \

-C ${BASE_DIR}/

# 删除 guava依赖，防止与hadoop的guava 冲突

cd apache-hive-metastore-${HIVE_VERSION}/bin/lib/

rm -rf guava-*.jar

# 拷贝 hadoop aws 和 guava 依赖到 hive

cp ${BASE_DIR}/hadoop-${HADOOP_VERSION}/share/hadoop/common/lib/guava-*-jre.jar .

cp ${BASE_DIR}/hadoop-${HADOOP_VERSION}/share/hadoop/tools/lib/aws-java-sdk-bundle-*.jar .

cp ${BASE_DIR}/hadoop-${HADOOP_VERSION}/share/hadoop/tools/lib/hadoop-aws-${HADOOP_VERSION}.jar .

# postgres jdbc

wget https://repo1.maven.org/maven2/org/postgresql/postgresql/${POSTGRES_JDBC_VERSION}/postgresql-${POSTGRES_JDBC_VERSION}.jar

# Iceberg 依赖

wget https://repo1.maven.org/maven2/org/apache/iceberg/iceberg-hive-runtime/${ICEBERG_VERSION}/iceberg-hive-runtime-${ICEBERG_VERSION}.jar

#####################################################################################################################################

# 4. 编写Dockerfile

#####################################################################################################################################

cd ${BASE_DIR}

cat << EOF | tee Dockerfile

FROM openjdk:8-slim

ARG hive_uid=10000

USER root

ENV HIVE_HOME /opt/hive-metastore

ENV HADOOP_HOME /opt/hadoop

RUN set -ex && \

sed -i 's/http:\/\/deb.\(.*\)/https:\/\/deb.\1/g' /etc/apt/sources.list && \

apt-get update && \

apt install -y bash tini libc6 libpam-modules krb5-user libnss3 procps && \

useradd -u \${hive_uid} -g root hive && \

useradd -u 10001 -g root luke && \

mkdir -p \${HIVE_HOME} \${HADOOP_HOME} && \

chmod ug+rw -R \${HIVE_HOME} && \

chmod ug+rw -R \${HADOOP_HOME} && \

rm -rf /var/cache/apt/*

COPY apache-hive-metastore-${HIVE_VERSION}-bin \${HIVE_HOME}

COPY hadoop-${HADOOP_VERSION} \${HADOOP_HOME}

WORKDIR \${HIVE_HOME}

CMD ["./bin/start-metastore", "-p", "9083"]

USER \${hive_uid}

EOF

#####################################################################################################################################

# 5. 构建Docker 镜像

#####################################################################################################################################

cd ${BASE_DIR}

sudo docker build -t hive-metastore-iceberg:${HIVE_VERSION} .

#####################################################################################################################################

# 6. 推送到 镜像仓库Harbor

#####################################################################################################################################

sudo docker tag hive-metastore-iceberg:${HIVE_VERSION} ${HARBOR_PATH}/hive-metastore-iceberg:${HIVE_VERSION}

sudo docker push ${HARBOR_PATH}/hive-metastore-iceberg:${HIVE_VERSION}

精彩链接

评论可见，请评论后查看内容，谢谢！！！
 您阅读本篇文章共花了：