场景描述：由于业务要求想要使用Hudi，而hudi需要spark2.4.5+版本，canal+kafka+sss+hudi 当前版本:

hdp3.1.4 hadoop 3.1.0 hive 3.1.0 spark 2.3.0 scala 2.11.8

原计划升级ambari,但发现ambari2.7.5spark版本为2.3.3（好像）不满足要求 后决定在现有基础上升级spark

1. 升级scala

官网下载 scala.2.12.10 解压到linux上并配置环境变量，scala -version 查看无误后继续

2. 升级spark

部署集群过程简单不赘述

原计划下载升级spark2.4.8 遇到如下问题

问题 1. yarn使用的包为1.9低版本，与spark2.4.8解压后的jars目录下的包不匹配,出现: bad substitution

解决方法：

将新spark解压jars目录下jersey-client-xx.jar 移动或改名将以下包find / -name 从机器上找出来放到新spark的jars目录下 在spark-defaults.conf文件最后增加两行（针对hdp升级） spark.driver.extraJavaOptions -Dhdp.version=3.1.4.0-315 spark.yarn.am.extraJavaOptions -Dhdp.version=3.1.4.0-315 3.1.4.0-315为hdp版本，可以看你的usr/hdp/xxx/此目录

spark-shell没有问题

问题 2 执行spark-sql报错 scala.MatchError: x.x (of class java.lang.String)

Exception in thread "main" scala.MatchError: 3.0 (of class java.lang.String)

at org.apache.spark.sql.hive.client.IsolatedClientLoader$.hiveVersion(IsolatedClientLoader.scala:91)

由于hive版本为3.1.0 查看原始的spark-default.conf后发现 一行spark.sql.hive.metastore.version 3.0 经过本人多次更改scala版本\ 此参数值后还是报错 查看spark 2.4.x源码后发现只解析能解析如下hive版本参数 想要解决此问题需要自己修改源码编译spark

或者升级spark3.x

本人下载spark3.0.2后也是解决此问题

精彩内容

评论可见，请评论后查看内容，谢谢！！！
 您阅读本篇文章共花了：