hadoop hive etl etl工程师使用sqoop进行数据迁移遇到回车符、换行符问题

当使用sqoop进行数据迁移遇到换行符的问题可能会导致sqoop任务执行完迁移的数据条数与在hive中查询SQL得到的数据条数可能不一致，造成这个错误的原因大概率是换行符或者回车符的问题

如果遇到的是英文的换行符或者回车符。处理如下：

使用sqoop命令行的方式处理：

--hive-drop-import-delim 删除特殊字符及换行符

--hive-delims-replacement " " 替换特殊字符及换行符（本初替换为空格）

如果遇到的是中文换行符或者回车符。处理如下：

本质是数据迁移的时候展开查询迁移至hive，当然这种方式不具有通用性，只是一种解决方法：

-- 水平制表符：chr(9)

-- 换行符： chr(10)

-- 回车符： chr(13)

--查询判断一个字段中是否含有换行符

select * from table_name where instr(field_name,chr(10))>0;

-- 查询一个字段中是否含有回车符

select * from table_name where instr(field_name,chr(13))>0;

-- 查询替换某一个含有换行符的字段

-- 此处替换为空格

select replace(field_name,chr(10),' ') from table_name ;

-- 查询替换某个既含有换行符又含有回车符的字段

select repalce(replace(field_name, chr(10), ' '),chr(13) ,' ') from table_name ;

另接上如果想要形成脚本具有通用性，处理方式如下：

在执行sqoop命令时加上如下命令即可成功实现中英文换行符、回车符等特殊符号的处理问题，本质就是将数据源的数据单元格里面的大的文本或者具有特殊符号的数据认定为string

--hive-drop-import-delims --map-column-java field_name = String

金钥匙