dolphin踩坑

一个sql节点只能写一条sql且结尾不能写分号 使用sql节点时由于dolohin写了hive的预编译,某些时候变量不能正确传入,比如 location ‘xxxxx${变量名}’,在预编译过程中会直接变成 location ‘xxxxx?’ **解决方案:**把sql节点替换成shell节点用hive -e ‘………….. location ‘xxxxx${变量名}’来实现变量传参 节点开启非严格模式,从节点偶尔会失效 **解决方案:**每个需要动态分区的sql都加上设置非严格模式的前置sql sql节点无法使用hive永久注册的udf **解决方案:**在dolphin资源中心上传udf并创建(会注册成临时udf) sql节点使用 REPLACE函数会有bug,导致任务流无法保存 **解决方案:**使用REGEXP_REPLACE函数 sql节点添加扩展jar包,无法使用本地路径 **解决方案:**需要先上传jar到hdfs,然后加上hdfs://nameservice1/前缀

2024年6月22日 · 1 分钟

Hive 字段中文注释乱码

Hive 字段中文乱码,如执行 show create table xxx 时,表级别注释、字段级别注释发现有乱码现象(都是????), 一般都是由 hive 元数据库的配置不当造成的。 此时可按如下步骤进行配置调整: 登录 hive 的元数据库 mysql 中: 1、设置 hive 元数据库字符集 show create database hive; 查看为 utf8,需变更为 latin1 _alter database hive character set latin1; 2、更改如下表字段为字符集编码为 utf8 ①修改表字段注解和表注解 alter table COLUMNS_V2 modify column COMMENT varchar(256) character set utf8 alter table TABLE_PARAMS modify column PARAM_VALUE varchar(4000) character set utf8 ② 修改分区字段注解: alter table PARTITION_PARAMS modify column PARAM_VALUE varchar(4000) character set utf8 ; alter table PARTITION_KEYS modify column PKEY_COMMENT varchar(4000) character set utf8; ③修改索引注解: alter table INDEX_PARAMS modify column PARAM_VALUE varchar(4000) character set utf8; ...

2022年8月7日 · 1 分钟