牛骨文教育服务平台(让学习变的简单)
博文笔记

kylin #4 Step Name: Build Dimension Dictionary failed

创建时间:2016-09-18 投稿人: 浏览次数:1447
java.lang.IllegalStateException: Dup key found, key=[1.0E8], value1=[....], value2=[....] at org.apache.kylin.dict.lookup.LookupTable.initRow(LookupTable.java:84) at org.apache.kylin.dict.lookup.LookupTable.init(LookupTable.java:67)
错误原因: 1.model中 data model 》 join conditions 关系配置错误

    2.hive表中,和事实表外键关联的字段在维度表中的key不唯一,将hive表中的数据去重
  1. insert overwrite table case_seed_dim  
  2. select
  3.       t.case_seed_one,t.case_seed_one_short_descrip,t.case_seed_one_long_descrip,
  4.       t.case_seed_two,t.case_seed_two_short_descrip,t.case_seed_two_long_descrip, 
  5.            t.case_seed_three,t.case_seed_three_short_descrip,t.case_seed_three_long_descrip,
  6.       t.case_seed_no,t.case_seed_delete,t.case_seed_valid,t.case_seed_four,
  7.       t.case_seed_four_short_descrip,t.case_seed_four_long_descrip
  8. from   
  9. select case_seed_one, case_seed_one_short_descrip, case_seed_one_long_descrip,
  10.          case_seed_two,case_seed_two_short_descrip, case_seed_two_long_descrip, case_seed_three,                  
  11.          case_seed_three_short_descrip,case_seed_three_long_descrip,case_seed_no,                                                     
  12.          case_seed_delete, case_seed_valid,case_seed_four, case_seed_four_short_descrip,                       
  13.          case_seed_four_long_descrip,
  14.          row_number() over(distribute by case_seed_no sort by case_seed_one ) as rn  
  15.      from case_seed_dim  ) t  
  16. where t.rn=1;  

声明:该文观点仅代表作者本人,牛骨文系教育信息发布平台,牛骨文仅提供信息存储空间服务。