request from Marketing + User team

ETL job implementation status : next will testing on development
ada perubahan di implementasi ETL karena issue di bawah ini
(paralel colin fix issue ETL job, mirza fix issue data availibility + denorm di S3)

denorm collection –– baca denorm config dan list down collection apa saja yg di denorm, denormnya dari mana saja –– untuk denorm forward data, config dari mongostrack akan di-copy ke S3 since mongostrack (kemungkinan besar) akan di-decom –– untuk denorm backward data akan menggunakan data mongostrack –– impact : job ETL akan dibedakan untuk denorm-backward-job, denorm-forward-job, non-denorm-job
non-denorm collection –– collection apa saja yg tidak perlu di denorm
data availability in S3 –– Event Table akan diisi data dari Jan 2016 –– in fact : tidak semua required collection ada dari Jan 2016 (karena ada collection yg baru exist per bulan X) –– impact : plan buat handling di ETL script untuk collection yg hanya exist setelah bulan X
time granularity –– tidak semua required collection ada di time_granularity=hour_1 –– still fixing untuk pecahin dari day_1 ke hour_1 di S3

Event Table Progress Report