Description

• Reka bentuk, membangun dan menyelenggara platform data besar, menyokong pengumpulan, penyimpanan, pemprosesan dan analisis data berskala besar;
• Menurut keperluan perniagaan, memilih rangka teknologi data besar yang sesuai seperti Hadoop, Spark, Flink, Kafka dan lain-lain;
• Membangunkan alat dan aliran ETL, menyokong pengektrakan, penukaran dan pemuatan data;
• Bertanggungjawab ke atas reka bentuk seni bina dan pelaksanaan gudang data peringkat korporat, membina model berlapis ODS, DWD, DWS, ADS yang selaras dengan ciri perniagaan;
• Membangunkan aliran ETL yang cekap dan stabil berasaskan rangka kerja seperti Hive, Spark, Flink, menyokong keperluan luar talian dan masa nyata;
• Mewujudkan sistem pengurusan hubungan data dan metadata yang komprehensif;
• Bertanggungjawab dalam pembinaan sistem pemantauan kualiti data;
• Mempertingkatkan seni bina gudang data sedia ada, meningkatkan kecekapan pemprosesan data dan penggunaan sumber.

Requirements

• Ijazah Sarjana Muda atau lebih tinggi dalam Sains Komputer, Kejuruteraan Perisian atau bidang berkaitan;
• Pengalaman pembangunan data besar sekurang-kurangnya 5 tahun, pengalaman pembinaan gudang data sekurang-kurangnya 3 tahun;
• Mahir dalam teknologi data besar seperti Hadoop, Spark, Flink, Kafka dan lain-lain;
• Mahir dalam Java, mahir menggunakan Python dan skrip Shell;
• Mahiran tinggi dalam pengoptimuman SQL, menguasai HiveQL dan FlinkSQL;
• Mahir menggunakan Flink SQL atau DataStream API untuk membangunkan tugasan pengiraan masa nyata;
• Mahir menggunakan alat penyusun sumber terbuka seperti DolphinScheduler;
• Mahir menggunakan Doris atau ClickHouse, serta mampu melakukan penyempurnaan prestasi;
• Pengalaman menerajui projek gudang data peringkat korporat secara lengkap diutamakan;
• Mempunyai tanggungjawab yang tinggi, mampu menyelesaikan isu teknikal yang kompleks secara berdikari;
• Keupayaan komunikasi yang baik dan semangat kerjasama berpasukan;
• Bersikap berminat tinggi untuk mempelajari dan meneroka teknologi baharu.

Kelebihan Tambahan

• Pengalaman pembangunan tasik data, seperti Iceberg, Paimon;
• Familiar dengan platform pembelajaran mesin atau teknologi berkaitan AI;
• Pengalaman menyumbang kepada projek sumber terbuka.