גורם אחראי על תכנון ופיתוח תהליכי ETL,EL ובניית data pipelines בסביבת LAKEHOUSE
התוויית דרכי מידול ובחירת כלי ואופן הפיתוח בהתאם לסביבת עבודה, נפח המידע,מקורות נתונים ודרישה עסקית.
התפקיד כולל תכנון,פיתוח וניהול תהליכי אינטגרציה ובניית data pipelines מורכבים,בניה וניהול תהליכי הכנת,טיוב והעשרה של הנתונים. הגדרה וביצוע תהליכי גישה, הפקה, זרימה,תכלול וקליטה בין מקורות נתונים ופלטפורמות אנליטיות, מתן הדרכה והנחיה לפתחים ומהנדסי נתונים בארגון.
הובלה ותכנון תהליכי BATCH ו STREAMING, תכנון ובניית שכבות נתונים בLAKEHOUSE (( data MODULING
עבודה בשיתוף פעולה עם DBA,צוותי תשתיות של הארגון,אנשי data ומדעני נתונים.
לקיחת חלק בתכנון תהליכי מעבר נתונים לסביבת ענן.
עבודה עם כלים וטכנולוגיות מתקדמות בתחום ה- Big Data,AI, BI, הטמעה של טכנולוגיות חדשות.
דרישות:
לפחות 5 שנים ניסיון כמהנדס נתונים -חובה
ניסיון מוכח במידול נתונים-חובה
ניסיון בתכנון ובניית data pipelines מורכבים-חובה
ניסיון בעבודה עם כלים אנליטיים BI, ETL - חובה
שליטה בשפת ברמה גבוהה- חובה SQL
שליטה בשפת ברמה גבוהה חובה Python /R/ JAVA
ניסיון בעבודה עם טכנולוגיות KAFKA,SPARK,HADOOP כגון Big Data - יתרון
ניסיון בעבודה מול כלים ותשתיות בענן. -יתרון
ניסיון בעבודה על כלי ETL DATASTAGE,TALEND- יתרון
ניסיון עבודה עם בסיסי נתונים רלציונים ושאינם רלציונים כגון MongoDB,NEO4J- יתרו המשרה מיועדת לנשים ולגברים כאחד.