מחפשים data Engineer מנוסה ומוכשר/ת להשתלבות בפרויקט משמעותי של טרנספורמציה דיגיטלית והעברת מאגרי מידע ארגוניים לסביבת הענן של Google Cloud Platform (GCP)
התפקיד כולל פיתוח פתרונות data מתקדמים, עבודה עם כלי ETL /ELT תכנון ארכיטקטורת נתונים מודרנית והובלת תהליכי Migration מורכבים בארגון ממשלתי גדול ויציב
תיאור התפקיד
הובלת תהליכי Migration והעברת מאגרי נתונים ממערכות On-Prem לסביבת GCP
תכנון ופיתוח שכבות נתונים Silver Gold בתוך BigQuery
פיתוח תהליכי ETL /ELT ויישום לוגיקה עסקית מורכבת
פיתוח ותחזוקת Pipelines ותהליכי Orchestration באמצעות Cloud Composer / Apache Airflow
פיתוח טרנספורמציות וטיוב נתונים באמצעות Dataform
ביצוע ניקוי, איחוד ושיפור איכות הנתונים ( data Quality)
כתיבת שאילתות SQL מורכבות ואופטימיזציה לביצועים ועלויות ב -BigQuery
דרישות:
לפחות 4 שנות ניסיון
ניסיון משמעותי בפיתוח והטמעה בסביבת GCP - חובה
שליטה גבוהה ב- Python לצורך פיתוח ETL /ELT וטרנספורמציות נתונים
ניסיון עם כלי Orchestration כגון Apache Airflow / Cloud Composer
היכרות עם Git ותהליכי CI/CD המשרה מיועדת לנשים ולגברים כאחד.