לחברת סקיוריטי בעולם הרכב דרוש/ה data Engineer
טכנולוגיות מרכזיות:
Iceberg, Trino, Prefect, GitHub Actions, Kubernetes, JupyterHub, MLflow, dbt
תיאור המשרה:
תכנון, פיתוח ותחזוקה של צינורות דאטה סקיילביליים לקליטה ועיבוד של נתוני Batch ב- data Lake, תוך הקפדה על איכות נתונים, ממשל נתונים (Governance), נראות (Observability) ו-CI/CD.
פיתוח והרחבת תשתיות הדאטה הבסיסיות, כולל data Lake, מנוע אנליטיקה ומסגרות לעיבוד Batch.
בניית תשתיות יציבות לאוטומציה של תהליכי קליטה ועיבוד נתונים לפלטפורמות האנליטיות, תוך שימוש בכלי Open-Source ופתרונות Cloud-Agnostic.
פיתוח ותחזוקת ארכיטקטורות ומבני data Lake לגישה יעילה לנתונים ואנליטיקה מתקדמת.
פיתוח וניהול כלי אורקסטרציה, Governance, גילוי נתונים ( data Discovery) ועוד.
עבודה שוטפת עם חברי צוות נוספים - ארכיטקטי דאטה, אנליסטים ודאטה סיינטיסטים - בגישה מבוססת Use-Cases לבניית זרימות דאטה טכנולוגיות.
אחריות מקצה לקצה (End-to-End Ownership) וגישה פרואקטיבית
דרישות:
תואר ראשון במדעי המחשב / הנדסה או תחום רלוונטי
לפחות 4 שנות ניסיון בתכנון ובניית צינורות דאטה, כלי אנליטיקה ו- data Lakes
ניסיון בטכנולוגיות data Engineering: כלי ETL ואורקסטרציה (כגון Airflow, Argo, Prefect) וכלי עיבוד נתונים מבוזרים (כגון Spark, Kafka, Presto)
ניסיון מוכח ב Python - חובה
ניסיון בעבודה עם מוצרי Open-Source - יתרון
ניסיון בעבודה בסביבה מבוססת קונטיינרים (כגון Kubernetes) - יתרון
ניסיון בפיתוח בשפת תכנות כללית ( JAVA, Scala, Kotlin, Go וכד) - יתרון המשרה מיועדת לנשים ולגברים כאחד.