אנחנו מחפשים Data Engineer מנוסה להצטרף לצוות הדאטה שלנו ולהיות שותף מרכזי בהקמה, פיתוח ותפעול של פלטפורמת Data & AI ארגונית מתקדמת בסביבת Azure.
במסגרת התפקיד:
תכנון, פיתוח ותפעול Lakehouse ארגוני על גבי Azure Databricks
בניית Data Pipelines מודרניים מקצה לקצה על בסיס Delta Lake במודל Bronze / Silver / Gold
פיתוח תהליכי Data Ingestion חכמים ממערכות ליבה, APIs וEvent Streams, כולל Incremental Loading וCDC
עבודה עם Unity Catalog לניהול Data Governance, הרשאות, Lineage ושיתוף נתונים מאובטח בין צוותים
שימוש יומיומי ביכולות מתקדמות של Databricks:
Workflows & Jobs
Autoloader
Delta Live Tables
Structured Streaming
עבודה שוטפת וצמודה עם Data Scientists ותמיכה בML Workflows
הטמעה וניהול של MLflow:
ניהול ניסויים
Model Tracking
Versioning וReproducibility
בניית סטנדרטים ארגוניים לData Quality, Monitoring וObservability
אופטימיזציה של ביצועים ועלויות בסביבת Azure (Cluster Sizing, Caching, Partitioning)
תמיכה בהקמת AI / Data Platform ארגונית התומכת בAgents, Machine Learning ומוצרי דאטה
דרישות:
מה אנחנו מחפשים?
ניסיון של 3-5 שנים בתפקיד Data Engineer בסביבת Cloud
ניסיון מעשי משמעותי עם Azure Databricks
שליטה גבוהה ב Python,SQL, Spark / PySpark
ניסיון בעבודה עם: Delta Lake, Unity Catalog, Databricks Workflows / Jobs
ניסיון בבניית Data Pipelines בסביבת Production, ניסיון בעבודה משותפת עם Data Scientists וML Pipelines
היכרות עם MLflow לניהול מודלים וניסויים
הבנה טובה של Data Modeling בסביבת Lakehouse
ניסיון בעבודה עם Git וCI/CD לתהליכי דאטה
יכולת עבודה בצוות רבתחומי, חשיבה מוצרית וראייה מערכתית על דאטה
אנחנו ממוקמים ברמת גן,
מתחם הבורסה, בסמוך לרכבת סבידור מרכז ולרכבת הקלה
* המשרה מיועדת לנשים ולגברים כאחד.