למרכז רפואי במרכז הארץ דרוש.ה data Engineer
תחומי אחריות עיקריים:
תכנון, פיתוח, הטמעה ותחזוקה של תהליכי ETL /ELT מורכבים לאיסוף, טרנספורמציה וטעינה של נתונים ממקורות שונים (Databases, APIs, Files, Streaming) אל data Lake (S3) ו- data Warehouse.
אופטימיזציה של תהליכי data Pipelines לשיפור ביצועים וסקיילביליות.
יישום Best Practices לטיפול בנתונים ( data Quality, data Validation, Error Handling).
עבודה שוטפת עם Apache Spark באמצעות Databricks Notebooks
פיתוח וניהול Workflows ב-Databricks.
שימוש ב-Databricks SQL לניתוח נתונים ופיתוח שכבות סמנטיות.
הטמעת data Governance וניהול הרשאות באמצעות Unity Catalog.
כתיבת שאילתות SQL מורכבות ומתקדמות
תכנון ופיתוח מודלי נתונים (Dimensional Modeling, Star/Snowflake Schemas) עבור data Warehouses ו- data Marts.
יצירה ואופטימיזציה של stored procedures, Views, Functions ו- Materialized Views.
דרישות:
ניסיון של שנתיים ומעלה בפיתוח BI / data Engineering.
ניסיון מוכח ורחב עם Databricks (כולל Spark, Delta Lake, Notebooks, Jobs, Workflows, Databricks SQL, Unity Catalog).
שליטה עמוקה ומוכחת ב-SQL ויכולת כתיבת שאילתות מורכבות, אופטימיזציה ו-Performance Tuning.
ניסיון עשיר בפיתוח תהליכי ETL /ELT.
ניסיון במידול נתונים (Dimensional Modeling, Star/Snowflake Schemas).
שליטה מלאה ב- Python (לפיתוח Spark/PySpark) או Scala.
היכרות עם כלי CI/CD (Jenkins, GitLab CI, CodePipeline/CodeBuild) ו-Git. המשרה מיועדת לנשים ולגברים כאחד.