תכנון ויישום פלטפורמות דאטה מסוג Lakehouse, עמידות וסקיילביליות, התומכות בצינורות עיבוד batch ו-streaming.
פיתוח ותחזוקת פייפליינים עתירי ביצועים באמצעות Spark, Trino ו-DBT.
אופטימיזציה של ביצועי שאילתות ויעילות עלויות בסביבות AWS S3, Athena ו-Druid.
אחריות על מידול דאטה, ניהול גרסאות סכמות ופרטישינינג, לטובת BI, Machine Learning ושימושים בזמן אמת.
קידום מצוינות הנדסית באמצעות קוד נקי, סקירות קוד, תיעוד והעברת ידע.
שיתוף פעולה עם אנליסטים, מדעני דאטה ומנהלי מוצר לתכנון והטמעת פתרונות דאטה משמעותיים.
ניטור ופתרון בעיות ב-workflows קריטיים בסביבות פרודקשן.
דרישות:
לפחות 5 שנות ניסיון hands-on בהנדסת דאטה או פיתוח דאטה כולל עבודה עם עקרונות ארכיטקטורת Lakehouse.
שליטה מעולה ב-SQL, כולל כתיבת שאילתות מורכבות, קריאות ואופטימליות על Big Data
ניסיון עם DBT, כולל בניית פרויקטים ברמת production.
ניסיון מתקדם עם Spark (batch ו-streaming), Trino, Druid ו-Athena-חובה
שליטה גבוהה ב- Python, במיוחד לעיבוד דאטה ותזמור (orchestration).
היכרות עמוקה עם סביבת AWS: כולל S3, Lambda, Glue, EC2 ו-CloudWatch.
הבנה מעמיקה של מידול דאטה, פרטישינינג, טיונינג של ביצועים, ופורמטים עמודיים (Parquet, ORC).
ניסיון בעבודה עם Git ותהליכי CI/CD עבור פייפלייני דאטה.
ניסיון בפיתוח עם Apache Airflow- יתרון המשרה מיועדת לנשים ולגברים כאחד.