התפקיד כולל אחריות על קליטה ועיבוד של כמויות נתונים גדולות ממקורות מגוונים, הבנת עומק של הדאטה ובחינתו יחד עם data Scientists, וכן עיצוב ופיתוח של תהליכי דאטה קריטיים בסביבות ענן וon-prem.
דרישות:
ניסיון של לפחות 3 שנים כ data engineer - חובה
ניסיון של 3 שנים עם Python בדגש על עבודה עם קבצי json ועבודה מול בסיסי נתונים חובה
ניסיון מעשי של שנתיים לפחות ב AWS חובה
עבודה מול קבצי טקסט למטרות AI ו LLM יתרון משמעותי
ניסיון מעשי עם Spark עבור Large scale data -יתרון משמעותי
הבנות של טכניקות של אופטימיזציה ועבודה עם partitions של סוגים שונים של דאטה כמו parquet, Avro, hdfs, delta lake
ניסיון בתפיסה ועבודה עם docker, Linux, CI/CD tools, Kubernetes
הכרות עם פתרונות GenAI / prompt engineering יתרון משמעותי המשרה מיועדת לנשים ולגברים כאחד.