דרוש data engineer להשתלבות בעבודת הצוות ופרויקטים בתחום ה AI.
התפקיד כולל אחריות לקליטה של כמויות גדולות של נתונים חדשים ולאחר מכן להבנה מעמיקה ובחינה של נתונים בשיתוף פעולה הדוק עם data Scientist.
עיצוב ופיתוח של תהליכי דאטה קריטיים, מגוונים וגדולים גם בסביבות ענן וגם ב on prem
דרישות:
ניסיון של לפחות 3 שנים כ data engineer - חובה
ניסיון של 3 שנים עם Python בדגש על עבודה עם קבצי json ועבודה מול בסיסי נתונים חובה
ניסיון מעשי של שנתיים לפחות ב AWS עם services של Athena/Glue/StepFunction/EMR/Redshift/RDS חובה
עבודה מול קבצי טקסט למטרות AI ו LLM יתרון משמעותי
ניסיון מעשי עם Spark עבור Large scale data -יתרון משמעותי
עבודה מול שירותי REST API -יתרון משמעותי
הבנות של טכניקות של אופטימיזציה ועבודה עם partitions של סוגים שונים של דאטה כמו parquet, Avro, hdfs, delta lake
ניסיון בתפיסה ועבודה עם docker, Linux, CI/CD tools, Kubernetes
הכרות עם פתרונות GenAI / prompt engineering יתרון משמעותי המשרה מיועדת לנשים ולגברים כאחד.