השתלבות בצוות פרויקטים בתחום ה-AI, אחריות על קליטה, עיבוד ובחינה של כמויות גדולות של נתונים, בשיתוף פעולה עם data Scientists. פיתוח תהליכי דאטה קריטיים ומורכבים בסביבות ענן ובסביבות on-premise.
דרישות:
*לפחות 3 שנות ניסיון כData Engineer
*לפחות 3 שנות ניסיון בשפות תכנות מונחות עצמים (OOP)
*לפחות 3 שנות ניסיון עם Python
*ניסיון מעשי עם Spark לעבודה עם נתונים בהיקפים גדולים
*ניסיון עם Docker, Linux, Kubernetes וכלי CI/CD
*ניסיון עם כלי data Pipelines כגון Airflow או Kubeflow
*תואר ראשון במדעי המחשב / הנדסה / מתמטיקה / סטטיסטיקה
*הבנה של עקרונות Machine Learning
*ניסיון בעיצוב, פיתוח ואופטימיזציה של תהליכים להעברת ועיבוד נתונים בהיקפים גדולים
*היכרות עם פורמטים וטכניקות partitions: Parquet, Avro, HDF5, Delta Lake
יתרונות:
*לפחות שנתיים ניסיון עם AWS כולל Athena, Glue, StepFunction, EMR, Redshift, RDS
*היכרות עם פתרונות GenAI וPrompt Engineering המשרה מיועדת לנשים ולגברים כאחד.