דרושים » דאטה » Senior data Engineer לחברת סייבר מובילה!

במסגרת התפקיד:
- פיתוח ב- Python בקבוצה העוסקת בפתרונות דאטה
- עבודה עם מערכות Big Data (Spark/Hadoop)
- ניהול תהליכי ETL ב-AirFlow כולל עיבוד נתונים ממקורות מרובים
- עבודה עם SQL על גבי בסיסי נתונים גדולים
- הסקת מסקנות מתוך ניתוחי נתונים

עיצוב ופיתוח פלטפורמות נתונים המבוססות על Elasticsearch, Databricks ו-Kafka
בנייה ותחזוקה של צינורות נתונים יעילים, אמינים וניתנים להרחבה
שיתוף פעולה עם צוותים רב-תחומיים כדי לזהות דרישות נתונים ולעצב פתרונות שעונים על דרישות אלו
כתיבה של קוד יעיל וממוטב שיכול להתמודד עם כמויות גדולות של נתונים
יישום בדיקות איכות נתונים להבטחת דיוק ושלמות הנתונים
פתרון בעיות בצינורות הנתונים באופן מהיר ויעיל

ארגון פיננסי במרכז מגייס מהנדס/ת נתונים למערכות rt ו- Big Data
התפקיד כולל: עבודה עם מערכות ניתוח נתונים בזמן אמת, כתיבת שאילתות מתקדמות ב-Splunk, בניית דשבורדים ואופטימיזציה של ביצועים,אחריות על אינטגרציה וייעול של צינורות נתונים ממערכות שונות, כולל מערכות Event-Driven כמו Kafka, עיבוד מבני נתונים חצי-מובנים XML, JSON, בניית תהליכים אוטומטיים וסקיילביליים, יכולת להבין ולהנגיש נתונים ברמה עסקית גבוהה ועוד.

החברה פיתחה מנוע סמנטי מבוסס AI לניתוח תוכן דיגיטלי, שמספק הבנה עמוקה של ההקשר שבו מוצגות פרסומות. המוצר מאפשר למותגים, סוכנויות פרסום ומפרסמים לקבל החלטות מדויקות, בטוחות ואפקטיביות יותר על בסיס ניתוח של מיליארדי נקודות data בכל יום. עם טכנולוגיות מבוססות AI ו- NLP להבטחת פרטיות המשתמשים.
החברה ממוקמת באזור השרון, משלבת מודל עבודה היברידי ומונה 80 עובדים גלובלית, 30 מתוכם בארץ.
מהות התפקיד: חלק מצוות הנדסה, עם אחריות ניכרת על ה-Core data Infrastructure של החברה. דיווח ל-Head of RD. פיתוח ותחזוקה של פלטפורמות נתונים מתקדמות בסביבת Lakehouse המשלבות Batch ו-Streaming. תכנון והטמעה של data Pipelines מבוססי Spark, Trino ו-DBT, אופטימיזציית ביצועים של שאילתות על AWS, ניהול data Modeling וסכמות משתנות, והתמודדות עם אתגרים של זמינות, ביצועים ואמינות ב-Scale גבוה. העבודה נעשית בסביבה מבוססת CI/CD תוך שימוש בכלים כמו Git, Airflow, Docker ועוד.

דרוש data engineer להשתלבות בעבודת הצוות ופרויקטים בתחום ה AI.
אחריות לקליטה של כמויות גדולות של נתונים חדשים ולאחר מכן להבנה מעמיקה ובחינה של נתונים בשיתוף פעולה הדוק עם data Scientist. עיצוב ופיתוח של תהליכי דאטה קריטיים, מגוונים וגדולים גם בסביבות ענן וגם ב on prem

קבוצת hms מגייסת data Engineer לצוות הנדסת נתונים בתל אביב

התפקיד כולל תכנון ופיתוח ETL, בנייה ואופטימיזציה של מודלי נתונים וארכיטקטורות אגמי נתונים, יישום תהליכים ב-Apache Airflow, פיתוח פתרונות עיבוד נתונים ב-Apache Spark, עבודה עם AlloyDB ושירותי GCP כולל Datastream ו-Dataproc.

איסוף, ניתוח ועיבוד של נתונים פיננסיים והתנהגותיים לצורך הבנה, מדידה וניהול של האשראי.
פיתוח ויישום מודלים סטטיסטיים ואלגוריתמים מתקדמים לניבוי סיכון, דירוג אשראי, סיווג לקוחות וזיהוי מגמות חריגות.
ביצוע ניתוחים אנליטיים לצורך תמיכה בהחלטות עסקיות, רגולטוריות וניהול סיכונים.
עבודה עם מאגרי נתונים גדולים ( Big Data ), תוך שימוש בכלי BI, SQL ושפות תכנות רלוונטיות (כגון Python / R).
בדיקות תקופתיות לבחינת ביצועי המודלים (Model Monitoring Validation) ושיפורם בהתאם לצורך.
משרה היברידית- יום 1 מהבית
מיקום- לוד

לחברת הייטק חזקה מאוד במרכז הארץ דרוש/ה Senior Python backend Developer
בעל/ת ניסיון בטכנולוגיות data.
במסגרת התפקיד: פיתוח backend בדגש לפיתוח Python ונגיעות לפיתוח GO, עבודה
בטכנולוגיות דאטה כגון Spark Hive Kafka, עבודה שמשלבת שימוש ב-Kubernetes AWS וכן
עבודה מרובה מול בסיסי נתונים

בנייה ואופטימיזציה של שאילתות Splunk ותהליכי Ingestion
עבודה עם Kafka, APIs לוגים ומקורות נוספים
העשרת נתונים בזמן אמת והקמת מערך התראות
שיתוף פעולה עם צוותי Dev, DevOps ומוניטורינג