דרושים » דאטה » data Engineer

דרוש data engineer להשתלבות בעבודת הצוות ופרויקטים בתחום ה AI.
אחריות לקליטה של כמויות גדולות של נתונים חדשים ולאחר מכן להבנה מעמיקה ובחינה של נתונים בשיתוף פעולה הדוק עם data Scientist. עיצוב ופיתוח של תהליכי דאטה קריטיים, מגוונים וגדולים גם בסביבות ענן וגם ב on prem

קבוצת hms מגייסת data Engineer לצוות הנדסת נתונים בתל אביב

התפקיד כולל תכנון ופיתוח ETL, בנייה ואופטימיזציה של מודלי נתונים וארכיטקטורות אגמי נתונים, יישום תהליכים ב-Apache Airflow, פיתוח פתרונות עיבוד נתונים ב-Apache Spark, עבודה עם AlloyDB ושירותי GCP כולל Datastream ו-Dataproc.

ארגון פיננסי במרכז מגייס מהנדס/ת נתונים למערכות rt ו- Big Data
התפקיד כולל: עבודה עם מערכות ניתוח נתונים בזמן אמת, כתיבת שאילתות מתקדמות ב-Splunk, בניית דשבורדים ואופטימיזציה של ביצועים,אחריות על אינטגרציה וייעול של צינורות נתונים ממערכות שונות, כולל מערכות Event-Driven כמו Kafka, עיבוד מבני נתונים חצי-מובנים XML, JSON, בניית תהליכים אוטומטיים וסקיילביליים, יכולת להבין ולהנגיש נתונים ברמה עסקית גבוהה ועוד.

במסגרת התפקיד:
- פיתוח ב- Python בקבוצה העוסקת בפתרונות דאטה
- עבודה עם מערכות Big Data (Spark/Hadoop)
- ניהול תהליכי ETL ב-AirFlow כולל עיבוד נתונים ממקורות מרובים
- עבודה עם SQL על גבי בסיסי נתונים גדולים
- הסקת מסקנות מתוך ניתוחי נתונים

במסגרת התפקיד:
* תכנון, ארכיטקטורה, יישום ותמיכה בצינורות נתונים וזרימות עיבוד.
* שיתוף פעולה עם מחלקת האנליטיקה לניתוח והבנת מקורות נתונים.
* מתן תובנות והדרכה בנוגע לטכנולוגיות מסדי נתונים ושיטות עבודה מומלצות למידול נתונים.
* שמירה על שלמות הנתונים, ניהול וניתוח זרימות נתונים תוך הקפדה על פרטים ואחריות גבוהה.
* הטמעת אלגוריתמים עם צוות מדעני הנתונים.

החברה פיתחה מנוע סמנטי מבוסס AI לניתוח תוכן דיגיטלי, שמספק הבנה עמוקה של ההקשר שבו מוצגות פרסומות. המוצר מאפשר למותגים, סוכנויות פרסום ומפרסמים לקבל החלטות מדויקות, בטוחות ואפקטיביות יותר על בסיס ניתוח של מיליארדי נקודות data בכל יום. עם טכנולוגיות מבוססות AI ו- NLP להבטחת פרטיות המשתמשים.
החברה ממוקמת באזור השרון, משלבת מודל עבודה היברידי ומונה 80 עובדים גלובלית, 30 מתוכם בארץ.
מהות התפקיד: חלק מצוות הנדסה, עם אחריות ניכרת על ה-Core data Infrastructure של החברה. דיווח ל-Head of RD. פיתוח ותחזוקה של פלטפורמות נתונים מתקדמות בסביבת Lakehouse המשלבות Batch ו-Streaming. תכנון והטמעה של data Pipelines מבוססי Spark, Trino ו-DBT, אופטימיזציית ביצועים של שאילתות על AWS, ניהול data Modeling וסכמות משתנות, והתמודדות עם אתגרים של זמינות, ביצועים ואמינות ב-Scale גבוה. העבודה נעשית בסביבה מבוססת CI/CD תוך שימוש בכלים כמו Git, Airflow, Docker ועוד.

איסוף, ניתוח ועיבוד של נתונים פיננסיים והתנהגותיים לצורך הבנה, מדידה וניהול של האשראי.
פיתוח ויישום מודלים סטטיסטיים ואלגוריתמים מתקדמים לניבוי סיכון, דירוג אשראי, סיווג לקוחות וזיהוי מגמות חריגות.
ביצוע ניתוחים אנליטיים לצורך תמיכה בהחלטות עסקיות, רגולטוריות וניהול סיכונים.
עבודה עם מאגרי נתונים גדולים ( Big Data ), תוך שימוש בכלי BI, SQL ושפות תכנות רלוונטיות (כגון Python / R).
בדיקות תקופתיות לבחינת ביצועי המודלים (Model Monitoring Validation) ושיפורם בהתאם לצורך.
משרה היברידית- יום 1 מהבית
מיקום- לוד

לחברת ביטוח מובילה במרכז דרוש/ה להובלת תהליכים מבוססי נתונים וטכנולוגיה מתקדמת, לטובת שיפור תהליכים וחדשנות אמיתית בעולם הביטוח האלמנטרי.
א-ה משרה מלאה
תחומי אחריות:
פיתוח והטמעה של מודלים מתקדמים מבוססי Machine Learning ו-AI לטובת:
ניתוח מעמיק של נתונים מגוונים: מכירות, תביעות, פרמיות, פרודוקציה, ניהול סיכונים, רווחיות ועוד
בניית סימולציות לתמחור תעריפי ותנאי הביטוח
פיתוח פתרונות חכמים לתהליכים עסקיים בכלל מחלקות החברה
יצירת לוחות מחוונים ודוחות עבור הנהלת החברה לצורך פיקוח, בקרה וקבלת החלטות
מעקב שוטף אחרי ביצועי המודלים, תיקופים ואופטימיזציה של תוצאות.

עיצוב ופיתוח פלטפורמות נתונים המבוססות על Elasticsearch, Databricks ו-Kafka
בנייה ותחזוקה של צינורות נתונים יעילים, אמינים וניתנים להרחבה
שיתוף פעולה עם צוותים רב-תחומיים כדי לזהות דרישות נתונים ולעצב פתרונות שעונים על דרישות אלו
כתיבה של קוד יעיל וממוטב שיכול להתמודד עם כמויות גדולות של נתונים
יישום בדיקות איכות נתונים להבטחת דיוק ושלמות הנתונים
פתרון בעיות בצינורות הנתונים באופן מהיר ויעיל