תיאור המשרה:
ארגון ציבורי באזור ירושלים מגייס Data Engineer
התפקיד כולל: עבודה עם Data Lake ארגוני רחב היקף בסביבת Cloudera, תכנון ופיתוח ארכיטקטורות נתונים, בניית תהליכי ETL/ELT ו-Pipelines לעיבוד נתונים בנפחים גבוהים, עבודה בסביבה מבוזרת, תמיכה בתשתיות Data מתקדמות עבור פתרונות AI ו-ML, שיתוף פעולה עם צוותי דאטה, פיתוח ותשתיות והובלת משימות מקצה לקצה ועוד.
דרישות המשרה:
- 5 שנות ניסיון כ-Data Engineer או בתפקידי Big Data
- ניסיון בעבודה עם Apache Ecosystem ובפרט Spark, Hive ו-Impala
- ניסיון בפיתוח תהליכי ETL/ELT באמצעות Python, Scala או Java
- ניסיון בכתיבת שאילתות SQL מורכבות ואופטימיזציית ביצועים
- ניסיון בעבודה עם ארכיטקטורות נתונים מבוזרות, מידול נתונים ותכנון Data Lake
