Apache Spark یک موتور چند زبانه به منظور اجرای مهندسی داده، علم داده و یادگیری ماشین در یک یا چند گره کلاستر شده است. سامانهی مانیتورینگ معین قابلیت مانیتورینگ این ابزار تحلیل داده را در هر دو حالت کاری مستقل و کلاستر شده دارد. شاخصهای مرتبط با Master ، Workerها، Executorها در Workerها، شاخصهای JVM مانند حافظهی Heap و نیز garbage Collectorها، و RDD جمعآوری و ارائه میشود. در ادامه لیست شاخصهای کارایی Apache Spark ارائه شده است:
اطلاعات کلی:
شاخصهای گره Master:
- تعداد هستههای استفاده شدهی Master
- حافظهی استفاده شدهی Master
- تعداد برنامههای خاتمه یافته
- درصد حافظهی استفاده شدهی Master
- درصد هستههای استفاده شده در Master
- تعداد Driverهای خاتمه یافته
شاخصهای Workerها:
- تعداد هستههای استفاده شدهی Worker
- تعداد هستههای آزاد Worker
- حافظهی استفاده شدهی Worker
- زمان سپری شده از آخرین Heartbeat
- درصد حافظهی استفاده شدهی Worker
- درصد هستههای استفاده شده در Worker
شاخصهای برنامهها:
- تعداد هستههای اختصاص یافته به برنامه
شاخصهای Workerها:
- تعداد هستههای استفاده شدهی Worker
- حافظهی استفاده شدهی Worker
- درصد حافظهی استفاده شدهی Worker
- درصد هستههای استفاده شده در Worker
- تعداد کل Executorهای در حال اجرا
- تعداد کل Executorهای خاتمه یافته
شاخصهای Executorها در Worker:
- شناسهی برنامهی Executor
- تعداد هستههای برنامهی Executor
- نام کاربر برنامهی Executor
- مقدار حافظهی برنامه در گره Worker
شاخصهای حافظه
حافظهی Heap و NonHeap:
- حافظهی Committed Non-Heap
- حافظهی Non-Heap استفاده شده
- درصد استفاده از حافظهی Heap
- درصد استفاده از حافظهی Non-Heap
شاخصهای Memory Poolها:
- حافظهی Commit شدهی مخزن حافظه
- حافظهی اولیهی مخزن حافظه
- حداکثر حافظهی مخزن حافظه
- حافظهی استفاده شدهی مخزن حافظه
- درصد استفاده از مخزن حافظه
شاخصهای Garbage Collection:
- تعداد Garbage Collectionها در یک دورهی گذشته
- زمان Garbage Collectionها در یک دورهی گذشته
- متوسط زمان Garbage Collectionها
شاخصهای RDD:
- تعداد فایلهای خوانده شده از Cache
- تعداد فراخوانیهای ارسال شده به Hive
- تعداد Jobهای Hive اجرا شده به صورت موازی
- تعداد پارتیشنهای Fetch شده
- اندازهی کلاسهای ایجاد شده
- اندازهی Methodهای ایجاد شده
- تعداد Methodهای ایجاد شده
پروتکلهای ارتباطی: