ابزار Sparkیک موتور چند زبانه به منظور اجرای مهندسی داده، علم داده و یادگیری ماشین در یک یا چند گره کلاستر شده است. سامانهی مانیتورینگ معین قابلیت مانیتورینگ این ابزار تحلیل داده را در هر دو حالت کاری مستقل و کلاستر شده دارد. شاخصهای مرتبط با Master ، Workerها، Executeها در Workerها، شاخصهای JVM مانند حافظهی Heap و نیز garbage Collectorها، و RDD جمعآوری و ارایه میشود. در ادامه لیست شاخصهای کارایی Apache Spark ارایه شده است:
اطلاعات کلی:
- نام
- آدرس
- شماره پورت
- نقش گره
شاخصهای گره Master:
- آدرس گرهی Master
- تعداد هستههای Master
- تعداد هستههای استفاده شدهی Master
- کل حافظهی Master
- حافظهی استفاده شدهی Master
- تعداد Workerها
- تعداد Workerهای Alive
- تعداد برنامههای فعال
- تعداد برنامههای خاتمه یافته
- وضعیت گره
- درصد حافظهی استفاده شدهی Master
- درصد هستههای استفاده شده در Master
- تعداد Driverهای فعال
- تعداد Driverهای خاتمه یافته
![Spark Master.overview.fa](https://cms.behpaya.com/assets/e21f4261-02ce-4fee-8b4f-878d7d9234f9?width=1920&height=1080)
شاخصهای Workerها:
- شناسه Worker
- آدرس میزبان Worker
- شمارهی پورت Worker
- آدرس وب Worker
- تعداد هستههای Worker
- تعداد هستههای استفاده شدهی Worker
- تعداد هستههای آزاد Worker
- کل حافظهی Worker
- حافظهی استفاده شدهی Worker
- حافظهی آزاد Worker
- زمان سپری شده از آخرین Heartbeat
- وضعیت Worker
- درصد حافظهی استفاده شدهی Worker
- درصد هستههای استفاده شده در Worker
![Spark Master.worker.fa](https://cms.behpaya.com/assets/b6258ffc-a6c5-4d1c-9089-88fe6ee9a95e?width=1920&height=1080)
شاخصهای برنامهها:
- شناسه برنامه
- نام برنامه
- نام کاربر برنامه
- زمان شروع برنامه
- زمان ثبت برنامه
- تعداد هستههای اختصاص یافته به برنامه
- مدت زمان اجرای برنامه
- وضعیت برنامه
- وضعیت اجرای برنامه
شاخصهای Workerها:
- شناسه Worker
- آدرس گرهی Master
- آدرس وب سرویس Master
- تعداد هستههای Worker
- تعداد هستههای استفاده شدهی Worker
- کل حافظهی Worker
- حافظهی استفاده شدهی Worker
- درصد حافظهی استفاده شدهی Worker
- درصد هستههای استفاده شده در Worker
- تعداد کل Executorهای در حال اجرا
- تعداد کل Executorهای خاتمه یافته
![Spark Worker.over View.fa](https://cms.behpaya.com/assets/2c935d70-af79-4533-9484-8e61efdb7da0?width=1920&height=1080)
شاخصهای Executorها در Worker:
- شناسهی Executor
- کل حافظهی Executor
- شناسهی برنامهی Executor
- نام برنامهی Executor
- تعداد هستههای برنامهی Executor
- نام کاربر برنامهی Executor
- مقدار حافظهی برنامه در گره Worker
- وضعیت Executor
شاخصهای حافظه
حافظهی Heap و NonHeap:
- حافظهی Committed Heap
- حافظهی Heap اولیه
- حداکثر حافظهی Heap
- حافظهی Heap استفاده شده
- حافظهی Committed Non-Heap
- حافظهی Non-Heap اولیه
- حداکثر حافظهی Non-Heap
- حافظهی Non-Heap استفاده شده
- درصد استفاده از حافظهی Heap
- درصد استفاده از حافظهی Non-Heap
شاخصهای Memory Poolها:
- نام مخزن حافظه
- حافظهی Commit شدهی مخزن حافظه
- حافظهی اولیهی مخزن حافظه
- حداکثر حافظهی مخزن حافظه
- حافظهی استفاده شدهی مخزن حافظه
- درصد استفاده از مخزن حافظه
شاخصهای Garbage Collection:
- تعداد Garbage Collectionها در یک دورهی گذشته
- نرخ Garbage Collection
- زمان Garbage Collectionها در یک دورهی گذشته
- متوسط زمان Garbage Collectionها
- نام GC
![Spark Worker.memory.fa](https://cms.behpaya.com/assets/8f5ee269-e096-44d1-927e-993f6151a3a5?width=1920&height=1080)
شاخصهای RDD:
- تعداد فایلهای خوانده شده از Cache
- تعداد فایلهای کشف شده
- تعداد فراخوانیهای ارسال شده به Hive
- تعداد Jobهای Hive اجرا شده به صورت موازی
- تعداد پارتیشنهای Fetch شده
- میانگین زمان Compilation
- دفعات Compilation
- اندازهی کلاسهای ایجاد شده
- تعداد کلاسهای ایجاد شده
- اندازهی Methodهای ایجاد شده
- تعداد Methodهای ایجاد شده
- اندازهی Source Codeها
- تعداد Source Codeها
![Spark Worker.kpi2.fa](https://cms.behpaya.com/assets/ec565654-709b-4696-b55c-21a35d54d0c9?width=1920&height=1080)
پروتکلهای ارتباطی: