Enlanguage icon
×
محصولات
خدمات
منابع
درباره ما
Apache SparkApache Spark
Apache SparkApache Spark
ابزارهای تحلیل داده
KibanaNiFiApache SparkApache Hadoop HDFSApache Hadoop Yarn

مانیتورینگ Apache Spark

Apache Spark یک موتور چند زبانه به منظور اجرای مهندسی داده، علم داده و یادگیری ماشین در یک یا چند گره کلاستر شده است. سامانه‌ی مانیتورینگ معین قابلیت مانیتورینگ این ابزار تحلیل داده را در هر دو حالت کاری مستقل و کلاستر شده دارد. شاخص‌های مرتبط با Master ، Workerها، Executorها در Workerها، شاخص‌های JVM مانند حافظه‌ی Heap و نیز garbage Collectorها، و RDD جمع‌آوری و ارائه می‌شود. در ادامه لیست شاخص‌های کارایی Apache Spark ارائه شده است:

اطلاعات کلی:

  • نام
  • آدرس
  • شماره پورت
  • نقش گره

شاخص‌های گره Master:

  • آدرس گره‌ی Master
  • تعداد هسته‌های Master
  • تعداد هسته‌های استفاده شده‌ی Master
  • کل حافظه‌ی Master
  • حافظه‌ی استفاده شده‌ی Master
  • تعداد Workerها
  • تعداد Workerهای Alive
  • تعداد برنامه‌های فعال
  • تعداد برنامه‌های خاتمه یافته
  • وضعیت گره
  • درصد حافظه‌ی استفاده شده‌ی Master
  • درصد هسته‌های استفاده شده در Master
  • تعداد Driverهای فعال
  • تعداد Driverهای خاتمه یافته
نرم افزار مانیتورینگ Apache Spark

شاخص‌های Workerها:

  • شناسه Worker
  • آدرس میزبان Worker
  • شماره‌ی پورت Worker
  • آدرس وب Worker
  • تعداد هسته‌های Worker
  • تعداد هسته‌های استفاده شده‌ی Worker
  • تعداد هسته‌های آزاد Worker
  • کل حافظه‌ی Worker
  • حافظه‌ی استفاده شده‌ی Worker
  • حافظه‌ی آزاد Worker
  • زمان سپری شده از آخرین Heartbeat
  • وضعیت Worker
  • درصد حافظه‌ی استفاده شده‌ی Worker
  • درصد هسته‌های استفاده شده در Worker
مانیتورینگ Apache Spark worker

شاخص‌های برنامه‌ها:

  • شناسه برنامه
  • نام برنامه
  • نام کاربر برنامه
  • زمان شروع برنامه
  • زمان ثبت برنامه
  • تعداد هسته‌های اختصاص یافته به برنامه
  • مدت زمان اجرای برنامه
  • وضعیت برنامه
  • وضعیت اجرای برنامه

شاخص‌های Workerها:

  • شناسه Worker
  • آدرس گره‌ی Master
  • آدرس وب سرویس Master
  • تعداد هسته‌های Worker
  • تعداد هسته‌های استفاده شده‌ی Worker
  • کل حافظه‌ی Worker
  • حافظه‌ی استفاده شده‌ی Worker
  • درصد حافظه‌ی استفاده شده‌ی Worker
  • درصد هسته‌های استفاده شده در Worker
  • تعداد کل Executorهای در حال اجرا
  • تعداد کل Executorهای خاتمه یافته
مانیتورینگ Spark Worker View

شاخص‌های Executorها در Worker:

  • شناسه‌ی Executor
  • کل حافظه‌ی Executor
  • شناسه‌ی برنامه‌ی Executor
  • نام برنامه‌ی Executor
  • تعداد هسته‌های برنامه‌ی Executor
  • نام کاربر برنامه‌ی Executor
  • مقدار حافظه‌ی برنامه در گره Worker
  • وضعیت Executor

شاخص‌های حافظه

حافظه‌ی Heap و NonHeap:

  • حافظه‌ی Committed Heap
  • حافظه‌ی Heap اولیه
  • حداکثر حافظه‌ی Heap
  • حافظه‌ی Heap استفاده شده
  • حافظه‌ی Committed Non-Heap
  • حافظه‌ی Non-Heap اولیه
  • حداکثر حافظه‌ی Non-Heap
  • حافظه‌ی Non-Heap استفاده شده
  • درصد استفاده از حافظه‌ی Heap
  • درصد استفاده از حافظه‌ی Non-Heap

شاخص‌های Memory Poolها:

  • نام مخزن حافظه
  • حافظه‌ی Commit شده‌ی مخزن حافظه
  • حافظه‌ی اولیه‌ی مخزن حافظه
  • حداکثر حافظه‌ی مخزن حافظه
  • حافظه‌ی استفاده شده‌ی مخزن حافظه
  • درصد استفاده از مخزن حافظه

شاخص‌های Garbage Collection:

  • تعداد Garbage Collectionها در یک دوره‌ی گذشته
  • نرخ Garbage Collection
  • زمان Garbage Collectionها در یک دوره‌ی گذشته
  • متوسط زمان Garbage Collectionها
  • نام GC
مانیتورینگ Spark Worker memory

شاخص‌های RDD:

  • تعداد فایل‌های خوانده شده از Cache
  • تعداد فایل‌های کشف شده
  • تعداد فراخوانی‌های ارسال شده به Hive
  • تعداد Jobهای Hive اجرا شده به صورت موازی
  • تعداد پارتیشن‌های Fetch شده
  • میانگین زمان Compilation
  • دفعات Compilation
  • اندازه‌ی کلاس‌های ایجاد شده
  • تعداد کلاس‌های ایجاد شده
  • اندازه‌ی Methodهای ایجاد شده
  • تعداد Methodهای ایجاد شده
  • اندازه‌ی Source Codeها
  • تعداد Source Codeها
داشبورد نرم افزار مانیتورینگ Apache Spark

پروتکل‌های ارتباطی:

  • REST
ابزارهای تحلیل داده
KibanaNiFiApache SparkApache Hadoop HDFSApache Hadoop Yarn
تماس با ما
اطلاعات
پشتیبانی
آدرس
تهران، خیابان آزادی، خیابان صادقی (جنب دانشگاه صنعتی شریف)، بن بست دوم، پلاک ۸، طبقه سوم، کد پستی ۱۴۵۸۸۴۶۱۵۵