/Apache Hadoop HDFS
مانیتورینگ Apache Hadoop HDFS
HDFS یک فایل سیستم توزیع شده متن باز است که به منظور مدیریت دادههای عظیم به صورت توزیع شده در سختافزارهای ارزان با تعداد بالا توسعه یافته است. در معماری HDFS دو نوع گره با نامهای NameNode و DataNode وجود دارد که نوع اول وظیفه مدیریت توزیع دادهها و دیگری وظیفه نگهداری دادهها و تبادل آنها با کلاینتها را بر عهده دارد. در سامانه مانیتورینگ معین امکان مانیتورینگ کلاستر HDFS با مانیتورینگ هر دو نوع گره وجود دارد که در ادامه شاخصهای هر یک به تفکیک ارائه میشود.
شاخصها و پارامترهای مانیتور شده Namenode توسط معین عبارتند از:
شاخصهای کلی NameNode:
- تعداد فایلهای ایجاد شده
- تعداد فایلها و پوشههای ایجاد شده
- تعداد فایلهای Append شده
- تعداد عملیات GetBlockLocations
- تعداد عملیات Rename
- تعداد عملیات Directory Listing
- تعداد عملیات پاک کردن
- تعداد فایلها و پوشههای پاک شده
- تعداد عملیات دریافت اطلاعات فایل
- تعداد عملیات AddBlock
- تعداد عملیات GetAdditionalDatanode
- تعداد عملیات CreateSymlink
- تعداد عملیات GetLinkTarget
- تعداد فایلها و پوشههای لیست شده با عملیات Listing
- تعداد پردازشهای گزارشات Blockها
- تعداد تراکنشهای Journal
- متوسط زمان تراکنشهای Journal
- تعداد Journal Syncها
- متوسط زمان Journal Syncها
- تعداد تراکنشهای Batch در Sync
- مدت زمان Safe Mode
- مدت زمان بارگذاری FSImage
- تعداد Editهای دریافتی از Namenode ثانویه
- متوسط زمان دریافت Editها
- تعداد FSImageهای دریافتی از گرههای ثانویه
- متوسط زمان دریافت FSImage
- تعداد آپلودهای FSImage در گره ثانویه
- متوسط زمان آپلود FSImage در گره ثانویه
شاخصهای کلاستر:
- ظرفیت کل پیکربندی شده
- ظرفیت DFS استفاده شده
- ظرفیت DFS آزاد
- تعداد ارتباطات جاری
- تعداد بلوکهای موجود تخصیصیافته در سیستم
- تعداد فایلها و پوشههای موجود
- تعداد بلوکهای Pend شده برای Replication
- تعداد بلوکهای در حال Replication
- تعداد بلوکهای زمانبندی شده برای Replication
- وضعیت FS
- تعداد Datanodeهای زنده
- تعداد Datanodeهای خاموش
شاخصهای DataNodeهای تحت مدیریت NameNode:
- درصد ظرفیت DFS استفاده شده
- درصد ظرفیت DFS آزاد از کل دیسک
- ظرفیت استفاده شده غیر DFS
- شناسهی کلاستر
- شناسهی مخزن بلوکها
- نسخه
- فضای استفاده از مخزن بلوکها
- درصد استفاده از مخزن بلوکها
- تعداد کل بلوکها
- تعداد کل فایلها
- تعداد بلوکهای خراب
اطلاعات گرههای زنده (Live):
- نام Datanode
- تعداد بلوکها
- ظرفیت DFS استفاده شده
- وضعیت سرویس
- ظرفیت استفاده شده غیر DFS
- آخرین زمان بهروزرسانی
- ظرفیت کل Datanode
- درصد ظرفیت DFS استفاده شده
- درصد ظرفیت DFS آزاد از کل دیسک
اطلاعات گرههای Dead:
- نام Datanode
- آیا DeCommissioned شده؟
- زمان خاموشی
مانیتورینگ NameNode به تنهایی برای مانیتورینگ کلاستر کافی است اما چنانچه مانیتورینگ DataNodeها به صورت مجزا مورد نظر باشد شاخصهای زیر به ازای هر DataNode توسط معین ارائه میشود:
پارامترهای کلی DataNode:
- تعداد ارتباطات فعال با Datanode
- نسخه
- شناسهی کلاستر
- آدرس NameNode
- ظرفیت آزاد DFS
- ظرفیت استفاده شده DFS
- درصد ظرفیت استفاده شده DFS
شاخصهای کارایی DataNode:
- تعداد بایتهای نوشته شده در Datanode
- تعداد بایتهای خوانده شده از Datanode
- نرخ نوشتن داده در Datanode
- نرخ خواندن داده از Datanode
- تعداد بلوکهای نوشته شده در Datanode
- تعداد بلوکهای خوانده شده از Datanode
- تعداد بلوکهای Replicate شده
- تعداد بلوکهای حذف شده
- تعداد بلوکهای تایید شده
- تعداد بلوکهای تایید نشده
- تعداد عملیات خواندن توسط Clientهای محلی
- تعداد عملیات خواندن توسط Clientهای Remote
- تعداد عملیات نوشتن توسط Clientهای محلی
- تعداد عملیات نوشتن توسط Clientهای Remote
- تعداد عملیات دریافت اطلاعات محلی بلوکها
- تعداد Fsyncها
- تعداد خطاهای Volume
- تعداد عملیات خواندن بلوکها
- متوسط زمان خواندن بلوک
- تعداد عملیات نوشتن بلوکها
- متوسط زمان نوشتن بلوکها
- تعداد عملیات Checksum بلوکها
- متوسط زمان عملیات Checksum
- تعداد عملیات کپی بلوکها
- متوسط زمان عملیات کپی بلوکها
- تعداد عملیات جایگزینی بلوکها
- متوسط زمان عملیات جایگزینی بلوکها
- تعداد عملیات Heartbeat
- متوسط زمان عملیات Heartbeat
- تعداد عملیات گزارش بلوکها
- متوسط زمان عملیات گزارش بلوکها
- تعداد عملیات ACK RTT
- متوسط زمان عملیات ACK RTT
- تعداد عملیات Flush
- متوسط زمان عملیات Flush
- تعداد عملیات Fsync Nanos
- متوسط زمان عملیات Fsync Nanos
- تعداد عملیات ارسال بسته
- متوسط زمان عملیات ارسال بسته
شاخصهای JVM:
HDFS با زبان جاوا توسعه یافته است و برای اجرا نیاز به JVM دارد. جزئیات شاخصهای JVM در بخش محیطهای اجرا ارائه شده است.
پروتکلهای ارتباطی:
- REST
- JMX