qa/655.out

   1 QA output created by 655
   2 enabling gfs2 tracepoints
   3 You will need to choose an appropriate configuration for installation of
   4 the "gfs2" Performance Metrics Domain Agent (PMDA).
   5
   6   collector     collect performance statistics on this system
   7   monitor       allow this system to monitor local and/or remote systems
   8   both          collector and monitor configuration for this system
   9
  10 Please enter c(ollector) or m(onitor) or b(oth) [b] Updating the Performance Metrics Name Space (PMNS) ...
  11 Terminate PMDA if already installed ...
  12 [...install files, make output...]
  13 Updating the PMCD control file, and notifying PMCD ...
  14 Check gfs2 metrics have appeared ... 316 metrics and N values
  15 creating pseudo device 1
  16 creating a mount point 1
  17 creating device file 1
  18 creating a mount point 1
  19 mounting pseudo device 1
  20 creating pseudo device 0
  21 creating a mount point 0
  22 creating device file 0
  23 creating a mount point 0
  24 mounting pseudo device 0
  25 enabling gfs2 tracepoints
  26
  27 === Check for successful install of pmda ===
  28
  29 === Check gfs2 metrics for all filesystems ===
  30
  31 gfs2.glstats.total PMID: 115.2.0 [The total number of current glocks]
  32     Data Type: 64-bit unsigned int  InDom: 115.0 0x1cc00000
  33     Semantics: instant  Units: count
  34 Help:
  35 Total count of the number of glocks which currently reside for filesystem on
  36 the given node. Data is based from /sys/kernel/debug/gfs2/<bdev>/glstats
  37 counting the total number of glock entries.
  38     inst [0 or "loopN"] value NUMBER
  39     inst [1 or "loopN"] value NUMBER
  40
  41 gfs2.glstats.trans PMID: 115.2.1 [The number of transaction glocks]
  42     Data Type: 64-bit unsigned int  InDom: 115.0 0x1cc00000
  43     Semantics: instant  Units: count
  44 Help:
  45 The count of the current number of transaction type glocks that currently exist
  46 for the given filesystem. The data is recorded and counted from /sys/kernel/
  47 debug/gfs2/<bdev>glstats file entries for this type of glock.
  48     inst [0 or "loopN"] value NUMBER
  49     inst [1 or "loopN"] value NUMBER
  50
  51 gfs2.glstats.inode PMID: 115.2.2 [The number of inode (metadata and data) glocks]
  52     Data Type: 64-bit unsigned int  InDom: 115.0 0x1cc00000
  53     Semantics: instant  Units: count
  54 Help:
  55 The count of the current number of inode metadata and data type glocks that
  56 currently exist for the given filesystem. The data is recorded and counted from
  57 /sys/kernel/debug/gfs2/<bdev>glstats file entries for this type of glock.
  58     inst [0 or "loopN"] value NUMBER
  59     inst [1 or "loopN"] value NUMBER
  60
  61 gfs2.glstats.rgrp PMID: 115.2.3 [The number of resource group metadata glocks]
  62     Data Type: 64-bit unsigned int  InDom: 115.0 0x1cc00000
  63     Semantics: instant  Units: count
  64 Help:
  65 The count of the current number of resource group metadata type glocks that
  66 currently exist for the given filesystem. The data is recorded and counted from
  67 /sys/kernel/debug/gfs2/<bdev>glstats file entries for this type of glock.
  68     inst [0 or "loopN"] value NUMBER
  69     inst [1 or "loopN"] value NUMBER
  70
  71 gfs2.glstats.meta PMID: 115.2.4 [The number of superblock glocks]
  72     Data Type: 64-bit unsigned int  InDom: 115.0 0x1cc00000
  73     Semantics: instant  Units: count
  74 Help:
  75 The count of the current number of superblock type glocks that currently exist
  76 for the given filesystem. The data is recorded and counted from /sys/kernel/
  77 debug/gfs2/<bdev>glstats file entries for this type of glock.
  78     inst [0 or "loopN"] value NUMBER
  79     inst [1 or "loopN"] value NUMBER
  80
  81 gfs2.glstats.iopen PMID: 115.2.5 [The number of inode last closer detection glocks]
  82     Data Type: 64-bit unsigned int  InDom: 115.0 0x1cc00000
  83     Semantics: instant  Units: count
  84 Help:
  85 The count of the current number of inode last closer detection type glocks that
  86 currently exist for the given filesystem. The data is recorded and counted from
  87 /sys/kernel/debug/gfs2/<bdev>glstats file entries for this type of glock.
  88     inst [0 or "loopN"] value NUMBER
  89     inst [1 or "loopN"] value NUMBER
  90
  91 gfs2.glstats.flock PMID: 115.2.6 [The number of flock(2) syscall glocks]
  92     Data Type: 64-bit unsigned int  InDom: 115.0 0x1cc00000
  93     Semantics: instant  Units: count
  94 Help:
  95 The count of the current number of flock(2) syscall type glocks that currently
  96 exist for the given filesystem. The data is recorded and counted from /sys/
  97 kernel/debug/gfs2/<bdev>glstats file entries for this type of glock.
  98     inst [0 or "loopN"] value NUMBER
  99     inst [1 or "loopN"] value NUMBER
 100
 101 gfs2.glstats.quota PMID: 115.2.8 [The number of quota operations glocks]
 102     Data Type: 64-bit unsigned int  InDom: 115.0 0x1cc00000
 103     Semantics: instant  Units: count
 104 Help:
 105 The count of the current number of quota operations type glocks that currently
 106 exist for the given filesystem. The data is recorded and counted from /sys/
 107 kernel/debug/gfs2/<bdev>glstats file entries for this type of glock.
 108     inst [0 or "loopN"] value NUMBER
 109     inst [1 or "loopN"] value NUMBER
 110
 111 gfs2.glstats.journal PMID: 115.2.9 [The number of journal mutex glocks]
 112     Data Type: 64-bit unsigned int  InDom: 115.0 0x1cc00000
 113     Semantics: instant  Units: count
 114 Help:
 115 The count of the current number of journal mutex type glocks that currently
 116 exist for the given filesystem. The data is recorded and counted from /sys/
 117 kernel/debug/gfs2/<bdev>glstats file entries for this type of glock.
 118     inst [0 or "loopN"] value NUMBER
 119     inst [1 or "loopN"] value NUMBER
 120
 121 === Check gfs2 metrics for all filesystems ===
 122
 123 gfs2.tracepoints.glock_state_change.total PMID: 115.3.0 [Total number of glock state]
 124     Data Type: 64-bit unsigned int  InDom: 115.0 0x1cc00000
 125     Semantics: instant  Units: count
 126 Help:
 127 changes. The total number of counted glock state changes.
 128     inst [0 or "loopN"] value NUMBER
 129     inst [1 or "loopN"] value NUMBER
 130
 131 gfs2.tracepoints.glock_state_change.null_lock PMID: 115.3.1 [Number of null_lock state]
 132     Data Type: 64-bit unsigned int  InDom: 115.0 0x1cc00000
 133     Semantics: instant  Units: count
 134 Help:
 135 changes. The total number of glock state changes to the null_lock state.
 136     inst [0 or "loopN"] value NUMBER
 137     inst [1 or "loopN"] value NUMBER
 138
 139 gfs2.tracepoints.glock_state_change.concurrent_read PMID: 115.3.2 [Number of]
 140     Data Type: 64-bit unsigned int  InDom: 115.0 0x1cc00000
 141     Semantics: instant  Units: count
 142 Help:
 143 concurrent_read state changes. The total number of glock state changes
 144 to current_read state.
 145     inst [0 or "loopN"] value NUMBER
 146     inst [1 or "loopN"] value NUMBER
 147
 148 gfs2.tracepoints.glock_state_change.concurrent_write PMID: 115.3.3 [Number of ]
 149     Data Type: 64-bit unsigned int  InDom: 115.0 0x1cc00000
 150     Semantics: instant  Units: count
 151 Help:
 152 concurrent_write state changes. The total number of glock state changes
 153 to current_write state.
 154     inst [0 or "loopN"] value NUMBER
 155     inst [1 or "loopN"] value NUMBER
 156
 157 gfs2.tracepoints.glock_state_change.protected_read PMID: 115.3.4 [Number of ]
 158     Data Type: 64-bit unsigned int  InDom: 115.0 0x1cc00000
 159     Semantics: instant  Units: count
 160 Help:
 161 protected_read state changes. The total number of glock state changes to
 162 protected_read state.
 163     inst [0 or "loopN"] value NUMBER
 164     inst [1 or "loopN"] value NUMBER
 165
 166 gfs2.tracepoints.glock_state_change.protected_write PMID: 115.3.5 [Number of]
 167     Data Type: 64-bit unsigned int  InDom: 115.0 0x1cc00000
 168     Semantics: instant  Units: count
 169 Help:
 170 protected_write state changes. The total number of glock state changes to
 171 protected_write state.
 172     inst [0 or "loopN"] value NUMBER
 173     inst [1 or "loopN"] value NUMBER
 174
 175 gfs2.tracepoints.glock_state_change.exclusive PMID: 115.3.6 [Number of exclusive state]
 176     Data Type: 64-bit unsigned int  InDom: 115.0 0x1cc00000
 177     Semantics: instant  Units: count
 178 Help:
 179 changes. The total number of glock state changes to exclusive state.
 180     inst [0 or "loopN"] value NUMBER
 181     inst [1 or "loopN"] value NUMBER
 182
 183 gfs2.tracepoints.glock_state_change.glocks.changed_target PMID: 115.3.7 [Number of]
 184     Data Type: 64-bit unsigned int  InDom: 115.0 0x1cc00000
 185     Semantics: instant  Units: count
 186 Help:
 187 changed locks. The number of state changes that achieved their expected
 188 state change.
 189     inst [0 or "loopN"] value NUMBER
 190     inst [1 or "loopN"] value NUMBER
 191
 192 gfs2.tracepoints.glock_state_change.glocks.missed_target PMID: 115.3.8 [Number of ]
 193     Data Type: 64-bit unsigned int  InDom: 115.0 0x1cc00000
 194     Semantics: instant  Units: count
 195 Help:
 196 missed locks. The number of state changes that did not achieve their
 197 expected state change.
 198     inst [0 or "loopN"] value NUMBER
 199     inst [1 or "loopN"] value NUMBER
 200
 201 gfs2.tracepoints.glock_put.total PMID: 115.3.9 [Total number of glocks changed.]
 202     Data Type: 64-bit unsigned int  InDom: 115.0 0x1cc00000
 203     Semantics: instant  Units: count
 204 Help:
 205 The total number of glocks that have been changed.
 206     inst [0 or "loopN"] value NUMBER
 207     inst [1 or "loopN"] value NUMBER
 208
 209 gfs2.tracepoints.glock_put.null_lock PMID: 115.3.10 [Number of released locks.]
 210     Data Type: 64-bit unsigned int  InDom: 115.0 0x1cc00000
 211     Semantics: instant  Units: count
 212 Help:
 213 The number of glocks put into the null_lock state.
 214     inst [0 or "loopN"] value NUMBER
 215     inst [1 or "loopN"] value NUMBER
 216
 217 gfs2.tracepoints.glock_put.concurrent_read PMID: 115.3.11 [Number of glocks put]
 218     Data Type: 64-bit unsigned int  InDom: 115.0 0x1cc00000
 219     Semantics: instant  Units: count
 220 Help:
 221 in concurrent_read. The number of glocks put into the concurrent_read
 222 state.
 223     inst [0 or "loopN"] value NUMBER
 224     inst [1 or "loopN"] value NUMBER
 225
 226 gfs2.tracepoints.glock_put.concurrent_write PMID: 115.3.12 [Number of glocks put]
 227     Data Type: 64-bit unsigned int  InDom: 115.0 0x1cc00000
 228     Semantics: instant  Units: count
 229 Help:
 230 in concurrent_write. The number of glocks put into the concurrent_write
 231 state.
 232     inst [0 or "loopN"] value NUMBER
 233     inst [1 or "loopN"] value NUMBER
 234
 235 gfs2.tracepoints.glock_put.protected_read PMID: 115.3.13 [Number of glocks put]
 236     Data Type: 64-bit unsigned int  InDom: 115.0 0x1cc00000
 237     Semantics: instant  Units: count
 238 Help:
 239 in protected_read. The number of glocks put into the protected_read
 240 state.
 241     inst [0 or "loopN"] value NUMBER
 242     inst [1 or "loopN"] value NUMBER
 243
 244 gfs2.tracepoints.glock_put.protected_write PMID: 115.3.14 [Number of glocks put]
 245     Data Type: 64-bit unsigned int  InDom: 115.0 0x1cc00000
 246     Semantics: instant  Units: count
 247 Help:
 248 in protected_wirte. The number of glocks put into the protected_write
 249 state.
 250     inst [0 or "loopN"] value NUMBER
 251     inst [1 or "loopN"] value NUMBER
 252
 253 gfs2.tracepoints.glock_put.exclusive PMID: 115.3.15 [Number of glocks put]
 254     Data Type: 64-bit unsigned int  InDom: 115.0 0x1cc00000
 255     Semantics: instant  Units: count
 256 Help:
 257 in exclusive. The number of glocks put into the exclusive
 258 state.
 259     inst [0 or "loopN"] value NUMBER
 260     inst [1 or "loopN"] value NUMBER
 261
 262 gfs2.tracepoints.demote_rq.total PMID: 115.3.16 [Total number of lock demote requests.]
 263     Data Type: 64-bit unsigned int  InDom: 115.0 0x1cc00000
 264     Semantics: instant  Units: count
 265 Help:
 266 The total number of lock demotion requests.
 267     inst [0 or "loopN"] value NUMBER
 268     inst [1 or "loopN"] value NUMBER
 269
 270 gfs2.tracepoints.demote_rq.null_lock PMID: 115.3.17 [Number of lock demote requests to]
 271     Data Type: 64-bit unsigned int  InDom: 115.0 0x1cc00000
 272     Semantics: instant  Units: count
 273 Help:
 274 null_lock. The total number of lock demotion requests to the null_lock state.
 275     inst [0 or "loopN"] value NUMBER
 276     inst [1 or "loopN"] value NUMBER
 277
 278 gfs2.tracepoints.demote_rq.concurrent_read PMID: 115.3.18 [Number of lock demote requests to]
 279     Data Type: 64-bit unsigned int  InDom: 115.0 0x1cc00000
 280     Semantics: instant  Units: count
 281 Help:
 282 concurrent_read. The total number of lock demotion requests to the
 283 concurrent_read state.
 284     inst [0 or "loopN"] value NUMBER
 285     inst [1 or "loopN"] value NUMBER
 286
 287 gfs2.tracepoints.demote_rq.concurrent_write PMID: 115.3.19 [Number of lock demote requests to]
 288     Data Type: 64-bit unsigned int  InDom: 115.0 0x1cc00000
 289     Semantics: instant  Units: count
 290 Help:
 291 concurrent_write. The total number of lock demotion requests to the
 292 concurrent_write state.
 293     inst [0 or "loopN"] value NUMBER
 294     inst [1 or "loopN"] value NUMBER
 295
 296 gfs2.tracepoints.demote_rq.protected_read PMID: 115.3.20 [Number of lock demote requests to]
 297     Data Type: 64-bit unsigned int  InDom: 115.0 0x1cc00000
 298     Semantics: instant  Units: count
 299 Help:
 300 protected_read. The total number of lock demotion requests to the
 301 protected_read state.
 302     inst [0 or "loopN"] value NUMBER
 303     inst [1 or "loopN"] value NUMBER
 304
 305 gfs2.tracepoints.demote_rq.protected_write PMID: 115.3.21 [Number of lock demote requests to]
 306     Data Type: 64-bit unsigned int  InDom: 115.0 0x1cc00000
 307     Semantics: instant  Units: count
 308 Help:
 309 protected_write. The total number of lock demotion requests to the
 310 protected_write state.
 311     inst [0 or "loopN"] value NUMBER
 312     inst [1 or "loopN"] value NUMBER
 313
 314 gfs2.tracepoints.demote_rq.exclusive PMID: 115.3.22 [Number of lock demote requests to]
 315     Data Type: 64-bit unsigned int  InDom: 115.0 0x1cc00000
 316     Semantics: instant  Units: count
 317 Help:
 318 exclusive. The total number of lock demotion requests to the
 319 exclusive state.
 320     inst [0 or "loopN"] value NUMBER
 321     inst [1 or "loopN"] value NUMBER
 322
 323 gfs2.tracepoints.demote_rq.requested.remote PMID: 115.3.23 [Number of demote requests (remote).]
 324     Data Type: 64-bit unsigned int  InDom: 115.0 0x1cc00000
 325     Semantics: instant  Units: count
 326 Help:
 327 The total number of demote requests which were requested by a remote node of
 328 the cluster.
 329     inst [0 or "loopN"] value NUMBER
 330     inst [1 or "loopN"] value NUMBER
 331
 332 gfs2.tracepoints.demote_rq.requested.local PMID: 115.3.24 [Number of demote requests (local).]
 333     Data Type: 64-bit unsigned int  InDom: 115.0 0x1cc00000
 334     Semantics: instant  Units: count
 335 Help:
 336 The total number of demote requests which were requested by a local node of
 337 the cluster
 338     inst [0 or "loopN"] value NUMBER
 339     inst [1 or "loopN"] value NUMBER
 340
 341 gfs2.tracepoints.promote.total PMID: 115.3.25 [Total number of lock state. The total number]
 342     Data Type: 64-bit unsigned int  InDom: 115.0 0x1cc00000
 343     Semantics: instant  Units: count
 344 Help:
 345 of lock state.
 346     inst [0 or "loopN"] value NUMBER
 347     inst [1 or "loopN"] value NUMBER
 348
 349 gfs2.tracepoints.promote.first.null_lock PMID: 115.3.26 [Number of lock state to null_lock.]
 350     Data Type: 64-bit unsigned int  InDom: 115.0 0x1cc00000
 351     Semantics: instant  Units: count
 352 Help:
 353 The total number of successful first time lock state to the null_lock state.
 354     inst [0 or "loopN"] value NUMBER
 355     inst [1 or "loopN"] value NUMBER
 356
 357 gfs2.tracepoints.promote.first.concurrent_read PMID: 115.3.27 [Number of lock state to ]
 358     Data Type: 64-bit unsigned int  InDom: 115.0 0x1cc00000
 359     Semantics: instant  Units: count
 360 Help:
 361 concurrent_read. The total number of successful first time lock state to the
 362 concurrent_read state.
 363     inst [0 or "loopN"] value NUMBER
 364     inst [1 or "loopN"] value NUMBER
 365
 366 gfs2.tracepoints.promote.first.concurrent_write PMID: 115.3.28 [Number of lock state to ]
 367     Data Type: 64-bit unsigned int  InDom: 115.0 0x1cc00000
 368     Semantics: instant  Units: count
 369 Help:
 370 concurrent_write. The total number of successful first time lock state to the
 371 concurrent_write state.
 372     inst [0 or "loopN"] value NUMBER
 373     inst [1 or "loopN"] value NUMBER
 374
 375 gfs2.tracepoints.promote.first.protected_read PMID: 115.3.29 [Number of lock state to ]
 376     Data Type: 64-bit unsigned int  InDom: 115.0 0x1cc00000
 377     Semantics: instant  Units: count
 378 Help:
 379 protected_read. The total number of successful first time lock state to the
 380 protected_read state.
 381     inst [0 or "loopN"] value NUMBER
 382     inst [1 or "loopN"] value NUMBER
 383
 384 gfs2.tracepoints.promote.first.protected_write PMID: 115.3.30 [Number of lock state to ]
 385     Data Type: 64-bit unsigned int  InDom: 115.0 0x1cc00000
 386     Semantics: instant  Units: count
 387 Help:
 388 protected_write. The total number of successful first time lock state to the
 389 protected_write state.
 390     inst [0 or "loopN"] value NUMBER
 391     inst [1 or "loopN"] value NUMBER
 392
 393 gfs2.tracepoints.promote.first.exclusive PMID: 115.3.31 [Number of lock state to ]
 394     Data Type: 64-bit unsigned int  InDom: 115.0 0x1cc00000
 395     Semantics: instant  Units: count
 396 Help:
 397 exclusive. The total number of successful first time lock state to the
 398 exclusive state.
 399     inst [0 or "loopN"] value NUMBER
 400     inst [1 or "loopN"] value NUMBER
 401
 402 gfs2.tracepoints.promote.other.null_lock PMID: 115.3.32 [Number of lock state to null_lock.]
 403     Data Type: 64-bit unsigned int  InDom: 115.0 0x1cc00000
 404     Semantics: instant  Units: count
 405 Help:
 406 The total number of successful other time lock state to the null_lock state.
 407     inst [0 or "loopN"] value NUMBER
 408     inst [1 or "loopN"] value NUMBER
 409
 410 gfs2.tracepoints.promote.other.concurrent_read PMID: 115.3.33 [Number of lock state to ]
 411     Data Type: 64-bit unsigned int  InDom: 115.0 0x1cc00000
 412     Semantics: instant  Units: count
 413 Help:
 414 concurrent_read. The total number of successful other time lock state to the
 415 concurrent_read state.
 416     inst [0 or "loopN"] value NUMBER
 417     inst [1 or "loopN"] value NUMBER
 418
 419 gfs2.tracepoints.promote.other.concurrent_write PMID: 115.3.34 [Number of lock state to ]
 420     Data Type: 64-bit unsigned int  InDom: 115.0 0x1cc00000
 421     Semantics: instant  Units: count
 422 Help:
 423 concurrent_write. The total number of successful other time lock state to the
 424 concurrent_write state.
 425     inst [0 or "loopN"] value NUMBER
 426     inst [1 or "loopN"] value NUMBER
 427
 428 gfs2.tracepoints.promote.other.protected_read PMID: 115.3.35 [Number of lock state to ]
 429     Data Type: 64-bit unsigned int  InDom: 115.0 0x1cc00000
 430     Semantics: instant  Units: count
 431 Help:
 432 protected_read. The total number of successful other time lock state to the
 433 protected_read state.
 434     inst [0 or "loopN"] value NUMBER
 435     inst [1 or "loopN"] value NUMBER
 436
 437 gfs2.tracepoints.promote.other.protected_write PMID: 115.3.36 [Number of lock state to ]
 438     Data Type: 64-bit unsigned int  InDom: 115.0 0x1cc00000
 439     Semantics: instant  Units: count
 440 Help:
 441 protected_write. The total number of successful other time lock state to the
 442 protected_write state.
 443     inst [0 or "loopN"] value NUMBER
 444     inst [1 or "loopN"] value NUMBER
 445
 446 gfs2.tracepoints.promote.other.exclusive PMID: 115.3.37 [Number of lock state to ]
 447     Data Type: 64-bit unsigned int  InDom: 115.0 0x1cc00000
 448     Semantics: instant  Units: count
 449 Help:
 450 exclusive. The total number of successful other time lock state to the
 451 exclusive state.
 452     inst [0 or "loopN"] value NUMBER
 453     inst [1 or "loopN"] value NUMBER
 454
 455 gfs2.tracepoints.glock_queue.total PMID: 115.3.38 [Total numbe rof queued and dequeued]
 456     Data Type: 64-bit unsigned int  InDom: 115.0 0x1cc00000
 457     Semantics: instant  Units: count
 458 Help:
 459 requests. The total number of both queued and dequeued requests.
 460     inst [0 or "loopN"] value NUMBER
 461     inst [1 or "loopN"] value NUMBER
 462
 463 gfs2.tracepoints.glock_queue.queue.total PMID: 115.3.39 [Total number of queued lock requests.]
 464     Data Type: 64-bit unsigned int  InDom: 115.0 0x1cc00000
 465     Semantics: instant  Units: count
 466 Help:
 467 The total number of queued lock requests.
 468     inst [0 or "loopN"] value NUMBER
 469     inst [1 or "loopN"] value NUMBER
 470
 471 gfs2.tracepoints.glock_queue.queue.null_lock PMID: 115.3.40 [Number of null_lock requests. The]
 472     Data Type: 64-bit unsigned int  InDom: 115.0 0x1cc00000
 473     Semantics: instant  Units: count
 474 Help:
 475 number of lock requests to the null_lock state.
 476     inst [0 or "loopN"] value NUMBER
 477     inst [1 or "loopN"] value NUMBER
 478
 479 gfs2.tracepoints.glock_queue.queue.concurrent_read PMID: 115.3.41 [Number of concurrent_read ]
 480     Data Type: 64-bit unsigned int  InDom: 115.0 0x1cc00000
 481     Semantics: instant  Units: count
 482 Help:
 483 requests. The number of lock requests to the concurrent_read state.
 484     inst [0 or "loopN"] value NUMBER
 485     inst [1 or "loopN"] value NUMBER
 486
 487 gfs2.tracepoints.glock_queue.queue.concurrent_write PMID: 115.3.42 [Number of concurrent_write ]
 488     Data Type: 64-bit unsigned int  InDom: 115.0 0x1cc00000
 489     Semantics: instant  Units: count
 490 Help:
 491 requests. The number of lock requests to the concurrent_write state.
 492     inst [0 or "loopN"] value NUMBER
 493     inst [1 or "loopN"] value NUMBER
 494
 495 gfs2.tracepoints.glock_queue.queue.protected_read PMID: 115.3.43 [Number of protected_read ]
 496     Data Type: 64-bit unsigned int  InDom: 115.0 0x1cc00000
 497     Semantics: instant  Units: count
 498 Help:
 499 requests. The number of lock requests to the protected_read state.
 500     inst [0 or "loopN"] value NUMBER
 501     inst [1 or "loopN"] value NUMBER
 502
 503 gfs2.tracepoints.glock_queue.queue.protected_write PMID: 115.3.44 [Number of protected_write ]
 504     Data Type: 64-bit unsigned int  InDom: 115.0 0x1cc00000
 505     Semantics: instant  Units: count
 506 Help:
 507 requests. The number of lock requests to the protected_write state.
 508     inst [0 or "loopN"] value NUMBER
 509     inst [1 or "loopN"] value NUMBER
 510
 511 gfs2.tracepoints.glock_queue.queue.exclusive PMID: 115.3.45 [Number of exclusive ]
 512     Data Type: 64-bit unsigned int  InDom: 115.0 0x1cc00000
 513     Semantics: instant  Units: count
 514 Help:
 515 requests. The number of lock requests to the exclusive state.
 516     inst [0 or "loopN"] value NUMBER
 517     inst [1 or "loopN"] value NUMBER
 518
 519 gfs2.tracepoints.glock_queue.dequeue.total PMID: 115.3.46 [Total number of dequeued lock requests.]
 520     Data Type: 64-bit unsigned int  InDom: 115.0 0x1cc00000
 521     Semantics: instant  Units: count
 522 Help:
 523 The total number of dequeued lock requests.
 524     inst [0 or "loopN"] value NUMBER
 525     inst [1 or "loopN"] value NUMBER
 526
 527 gfs2.tracepoints.glock_queue.dequeue.null_lock PMID: 115.3.47 [Number of null_lock requests. The]
 528     Data Type: 64-bit unsigned int  InDom: 115.0 0x1cc00000
 529     Semantics: instant  Units: count
 530 Help:
 531 number of lock requests to the null_lock state.
 532     inst [0 or "loopN"] value NUMBER
 533     inst [1 or "loopN"] value NUMBER
 534
 535 gfs2.tracepoints.glock_queue.dequeue.concurrent_read PMID: 115.3.48 [Number of concurrent_read ]
 536     Data Type: 64-bit unsigned int  InDom: 115.0 0x1cc00000
 537     Semantics: instant  Units: count
 538 Help:
 539 requests. The number of lock requests to the concurrent_read state.
 540     inst [0 or "loopN"] value NUMBER
 541     inst [1 or "loopN"] value NUMBER
 542
 543 gfs2.tracepoints.glock_queue.dequeue.concurrent_write PMID: 115.3.49 [Number of concurrent_write ]
 544     Data Type: 64-bit unsigned int  InDom: 115.0 0x1cc00000
 545     Semantics: instant  Units: count
 546 Help:
 547 requests. The number of lock requests to the concurrent_write state.
 548     inst [0 or "loopN"] value NUMBER
 549     inst [1 or "loopN"] value NUMBER
 550
 551 gfs2.tracepoints.glock_queue.dequeue.protected_read PMID: 115.3.50 [Number of protected_read ]
 552     Data Type: 64-bit unsigned int  InDom: 115.0 0x1cc00000
 553     Semantics: instant  Units: count
 554 Help:
 555 requests. The number of lock requests to the protected_read state.
 556     inst [0 or "loopN"] value NUMBER
 557     inst [1 or "loopN"] value NUMBER
 558
 559 gfs2.tracepoints.glock_queue.dequeue.protected_write PMID: 115.3.51 [Number of protected_write ]
 560     Data Type: 64-bit unsigned int  InDom: 115.0 0x1cc00000
 561     Semantics: instant  Units: count
 562 Help:
 563 requests. The number of lock requests to the protected_write state.
 564     inst [0 or "loopN"] value NUMBER
 565     inst [1 or "loopN"] value NUMBER
 566
 567 gfs2.tracepoints.glock_queue.dequeue.exclusive PMID: 115.3.52 [Number of exclusive ]
 568     Data Type: 64-bit unsigned int  InDom: 115.0 0x1cc00000
 569     Semantics: instant  Units: count
 570 Help:
 571 requests. The number of lock requests to the exclusive state.
 572     inst [0 or "loopN"] value NUMBER
 573     inst [1 or "loopN"] value NUMBER
 574
 575 gfs2.tracepoints.glock_lock_time.total PMID: 115.3.53 [Total number of lock updates.]
 576     Data Type: 64-bit unsigned int  InDom: 115.0 0x1cc00000
 577     Semantics: instant  Units: count
 578 Help:
 579 The total number of lock updates.
 580     inst [0 or "loopN"] value NUMBER
 581     inst [1 or "loopN"] value NUMBER
 582
 583 gfs2.tracepoints.glock_lock_time.trans PMID: 115.3.54 [Number of transaction lock updates.]
 584     Data Type: 64-bit unsigned int  InDom: 115.0 0x1cc00000
 585     Semantics: instant  Units: count
 586 Help:
 587 The number of updates for transaction based glocks.
 588     inst [0 or "loopN"] value NUMBER
 589     inst [1 or "loopN"] value NUMBER
 590
 591 gfs2.tracepoints.glock_lock_time.inode PMID: 115.3.55 [Number of inode lock updates.]
 592     Data Type: 64-bit unsigned int  InDom: 115.0 0x1cc00000
 593     Semantics: instant  Units: count
 594 Help:
 595 The number of updates for inode based glocks.
 596     inst [0 or "loopN"] value NUMBER
 597     inst [1 or "loopN"] value NUMBER
 598
 599 gfs2.tracepoints.glock_lock_time.rgrp PMID: 115.3.56 [Number of resource group lock updates.]
 600     Data Type: 64-bit unsigned int  InDom: 115.0 0x1cc00000
 601     Semantics: instant  Units: count
 602 Help:
 603 The number of updates for resource group based glocks.
 604     inst [0 or "loopN"] value NUMBER
 605     inst [1 or "loopN"] value NUMBER
 606
 607 gfs2.tracepoints.glock_lock_time.meta PMID: 115.3.57 [Number of metadata lock updates.]
 608     Data Type: 64-bit unsigned int  InDom: 115.0 0x1cc00000
 609     Semantics: instant  Units: count
 610 Help:
 611 The number of updates for metadata based glocks.
 612     inst [0 or "loopN"] value NUMBER
 613     inst [1 or "loopN"] value NUMBER
 614
 615 gfs2.tracepoints.glock_lock_time.iopen PMID: 115.3.58 [Number of iopen lock updates.]
 616     Data Type: 64-bit unsigned int  InDom: 115.0 0x1cc00000
 617     Semantics: instant  Units: count
 618 Help:
 619 The number of updates for iopen based glocks.
 620     inst [0 or "loopN"] value NUMBER
 621     inst [1 or "loopN"] value NUMBER
 622
 623 gfs2.tracepoints.glock_lock_time.flock PMID: 115.3.59 [Number of flock lock updates.]
 624     Data Type: 64-bit unsigned int  InDom: 115.0 0x1cc00000
 625     Semantics: instant  Units: count
 626 Help:
 627 The number of updates for flock based glocks.
 628     inst [0 or "loopN"] value NUMBER
 629     inst [1 or "loopN"] value NUMBER
 630
 631 gfs2.tracepoints.glock_lock_time.quota PMID: 115.3.60 [Number of quota lock updates.]
 632     Data Type: 64-bit unsigned int  InDom: 115.0 0x1cc00000
 633     Semantics: instant  Units: count
 634 Help:
 635 The number of updates for quota based glocks.
 636     inst [0 or "loopN"] value NUMBER
 637     inst [1 or "loopN"] value NUMBER
 638
 639 gfs2.tracepoints.glock_lock_time.journal PMID: 115.3.61 [Number of journal lock updates.]
 640     Data Type: 64-bit unsigned int  InDom: 115.0 0x1cc00000
 641     Semantics: instant  Units: count
 642 Help:
 643 The number of updates for journal based glocks.
 644     inst [0 or "loopN"] value NUMBER
 645     inst [1 or "loopN"] value NUMBER
 646
 647 gfs2.tracepoints.pin.total PMID: 115.3.62 [Total number of Pin/Unpin requests. The total]
 648     Data Type: 64-bit unsigned int  InDom: 115.0 0x1cc00000
 649     Semantics: instant  Units: count
 650 Help:
 651 number of requests to pin/unpin blocks on the log.
 652     inst [0 or "loopN"] value NUMBER
 653     inst [1 or "loopN"] value NUMBER
 654
 655 gfs2.tracepoints.pin.pin_total PMID: 115.3.63 [Number of pin requests. The total number of]
 656     Data Type: 64-bit unsigned int  InDom: 115.0 0x1cc00000
 657     Semantics: instant  Units: count
 658 Help:
 659 requests to pin blocks on the log.
 660     inst [0 or "loopN"] value NUMBER
 661     inst [1 or "loopN"] value NUMBER
 662
 663 gfs2.tracepoints.pin.unpin_total PMID: 115.3.64 [Number of unpin requests. The total number]
 664     Data Type: 64-bit unsigned int  InDom: 115.0 0x1cc00000
 665     Semantics: instant  Units: count
 666 Help:
 667 requests to unpin blocks on the log.
 668     inst [0 or "loopN"] value NUMBER
 669     inst [1 or "loopN"] value NUMBER
 670
 671 gfs2.tracepoints.pin.longest_pinned PMID: 115.3.65 [Longest pinned. The longest pinned]
 672     Data Type: 64-bit unsigned int  InDom: 115.0 0x1cc00000
 673     Semantics: instant  Units: count
 674 Help:
 675 inode or resource group log block
 676     inst [0 or "loopN"] value NUMBER
 677     inst [1 or "loopN"] value NUMBER
 678
 679 gfs2.tracepoints.log_flush.total PMID: 115.3.66 [Total log flushes. The total number of]
 680     Data Type: 64-bit unsigned int  InDom: 115.0 0x1cc00000
 681     Semantics: instant  Units: count
 682 Help:
 683 log flushes observed
 684     inst [0 or "loopN"] value NUMBER
 685     inst [1 or "loopN"] value NUMBER
 686
 687 gfs2.tracepoints.log_block.total PMID: 115.3.67 [Total log blocks. The total number of]
 688     Data Type: 64-bit unsigned int  InDom: 115.0 0x1cc00000
 689     Semantics: instant  Units: count
 690 Help:
 691 blocks placed upon the log.
 692     inst [0 or "loopN"] value NUMBER
 693     inst [1 or "loopN"] value NUMBER
 694
 695 gfs2.tracepoints.ail_flush.total PMID: 115.3.68 [Total AIL flushes. The total number of]
 696     Data Type: 64-bit unsigned int  InDom: 115.0 0x1cc00000
 697     Semantics: instant  Units: count
 698 Help:
 699 flushes back to the AIL.
 700     inst [0 or "loopN"] value NUMBER
 701     inst [1 or "loopN"] value NUMBER
 702
 703 gfs2.tracepoints.block_alloc.total PMID: 115.3.69 [Total blocks allocated/deallocated. ]
 704     Data Type: 64-bit unsigned int  InDom: 115.0 0x1cc00000
 705     Semantics: instant  Units: count
 706 Help:
 707 The total number of allocated/freed blocks this call.
 708     inst [0 or "loopN"] value NUMBER
 709     inst [1 or "loopN"] value NUMBER
 710
 711 gfs2.tracepoints.block_alloc.free PMID: 115.3.70 [Freed blocks. The number of blocks]
 712     Data Type: 64-bit unsigned int  InDom: 115.0 0x1cc00000
 713     Semantics: instant  Units: count
 714 Help:
 715 freed.
 716     inst [0 or "loopN"] value NUMBER
 717     inst [1 or "loopN"] value NUMBER
 718
 719 gfs2.tracepoints.block_alloc.used PMID: 115.3.71 [Used blocks. The number of blocks]
 720     Data Type: 64-bit unsigned int  InDom: 115.0 0x1cc00000
 721     Semantics: instant  Units: count
 722 Help:
 723 used.
 724     inst [0 or "loopN"] value NUMBER
 725     inst [1 or "loopN"] value NUMBER
 726
 727 gfs2.tracepoints.block_alloc.dinode PMID: 115.3.72 [Dinode blocks. The number of blocks]
 728     Data Type: 64-bit unsigned int  InDom: 115.0 0x1cc00000
 729     Semantics: instant  Units: count
 730 Help:
 731 used for dinode.
 732     inst [0 or "loopN"] value NUMBER
 733     inst [1 or "loopN"] value NUMBER
 734
 735 gfs2.tracepoints.block_alloc.unlinked PMID: 115.3.73 [Unlinked blocks. The number of]
 736     Data Type: 64-bit unsigned int  InDom: 115.0 0x1cc00000
 737     Semantics: instant  Units: count
 738 Help:
 739 unlinked blocks.
 740     inst [0 or "loopN"] value NUMBER
 741     inst [1 or "loopN"] value NUMBER
 742
 743 gfs2.tracepoints.bmap.total PMID: 115.3.74 [Total number of bmap allocations. The total]
 744     Data Type: 64-bit unsigned int  InDom: 115.0 0x1cc00000
 745     Semantics: instant  Units: count
 746 Help:
 747 number of bmap allocations.
 748     inst [0 or "loopN"] value NUMBER
 749     inst [1 or "loopN"] value NUMBER
 750
 751 gfs2.tracepoints.bmap.create PMID: 115.3.75 [Number of create bmap allocations. The number]
 752     Data Type: 64-bit unsigned int  InDom: 115.0 0x1cc00000
 753     Semantics: instant  Units: count
 754 Help:
 755 of create bmap allocations.
 756     inst [0 or "loopN"] value NUMBER
 757     inst [1 or "loopN"] value NUMBER
 758
 759 gfs2.tracepoints.bmap.nocreate PMID: 115.3.76 [Number of nocreate bmap allocations. The]
 760     Data Type: 64-bit unsigned int  InDom: 115.0 0x1cc00000
 761     Semantics: instant  Units: count
 762 Help:
 763 number of nocreate bmap allocations.
 764     inst [0 or "loopN"] value NUMBER
 765     inst [1 or "loopN"] value NUMBER
 766
 767 gfs2.tracepoints.rs.total PMID: 115.3.77 [Total multi-block allocations. The total number]
 768     Data Type: 64-bit unsigned int  InDom: 115.0 0x1cc00000
 769     Semantics: instant  Units: count
 770 Help:
 771 of multi-block allocations.
 772     inst [0 or "loopN"] value NUMBER
 773     inst [1 or "loopN"] value NUMBER
 774
 775 gfs2.tracepoints.rs.del PMID: 115.3.78 [Number of resource group delete. The total number of]
 776     Data Type: 64-bit unsigned int  InDom: 115.0 0x1cc00000
 777     Semantics: instant  Units: count
 778 Help:
 779 resource group delete calls.
 780     inst [0 or "loopN"] value NUMBER
 781     inst [1 or "loopN"] value NUMBER
 782
 783 gfs2.tracepoints.rs.tdel PMID: 115.3.79 [Number of resource group tree delete. The total number]
 784     Data Type: 64-bit unsigned int  InDom: 115.0 0x1cc00000
 785     Semantics: instant  Units: count
 786 Help:
 787 of resource group tree delete calls.
 788     inst [0 or "loopN"] value NUMBER
 789     inst [1 or "loopN"] value NUMBER
 790
 791 gfs2.tracepoints.rs.ins PMID: 115.3.80 [Number of resource group insert. The total number of]
 792     Data Type: 64-bit unsigned int  InDom: 115.0 0x1cc00000
 793     Semantics: instant  Units: count
 794 Help:
 795 resource group insert calls.
 796     inst [0 or "loopN"] value NUMBER
 797     inst [1 or "loopN"] value NUMBER
 798
 799 gfs2.tracepoints.rs.clm PMID: 115.3.81 [Number of resource group claims. The total number of ]
 800     Data Type: 64-bit unsigned int  InDom: 115.0 0x1cc00000
 801     Semantics: instant  Units: count
 802 Help:
 803 resource group claim calls.
 804     inst [0 or "loopN"] value NUMBER
 805     inst [1 or "loopN"] value NUMBER
 806
 807 === Check gfs2 metrics for all filesystems ===
 808
 809 gfs2.worst_glock.tenth.queue PMID: 115.4.99 [Count of gfs2_holder queues for tenth worst glock]
 810     Data Type: 64-bit int  InDom: 115.0 0x1cc00000
 811     Semantics: instant  Units: count
 812 Help:
 813 Count of gfs2_holder queues for tenth worst glock
 814 No value(s) available!
 815
 816 gfs2.worst_glock.tenth.dlm PMID: 115.4.98 [Count of Distributed Lock Manager requests for tenth worst glock]
 817     Data Type: 64-bit int  InDom: 115.0 0x1cc00000
 818     Semantics: instant  Units: count
 819 Help:
 820 Count of Distributed Lock Manager requests for tenth worst glock
 821 No value(s) available!
 822
 823 gfs2.worst_glock.tenth.sirtvar PMID: 115.4.97 [Smoothed Inter-request variance for tenth worst glock]
 824     Data Type: 64-bit int  InDom: 115.0 0x1cc00000
 825     Semantics: instant  Units: count
 826 Help:
 827 Smoothed Inter-request variance for tenth worst glock
 828 No value(s) available!
 829
 830 gfs2.worst_glock.tenth.sirt PMID: 115.4.96 [Smoothed Inter-request time for tenth worst glock]
 831     Data Type: 64-bit int  InDom: 115.0 0x1cc00000
 832     Semantics: instant  Units: count
 833 Help:
 834 Smoothed Inter-request time for tenth worst glock
 835 No value(s) available!
 836
 837 gfs2.worst_glock.tenth.srttvarb PMID: 115.4.95 [Blocking smoothed variance for tenth worst glock]
 838     Data Type: 64-bit int  InDom: 115.0 0x1cc00000
 839     Semantics: instant  Units: count
 840 Help:
 841 Blocking smoothed variance for tenth worst glock
 842 No value(s) available!
 843
 844 gfs2.worst_glock.tenth.srttb PMID: 115.4.94 [Blocking smoothed round trip time for tenth worst glock]
 845     Data Type: 64-bit int  InDom: 115.0 0x1cc00000
 846     Semantics: instant  Units: count
 847 Help:
 848 Blocking smoothed round trip time for tenth worst glock
 849 No value(s) available!
 850
 851 gfs2.worst_glock.tenth.srttvar PMID: 115.4.93 [Non-blocking smoothed variance for tenth worst glock]
 852     Data Type: 64-bit int  InDom: 115.0 0x1cc00000
 853     Semantics: instant  Units: count
 854 Help:
 855 Non-blocking smoothed variance for tenth worst glock
 856 No value(s) available!
 857
 858 gfs2.worst_glock.tenth.srtt PMID: 115.4.92 [Non-blocking smoothed round trip time for tenth worst glock]
 859     Data Type: 64-bit int  InDom: 115.0 0x1cc00000
 860     Semantics: instant  Units: count
 861 Help:
 862 Non-blocking smoothed round trip time for tenth worst glock
 863 No value(s) available!
 864
 865 gfs2.worst_glock.tenth.number PMID: 115.4.91 [Inode or resource group number for tenth worst glock]
 866     Data Type: 32-bit unsigned int  InDom: 115.0 0x1cc00000
 867     Semantics: instant  Units: count
 868 Help:
 869 Inode or resource group number for tenth worst glock
 870 No value(s) available!
 871
 872 gfs2.worst_glock.tenth.lock_type PMID: 115.4.90 [Glock type number for tenth worst glock]
 873     Data Type: 32-bit unsigned int  InDom: 115.0 0x1cc00000
 874     Semantics: instant  Units: count
 875 Help:
 876 Glock type number for tenth worst glock
 877 No value(s) available!
 878
 879 gfs2.worst_glock.ninth.queue PMID: 115.4.89 [Count of gfs2_holder queues for ninth worst glock]
 880     Data Type: 64-bit int  InDom: 115.0 0x1cc00000
 881     Semantics: instant  Units: count
 882 Help:
 883 Count of gfs2_holder queues for ninth worst glock
 884 No value(s) available!
 885
 886 gfs2.worst_glock.ninth.dlm PMID: 115.4.88 [Count of Distributed Lock Manager requests for ninth worst glock]
 887     Data Type: 64-bit int  InDom: 115.0 0x1cc00000
 888     Semantics: instant  Units: count
 889 Help:
 890 Count of Distributed Lock Manager requests for ninth worst glock
 891 No value(s) available!
 892
 893 gfs2.worst_glock.ninth.sirtvar PMID: 115.4.87 [Smoothed Inter-request variance for ninth worst glock]
 894     Data Type: 64-bit int  InDom: 115.0 0x1cc00000
 895     Semantics: instant  Units: count
 896 Help:
 897 Smoothed Inter-request variance for ninth worst glock
 898 No value(s) available!
 899
 900 gfs2.worst_glock.ninth.sirt PMID: 115.4.86 [Smoothed Inter-request time for ninth worst glock]
 901     Data Type: 64-bit int  InDom: 115.0 0x1cc00000
 902     Semantics: instant  Units: count
 903 Help:
 904 Smoothed Inter-request time for ninth worst glock
 905 No value(s) available!
 906
 907 gfs2.worst_glock.ninth.srttvarb PMID: 115.4.85 [Blocking smoothed variance for ninth worst glock]
 908     Data Type: 64-bit int  InDom: 115.0 0x1cc00000
 909     Semantics: instant  Units: count
 910 Help:
 911 Blocking smoothed variance for ninth worst glock
 912 No value(s) available!
 913
 914 gfs2.worst_glock.ninth.srttb PMID: 115.4.84 [Blocking smoothed round trip time for ninth worst glock]
 915     Data Type: 64-bit int  InDom: 115.0 0x1cc00000
 916     Semantics: instant  Units: count
 917 Help:
 918 Blocking smoothed round trip time for ninth worst glock
 919 No value(s) available!
 920
 921 gfs2.worst_glock.ninth.srttvar PMID: 115.4.83 [Non-blocking smoothed variance for ninth worst glock]
 922     Data Type: 64-bit int  InDom: 115.0 0x1cc00000
 923     Semantics: instant  Units: count
 924 Help:
 925 Non-blocking smoothed variance for ninth worst glock
 926 No value(s) available!
 927
 928 gfs2.worst_glock.ninth.srtt PMID: 115.4.82 [Non-blocking smoothed round trip time for ninth worst glock]
 929     Data Type: 64-bit int  InDom: 115.0 0x1cc00000
 930     Semantics: instant  Units: count
 931 Help:
 932 Non-blocking smoothed round trip time for ninth worst glock
 933 No value(s) available!
 934
 935 gfs2.worst_glock.ninth.number PMID: 115.4.81 [Inode or resource group number for ninth worst glock]
 936     Data Type: 32-bit unsigned int  InDom: 115.0 0x1cc00000
 937     Semantics: instant  Units: count
 938 Help:
 939 Inode or resource group number for ninth worst glock
 940 No value(s) available!
 941
 942 gfs2.worst_glock.ninth.lock_type PMID: 115.4.80 [Glock type number for ninth worst glock]
 943     Data Type: 32-bit unsigned int  InDom: 115.0 0x1cc00000
 944     Semantics: instant  Units: count
 945 Help:
 946 Glock type number for ninth worst glock
 947 No value(s) available!
 948
 949 gfs2.worst_glock.eighth.queue PMID: 115.4.79 [Count of gfs2_holder queues for eighth worst glock]
 950     Data Type: 64-bit int  InDom: 115.0 0x1cc00000
 951     Semantics: instant  Units: count
 952 Help:
 953 Count of gfs2_holder queues for eighth worst glock
 954 No value(s) available!
 955
 956 gfs2.worst_glock.eighth.dlm PMID: 115.4.78 [Count of Distributed Lock Manager requests for eighth worst glock]
 957     Data Type: 64-bit int  InDom: 115.0 0x1cc00000
 958     Semantics: instant  Units: count
 959 Help:
 960 Count of Distributed Lock Manager requests for eighth worst glock
 961 No value(s) available!
 962
 963 gfs2.worst_glock.eighth.sirtvar PMID: 115.4.77 [Smoothed Inter-request variance for eighth worst glock]
 964     Data Type: 64-bit int  InDom: 115.0 0x1cc00000
 965     Semantics: instant  Units: count
 966 Help:
 967 Smoothed Inter-request variance for eighth worst glock
 968 No value(s) available!
 969
 970 gfs2.worst_glock.eighth.sirt PMID: 115.4.76 [Smoothed Inter-request time for eighth worst glock]
 971     Data Type: 64-bit int  InDom: 115.0 0x1cc00000
 972     Semantics: instant  Units: count
 973 Help:
 974 Smoothed Inter-request time for eighth worst glock
 975 No value(s) available!
 976
 977 gfs2.worst_glock.eighth.srttvarb PMID: 115.4.75 [Blocking smoothed variance for eighth worst glock]
 978     Data Type: 64-bit int  InDom: 115.0 0x1cc00000
 979     Semantics: instant  Units: count
 980 Help:
 981 Blocking smoothed variance for eighth worst glock
 982 No value(s) available!
 983
 984 gfs2.worst_glock.eighth.srttb PMID: 115.4.74 [Blocking smoothed round trip time for eighth worst glock]
 985     Data Type: 64-bit int  InDom: 115.0 0x1cc00000
 986     Semantics: instant  Units: count
 987 Help:
 988 Blocking smoothed round trip time for eighth worst glock
 989 No value(s) available!
 990
 991 gfs2.worst_glock.eighth.srttvar PMID: 115.4.73 [Non-blocking smoothed variance for eighth worst glock]
 992     Data Type: 64-bit int  InDom: 115.0 0x1cc00000
 993     Semantics: instant  Units: count
 994 Help:
 995 Non-blocking smoothed variance for eighth worst glock
 996 No value(s) available!
 997
 998 gfs2.worst_glock.eighth.srtt PMID: 115.4.72 [Non-blocking smoothed round trip time for eighth worst glock]
 999     Data Type: 64-bit int  InDom: 115.0 0x1cc00000
1000     Semantics: instant  Units: count
1001 Help:
1002 Non-blocking smoothed round trip time for eighth worst glock
1003 No value(s) available!
1004
1005 gfs2.worst_glock.eighth.number PMID: 115.4.71 [Inode or resource group number for eighth worst glock]
1006     Data Type: 32-bit unsigned int  InDom: 115.0 0x1cc00000
1007     Semantics: instant  Units: count
1008 Help:
1009 Inode or resource group number for eighth worst glock
1010 No value(s) available!
1011
1012 gfs2.worst_glock.eighth.lock_type PMID: 115.4.70 [Glock type number for eighth worst glock]
1013     Data Type: 32-bit unsigned int  InDom: 115.0 0x1cc00000
1014     Semantics: instant  Units: count
1015 Help:
1016 Glock type number for eighth worst glock
1017 No value(s) available!
1018
1019 gfs2.worst_glock.seventh.queue PMID: 115.4.69 [Count of gfs2_holder queues for seventh worst glock]
1020     Data Type: 64-bit int  InDom: 115.0 0x1cc00000
1021     Semantics: instant  Units: count
1022 Help:
1023 Count of gfs2_holder queues for seventh worst glock
1024 No value(s) available!
1025
1026 gfs2.worst_glock.seventh.dlm PMID: 115.4.68 [Count of Distributed Lock Manager requests for seventh worst glock]
1027     Data Type: 64-bit int  InDom: 115.0 0x1cc00000
1028     Semantics: instant  Units: count
1029 Help:
1030 Count of Distributed Lock Manager requests for seventh worst glock
1031 No value(s) available!
1032
1033 gfs2.worst_glock.seventh.sirtvar PMID: 115.4.67 [Smoothed Inter-request variance for seventh worst glock]
1034     Data Type: 64-bit int  InDom: 115.0 0x1cc00000
1035     Semantics: instant  Units: count
1036 Help:
1037 Smoothed Inter-request variance for seventh worst glock
1038 No value(s) available!
1039
1040 gfs2.worst_glock.seventh.sirt PMID: 115.4.66 [Smoothed Inter-request time for seventh worst glock]
1041     Data Type: 64-bit int  InDom: 115.0 0x1cc00000
1042     Semantics: instant  Units: count
1043 Help:
1044 Smoothed Inter-request time for seventh worst glock
1045 No value(s) available!
1046
1047 gfs2.worst_glock.seventh.srttvarb PMID: 115.4.65 [Blocking smoothed variance for seventh worst glock]
1048     Data Type: 64-bit int  InDom: 115.0 0x1cc00000
1049     Semantics: instant  Units: count
1050 Help:
1051 Blocking smoothed variance for seventh worst glock
1052 No value(s) available!
1053
1054 gfs2.worst_glock.seventh.srttb PMID: 115.4.64 [Blocking smoothed round trip time for seventh worst glock]
1055     Data Type: 64-bit int  InDom: 115.0 0x1cc00000
1056     Semantics: instant  Units: count
1057 Help:
1058 Blocking smoothed round trip time for seventh worst glock
1059 No value(s) available!
1060
1061 gfs2.worst_glock.seventh.srttvar PMID: 115.4.63 [Non-blocking smoothed variance for seventh worst glock]
1062     Data Type: 64-bit int  InDom: 115.0 0x1cc00000
1063     Semantics: instant  Units: count
1064 Help:
1065 Non-blocking smoothed variance for seventh worst glock
1066 No value(s) available!
1067
1068 gfs2.worst_glock.seventh.srtt PMID: 115.4.62 [Non-blocking smoothed round trip time for seventh worst glock]
1069     Data Type: 64-bit int  InDom: 115.0 0x1cc00000
1070     Semantics: instant  Units: count
1071 Help:
1072 Non-blocking smoothed round trip time for seventh worst glock
1073 No value(s) available!
1074
1075 gfs2.worst_glock.seventh.number PMID: 115.4.61 [Inode or resource group number for seventh worst glock]
1076     Data Type: 32-bit unsigned int  InDom: 115.0 0x1cc00000
1077     Semantics: instant  Units: count
1078 Help:
1079 Inode or resource group number for seventh worst glock
1080 No value(s) available!
1081
1082 gfs2.worst_glock.seventh.lock_type PMID: 115.4.60 [Glock type number for seventh worst glock]
1083     Data Type: 32-bit unsigned int  InDom: 115.0 0x1cc00000
1084     Semantics: instant  Units: count
1085 Help:
1086 Glock type number for seventh worst glock
1087 No value(s) available!
1088
1089 gfs2.worst_glock.sixth.queue PMID: 115.4.59 [Count of gfs2_holder queues for sixth worst glock]
1090     Data Type: 64-bit int  InDom: 115.0 0x1cc00000
1091     Semantics: instant  Units: count
1092 Help:
1093 Count of gfs2_holder queues for sixth worst glock
1094 No value(s) available!
1095
1096 gfs2.worst_glock.sixth.dlm PMID: 115.4.58 [Count of Distributed Lock Manager requests for sixth worst glock]
1097     Data Type: 64-bit int  InDom: 115.0 0x1cc00000
1098     Semantics: instant  Units: count
1099 Help:
1100 Count of Distributed Lock Manager requests for sixth worst glock
1101 No value(s) available!
1102
1103 gfs2.worst_glock.sixth.sirtvar PMID: 115.4.57 [Smoothed Inter-request variance for sixth worst glock]
1104     Data Type: 64-bit int  InDom: 115.0 0x1cc00000
1105     Semantics: instant  Units: count
1106 Help:
1107 Smoothed Inter-request variance for sixth worst glock
1108 No value(s) available!
1109
1110 gfs2.worst_glock.sixth.sirt PMID: 115.4.56 [Smoothed Inter-request time for sixth worst glock]
1111     Data Type: 64-bit int  InDom: 115.0 0x1cc00000
1112     Semantics: instant  Units: count
1113 Help:
1114 Smoothed Inter-request time for sixth worst glock
1115 No value(s) available!
1116
1117 gfs2.worst_glock.sixth.srttvarb PMID: 115.4.55 [Blocking smoothed variance for sixth worst glock]
1118     Data Type: 64-bit int  InDom: 115.0 0x1cc00000
1119     Semantics: instant  Units: count
1120 Help:
1121 Blocking smoothed variance for sixth worst glock
1122 No value(s) available!
1123
1124 gfs2.worst_glock.sixth.srttb PMID: 115.4.54 [Blocking smoothed round trip time for sixth worst glock]
1125     Data Type: 64-bit int  InDom: 115.0 0x1cc00000
1126     Semantics: instant  Units: count
1127 Help:
1128 Blocking smoothed round trip time for sixth worst glock
1129 No value(s) available!
1130
1131 gfs2.worst_glock.sixth.srttvar PMID: 115.4.53 [Non-blocking smoothed variance for sixth worst glock]
1132     Data Type: 64-bit int  InDom: 115.0 0x1cc00000
1133     Semantics: instant  Units: count
1134 Help:
1135 Non-blocking smoothed variance for sixth worst glock
1136 No value(s) available!
1137
1138 gfs2.worst_glock.sixth.srtt PMID: 115.4.52 [Non-blocking smoothed round trip time for sixth worst glock]
1139     Data Type: 64-bit int  InDom: 115.0 0x1cc00000
1140     Semantics: instant  Units: count
1141 Help:
1142 Non-blocking smoothed round trip time for sixth worst glock
1143 No value(s) available!
1144
1145 gfs2.worst_glock.sixth.number PMID: 115.4.51 [Inode or resource group number for sixth worst glock]
1146     Data Type: 32-bit unsigned int  InDom: 115.0 0x1cc00000
1147     Semantics: instant  Units: count
1148 Help:
1149 Inode or resource group number for sixth worst glock
1150 No value(s) available!
1151
1152 gfs2.worst_glock.sixth.lock_type PMID: 115.4.50 [Glock type number for sixth worst glock]
1153     Data Type: 32-bit unsigned int  InDom: 115.0 0x1cc00000
1154     Semantics: instant  Units: count
1155 Help:
1156 Glock type number for sixth worst glock
1157 No value(s) available!
1158
1159 gfs2.worst_glock.fifth.queue PMID: 115.4.49 [Count of gfs2_holder queues for fifth worst glock]
1160     Data Type: 64-bit int  InDom: 115.0 0x1cc00000
1161     Semantics: instant  Units: count
1162 Help:
1163 Count of gfs2_holder queues for fifth worst glock
1164 No value(s) available!
1165
1166 gfs2.worst_glock.fifth.dlm PMID: 115.4.48 [Count of Distributed Lock Manager requests for fifth worst glock]
1167     Data Type: 64-bit int  InDom: 115.0 0x1cc00000
1168     Semantics: instant  Units: count
1169 Help:
1170 Count of Distributed Lock Manager requests for fifth worst glock
1171 No value(s) available!
1172
1173 gfs2.worst_glock.fifth.sirtvar PMID: 115.4.47 [Smoothed Inter-request variance for fifth worst glock]
1174     Data Type: 64-bit int  InDom: 115.0 0x1cc00000
1175     Semantics: instant  Units: count
1176 Help:
1177 Smoothed Inter-request variance for fifth worst glock
1178 No value(s) available!
1179
1180 gfs2.worst_glock.fifth.sirt PMID: 115.4.46 [Smoothed Inter-request time for fifth worst glock]
1181     Data Type: 64-bit int  InDom: 115.0 0x1cc00000
1182     Semantics: instant  Units: count
1183 Help:
1184 Smoothed Inter-request time for fifth worst glock
1185 No value(s) available!
1186
1187 gfs2.worst_glock.fifth.srttvarb PMID: 115.4.45 [Blocking smoothed variance for fifth worst glock]
1188     Data Type: 64-bit int  InDom: 115.0 0x1cc00000
1189     Semantics: instant  Units: count
1190 Help:
1191 Blocking smoothed variance for fifth worst glock
1192 No value(s) available!
1193
1194 gfs2.worst_glock.fifth.srttb PMID: 115.4.44 [Blocking smoothed round trip time for fifth worst glock]
1195     Data Type: 64-bit int  InDom: 115.0 0x1cc00000
1196     Semantics: instant  Units: count
1197 Help:
1198 Blocking smoothed round trip time for fifth worst glock
1199 No value(s) available!
1200
1201 gfs2.worst_glock.fifth.srttvar PMID: 115.4.43 [Non-blocking smoothed variance for fifth worst glock]
1202     Data Type: 64-bit int  InDom: 115.0 0x1cc00000
1203     Semantics: instant  Units: count
1204 Help:
1205 Non-blocking smoothed variance for fifth worst glock
1206 No value(s) available!
1207
1208 gfs2.worst_glock.fifth.srtt PMID: 115.4.42 [Non-blocking smoothed round trip time for fifth worst glock]
1209     Data Type: 64-bit int  InDom: 115.0 0x1cc00000
1210     Semantics: instant  Units: count
1211 Help:
1212 Non-blocking smoothed round trip time for fifth worst glock
1213 No value(s) available!
1214
1215 gfs2.worst_glock.fifth.number PMID: 115.4.41 [Inode or resource group number for fifth worst glock]
1216     Data Type: 32-bit unsigned int  InDom: 115.0 0x1cc00000
1217     Semantics: instant  Units: count
1218 Help:
1219 Inode or resource group number for fifth worst glock
1220 No value(s) available!
1221
1222 gfs2.worst_glock.fifth.lock_type PMID: 115.4.40 [Glock type number for fifth worst glock]
1223     Data Type: 32-bit unsigned int  InDom: 115.0 0x1cc00000
1224     Semantics: instant  Units: count
1225 Help:
1226 Glock type number for fifth worst glock
1227 No value(s) available!
1228
1229 gfs2.worst_glock.fourth.queue PMID: 115.4.39 [Count of gfs2_holder queues for fourth worst glock]
1230     Data Type: 64-bit int  InDom: 115.0 0x1cc00000
1231     Semantics: instant  Units: count
1232 Help:
1233 Count of gfs2_holder queues for fourth worst glock
1234 No value(s) available!
1235
1236 gfs2.worst_glock.fourth.dlm PMID: 115.4.38 [Count of Distributed Lock Manager requests for fourth worst glock]
1237     Data Type: 64-bit int  InDom: 115.0 0x1cc00000
1238     Semantics: instant  Units: count
1239 Help:
1240 Count of Distributed Lock Manager requests for fourth worst glock
1241 No value(s) available!
1242
1243 gfs2.worst_glock.fourth.sirtvar PMID: 115.4.37 [Smoothed Inter-request variance for fourth worst glock]
1244     Data Type: 64-bit int  InDom: 115.0 0x1cc00000
1245     Semantics: instant  Units: count
1246 Help:
1247 Smoothed Inter-request variance for fourth worst glock
1248 No value(s) available!
1249
1250 gfs2.worst_glock.fourth.sirt PMID: 115.4.36 [Smoothed Inter-request time for fourth worst glock]
1251     Data Type: 64-bit int  InDom: 115.0 0x1cc00000
1252     Semantics: instant  Units: count
1253 Help:
1254 Smoothed Inter-request time for fourth worst glock
1255 No value(s) available!
1256
1257 gfs2.worst_glock.fourth.srttvarb PMID: 115.4.35 [Blocking smoothed variance for fourth worst glock]
1258     Data Type: 64-bit int  InDom: 115.0 0x1cc00000
1259     Semantics: instant  Units: count
1260 Help:
1261 Blocking smoothed variance for fourth worst glock
1262 No value(s) available!
1263
1264 gfs2.worst_glock.fourth.srttb PMID: 115.4.34 [Blocking smoothed round trip time for fourth worst glock]
1265     Data Type: 64-bit int  InDom: 115.0 0x1cc00000
1266     Semantics: instant  Units: count
1267 Help:
1268 Blocking smoothed round trip time for fourth worst glock
1269 No value(s) available!
1270
1271 gfs2.worst_glock.fourth.srttvar PMID: 115.4.33 [Non-blocking smoothed variance for fourth worst glock]
1272     Data Type: 64-bit int  InDom: 115.0 0x1cc00000
1273     Semantics: instant  Units: count
1274 Help:
1275 Non-blocking smoothed variance for fourth worst glock
1276 No value(s) available!
1277
1278 gfs2.worst_glock.fourth.srtt PMID: 115.4.32 [Non-blocking smoothed round trip time for fourth worst glock]
1279     Data Type: 64-bit int  InDom: 115.0 0x1cc00000
1280     Semantics: instant  Units: count
1281 Help:
1282 Non-blocking smoothed round trip time for fourth worst glock
1283 No value(s) available!
1284
1285 gfs2.worst_glock.fourth.number PMID: 115.4.31 [Inode or resource group number for fourth worst glock]
1286     Data Type: 32-bit unsigned int  InDom: 115.0 0x1cc00000
1287     Semantics: instant  Units: count
1288 Help:
1289 Inode or resource group number for fourth worst glock
1290 No value(s) available!
1291
1292 gfs2.worst_glock.fourth.lock_type PMID: 115.4.30 [Glock type number for fourth worst glock]
1293     Data Type: 32-bit unsigned int  InDom: 115.0 0x1cc00000
1294     Semantics: instant  Units: count
1295 Help:
1296 Glock type number for fourth worst glock
1297 No value(s) available!
1298
1299 gfs2.worst_glock.third.queue PMID: 115.4.29 [Count of gfs2_holder queues for third worst glock]
1300     Data Type: 64-bit int  InDom: 115.0 0x1cc00000
1301     Semantics: instant  Units: count
1302 Help:
1303 Count of gfs2_holder queues for third worst glock
1304 No value(s) available!
1305
1306 gfs2.worst_glock.third.dlm PMID: 115.4.28 [Count of Distributed Lock Manager requests for third worst glock]
1307     Data Type: 64-bit int  InDom: 115.0 0x1cc00000
1308     Semantics: instant  Units: count
1309 Help:
1310 Count of Distributed Lock Manager requests for third worst glock
1311 No value(s) available!
1312
1313 gfs2.worst_glock.third.sirtvar PMID: 115.4.27 [Smoothed Inter-request variance for third worst glock]
1314     Data Type: 64-bit int  InDom: 115.0 0x1cc00000
1315     Semantics: instant  Units: count
1316 Help:
1317 Smoothed Inter-request variance for third worst glock
1318 No value(s) available!
1319
1320 gfs2.worst_glock.third.sirt PMID: 115.4.26 [Smoothed Inter-request time for third worst glock]
1321     Data Type: 64-bit int  InDom: 115.0 0x1cc00000
1322     Semantics: instant  Units: count
1323 Help:
1324 Smoothed Inter-request time for third worst glock
1325 No value(s) available!
1326
1327 gfs2.worst_glock.third.srttvarb PMID: 115.4.25 [Blocking smoothed variance for third worst glock]
1328     Data Type: 64-bit int  InDom: 115.0 0x1cc00000
1329     Semantics: instant  Units: count
1330 Help:
1331 Blocking smoothed variance for third worst glock
1332 No value(s) available!
1333
1334 gfs2.worst_glock.third.srttb PMID: 115.4.24 [Blocking smoothed round trip time for third worst glock]
1335     Data Type: 64-bit int  InDom: 115.0 0x1cc00000
1336     Semantics: instant  Units: count
1337 Help:
1338 Blocking smoothed round trip time for third worst glock
1339 No value(s) available!
1340
1341 gfs2.worst_glock.third.srttvar PMID: 115.4.23 [Non-blocking smoothed variance for third worst glock]
1342     Data Type: 64-bit int  InDom: 115.0 0x1cc00000
1343     Semantics: instant  Units: count
1344 Help:
1345 Non-blocking smoothed variance for third worst glock
1346 No value(s) available!
1347
1348 gfs2.worst_glock.third.srtt PMID: 115.4.22 [Non-blocking smoothed round trip time for third worst glock]
1349     Data Type: 64-bit int  InDom: 115.0 0x1cc00000
1350     Semantics: instant  Units: count
1351 Help:
1352 Non-blocking smoothed round trip time for third worst glock
1353 No value(s) available!
1354
1355 gfs2.worst_glock.third.number PMID: 115.4.21 [Inode or resource group number for third worst glock]
1356     Data Type: 32-bit unsigned int  InDom: 115.0 0x1cc00000
1357     Semantics: instant  Units: count
1358 Help:
1359 Inode or resource group number for third worst glock
1360 No value(s) available!
1361
1362 gfs2.worst_glock.third.lock_type PMID: 115.4.20 [Glock type number for third worst glock]
1363     Data Type: 32-bit unsigned int  InDom: 115.0 0x1cc00000
1364     Semantics: instant  Units: count
1365 Help:
1366 Glock type number for third worst glock
1367 No value(s) available!
1368
1369 gfs2.worst_glock.second.queue PMID: 115.4.19 [Count of gfs2_holder queues for second worst glock]
1370     Data Type: 64-bit int  InDom: 115.0 0x1cc00000
1371     Semantics: instant  Units: count
1372 Help:
1373 Count of gfs2_holder queues for second worst glock
1374 No value(s) available!
1375
1376 gfs2.worst_glock.second.dlm PMID: 115.4.18 [Count of Distributed Lock Manager requests for second worst glock]
1377     Data Type: 64-bit int  InDom: 115.0 0x1cc00000
1378     Semantics: instant  Units: count
1379 Help:
1380 Count of Distributed Lock Manager requests for second worst glock
1381 No value(s) available!
1382
1383 gfs2.worst_glock.second.sirtvar PMID: 115.4.17 [Smoothed Inter-request variance for second worst glock]
1384     Data Type: 64-bit int  InDom: 115.0 0x1cc00000
1385     Semantics: instant  Units: count
1386 Help:
1387 Smoothed Inter-request variance for second worst glock
1388 No value(s) available!
1389
1390 gfs2.worst_glock.second.sirt PMID: 115.4.16 [Smoothed Inter-request time for second worst glock]
1391     Data Type: 64-bit int  InDom: 115.0 0x1cc00000
1392     Semantics: instant  Units: count
1393 Help:
1394 Smoothed Inter-request time for second worst glock
1395 No value(s) available!
1396
1397 gfs2.worst_glock.second.srttvarb PMID: 115.4.15 [Blocking smoothed variance for second worst glock]
1398     Data Type: 64-bit int  InDom: 115.0 0x1cc00000
1399     Semantics: instant  Units: count
1400 Help:
1401 Blocking smoothed variance for second worst glock
1402 No value(s) available!
1403
1404 gfs2.worst_glock.second.srttb PMID: 115.4.14 [Blocking smoothed round trip time for second worst glock]
1405     Data Type: 64-bit int  InDom: 115.0 0x1cc00000
1406     Semantics: instant  Units: count
1407 Help:
1408 Blocking smoothed round trip time for second worst glock
1409 No value(s) available!
1410
1411 gfs2.worst_glock.second.srttvar PMID: 115.4.13 [Non-blocking smoothed variance for second worst glock]
1412     Data Type: 64-bit int  InDom: 115.0 0x1cc00000
1413     Semantics: instant  Units: count
1414 Help:
1415 Non-blocking smoothed variance for second worst glock
1416 No value(s) available!
1417
1418 gfs2.worst_glock.second.srtt PMID: 115.4.12 [Non-blocking smoothed round trip time for second worst glock]
1419     Data Type: 64-bit int  InDom: 115.0 0x1cc00000
1420     Semantics: instant  Units: count
1421 Help:
1422 Non-blocking smoothed round trip time for second worst glock
1423 No value(s) available!
1424
1425 gfs2.worst_glock.second.number PMID: 115.4.11 [Inode or resource group number for second worst glock]
1426     Data Type: 32-bit unsigned int  InDom: 115.0 0x1cc00000
1427     Semantics: instant  Units: count
1428 Help:
1429 Inode or resource group number for second worst glock
1430 No value(s) available!
1431
1432 gfs2.worst_glock.second.lock_type PMID: 115.4.10 [Glock type number for second worst glock]
1433     Data Type: 32-bit unsigned int  InDom: 115.0 0x1cc00000
1434     Semantics: instant  Units: count
1435 Help:
1436 Glock type number for second worst glock
1437 No value(s) available!
1438
1439 gfs2.worst_glock.first.queue PMID: 115.4.9 [Count of gfs2_holder queues for first worst glock]
1440     Data Type: 64-bit int  InDom: 115.0 0x1cc00000
1441     Semantics: instant  Units: count
1442 Help:
1443 Count of gfs2_holder queues for first worst glock
1444 No value(s) available!
1445
1446 gfs2.worst_glock.first.dlm PMID: 115.4.8 [Count of Distributed Lock Manager requests for first worst glock]
1447     Data Type: 64-bit int  InDom: 115.0 0x1cc00000
1448     Semantics: instant  Units: count
1449 Help:
1450 Count of Distributed Lock Manager requests for first worst glock
1451 No value(s) available!
1452
1453 gfs2.worst_glock.first.sirtvar PMID: 115.4.7 [Smoothed Inter-request variance for first worst glock]
1454     Data Type: 64-bit int  InDom: 115.0 0x1cc00000
1455     Semantics: instant  Units: count
1456 Help:
1457 Smoothed Inter-request variance for first worst glock
1458 No value(s) available!
1459
1460 gfs2.worst_glock.first.sirt PMID: 115.4.6 [Smoothed Inter-request time for first worst glock]
1461     Data Type: 64-bit int  InDom: 115.0 0x1cc00000
1462     Semantics: instant  Units: count
1463 Help:
1464 Smoothed Inter-request time for first worst glock
1465 No value(s) available!
1466
1467 gfs2.worst_glock.first.srttvarb PMID: 115.4.5 [Blocking smoothed variance for first worst glock]
1468     Data Type: 64-bit int  InDom: 115.0 0x1cc00000
1469     Semantics: instant  Units: count
1470 Help:
1471 Blocking smoothed variance for first worst glock
1472 No value(s) available!
1473
1474 gfs2.worst_glock.first.srttb PMID: 115.4.4 [Blocking smoothed round trip time for first worst glock]
1475     Data Type: 64-bit int  InDom: 115.0 0x1cc00000
1476     Semantics: instant  Units: count
1477 Help:
1478 Blocking smoothed round trip time for first worst glock
1479 No value(s) available!
1480
1481 gfs2.worst_glock.first.srttvar PMID: 115.4.3 [Non-blocking smoothed variance for first worst glock]
1482     Data Type: 64-bit int  InDom: 115.0 0x1cc00000
1483     Semantics: instant  Units: count
1484 Help:
1485 Non-blocking smoothed variance for first worst glock
1486 No value(s) available!
1487
1488 gfs2.worst_glock.first.srtt PMID: 115.4.2 [Non-blocking smoothed round trip time for first worst glock]
1489     Data Type: 64-bit int  InDom: 115.0 0x1cc00000
1490     Semantics: instant  Units: count
1491 Help:
1492 Non-blocking smoothed round trip time for first worst glock
1493 No value(s) available!
1494
1495 gfs2.worst_glock.first.number PMID: 115.4.1 [Inode or resource group number for first worst glock]
1496     Data Type: 32-bit unsigned int  InDom: 115.0 0x1cc00000
1497     Semantics: instant  Units: count
1498 Help:
1499 Inode or resource group number for first worst glock
1500 No value(s) available!
1501
1502 gfs2.worst_glock.first.lock_type PMID: 115.4.0 [Glock type number for first worst glock]
1503     Data Type: 32-bit unsigned int  InDom: 115.0 0x1cc00000
1504     Semantics: instant  Units: count
1505 Help:
1506 Glock type number for first worst glock
1507 No value(s) available!
1508
1509 === Check gfs2 metrics for all filesystems ===
1510
1511 gfs2.control.buffer_size_kb PMID: 115.6.14 [Sets the buffer size for trace_pipe (per cpu).]
1512     Data Type: 32-bit unsigned int  InDom: PM_INDOM_NULL 0xffffffff
1513     Semantics: discrete  Units: none
1514 Help:
1515 The size of the trace_pipe buffer can be controlled with this metrics, it
1516 allows the increase of the trace_pipe buffer to 128MB (131072KB) per cpu
1517 on the system. It is useful to increase the size of the buffer when there
1518 is expected to be heavy load on the file system in order to reduce the
1519 risk of overwritten entries in the trace_pipe before they are read (default
1520 value is 32MB (32768KB).
1521     value NUMBER
1522
1523 gfs2.control.global_tracing PMID: 115.6.15 [Indication whether global tracing is enabled.]
1524     Data Type: 32-bit unsigned int  InDom: PM_INDOM_NULL 0xffffffff
1525     Semantics: discrete  Units: none
1526 Help:
1527 The global tracing can be controlled using pmstore gfs2.control.global_tracing
1528 0 [off] or 1 [on]. This is required to be on for most of the gfs2 metrics to
1529 function.
1530     value NUMBER
1531
1532 gfs2.control.worst_glock PMID: 115.6.16 [Indication whether gfs2.glock_lock_time statistics ]
1533     Data Type: 32-bit unsigned int  InDom: PM_INDOM_NULL 0xffffffff
1534     Semantics: discrete  Units: none
1535 Help:
1536 are enabled. The gfs2.glock_lock_time statistics can be manually controlled
1537 using pmstore gfs2.control.glock_lock_time 0 [off] or 1 [on]. Setting the value
1538 of the metric controls the behavior of the PMDA to whether it tries to collect
1539 the lock_time metrics or not. The machine must have the gfs2 trace-points
1540 available for the glock_lock_time based metrics to function.
1541     value NUMBER
1542
1543 gfs2.control.latency PMID: 115.6.17 [Indication whether gfs2.latency statistics are enabled.]
1544     Data Type: 32-bit unsigned int  InDom: PM_INDOM_NULL 0xffffffff
1545     Semantics: discrete  Units: none
1546 Help:
1547 The gfs2.latency statistics can be manually controlled using pmstore
1548 gfs2.control.latency 0 [off] or 1 [on]. Setting the value of the metric
1549 controls the behaviour of the PMDA to whether it tries to collect the latency
1550 metrics or not. The machice must have the gfs2 trace-points available for the
1551 latency metrics to function.
1552     value NUMBER
1553
1554 gfs2.control.glock_threshold PMID: 115.6.18 [Threshold for maximum number of glocks accepted]
1555     Data Type: 32-bit unsigned int  InDom: PM_INDOM_NULL 0xffffffff
1556     Semantics: discrete  Units: none
1557 Help:
1558 per fetch. The number of glocks that will be processed and accepted over all
1559 ftrace read trace statistics. This number can be manually altered using pmstore
1560 in order to tailor the number of glocks processed. This value must be positive.
1561     value NUMBER
1562
1563 gfs2.control.tracepoints.all PMID: 115.6.0 [Indication whether glock statistics are enabled]
1564     Data Type: 32-bit unsigned int  InDom: PM_INDOM_NULL 0xffffffff
1565     Semantics: discrete  Units: none
1566 Help:
1567 The gfs2 tracepoint statistics can be manually controlled using pmstore
1568 gfs2.control.tracepoints.all 0 [off] or 1 [on]. Setting the value of the metric
1569 controls the behavior of the PMDA to whether it tries to collect from tracepoint
1570 metrics or not.
1571     value NUMBER
1572
1573 gfs2.control.tracepoints.glock_state_change PMID: 115.6.1 [Indication whether ]
1574     Data Type: 32-bit unsigned int  InDom: PM_INDOM_NULL 0xffffffff
1575     Semantics: discrete  Units: none
1576 Help:
1577 glock_state_change glock stats are enabled. The gfs2 tracepoint statistics
1578 can be manually controlled using pmstore
1579 gfs2.control.tracepoints.glock_state_change 0 [off] or 1 [on]. Setting the
1580 value of the metric controls the behavior of the PMDA to whether it tries to
1581 collect from tracepoint metrics or not.
1582     value NUMBER
1583
1584 gfs2.control.tracepoints.glock_put PMID: 115.6.2 [Indication whether glock_put glock stats]
1585     Data Type: 32-bit unsigned int  InDom: PM_INDOM_NULL 0xffffffff
1586     Semantics: discrete  Units: none
1587 Help:
1588 are enabled. The gfs2 tracepoint statistics can be manually controlled using
1589 pmstore gfs2.control.tracepoints.glock_put 0 [off] or 1 [on]. Setting the value
1590 of the metric controls the behavior of the PMDA to whether it tries to collect
1591 from tracepoint metrics or not.
1592     value NUMBER
1593
1594 gfs2.control.tracepoints.demote_rq PMID: 115.6.3 [Indication whether glock_demote_rq glock]
1595     Data Type: 32-bit unsigned int  InDom: PM_INDOM_NULL 0xffffffff
1596     Semantics: discrete  Units: none
1597 Help:
1598 stats are enabled. The gfs2 tracepoint statistics can be manually controlled
1599 using pmstore gfs2.control.tracepoints.glock_demote_rq 0 [off] or 1 [on].
1600 Setting the value of the metric controls the behavior of the PMDA to whether
1601 it tries to collect from tracepoint metrics or not.
1602     value NUMBER
1603
1604 gfs2.control.tracepoints.promote PMID: 115.6.4 [Indication whether glock_promote glock stats]
1605     Data Type: 32-bit unsigned int  InDom: PM_INDOM_NULL 0xffffffff
1606     Semantics: discrete  Units: none
1607 Help:
1608 are enabled. The gfs2 tracepoint statistics can be manually controlled using
1609 pmstore gfs2.control.tracepoints.glock_promte 0 [off] or 1 [on]. Setting the
1610 value of the metric controls the behavior of the PMDA to whether it tries to
1611 collect from tracepoint metrics or not.
1612     value NUMBER
1613
1614 gfs2.control.tracepoints.glock_queue PMID: 115.6.5 [Indication whether glock_queue glock]
1615     Data Type: 32-bit unsigned int  InDom: PM_INDOM_NULL 0xffffffff
1616     Semantics: discrete  Units: none
1617 Help:
1618 stats are enabled. The gfs2 tracepoint statistics can be manually controlled
1619 using pmstore gfs2.control.tracepoints.glock_queue 0 [off] or 1 [on]. Setting
1620 the value of the metric controls the behavior of the PMDA to whether it tries
1621 to collect from tracepoint metrics or not.
1622     value NUMBER
1623
1624 gfs2.control.tracepoints.glock_lock_time PMID: 115.6.6 [Indication whether glock_lock_time]
1625     Data Type: 32-bit unsigned int  InDom: PM_INDOM_NULL 0xffffffff
1626     Semantics: discrete  Units: none
1627 Help:
1628 glock stats are enabled. The gfs2 tracepoint statistics can be manually
1629 controlled using pmstore gfs2.control.tracepoints.glock_lock_time 0 [off] or 1
1630 [on]. Setting the value of the metric controls the behavior of the PMDA to
1631 whether it tries to collect from tracepoint metrics or not.
1632     value NUMBER
1633
1634 gfs2.control.tracepoints.pin PMID: 115.6.7 [Indication whether pin glock stats are enabled. ]
1635     Data Type: 32-bit unsigned int  InDom: PM_INDOM_NULL 0xffffffff
1636     Semantics: discrete  Units: none
1637 Help:
1638 The gfs2 tracepoint statistics can be manually controlled using pmstore
1639 gfs2.control.tracepoints.pin 0 [off] or 1 [on]. Setting the value of the
1640 metric controls the behavior of the PMDA to whether it tries to collect from
1641 tracepoint metrics or not.
1642     value NUMBER
1643
1644 gfs2.control.tracepoints.log_flush PMID: 115.6.8 [Indication whether log_flush glock stats]
1645     Data Type: 32-bit unsigned int  InDom: PM_INDOM_NULL 0xffffffff
1646     Semantics: discrete  Units: none
1647 Help:
1648 are enabled. The gfs2 tracepoint statistics can be manually controlled using
1649 pmstore gfs2.control.tracepoints.log_flush 0 [off] or 1 [on]. Setting the
1650 value of the metric controls the behavior of the PMDA to whether it tries to
1651 collect from tracepoint metrics or not.
1652     value NUMBER
1653
1654 gfs2.control.tracepoints.log_blocks PMID: 115.6.9 [Indication whether log_blocks glock stats]
1655     Data Type: 32-bit unsigned int  InDom: PM_INDOM_NULL 0xffffffff
1656     Semantics: discrete  Units: none
1657 Help:
1658 are enabled. The gfs2 tracepoint statistics can be manually controlled using
1659 pmstore gfs2.control.tracepoints.log_blocks 0 [off] or 1 [on]. Setting the
1660 value of the metric controls the behavior of the PMDA to whether it tries to
1661 collect from tracepoint metrics or not.
1662     value NUMBER
1663
1664 gfs2.control.tracepoints.ail_flush PMID: 115.6.10 [Indication whether ail_flush glock stats]
1665     Data Type: 32-bit unsigned int  InDom: PM_INDOM_NULL 0xffffffff
1666     Semantics: discrete  Units: none
1667 Help:
1668 are enabled. The gfs2 tracepoint statistics can be manually controlled using
1669 pmstore gfs2.control.tracepoints.ail_flush 0 [off] or 1 [on]. Setting the value
1670 of the metric controls the behavior of the PMDA to whether it tries to collect
1671 from tracepoint metrics or not.
1672     value NUMBER
1673
1674 gfs2.control.tracepoints.block_alloc PMID: 115.6.11 [Indication whether block_alloc glock]
1675     Data Type: 32-bit unsigned int  InDom: PM_INDOM_NULL 0xffffffff
1676     Semantics: discrete  Units: none
1677 Help:
1678 stats are enabled. The gfs2 tracepoint statistics can be manually controlled
1679 using pmstore gfs2.control.tracepoints.block_alloc 0 [off] or 1 [on]. Setting
1680 the value of the metric controls the behavior of the PMDA to whether it tries
1681 to collect from tracepoint metrics or not.
1682     value NUMBER
1683
1684 gfs2.control.tracepoints.bmap PMID: 115.6.12 [Indication whether bmap glock stats are enabled.]
1685     Data Type: 32-bit unsigned int  InDom: PM_INDOM_NULL 0xffffffff
1686     Semantics: discrete  Units: none
1687 Help:
1688 The gfs2 tracepoint statistics can be manually controlled using pmstore
1689 gfs2.control.tracepoints.bmap 0 [off] or 1 [on]. Setting the value of the
1690 metric controls the behavior of the PMDA to whether it tries to collect from
1691 tracepoint metrics or not.
1692     value NUMBER
1693
1694 gfs2.control.tracepoints.rs PMID: 115.6.13 [Indication whether rs glock stats are enabled.]
1695     Data Type: 32-bit unsigned int  InDom: PM_INDOM_NULL 0xffffffff
1696     Semantics: discrete  Units: none
1697 Help:
1698 The gfs2 tracepoint statistics can be manually controlled using pmstore
1699 gfs2.control.tracepoints.rs 0 [off] or 1 [on]. Setting the value of the metric
1700 controls the behavior of the PMDA to whether it tries to collect from
1701 tracepoint metrics or not.
1702     value NUMBER
1703
1704 === check functionality of pmstore (off) ===
1705 gfs2.control.tracepoints.all OLD VALUE new value=0
1706
1707 === check functionality of pmstore (on) ===
1708 gfs2.control.tracepoints.all OLD VALUE new value=1
1709
1710 === Removing the GFS2 PMDA ===