docs/tracing.txt

   1 = Tracing =
   2
   3 == Introduction ==
   4
   5 This document describes the tracing infrastructure in QEMU and how to use it
   6 for debugging, profiling, and observing execution.
   7
   8 == Quickstart ==
   9
  10 1. Build with the 'simple' trace backend:
  11
  12     ./configure --enable-trace-backend=simple
  13     make
  14
  15 2. Create a file with the events you want to trace:
  16
  17    echo bdrv_aio_readv   > /tmp/events
  18    echo bdrv_aio_writev >> /tmp/events
  19
  20 3. Run the virtual machine to produce a trace file:
  21
  22     qemu -trace events=/tmp/events ... # your normal QEMU invocation
  23
  24 4. Pretty-print the binary trace file:
  25
  26     ./scripts/simpletrace.py trace-events trace-*
  27
  28 == Trace events ==
  29
  30 There is a set of static trace events declared in the "trace-events" source
  31 file.  Each trace event declaration names the event, its arguments, and the
  32 format string which can be used for pretty-printing:
  33
  34     qemu_vmalloc(size_t size, void *ptr) "size %zu ptr %p"
  35     qemu_vfree(void *ptr) "ptr %p"
  36
  37 The "trace-events" file is processed by the "tracetool" script during build to
  38 generate code for the trace events.  Trace events are invoked directly from
  39 source code like this:
  40
  41     #include "trace.h"  /* needed for trace event prototype */
  42
  43     void *qemu_vmalloc(size_t size)
  44     {
  45         void *ptr;
  46         size_t align = QEMU_VMALLOC_ALIGN;
  47
  48         if (size < align) {
  49             align = getpagesize();
  50         }
  51         ptr = qemu_memalign(align, size);
  52         trace_qemu_vmalloc(size, ptr);
  53         return ptr;
  54     }
  55
  56 === Declaring trace events ===
  57
  58 The "tracetool" script produces the trace.h header file which is included by
  59 every source file that uses trace events.  Since many source files include
  60 trace.h, it uses a minimum of types and other header files included to keep the
  61 namespace clean and compile times and dependencies down.
  62
  63 Trace events should use types as follows:
  64
  65  * Use stdint.h types for fixed-size types.  Most offsets and guest memory
  66    addresses are best represented with uint32_t or uint64_t.  Use fixed-size
  67    types over primitive types whose size may change depending on the host
  68    (32-bit versus 64-bit) so trace events don't truncate values or break
  69    the build.
  70
  71  * Use void * for pointers to structs or for arrays.  The trace.h header
  72    cannot include all user-defined struct declarations and it is therefore
  73    necessary to use void * for pointers to structs.
  74
  75  * For everything else, use primitive scalar types (char, int, long) with the
  76    appropriate signedness.
  77
  78 Format strings should reflect the types defined in the trace event.  Take
  79 special care to use PRId64 and PRIu64 for int64_t and uint64_t types,
  80 respectively.  This ensures portability between 32- and 64-bit platforms.
  81
  82 === Hints for adding new trace events ===
  83
  84 1. Trace state changes in the code.  Interesting points in the code usually
  85    involve a state change like starting, stopping, allocating, freeing.  State
  86    changes are good trace events because they can be used to understand the
  87    execution of the system.
  88
  89 2. Trace guest operations.  Guest I/O accesses like reading device registers
  90    are good trace events because they can be used to understand guest
  91    interactions.
  92
  93 3. Use correlator fields so the context of an individual line of trace output
  94    can be understood.  For example, trace the pointer returned by malloc and
  95    used as an argument to free.  This way mallocs and frees can be matched up.
  96    Trace events with no context are not very useful.
  97
  98 4. Name trace events after their function.  If there are multiple trace events
  99    in one function, append a unique distinguisher at the end of the name.
 100
 101 == Generic interface and monitor commands ==
 102
 103 You can programmatically query and control the state of trace events through a
 104 backend-agnostic interface provided by the header "trace/control.h".
 105
 106 Note that some of the backends do not provide an implementation for some parts
 107 of this interface, in which case QEMU will just print a warning (please refer to
 108 header "trace/control.h" to see which routines are backend-dependent).
 109
 110 The state of events can also be queried and modified through monitor commands:
 111
 112 * info trace-events
 113   View available trace events and their state.  State 1 means enabled, state 0
 114   means disabled.
 115
 116 * trace-event NAME on|off
 117   Enable/disable a given trace event or a group of events (using wildcards).
 118
 119 The "-trace events=<file>" command line argument can be used to enable the
 120 events listed in <file> from the very beginning of the program. This file must
 121 contain one event name per line.
 122
 123 If a line in the "-trace events=<file>" file begins with a '-', the trace event
 124 will be disabled instead of enabled.  This is useful when a wildcard was used
 125 to enable an entire family of events but one noisy event needs to be disabled.
 126
 127 Wildcard matching is supported in both the monitor command "trace-event" and the
 128 events list file. That means you can enable/disable the events having a common
 129 prefix in a batch. For example, virtio-blk trace events could be enabled using
 130 the following monitor command:
 131
 132     trace-event virtio_blk_* on
 133
 134 == Trace backends ==
 135
 136 The "tracetool" script automates tedious trace event code generation and also
 137 keeps the trace event declarations independent of the trace backend.  The trace
 138 events are not tightly coupled to a specific trace backend, such as LTTng or
 139 SystemTap.  Support for trace backends can be added by extending the "tracetool"
 140 script.
 141
 142 The trace backend is chosen at configure time and only one trace backend can
 143 be built into the binary:
 144
 145     ./configure --trace-backend=simple
 146
 147 For a list of supported trace backends, try ./configure --help or see below.
 148
 149 The following subsections describe the supported trace backends.
 150
 151 === Nop ===
 152
 153 The "nop" backend generates empty trace event functions so that the compiler
 154 can optimize out trace events completely.  This is the default and imposes no
 155 performance penalty.
 156
 157 Note that regardless of the selected trace backend, events with the "disable"
 158 property will be generated with the "nop" backend.
 159
 160 === Stderr ===
 161
 162 The "stderr" backend sends trace events directly to standard error.  This
 163 effectively turns trace events into debug printfs.
 164
 165 This is the simplest backend and can be used together with existing code that
 166 uses DPRINTF().
 167
 168 === Simpletrace ===
 169
 170 The "simple" backend supports common use cases and comes as part of the QEMU
 171 source tree.  It may not be as powerful as platform-specific or third-party
 172 trace backends but it is portable.  This is the recommended trace backend
 173 unless you have specific needs for more advanced backends.
 174
 175 The "simple" backend currently does not capture string arguments, it simply
 176 records the char* pointer value instead of the string that is pointed to.
 177
 178 === Ftrace ===
 179
 180 The "ftrace" backend writes trace data to ftrace marker. This effectively
 181 sends trace events to ftrace ring buffer, and you can compare qemu trace
 182 data and kernel(especially kvm.ko when using KVM) trace data.
 183
 184 if you use KVM, enable kvm events in ftrace:
 185
 186    # echo 1 > /sys/kernel/debug/tracing/events/kvm/enable
 187
 188 After running qemu by root user, you can get the trace:
 189
 190    # cat /sys/kernel/debug/tracing/trace
 191
 192 Restriction: "ftrace" backend is restricted to Linux only.
 193
 194 ==== Monitor commands ====
 195
 196 * trace-file on|off|flush|set <path>
 197   Enable/disable/flush the trace file or set the trace file name.
 198
 199 ==== Analyzing trace files ====
 200
 201 The "simple" backend produces binary trace files that can be formatted with the
 202 simpletrace.py script.  The script takes the "trace-events" file and the binary
 203 trace:
 204
 205     ./scripts/simpletrace.py trace-events trace-12345
 206
 207 You must ensure that the same "trace-events" file was used to build QEMU,
 208 otherwise trace event declarations may have changed and output will not be
 209 consistent.
 210
 211 === LTTng Userspace Tracer ===
 212
 213 The "ust" backend uses the LTTng Userspace Tracer library.  There are no
 214 monitor commands built into QEMU, instead UST utilities should be used to list,
 215 enable/disable, and dump traces.
 216
 217 Package lttng-tools is required for userspace tracing. You must ensure that the
 218 current user belongs to the "tracing" group, or manually launch the
 219 lttng-sessiond daemon for the current user prior to running any instance of
 220 QEMU.
 221
 222 While running an instrumented QEMU, LTTng should be able to list all available
 223 events:
 224
 225     lttng list -u
 226
 227 Create tracing session:
 228
 229     lttng create mysession
 230
 231 Enable events:
 232
 233     lttng enable-event qemu:g_malloc -u
 234
 235 Where the events can either be a comma-separated list of events, or "-a" to
 236 enable all tracepoint events. Start and stop tracing as needed:
 237
 238     lttng start
 239     lttng stop
 240
 241 View the trace:
 242
 243     lttng view
 244
 245 Destroy tracing session:
 246
 247     lttng destroy
 248
 249 Babeltrace can be used at any later time to view the trace:
 250
 251     babeltrace $HOME/lttng-traces/mysession-<date>-<time>
 252
 253 === SystemTap ===
 254
 255 The "dtrace" backend uses DTrace sdt probes but has only been tested with
 256 SystemTap.  When SystemTap support is detected a .stp file with wrapper probes
 257 is generated to make use in scripts more convenient.  This step can also be
 258 performed manually after a build in order to change the binary name in the .stp
 259 probes:
 260
 261     scripts/tracetool --dtrace --stap \
 262                       --binary path/to/qemu-binary \
 263                       --target-type system \
 264                       --target-name x86_64 \
 265                       <trace-events >qemu.stp
 266
 267 == Trace event properties ==
 268
 269 Each event in the "trace-events" file can be prefixed with a space-separated
 270 list of zero or more of the following event properties.
 271
 272 === "disable" ===
 273
 274 If a specific trace event is going to be invoked a huge number of times, this
 275 might have a noticeable performance impact even when the event is
 276 programmatically disabled.
 277
 278 In this case you should declare such event with the "disable" property. This
 279 will effectively disable the event at compile time (by using the "nop" backend),
 280 thus having no performance impact at all on regular builds (i.e., unless you
 281 edit the "trace-events" file).
 282
 283 In addition, there might be cases where relatively complex computations must be
 284 performed to generate values that are only used as arguments for a trace
 285 function. In these cases you can use the macro 'TRACE_${EVENT_NAME}_ENABLED' to
 286 guard such computations and avoid its compilation when the event is disabled:
 287
 288     #include "trace.h"  /* needed for trace event prototype */
 289
 290     void *qemu_vmalloc(size_t size)
 291     {
 292         void *ptr;
 293         size_t align = QEMU_VMALLOC_ALIGN;
 294
 295         if (size < align) {
 296             align = getpagesize();
 297         }
 298         ptr = qemu_memalign(align, size);
 299         if (TRACE_QEMU_VMALLOC_ENABLED) { /* preprocessor macro */
 300             void *complex;
 301             /* some complex computations to produce the 'complex' value */
 302             trace_qemu_vmalloc(size, ptr, complex);
 303         }
 304         return ptr;
 305     }
 306
 307 You can check both if the event has been disabled and is dynamically enabled at
 308 the same time using the 'trace_event_get_state' routine (see header
 309 "trace/control.h" for more information).