talloc_guide.txt

   1 Using talloc in Samba4
   2 ----------------------
   3
   4 Andrew Tridgell
   5 September 2004
   6
   7 The most current version of this document is available at
   8    http://samba.org/ftp/unpacked/samba4/talloc_guide.txt
   9
  10 If you are used to talloc from Samba3 then please read this carefully,
  11 as talloc has changed a lot.
  12
  13 The new talloc is a hierarchical, reference counted memory pool system
  14 with destructors. Quite a mounthful really, but not too bad once you
  15 get used to it.
  16
  17 Perhaps the biggest change from Samba3 is that there is no distinction
  18 between a "talloc context" and a "talloc pointer". Any pointer
  19 returned from talloc() is itself a valid talloc context. This means
  20 you can do this:
  21
  22   struct foo *X = talloc_p(mem_ctx, struct foo);
  23   X->name = talloc_strdup(X, "foo");
  24
  25 and the pointer X->name would be a "child" of the talloc context "X"
  26 which is itself a child of mem_ctx. So if you do talloc_free(mem_ctx)
  27 then it is all destroyed, whereas if you do talloc_free(X) then just X
  28 and X->name are destroyed, and if you do talloc_free(X->name) then
  29 just the name element of X is destroyed.
  30
  31 If you think about this, then what this effectively gives you is an
  32 n-ary tree, where you can free any part of the tree with
  33 talloc_free().
  34
  35 If you find this confusing, then I suggest you run the LOCAL-TALLOC
  36 smbtorture test to watch talloc in action. You may also like to add
  37 your own tests to source/torture/local/talloc.c to clarify how some
  38 particular situation is handled.
  39
  40
  41 Performance
  42 -----------
  43
  44 All the additional features of talloc() over malloc() do come at a
  45 price. We have a simple performance test in Samba4 that measures
  46 talloc() versus malloc() performance, and it seems that talloc() is
  47 about 10% slower than malloc() on my x86 Debian Linux box. For Samba,
  48 the great reduction in code complexity that we get by using talloc
  49 makes this worthwhile, especially as the total overhead of
  50 talloc/malloc in Samba is already quite small.
  51
  52
  53 talloc API
  54 ----------
  55
  56 The following is a complete guide to the talloc API. Read it all at
  57 least twice.
  58
  59
  60 =-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-
  61 void *talloc(const void *context, size_t size);
  62
  63 The talloc() function is the core of the talloc library. It takes a
  64 memory context, and returns a pointer to a new area of memory of the
  65 given size.
  66
  67 The returned pointer is itself a talloc context, so you can use it as
  68 the context argument to more calls to talloc if you wish.
  69
  70 The returned pointer is a "child" of the supplied context. This means
  71 that if you talloc_free() the context then the new child disappears as
  72 well. Alternatively you can free just the child.
  73
  74 The context argument to talloc() can be NULL, in which case a new top
  75 level context is created.
  76
  77
  78 =-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-
  79 void *talloc_p(const void *context, type);
  80
  81 The talloc_p() macro is the equivalent of
  82
  83   (type *)talloc(ctx, sizeof(type))
  84
  85 You should use it in preference to talloc() whenever possible, as it
  86 provides additional type safety. It also automatically calls the
  87 talloc_set_name_const() function with the name being a string holding
  88 the name of the type.
  89
  90
  91 =-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-
  92 int talloc_free(void *ptr);
  93
  94 The talloc_free() function frees a piece of talloc memory, and all its
  95 children. You can call talloc_free() on any pointer returned by
  96 talloc().
  97
  98 The return value of talloc_free() indicates success or failure, with 0
  99 returned for success and -1 for failure. The only possible failure
 100 condition is if the pointer had a destructor attached to it and the
 101 destructor returned -1. See talloc_set_destructor() for details on
 102 destructors.
 103
 104 If this pointer has an additional parent when talloc_free() is called
 105 then the memory is not actually released, but instead the most
 106 recently established parent is destroyed. See talloc_reference() for
 107 details on establishing additional parents.
 108
 109 For more control on which parent is removed, see talloc_unlink()
 110
 111 talloc_free() operates recursively on its children.
 112
 113
 114 =-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-
 115 void *talloc_reference(const void *context, const void *ptr);
 116
 117 The talloc_reference() function makes "context" an additional parent
 118 of "ptr".
 119
 120 The return value of talloc_reference() is always the original pointer
 121 "ptr", unless talloc ran out of memory in creating the reference in
 122 which case it will return NULL (each additional reference consumes
 123 around 48 bytes of memory on intel x86 platforms).
 124
 125 If "ptr" is NULL, then the function is a no-op, and simply returns NULL.
 126
 127 After creating a reference you can free it in one of the following
 128 ways:
 129
 130   - you can talloc_free() any parent of the original pointer. That
 131     will reduce the number of parents of this pointer by 1, and will
 132     cause this pointer to be freed if it runs out of parents.
 133
 134   - you can talloc_free() the pointer itself. That will destroy the
 135     most recently established parent to the pointer and leave the
 136     pointer as a child of its current parent.
 137
 138 For more control on which parent to remove, see talloc_unlink()
 139
 140
 141 =-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-
 142 int talloc_unlink(const void *context, const void *ptr);
 143
 144 The talloc_unlink() function removes a specific parent from ptr. The
 145 context passed must either be a context used in talloc_reference()
 146 with this pointer, or must be a direct parent of ptr.
 147
 148 Note that if the parent has already been removed using talloc_free()
 149 then this function will fail and will return -1.  Likewise, if "ptr"
 150 is NULL, then the function will make no modifications and return -1.
 151
 152 Usually you can just use talloc_free() instead of talloc_unlink(), but
 153 sometimes it is useful to have the additional control on which parent
 154 is removed.
 155
 156
 157 =-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-
 158 void talloc_set_destructor(const void *ptr, int (*destructor)(void *));
 159
 160 The function talloc_set_destructor() sets the "destructor" for the
 161 pointer "ptr". A destructor is a function that is called when the
 162 memory used by a pointer is about to be released. The destructor
 163 receives the pointer as an argument, and should return 0 for success
 164 and -1 for failure.
 165
 166 The destructor can do anything it wants to, including freeing other
 167 pieces of memory. A common use for destructors is to clean up
 168 operating system resources (such as open file descriptors) contained
 169 in the structure the destructor is placed on.
 170
 171 You can only place one destructor on a pointer. If you need more than
 172 one destructor then you can create a zero-length child of the pointer
 173 and place an additional destructor on that.
 174
 175 To remove a destructor call talloc_set_destructor() with NULL for the
 176 destructor.
 177
 178 If your destructor attempts to talloc_free() the pointer that it is
 179 the destructor for then talloc_free() will return -1 and the free will
 180 be ignored. This would be a pointless operation anyway, as the
 181 destructor is only called when the memory is just about to go away.
 182
 183
 184 =-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-
 185 void talloc_increase_ref_count(const void *ptr);
 186
 187 The talloc_increase_ref_count(ptr) function is exactly equivalent to:
 188
 189   talloc_reference(NULL, ptr);
 190
 191 You can use either syntax, depending on which you think is clearer in
 192 your code.
 193
 194
 195 =-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-
 196 void talloc_set_name(const void *ptr, const char *fmt, ...);
 197
 198 Each talloc pointer has a "name". The name is used principally for
 199 debugging purposes, although it is also possible to set and get the
 200 name on a pointer in as a way of "marking" pointers in your code.
 201
 202 The main use for names on pointer is for "talloc reports". See
 203 talloc_report() and talloc_report_full() for details. Also see
 204 talloc_enable_leak_report() and talloc_enable_leak_report_full().
 205
 206 The talloc_set_name() function allocates memory as a child of the
 207 pointer. It is logically equivalent to:
 208   talloc_set_name_const(ptr, talloc_asprintf(ptr, fmt, ...));
 209
 210 Note that multiple calls to talloc_set_name() will allocate more
 211 memory without releasing the name. All of the memory is released when
 212 the ptr is freed using talloc_free().
 213
 214
 215 =-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-
 216 void talloc_set_name_const(const void *ptr, const char *name);
 217
 218 The function talloc_set_name_const() is just like talloc_set_name(),
 219 but it takes a string constant, and is much faster. It is extensively
 220 used by the "auto naming" macros, such as talloc_p().
 221
 222 This function does not allocate any memory. It just copies the
 223 supplied pointer into the internal representation of the talloc
 224 ptr. This means you must not pass a name pointer to memory that will
 225 disappear before the ptr is freed with talloc_free().
 226
 227
 228 =-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-
 229 void *talloc_named(const void *context, size_t size, const char *fmt, ...);
 230
 231 The talloc_named() function creates a named talloc pointer. It is
 232 equivalent to:
 233
 234    ptr = talloc(context, size);
 235    talloc_set_name(ptr, fmt, ....);
 236
 237
 238 =-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-
 239 void *talloc_named_const(const void *context, size_t size, const char *name);
 240
 241 This is equivalent to:
 242
 243    ptr = talloc(context, size);
 244    talloc_set_name_const(ptr, name);
 245
 246
 247 =-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-
 248 const char *talloc_get_name(const void *ptr);
 249
 250 This returns the current name for the given talloc pointer. See
 251 talloc_set_name() for details.
 252
 253
 254 =-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-
 255 void *talloc_init(const char *fmt, ...);
 256
 257 This function creates a zero length named talloc context as a top
 258 level context. It is equivalent to:
 259
 260   talloc_named(NULL, 0, fmt, ...);
 261
 262
 263 =-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-
 264 void *talloc_realloc(const void *context, void *ptr, size_t size);
 265
 266 The talloc_realloc() function changes the size of a talloc
 267 pointer. It has the following equivalences:
 268
 269   talloc_realloc(context, NULL, size) ==> talloc(context, size);
 270   talloc_realloc(context, ptr, 0)     ==> talloc_free(ptr);
 271
 272 The "context" argument is only used if "ptr" is not NULL, otherwise it
 273 is ignored.
 274
 275 talloc_realloc() returns the new pointer, or NULL on failure. The call
 276 will fail either due to a lack of memory, or because the pointer has
 277 more than one parent (see talloc_reference()).
 278
 279
 280 =-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-
 281 void *talloc_steal(const void *new_ctx, const void *ptr);
 282
 283 The talloc_steal() function changes the parent context of a talloc
 284 pointer. It is typically used when the context that the pointer is
 285 currently a child of is going to be freed and you wish to keep the
 286 memory for a longer time.
 287
 288 The talloc_steal() function returns the pointer that you pass it. It
 289 does not have any failure modes.
 290
 291 NOTE: It is possible to produce loops in the parent/child relationship
 292 if you are not careful with talloc_steal(). No guarantees are provided
 293 as to your sanity or the safety of your data if you do this.
 294
 295
 296 =-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-
 297 off_t talloc_total_size(const void *ptr);
 298
 299 The talloc_total_size() function returns the total size in bytes used
 300 by this pointer and all child pointers. Mostly useful for debugging.
 301
 302 Passing NULL is allowed, but it will only give a meaningful result if
 303 talloc_enable_leak_report() or talloc_enable_leak_report_full() has
 304 been called.
 305
 306
 307 =-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-
 308 off_t talloc_total_blocks(const void *ptr);
 309
 310 The talloc_total_blocks() function returns the total memory block
 311 count used by this pointer and all child pointers. Mostly useful for
 312 debugging.
 313
 314 Passing NULL is allowed, but it will only give a meaningful result if
 315 talloc_enable_leak_report() or talloc_enable_leak_report_full() has
 316 been called.
 317
 318
 319 =-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-
 320 void talloc_report(const void *ptr, FILE *f);
 321
 322 The talloc_report() function prints a summary report of all memory
 323 used by ptr. One line of report is printed for each immediate child of
 324 ptr, showing the total memory and number of blocks used by that child.
 325
 326 You can pass NULL for the pointer, in which case a report is printed
 327 for the top level memory context, but only if
 328 talloc_enable_leak_report() or talloc_enable_leak_report_full() has
 329 been called.
 330
 331
 332 =-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-
 333 void talloc_report_full(const void *ptr, FILE *f);
 334
 335 This provides a more detailed report than talloc_report(). It will
 336 recursively print the ensire tree of memory referenced by the
 337 pointer. References in the tree are shown by giving the name of the
 338 pointer that is referenced.
 339
 340 You can pass NULL for the pointer, in which case a report is printed
 341 for the top level memory context, but only if
 342 talloc_enable_leak_report() or talloc_enable_leak_report_full() has
 343 been called.
 344
 345
 346 =-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-
 347 void talloc_enable_leak_report(void);
 348
 349 This enables calling of talloc_report(NULL, stderr) when the program
 350 exits. In Samba4 this is enabled by using the --leak-report command
 351 line option.
 352
 353 For it to be useful, this function must be called before any other
 354 talloc function as it establishes a "null context" that acts as the
 355 top of the tree. If you don't call this function first then passing
 356 NULL to talloc_report() or talloc_report_full() won't give you the
 357 full tree printout.
 358
 359 Here is a typical talloc report:
 360
 361 talloc report on 'null_context' (total 267 bytes in 15 blocks)
 362         libcli/auth/spnego_parse.c:55  contains     31 bytes in   2 blocks
 363         libcli/auth/spnego_parse.c:55  contains     31 bytes in   2 blocks
 364         iconv(UTF8,CP850)              contains     42 bytes in   2 blocks
 365         libcli/auth/spnego_parse.c:55  contains     31 bytes in   2 blocks
 366         iconv(CP850,UTF8)              contains     42 bytes in   2 blocks
 367         iconv(UTF8,UTF-16LE)           contains     45 bytes in   2 blocks
 368         iconv(UTF-16LE,UTF8)           contains     45 bytes in   2 blocks
 369
 370
 371 =-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-
 372 void talloc_enable_leak_report_full(void);
 373
 374 This enables calling of talloc_report_full(NULL, stderr) when the
 375 program exits. In Samba4 this is enabled by using the
 376 --leak-report-full command line option.
 377
 378 For it to be useful, this function must be called before any other
 379 talloc function as it establishes a "null context" that acts as the
 380 top of the tree. If you don't call this function first then passing
 381 NULL to talloc_report() or talloc_report_full() won't give you the
 382 full tree printout.
 383
 384 Here is a typical full report:
 385
 386 full talloc report on 'root' (total 18 bytes in 8 blocks)
 387     p1                             contains     18 bytes in   7 blocks (ref 0)
 388         r1                             contains     13 bytes in   2 blocks (ref 0)
 389             reference to: p2
 390         p2                             contains      1 bytes in   1 blocks (ref 1)
 391         x3                             contains      1 bytes in   1 blocks (ref 0)
 392         x2                             contains      1 bytes in   1 blocks (ref 0)
 393         x1                             contains      1 bytes in   1 blocks (ref 0)
 394
 395
 396 =-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-
 397 void *talloc_zero(const void *ctx, size_t size);
 398
 399 The talloc_zero() function is equivalent to:
 400
 401   ptr = talloc(ctx, size);
 402   if (ptr) memset(ptr, 0, size);
 403
 404
 405 =-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-
 406 void *talloc_memdup(const void *ctx, const void *p, size_t size);
 407
 408 The talloc_memdup() function is equivalent to:
 409
 410   ptr = talloc(ctx, size);
 411   if (ptr) memcpy(ptr, p, size);
 412
 413
 414 =-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-
 415 char *talloc_strdup(const void *ctx, const char *p);
 416
 417 The talloc_strdup() function is equivalent to:
 418
 419   ptr = talloc(ctx, strlen(p)+1);
 420   if (ptr) memcpy(ptr, p, strlen(p)+1);
 421
 422 This functions sets the name of the new pointer to the passed
 423 string. This is equivalent to:
 424    talloc_set_name_const(ptr, ptr)
 425
 426 =-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-
 427 char *talloc_strndup(const void *t, const char *p, size_t n);
 428
 429 The talloc_strndup() function is the talloc equivalent of the C
 430 library function strndup()
 431
 432 This functions sets the name of the new pointer to the passed
 433 string. This is equivalent to:
 434    talloc_set_name_const(ptr, ptr)
 435
 436
 437 =-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-
 438 char *talloc_vasprintf(const void *t, const char *fmt, va_list ap);
 439
 440 The talloc_vasprintf() function is the talloc equivalent of the C
 441 library function vasprintf()
 442
 443
 444 =-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-
 445 char *talloc_asprintf(const void *t, const char *fmt, ...);
 446
 447 The talloc_asprintf() function is the talloc equivalent of the C
 448 library function asprintf()
 449
 450 This functions sets the name of the new pointer to the passed
 451 string. This is equivalent to:
 452    talloc_set_name_const(ptr, ptr)
 453
 454
 455 =-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-
 456 char *talloc_asprintf_append(char *s, const char *fmt, ...);
 457
 458 The talloc_asprintf_append() function appends the given formatted
 459 string to the given string.
 460
 461
 462 =-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-
 463 void *talloc_array_p(const void *ctx, type, uint_t count);
 464
 465 The talloc_array_p() macro is equivalent to:
 466
 467   (type *)talloc(ctx, sizeof(type) * count);
 468
 469 except that it provides integer overflow protection for the multiply,
 470 returning NULL if the multiply overflows.
 471
 472
 473 =-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-
 474 void *talloc_realloc_p(const void *ctx, void *ptr, type, uint_t count);
 475
 476 The talloc_realloc_p() macro is equivalent to:
 477
 478   (type *)talloc_realloc(ctx, ptr, sizeof(type) * count);
 479
 480 except that it provides integer overflow protection for the multiply,
 481 returning NULL if the multiply overflows.
 482
 483
 484 =-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-
 485 void *talloc_realloc_fn(const void *ctx, void *ptr, size_t size);
 486
 487 This is a non-macro version of talloc_realloc(), which is useful
 488 as libraries sometimes want a ralloc function pointer. A realloc()
 489 implementation encapsulates the functionality of malloc(), free() and
 490 realloc() in one call, which is why it is useful to be able to pass
 491 around a single function pointer.
 492