test/malloc5.test

   1 # 2005 November 30
   2 #
   3 # The author disclaims copyright to this source code.  In place of
   4 # a legal notice, here is a blessing:
   5 #
   6 #    May you do good and not evil.
   7 #    May you find forgiveness for yourself and forgive others.
   8 #    May you share freely, never taking more than you give.
   9 #
  10 #***********************************************************************
  11 #
  12 # This file contains test cases focused on the two memory-management APIs,
  13 # sqlite3_soft_heap_limit() and sqlite3_release_memory().
  14 #
  15 # Prior to version 3.6.2, calling sqlite3_release_memory() or exceeding
  16 # the configured soft heap limit could cause sqlite to upgrade database
  17 # locks and flush dirty pages to the file system. As of 3.6.2, this is
  18 # no longer the case. In version 3.6.2, sqlite3_release_memory() only
  19 # reclaims clean pages. This test file has been updated accordingly.
  20 #
  21 # $Id: malloc5.test,v 1.22 2009/04/11 19:09:54 drh Exp $
  22
  23 set testdir [file dirname $argv0]
  24 source $testdir/tester.tcl
  25 source $testdir/malloc_common.tcl
  26 db close
  27
  28 # Only run these tests if memory debugging is turned on.
  29 #
  30 if {!$MEMDEBUG} {
  31    puts "Skipping malloc5 tests: not compiled with -DSQLITE_MEMDEBUG..."
  32    finish_test
  33    return
  34 }
  35
  36 # Skip these tests if OMIT_MEMORY_MANAGEMENT was defined at compile time.
  37 ifcapable !memorymanage {
  38    finish_test
  39    return
  40 }
  41
  42 # The sizes of memory allocations from system malloc() might vary,
  43 # depending on the memory allocator algorithms used.  The following
  44 # routine is designed to support answers that fall within a range
  45 # of values while also supplying easy-to-understand "expected" values
  46 # when errors occur.
  47 #
  48 proc value_in_range {target x args} {
  49   set v [lindex $args 0]
  50   if {$v!=""} {
  51     if {$v<$target*$x} {return $v}
  52     if {$v>$target/$x} {return $v}
  53   }
  54   return "number between [expr {int($target*$x)}] and [expr {int($target/$x)}]"
  55 }
  56 set mrange 0.98   ;#  plus or minus 2%
  57
  58 test_set_config_pagecache 0 100
  59
  60 sqlite3_soft_heap_limit 0
  61 sqlite3 db test.db
  62 # db eval {PRAGMA cache_size=1}
  63
  64 do_test malloc5-1.1 {
  65   # Simplest possible test. Call sqlite3_release_memory when there is exactly
  66   # one unused page in a single pager cache. The page cannot be freed, as
  67   # it is dirty. So sqlite3_release_memory() returns 0.
  68   #
  69   execsql {
  70     PRAGMA auto_vacuum=OFF;
  71     BEGIN;
  72     CREATE TABLE abc(a, b, c);
  73   }
  74   sqlite3_release_memory
  75 } {0}
  76
  77 do_test malloc5-1.2 {
  78   # Test that the transaction started in the above test is still active.
  79   # The lock on the database file should not have been upgraded (this was
  80   # not the case before version 3.6.2).
  81   #
  82   sqlite3 db2 test.db
  83   execsql {PRAGMA cache_size=2; SELECT * FROM sqlite_master } db2
  84 } {}
  85 do_test malloc5-1.3 {
  86   # Call [sqlite3_release_memory] when there is exactly one unused page
  87   # in the cache belonging to db2.
  88   #
  89   set ::pgalloc [sqlite3_release_memory]
  90   value_in_range 1288 0.75
  91 } [value_in_range 1288 0.75]
  92
  93 do_test malloc5-1.4 {
  94   # Commit the transaction and open a new one. Read 1 page into the cache.
  95   # Because the page is not dirty, it is eligible for collection even
  96   # before the transaction is concluded.
  97   #
  98   execsql {
  99     COMMIT;
 100     BEGIN;
 101     SELECT * FROM abc;
 102   }
 103   value_in_range $::pgalloc $::mrange [sqlite3_release_memory]
 104 } [value_in_range $::pgalloc $::mrange]
 105
 106 do_test malloc5-1.5 {
 107   # Conclude the transaction opened in the previous [do_test] block. This
 108   # causes another page (page 1) to become eligible for recycling.
 109   #
 110   execsql { COMMIT }
 111   value_in_range $::pgalloc $::mrange [sqlite3_release_memory]
 112 } [value_in_range $::pgalloc $::mrange]
 113
 114 do_test malloc5-1.6 {
 115   # Manipulate the cache so that it contains two unused pages. One requires
 116   # a journal-sync to free, the other does not.
 117   db2 close
 118   execsql {
 119     BEGIN;
 120     CREATE TABLE def(d, e, f);
 121     SELECT * FROM abc;
 122   }
 123   value_in_range $::pgalloc $::mrange [sqlite3_release_memory 500]
 124 } [value_in_range $::pgalloc $::mrange]
 125 do_test malloc5-1.7 {
 126   # Database should not be locked this time.
 127   sqlite3 db2 test.db
 128   catchsql { SELECT * FROM abc } db2
 129 } {0 {}}
 130 do_test malloc5-1.8 {
 131   # Try to release another block of memory. This will fail as the only
 132   # pages currently in the cache are dirty (page 3) or pinned (page 1).
 133   db2 close
 134   sqlite3_release_memory 500
 135 } 0
 136 do_test malloc5-1.8 {
 137   # Database is still not locked.
 138   #
 139   sqlite3 db2 test.db
 140   catchsql { SELECT * FROM abc } db2
 141 } {0 {}}
 142 do_test malloc5-1.9 {
 143   execsql {
 144     COMMIT;
 145   }
 146 } {}
 147
 148 do_test malloc5-2.1 {
 149   # Put some data in tables abc and def. Both tables are still wholly
 150   # contained within their root pages.
 151   execsql {
 152     INSERT INTO abc VALUES(1, 2, 3);
 153     INSERT INTO abc VALUES(4, 5, 6);
 154     INSERT INTO def VALUES(7, 8, 9);
 155     INSERT INTO def VALUES(10,11,12);
 156   }
 157 } {}
 158 do_test malloc5-2.2 {
 159   # Load the root-page for table def into the cache. Then query table abc.
 160   # Halfway through the query call sqlite3_release_memory(). The goal of this
 161   # test is to make sure we don't free pages that are in use (specifically,
 162   # the root of table abc).
 163   sqlite3_release_memory
 164   set nRelease 0
 165   execsql {
 166     BEGIN;
 167     SELECT * FROM def;
 168   }
 169   set data [list]
 170   db eval {SELECT * FROM abc} {
 171     incr nRelease [sqlite3_release_memory]
 172     lappend data $a $b $c
 173   }
 174   execsql {
 175     COMMIT;
 176   }
 177   list $nRelease $data
 178 } [list $pgalloc [list 1 2 3 4 5 6]]
 179
 180 do_test malloc5-3.1 {
 181   # Simple test to show that if two pagers are opened from within this
 182   # thread, memory is freed from both when sqlite3_release_memory() is
 183   # called.
 184   execsql {
 185     BEGIN;
 186     SELECT * FROM abc;
 187   }
 188   execsql {
 189     SELECT * FROM sqlite_master;
 190     BEGIN;
 191     SELECT * FROM def;
 192   } db2
 193   value_in_range [expr $::pgalloc*2] 0.99 [sqlite3_release_memory]
 194 } [value_in_range [expr $::pgalloc * 2] 0.99]
 195 do_test malloc5-3.2 {
 196   concat \
 197     [execsql {SELECT * FROM abc; COMMIT}] \
 198     [execsql {SELECT * FROM def; COMMIT} db2]
 199 } {1 2 3 4 5 6 7 8 9 10 11 12}
 200
 201 db2 close
 202 puts "Highwater mark: [sqlite3_memory_highwater]"
 203
 204 # The following two test cases each execute a transaction in which
 205 # 10000 rows are inserted into table abc. The first test case is used
 206 # to ensure that more than 1MB of dynamic memory is used to perform
 207 # the transaction.
 208 #
 209 # The second test case sets the "soft-heap-limit" to 100,000 bytes (0.1 MB)
 210 # and tests to see that this limit is not exceeded at any point during
 211 # transaction execution.
 212 #
 213 # Before executing malloc5-4.* we save the value of the current soft heap
 214 # limit in variable ::soft_limit. The original value is restored after
 215 # running the tests.
 216 #
 217 set ::soft_limit [sqlite3_soft_heap_limit -1]
 218 execsql {PRAGMA cache_size=2000}
 219 do_test malloc5-4.1 {
 220   execsql {BEGIN;}
 221   execsql {DELETE FROM abc;}
 222   for {set i 0} {$i < 10000} {incr i} {
 223     execsql "INSERT INTO abc VALUES($i, $i, '[string repeat X 100]');"
 224   }
 225   execsql {COMMIT;}
 226   db cache flush
 227   sqlite3_release_memory
 228   sqlite3_memory_highwater 1
 229   execsql {SELECT * FROM abc}
 230   set nMaxBytes [sqlite3_memory_highwater 1]
 231   puts -nonewline " (Highwater mark: $nMaxBytes) "
 232   expr $nMaxBytes > 1000000
 233 } {1}
 234 do_test malloc5-4.2 {
 235   db eval {PRAGMA cache_size=1}
 236   db cache flush
 237   sqlite3_release_memory
 238   sqlite3_soft_heap_limit 200000
 239   sqlite3_memory_highwater 1
 240   execsql {SELECT * FROM abc}
 241   set nMaxBytes [sqlite3_memory_highwater 1]
 242   puts -nonewline " (Highwater mark: $nMaxBytes) "
 243   expr $nMaxBytes <= 210000
 244 } {1}
 245 do_test malloc5-4.3 {
 246   # Check that the content of table abc is at least roughly as expected.
 247   execsql {
 248     SELECT count(*), sum(a), sum(b) FROM abc;
 249   }
 250 } [list 10000 [expr int(10000.0 * 4999.5)] [expr int(10000.0 * 4999.5)]]
 251
 252 # Restore the soft heap limit.
 253 sqlite3_soft_heap_limit $::soft_limit
 254
 255 # Test that there are no problems calling sqlite3_release_memory when
 256 # there are open in-memory databases.
 257 #
 258 # At one point these tests would cause a seg-fault.
 259 #
 260 do_test malloc5-5.1 {
 261   db close
 262   sqlite3 db :memory:
 263   execsql {
 264     BEGIN;
 265     CREATE TABLE abc(a, b, c);
 266     INSERT INTO abc VALUES('abcdefghi', 1234567890, NULL);
 267     INSERT INTO abc SELECT * FROM abc;
 268     INSERT INTO abc SELECT * FROM abc;
 269     INSERT INTO abc SELECT * FROM abc;
 270     INSERT INTO abc SELECT * FROM abc;
 271     INSERT INTO abc SELECT * FROM abc;
 272     INSERT INTO abc SELECT * FROM abc;
 273     INSERT INTO abc SELECT * FROM abc;
 274   }
 275   sqlite3_release_memory
 276 } 0
 277 do_test malloc5-5.2 {
 278   sqlite3_soft_heap_limit 5000
 279   execsql {
 280     COMMIT;
 281     PRAGMA temp_store = memory;
 282     SELECT * FROM abc ORDER BY a;
 283   }
 284   expr 1
 285 } {1}
 286 sqlite3_soft_heap_limit $::soft_limit
 287
 288 #-------------------------------------------------------------------------
 289 # The following test cases (malloc5-6.*) test the new global LRU list
 290 # used to determine the pages to recycle when sqlite3_release_memory is
 291 # called and there is more than one pager open.
 292 #
 293 proc nPage {db} {
 294   set bt [btree_from_db $db]
 295   array set stats [btree_pager_stats $bt]
 296   set stats(page)
 297 }
 298 db close
 299 forcedelete test.db test.db-journal test2.db test2.db-journal
 300
 301 # This block of test-cases (malloc5-6.1.*) prepares two database files
 302 # for the subsequent tests.
 303 do_test malloc5-6.1.1 {
 304   sqlite3 db test.db
 305   execsql {
 306     PRAGMA page_size=1024;
 307     PRAGMA default_cache_size=2;
 308   }
 309   execsql {
 310     PRAGMA temp_store = memory;
 311     BEGIN;
 312     CREATE TABLE abc(a PRIMARY KEY, b, c);
 313     INSERT INTO abc VALUES(randstr(50,50), randstr(75,75), randstr(100,100));
 314     INSERT INTO abc
 315         SELECT randstr(50,50), randstr(75,75), randstr(100,100) FROM abc;
 316     INSERT INTO abc
 317         SELECT randstr(50,50), randstr(75,75), randstr(100,100) FROM abc;
 318     INSERT INTO abc
 319         SELECT randstr(50,50), randstr(75,75), randstr(100,100) FROM abc;
 320     INSERT INTO abc
 321         SELECT randstr(50,50), randstr(75,75), randstr(100,100) FROM abc;
 322     INSERT INTO abc
 323         SELECT randstr(50,50), randstr(75,75), randstr(100,100) FROM abc;
 324     INSERT INTO abc
 325         SELECT randstr(50,50), randstr(75,75), randstr(100,100) FROM abc;
 326     COMMIT;
 327   }
 328   forcecopy test.db test2.db
 329   sqlite3 db2 test2.db
 330   db2 eval {PRAGMA cache_size=2}
 331   list \
 332     [expr ([file size test.db]/1024)>20] [expr ([file size test2.db]/1024)>20]
 333 } {1 1}
 334 do_test malloc5-6.1.2 {
 335   list [execsql {PRAGMA cache_size}] [execsql {PRAGMA cache_size} db2]
 336 } {2 2}
 337
 338 do_test malloc5-6.2.1 {
 339   execsql {SELECT * FROM abc} db2
 340   execsql {SELECT * FROM abc} db
 341   expr [nPage db] + [nPage db2]
 342 } {4}
 343
 344 do_test malloc5-6.2.2 {
 345   # If we now try to reclaim some memory, it should come from the db2 cache.
 346   sqlite3_release_memory 3000
 347   expr [nPage db] + [nPage db2]
 348 } {1}
 349 do_test malloc5-6.2.3 {
 350   # Access the db2 cache again, so that all the db2 pages have been used
 351   # more recently than all the db pages. Then try to reclaim 3000 bytes.
 352   # This time, 3 pages should be pulled from the db cache.
 353   execsql { SELECT * FROM abc } db2
 354   sqlite3_release_memory 3000
 355   expr [nPage db] + [nPage db2]
 356 } {0}
 357
 358 do_test malloc5-6.3.1 {
 359   # Now open a transaction and update 2 pages in the db2 cache. Then
 360   # do a SELECT on the db cache so that all the db pages are more recently
 361   # used than the db2 pages. When we try to free memory, SQLite should
 362   # free the non-dirty db2 pages, then the db pages, then finally use
 363   # sync() to free up the dirty db2 pages. The only page that cannot be
 364   # freed is page1 of db2. Because there is an open transaction, the
 365   # btree layer holds a reference to page 1 in the db2 cache.
 366   #
 367   # UPDATE: No longer. As release_memory() does not cause a sync()
 368   execsql {
 369     BEGIN;
 370     UPDATE abc SET c = randstr(100,100)
 371     WHERE rowid = 1 OR rowid = (SELECT max(rowid) FROM abc);
 372   } db2
 373   execsql { SELECT * FROM abc } db
 374   expr [nPage db] + [nPage db2]
 375 } {4}
 376 do_test malloc5-6.3.2 {
 377   # Try to release 7700 bytes. This should release all the
 378   # non-dirty pages held by db2.
 379   sqlite3_release_memory [expr 7*1132]
 380   list [nPage db] [nPage db2]
 381 } {0 3}
 382 do_test malloc5-6.3.3 {
 383   # Try to release another 1000 bytes. This should come fromt the db
 384   # cache, since all three pages held by db2 are either in-use or diry.
 385   sqlite3_release_memory 1000
 386   list [nPage db] [nPage db2]
 387 } {0 3}
 388 do_test malloc5-6.3.4 {
 389   # Now release 9900 more (about 9 pages worth). This should expunge
 390   # the rest of the db cache. But the db2 cache remains intact, because
 391   # SQLite tries to avoid calling sync().
 392   if {$::tcl_platform(wordSize)==8} {
 393     sqlite3_release_memory 10500
 394   } else {
 395     sqlite3_release_memory 9900
 396   }
 397   list [nPage db] [nPage db2]
 398 } {0 3}
 399 do_test malloc5-6.3.5 {
 400   # But if we are really insistent, SQLite will consent to call sync()
 401   # if there is no other option. UPDATE: As of 3.6.2, SQLite will not
 402   # call sync() in this scenario. So no further memory can be reclaimed.
 403   sqlite3_release_memory 1000
 404   list [nPage db] [nPage db2]
 405 } {0 3}
 406 do_test malloc5-6.3.6 {
 407   # The referenced page (page 1 of the db2 cache) will not be freed no
 408   # matter how much memory we ask for:
 409   sqlite3_release_memory 31459
 410   list [nPage db] [nPage db2]
 411 } {0 3}
 412
 413 db2 close
 414
 415 sqlite3_soft_heap_limit $::soft_limit
 416 test_restore_config_pagecache
 417 finish_test
 418 catch {db close}