test/permutations.test

   1 # 2008 June 21
   2 #
   3 # The author disclaims copyright to this source code.  In place of
   4 # a legal notice, here is a blessing:
   5 #
   6 #    May you do good and not evil.
   7 #    May you find forgiveness for yourself and forgive others.
   8 #    May you share freely, never taking more than you give.
   9 #
  10 #***********************************************************************
  11 #
  12
  13 set testdir [file dirname $argv0]
  14 source $testdir/tester.tcl
  15 db close
  16
  17 #-------------------------------------------------------------------------
  18 # test_suite NAME OPTIONS
  19 #
  20 # where available options are:
  21 #
  22 #       -description TITLE                  (default "")
  23 #       -initialize  SCRIPT                 (default "")
  24 #       -shutdown    SCRIPT                 (default "")
  25 #       -presql      SQL                    (default "")
  26 #       -files       LIST-OF-FILES          (default $::ALLTESTS)
  27 #       -prefix      NAME                   (default "$::NAME.")
  28 #       -dbconfig    SCRIPT                 (default "")
  29 #
  30 proc test_suite {name args} {
  31
  32   set default(-shutdown)    ""
  33   set default(-initialize)  ""
  34   set default(-presql)      ""
  35   set default(-description) "no description supplied (fixme)"
  36   set default(-files)       ""
  37   set default(-prefix)      "${name}."
  38   set default(-dbconfig)    ""
  39
  40   array set options [array get default]
  41   if {[llength $args]%2} {
  42     error "uneven number of options/switches passed to test_suite"
  43   }
  44   foreach {k v} $args {
  45     set o [array names options ${k}*]
  46     if {[llength $o]>1}  { error "ambiguous option: $k" }
  47     if {[llength $o]==0} { error "unknown option: $k" }
  48     set options([lindex $o 0]) $v
  49   }
  50
  51   set     ::testspec($name) [array get options]
  52   lappend ::testsuitelist $name
  53 }
  54
  55 #-------------------------------------------------------------------------
  56 # test_set ARGS...
  57 #
  58 proc test_set {args} {
  59   set isExclude 0
  60   foreach a $args {
  61     if {[string match -* $a]} {
  62       switch -- $a {
  63         -include { set isExclude 0 }
  64         -exclude { set isExclude 1 }
  65         default {
  66           error "Unknown switch: $a"
  67         }
  68       }
  69     } elseif {$isExclude == 0} {
  70       foreach f $a { set t($f) 1 }
  71     } else {
  72       foreach f $a { array unset t $f }
  73       foreach f $a { array unset t */$f }
  74     }
  75   }
  76
  77   return [array names t]
  78 }
  79
  80 #-------------------------------------------------------------------------
  81 # Set up the following global list variables containing the names of
  82 # various test scripts:
  83 #
  84 #   $alltests
  85 #   $allquicktests
  86 #
  87 set alltests [list]
  88 foreach f [glob $testdir/*.test] { lappend alltests [file tail $f] }
  89 foreach f [glob -nocomplain            \
  90     $testdir/../ext/rtree/*.test       \
  91     $testdir/../ext/fts5/test/*.test   \
  92     $testdir/../ext/expert/*.test      \
  93     $testdir/../ext/lsm1/test/*.test   \
  94 ] {
  95   lappend alltests $f
  96 }
  97 foreach f [glob -nocomplain $testdir/../ext/session/*.test] {
  98   lappend alltests $f
  99 }
 100
 101 if {$::tcl_platform(platform)!="unix"} {
 102   set alltests [test_set $alltests -exclude crash.test crash2.test]
 103 }
 104 set alltests [test_set $alltests -exclude {
 105   all.test        async.test         quick.test  veryquick.test
 106   memleak.test    permutations.test  soak.test   fts3.test
 107   mallocAll.test  rtree.test         full.test   extraquick.test
 108   session.test    rbu.test
 109 }]
 110
 111 set allquicktests [test_set $alltests -exclude {
 112   async2.test async3.test backup_ioerr.test corrupt.test
 113   corruptC.test crash.test crash2.test crash3.test crash4.test crash5.test
 114   crash6.test crash7.test delete3.test e_fts3.test fts3rnd.test
 115   fkey_malloc.test fuzz.test fuzz3.test fuzz_malloc.test in2.test loadext.test
 116   misc7.test mutex2.test notify2.test onefile.test pagerfault2.test
 117   savepoint4.test savepoint6.test select9.test
 118   speed1.test speed1p.test speed2.test speed3.test speed4.test
 119   speed4p.test sqllimits1.test tkt2686.test thread001.test thread002.test
 120   thread003.test thread004.test thread005.test trans2.test vacuum3.test
 121   incrvacuum_ioerr.test autovacuum_crash.test btree8.test shared_err.test
 122   vtab_err.test walslow.test walcrash.test walcrash3.test
 123   walthread.test rtree3.test indexfault.test securedel2.test
 124   sort3.test sort4.test fts4growth.test fts4growth2.test
 125   bigsort.test walprotocol.test mmap4.test fuzzer2.test
 126   walcrash2.test e_fkey.test backup.test
 127
 128   fts4merge.test fts4merge2.test fts4merge4.test fts4check.test
 129   fts4merge5.test
 130   fts3cov.test fts3snippet.test fts3corrupt2.test fts3an.test
 131   fts3defer.test fts4langid.test fts3sort.test fts5unicode.test
 132
 133   rtree4.test
 134 }]
 135 if {[info exists ::env(QUICKTEST_INCLUDE)]} {
 136   set allquicktests [concat $allquicktests $::env(QUICKTEST_INCLUDE)]
 137 }
 138 if {[info exists ::env(QUICKTEST_OMIT)]} {
 139   foreach x [split $::env(QUICKTEST_OMIT) ,] {
 140     regsub -all \\y$x\\y $allquicktests {} allquicktests
 141   }
 142 }
 143
 144 # If the TEST_FAILURE environment variable is set, it means that we what to
 145 # deliberately provoke test failures in order to test the test infrastructure.
 146 # Only the main.test module is needed for this.
 147 #
 148 if {[info exists ::env(TEST_FAILURE)]} {
 149   set allquicktests main.test
 150 }
 151
 152 #############################################################################
 153 # Start of tests
 154 #
 155
 156 #-------------------------------------------------------------------------
 157 # Define the generic test suites:
 158 #
 159 #   veryquick
 160 #   quick
 161 #   full
 162 #
 163 lappend ::testsuitelist xxx
 164
 165 test_suite "veryquick" -prefix "" -description {
 166   "Very" quick test suite. Runs in minutes on a workstation.
 167   This test suite is the same as the "quick" tests, except that some files
 168   that test malloc and IO errors are omitted.
 169 } -files [
 170   test_set $allquicktests -exclude *malloc* *ioerr* *fault* *bigfile* *_err* \
 171       *fts5corrupt* *fts5big* *fts5aj*
 172 ]
 173
 174 test_suite "extraquick" -prefix "" -description {
 175   "Extra" quick test suite. Runs in a few minutes on a workstation.
 176   This test suite is the same as the "veryquick" tests, except that
 177   slower tests are omitted.
 178 } -files [
 179   test_set $allquicktests -exclude *malloc* *ioerr* *fault* *bigfile* *_err* \
 180      wal3.test fts4merge* sort2.test mmap1.test walcrash* \
 181      percentile.test where8m.test walcksum.test savepoint3.test \
 182      fuzzer1.test fuzzer3.test fts3expr3.test
 183 ]
 184
 185 test_suite "mmap" -prefix "mm-" -description {
 186   Similar to veryquick. Except with memory mapping enabled.
 187 } -presql {
 188   pragma mmap_size = 268435456;
 189 } -files [
 190   test_set $allquicktests -exclude *malloc* *ioerr* *fault* -include malloc.test
 191 ]
 192
 193 test_suite "valgrind" -prefix "" -description {
 194   Run the "veryquick" test suite with a couple of multi-process tests (that
 195   fail under valgrind) omitted.
 196 } -files [
 197   test_set $allquicktests -exclude *malloc* *ioerr* *fault* *_err* wal.test \
 198               shell*.test crash8.test atof1.test selectG.test \
 199               tkt-fc62af4523.test numindex1.test corruptK.test
 200 ] -initialize {
 201   set ::G(valgrind) 1
 202 } -shutdown {
 203   unset -nocomplain ::G(valgrind)
 204 }
 205
 206 test_suite "valgrind-nolookaside" -prefix "" -description {
 207   Run the "veryquick" test suite with a couple of multi-process tests (that
 208   fail under valgrind) omitted.
 209 } -files [
 210   test_set $allquicktests -exclude *malloc* *ioerr* *fault* *_err* \
 211       wal.test atof1.test
 212 ] -initialize {
 213   set ::G(valgrind) 1
 214   catch {db close}
 215   sqlite3_shutdown
 216   sqlite3_config_lookaside 0 0
 217   sqlite3_initialize
 218   autoinstall_test_functions
 219 } -shutdown {
 220   catch {db close}
 221   sqlite3_shutdown
 222   sqlite3_config_lookaside 100 500
 223   sqlite3_initialize
 224   autoinstall_test_functions
 225   unset -nocomplain ::G(valgrind)
 226 }
 227
 228
 229 test_suite "quick" -prefix "" -description {
 230   Quick test suite. Runs in around 10 minutes on a workstation.
 231 } -files [
 232   test_set $allquicktests
 233 ]
 234
 235 test_suite "full" -prefix "" -description {
 236   Full test suite. Takes a long time.
 237 } -files [
 238   test_set $alltests
 239 ] -initialize {
 240   unset -nocomplain ::G(isquick)
 241 }
 242
 243 test_suite "threads" -prefix "" -description {
 244   All multi-threaded tests.
 245 } -files {
 246   notify2.test   thread001.test thread002.test thread003.test
 247   thread004.test thread005.test walthread.test
 248 }
 249
 250 test_suite "fts3" -prefix "" -description {
 251   All FTS3 tests except fts3rnd.test.
 252 } -files {
 253   fts3aa.test fts3ab.test fts3ac.test fts3ad.test
 254   fts3ae.test fts3af.test fts3ag.test fts3ah.test
 255   fts3ai.test fts3aj.test fts3ak.test fts3al.test
 256   fts3am.test fts3an.test fts3ao.test fts3atoken.test
 257   fts3auto.test fts3aux1.test fts3aux2.test fts3b.test
 258   fts3comp1.test fts3conf.test fts3corrupt2.test fts3corrupt.test
 259   fts3corrupt4.test
 260   fts3cov.test fts3c.test fts3defer2.test fts3defer3.test
 261   fts3defer.test fts3drop.test fts3d.test fts3e.test
 262   fts3expr2.test fts3expr3.test fts3expr4.test fts3expr5.test
 263   fts3expr.test fts3fault2.test fts3fault.test fts3first.test
 264   fts3join.test fts3malloc.test fts3matchinfo.test fts3near.test
 265   fts3offsets.test fts3prefix2.test fts3prefix.test fts3query.test
 266   fts3shared.test fts3snippet.test fts3sort.test fts3tok1.test
 267   fts3tok_err.test fts3varint.test fts4aa.test fts4check.test
 268   fts4content.test fts4docid.test fts4growth2.test fts4growth.test
 269   fts4incr.test fts4langid.test fts4lastrowid.test fts4merge2.test
 270   fts4merge4.test fts4merge.test fts4noti.test fts4onepass.test
 271   fts4opt.test fts4unicode.test
 272   fts3corrupt3.test
 273   fts3misc.test
 274 }
 275
 276 test_suite "fts5" -prefix "" -description {
 277   All FTS5 tests.
 278 } -files [glob -nocomplain $::testdir/../ext/fts5/test/*.test]
 279
 280 test_suite "fts5-light" -prefix "" -description {
 281   All FTS5 tests.
 282 } -files [
 283   test_set \
 284       [glob -nocomplain $::testdir/../ext/fts5/test/*.test] \
 285       -exclude *corrupt* *fault* *big* *fts5aj*
 286 ]
 287
 288 test_suite "window" -prefix "" -description {
 289   All window function related tests .
 290 } -files [
 291   test_set [glob -nocomplain $::testdir/window*.test]
 292 ]
 293
 294 test_suite "lsm1" -prefix "" -description {
 295   All LSM1 tests.
 296 } -files [glob -nocomplain $::testdir/../ext/lsm1/test/*.test]
 297
 298 test_suite "nofaultsim" -prefix "" -description {
 299   "Very" quick test suite. Runs in less than 5 minutes on a workstation.
 300   This test suite is the same as the "quick" tests, except that some files
 301   that test malloc and IO errors are omitted.
 302 } -files [
 303   test_set $allquicktests -exclude *malloc* *ioerr* *fault* *_err*
 304 ] -initialize {
 305   catch {db close}
 306   sqlite3_shutdown
 307   install_malloc_faultsim 0
 308   sqlite3_initialize
 309   autoinstall_test_functions
 310 } -shutdown {
 311   unset -nocomplain ::G(valgrind)
 312 }
 313
 314 test_suite "queryplanner" -prefix "" -description {
 315   Tests of the query planner and query optimizer
 316 } -files {
 317   alter2.test alter3.test alter4.test alter.test analyze3.test
 318   analyze4.test analyze5.test analyze6.test analyze7.test analyze8.test
 319   analyze.test attach2.test attach3.test attach4.test
 320   attach.test autoinc.test autoindex1.test between.test cast.test
 321   check.test closure01.test coalesce.test collate1.test collate2.test
 322   collate3.test collate4.test collate5.test collate6.test collate7.test
 323   collate8.test collate9.test collateA.test colmeta.test colname.test
 324   conflict.test count.test coveridxscan.test createtab.test cse.test
 325   date.test dbstatus2.test dbstatus.test default.test delete2.test
 326   delete3.test delete.test descidx1.test descidx2.test descidx3.test
 327   distinctagg.test distinct.test e_createtable.test e_delete.test
 328   e_droptrigger.test e_dropview.test e_expr.test e_insert.test
 329   eqp.test e_reindex.test e_resolve.test e_select2.test e_select.test
 330   e_update.test exists.test expr.test fkey1.test fkey2.test fkey3.test
 331   fkey4.test fkey5.test func2.test func3.test func.test
 332   in3.test in4.test in5.test index2.test index3.test
 333   index4.test index5.test indexedby.test index.test
 334   insert2.test insert3.test insert4.test insert5.test insert.test
 335   instr.test in.test intpkey.test join2.test join3.test join4.test
 336   join5.test join6.test join.test like2.test like.test limit.test
 337   minmax2.test minmax3.test minmax4.test minmax.test misc1.test misc2.test
 338   misc3.test misc4.test misc5.test misc6.test misc7.test orderby1.test
 339   orderby2.test orderby3.test orderby4.test randexpr1.test regexp1.test
 340   reindex.test rowhash.test rowid.test schema2.test schema3.test
 341   schema4.test schema5.test schema.test
 342   select1.test select2.test select3.test select4.test select5.test
 343   select6.test select7.test select8.test select9.test selectA.test
 344   selectB.test selectC.test selectD.test selectE.test sidedelete.test
 345   sort.test spellfix.test subquery2.test subquery.test subselect.test
 346   substr.test tkt-02a8e81d44.test tkt1435.test tkt1443.test tkt1444.test
 347   tkt1449.test tkt1473.test tkt1501.test tkt1512.test tkt1514.test
 348   tkt1536.test tkt1537.test tkt1567.test tkt1644.test tkt1667.test
 349   tkt1873.test tkt2141.test tkt2192.test tkt2213.test tkt2251.test
 350   tkt2285.test tkt2332.test tkt2339.test tkt2391.test tkt2409.test
 351   tkt2450.test tkt2565.test tkt2640.test tkt2643.test tkt2686.test
 352   tkt-26ff0c2d1e.test tkt2767.test tkt2817.test tkt2820.test tkt2822.test
 353   tkt2832.test tkt2854.test tkt2920.test tkt2927.test tkt2942.test
 354   tkt-2a5629202f.test tkt-2d1a5c67d.test tkt-2ea2425d34.test tkt3080.test
 355   tkt3093.test tkt3121.test tkt-31338dca7e.test tkt-313723c356.test
 356   tkt3201.test tkt3292.test tkt3298.test tkt3334.test tkt3346.test
 357   tkt3357.test tkt3419.test tkt3424.test tkt3442.test tkt3457.test
 358   tkt3461.test tkt3493.test tkt3508.test tkt3522.test tkt3527.test
 359   tkt3541.test tkt3554.test tkt3581.test tkt35xx.test tkt3630.test
 360   tkt3718.test tkt3731.test tkt3757.test tkt3761.test tkt3762.test
 361   tkt3773.test tkt3791.test tkt3793.test tkt3810.test tkt3824.test
 362   tkt3832.test tkt3838.test tkt3841.test tkt-385a5b56b9.test tkt3871.test
 363   tkt3879.test tkt-38cb5df375.test tkt3911.test tkt3918.test tkt3922.test
 364   tkt3929.test tkt3935.test tkt3992.test tkt3997.test tkt-3998683a16.test
 365   tkt-3a77c9714e.test tkt-3fe897352e.test tkt4018.test tkt-4a03edc4c8.test
 366   tkt-4dd95f6943.test tkt-54844eea3f.test tkt-5d863f876e.test
 367   tkt-5e10420e8d.test tkt-5ee23731f.test tkt-6bfb98dfc0.test
 368   tkt-752e1646fc.test tkt-78e04e52ea.test tkt-7a31705a7e6.test
 369   tkt-7bbfb7d442.test tkt-80ba201079.test tkt-80e031a00f.test
 370   tkt-8454a207b9.test tkt-91e2e8ba6f.test tkt-94c04eaadb.test
 371   tkt-9d68c883.test tkt-a7b7803e.test tkt-b1d3a2e531.test
 372   tkt-b351d95f9.test tkt-b72787b1.test tkt-bd484a090c.test
 373   tkt-bdc6bbbb38.test tkt-c48d99d690.test tkt-cbd054fa6b.test
 374   tkt-d11f09d36e.test tkt-d635236375.test tkt-d82e3f3721.test
 375   tkt-f3e5abed55.test tkt-f777251dc7a.test tkt-f7b4edec.test
 376   tkt-f973c7ac31.test tkt-fa7bf5ec.test tkt-fc62af4523.test
 377   tkt-fc7bd6358f.test trigger1.test trigger2.test trigger3.test
 378   trigger4.test trigger5.test trigger6.test trigger7.test trigger8.test
 379   trigger9.test triggerA.test triggerB.test triggerC.test triggerD.test
 380   types2.test types3.test types.test unique.test unordered.test
 381   update.test view.test vtab1.test vtab2.test vtab3.test vtab4.test
 382   vtab5.test vtab6.test vtab7.test vtab8.test vtab9.test vtab_alter.test
 383   vtabA.test vtabB.test vtabC.test vtabD.test vtabE.test
 384   vtabF.test where2.test where3.test where4.test where5.test where6.test
 385   where7.test where8m.test where8.test where9.test whereA.test whereB.test
 386   whereC.test whereD.test whereE.test whereF.test wherelimit.test
 387   where.test
 388 }
 389
 390 test_suite "vfslog" -prefix "" -description {
 391   "Vfslog" quick test suite. Like "veryquick" except does not omits
 392   a few tests that do not work with a version 1 VFS. And the quota* tests,
 393   which do not work with a VFS that uses the pVfs argument passed to
 394   sqlite3_vfs methods.
 395 } -files [
 396   test_set $allquicktests -exclude *malloc* *ioerr* *fault* oserror.test \
 397   pager1.test syscall.test sysfault.test tkt3457.test quota* superlock* \
 398   wal* mmap*
 399 ]
 400
 401 test_suite "atomic-batch-write" -prefix "" -description {
 402   Like veryquick.test, but must be run on a file-system that supports
 403   atomic-batch-writes. Tests that depend on the journal file being present
 404   are omitted.
 405 } -files [
 406   test_set $allquicktests -exclude *malloc* *ioerr* *fault* *bigfile* *_err* \
 407       *fts5corrupt* *fts5big* *fts5aj*  \
 408       crash8.test delete_db.test        \
 409       exclusive.test journal3.test      \
 410       journal1.test                     \
 411       jrnlmode.test jrnlmode2.test      \
 412       lock4.test pager1.test            \
 413       pager3.test sharedA.test          \
 414       symlink.test stmt.test            \
 415       sync.test sync2.test              \
 416       tempdb.test tkt3457.test          \
 417       vacuum5.test wal2.test            \
 418       walmode.test zerodamage.test
 419 ] -initialize {
 420   if {[atomic_batch_write test.db]==0} {
 421     error "File system does NOT support atomic-batch-write"
 422   }
 423 }
 424
 425 lappend ::testsuitelist xxx
 426 #-------------------------------------------------------------------------
 427 # Define the coverage related test suites:
 428 #
 429 #   coverage-wal
 430 #
 431 test_suite "coverage-wal" -description {
 432   Coverage tests for file wal.c.
 433 } -files {
 434   wal.test wal2.test wal3.test wal4.test wal5.test
 435   wal64k.test wal6.test wal7.test wal8.test wal9.test
 436   walbak.test walbig.test walblock.test walcksum.test walcrash2.test
 437   walcrash3.test walcrash4.test walcrash.test walfault.test walhook.test
 438   walmode.test walnoshm.test waloverwrite.test walpersist.test
 439   walprotocol2.test walprotocol.test walro2.test walrofault.test
 440   walro.test walshared.test walslow.test walvfs.test
 441   walfault2.test
 442   nockpt.test
 443
 444   snapshot2.test snapshot3.test snapshot4.test
 445   snapshot_fault.test snapshot.test snapshot_up.test
 446 }
 447
 448 test_suite "coverage-pager" -description {
 449   Coverage tests for file pager.c.
 450 } -files {
 451   pager1.test    pager2.test  pagerfault.test  pagerfault2.test
 452   walfault.test  walbak.test  journal2.test    tkt-9d68c883.test
 453 }
 454
 455 test_suite "coverage-analyze" -description {
 456   Coverage tests for file analyze.c.
 457 } -files {
 458   analyze3.test analyze4.test analyze5.test analyze6.test
 459   analyze7.test analyze8.test analyze9.test
 460   analyze.test mallocA.test
 461 }
 462
 463 test_suite "coverage-sorter" -description {
 464   Coverage tests for file vdbesort.c.
 465 } -files {
 466   sort.test sortfault.test
 467 }
 468
 469
 470 lappend ::testsuitelist xxx
 471 #-------------------------------------------------------------------------
 472 # Define the permutation test suites:
 473 #
 474
 475 # Run some tests using pre-allocated page blocks.
 476 #
 477 # mmap1.test is excluded because a good number of its tests depend on
 478 # the page-cache being larger than the database. But this permutation
 479 # causes the effective limit on the page-cache to be just 24 pages.
 480 #
 481 test_suite "memsubsys1" -description {
 482   Tests using pre-allocated page blocks
 483 } -files [
 484   test_set $::allquicktests -exclude ioerr5.test malloc5.test mmap1.test
 485 ] -initialize {
 486   test_set_config_pagecache 4096 24
 487   catch {db close}
 488   sqlite3_shutdown
 489   sqlite3_initialize
 490   autoinstall_test_functions
 491 } -shutdown {
 492   test_restore_config_pagecache
 493   catch {db close}
 494   sqlite3_shutdown
 495   sqlite3_initialize
 496   autoinstall_test_functions
 497 }
 498
 499 # Run some tests using pre-allocated page blocks. This time
 500 # the allocations are too small to use in most cases.
 501 #
 502 # Both ioerr5.test and malloc5.test are excluded because they test the
 503 # sqlite3_soft_heap_limit() and sqlite3_release_memory() functionality.
 504 # This functionality is disabled if a pre-allocated page block is provided.
 505 #
 506 test_suite "memsubsys2" -description {
 507   Tests using small pre-allocated page blocks
 508 } -files [
 509   test_set $::allquicktests -exclude ioerr5.test malloc5.test
 510 ] -initialize {
 511   test_set_config_pagecache 512 5
 512   catch {db close}
 513   sqlite3_shutdown
 514   sqlite3_initialize
 515   autoinstall_test_functions
 516 } -shutdown {
 517   test_restore_config_pagecache
 518   catch {db close}
 519   sqlite3_shutdown
 520   sqlite3_initialize
 521   autoinstall_test_functions
 522 }
 523
 524 # Run all tests with the lookaside allocator disabled.
 525 #
 526 test_suite "nolookaside" -description {
 527   OOM tests with lookaside disabled
 528 } -initialize {
 529   catch {db close}
 530   sqlite3_shutdown
 531   sqlite3_config_lookaside 0 0
 532   sqlite3_initialize
 533   autoinstall_test_functions
 534 } -shutdown {
 535   catch {db close}
 536   sqlite3_shutdown
 537   sqlite3_config_lookaside 100 500
 538   sqlite3_initialize
 539   autoinstall_test_functions
 540 } -files $::allquicktests
 541
 542 # Run some tests in SQLITE_CONFIG_SINGLETHREAD mode.
 543 #
 544 test_suite "singlethread" -description {
 545   Tests run in SQLITE_CONFIG_SINGLETHREAD mode
 546 } -initialize {
 547   catch {db close}
 548   sqlite3_shutdown
 549   catch {sqlite3_config singlethread}
 550   sqlite3_initialize
 551   autoinstall_test_functions
 552 } -files {
 553   delete.test   delete2.test  insert.test  rollback.test  select1.test
 554   select2.test  trans.test    update.test  vacuum.test    types.test
 555   types2.test   types3.test
 556 } -shutdown {
 557   catch {db close}
 558   sqlite3_shutdown
 559   catch {sqlite3_config serialized}
 560   sqlite3_initialize
 561   autoinstall_test_functions
 562 }
 563
 564 test_suite "nomutex" -description {
 565   Tests run with the SQLITE_OPEN_MULTITHREADED flag passed to sqlite3_open().
 566 } -initialize {
 567   set ::G(perm:sqlite3_args) [list -fullmutex 0 -nomutex 1]
 568 } -files {
 569   delete.test   delete2.test  insert.test  rollback.test  select1.test
 570   select2.test  trans.test    update.test  vacuum.test    types.test
 571   types2.test   types3.test
 572 }
 573
 574 # Run some tests in SQLITE_CONFIG_MULTITHREAD mode.
 575 #
 576 test_suite "multithread" -description {
 577   Tests run in SQLITE_CONFIG_MULTITHREAD mode
 578 } -initialize {
 579   catch {db close}
 580   sqlite3_shutdown
 581   catch {sqlite3_config multithread}
 582   sqlite3_initialize
 583   autoinstall_test_functions
 584 } -files {
 585   delete.test   delete2.test  insert.test  rollback.test  select1.test
 586   select2.test  trans.test    update.test  vacuum.test    types.test
 587   types2.test   types3.test   sort4.test
 588 } -shutdown {
 589   catch {db close}
 590   sqlite3_shutdown
 591   catch {sqlite3_config serialized}
 592   sqlite3_initialize
 593   autoinstall_test_functions
 594 }
 595
 596 # Run some tests in SQLITE_OPEN_FULLMUTEX mode.
 597 #
 598 test_suite "fullmutex" -description {
 599   Tests run in SQLITE_OPEN_FULLMUTEX mode
 600 } -initialize {
 601   set ::G(perm:sqlite3_args) [list -nomutex 0 -fullmutex 1]
 602 } -files {
 603   delete.test   delete2.test  insert.test  rollback.test  select1.test
 604   select2.test  trans.test    update.test  vacuum.test    types.test
 605   types2.test   types3.test
 606 }
 607
 608 # Run some tests using the "onefile" demo.
 609 #
 610 test_suite "onefile" -description {
 611   Run some tests using the "test_onefile.c" demo
 612 } -initialize {
 613   set ::G(perm:sqlite3_args) [list -vfs fs]
 614 } -files {
 615   conflict.test  insert.test   insert2.test  insert3.test
 616   rollback.test  select1.test  select2.test  select3.test
 617 }
 618
 619 # Run some tests using UTF-16 databases.
 620 #
 621 test_suite "utf16" -description {
 622   Run tests using UTF-16 databases
 623 } -presql {
 624   pragma encoding = 'UTF-16'
 625 } -files {
 626     alter.test alter3.test
 627     analyze.test analyze3.test analyze4.test analyze5.test analyze6.test
 628     analyze7.test analyze8.test analyze9.test
 629     auth.test bind.test blob.test capi2.test capi3.test collate1.test
 630     collate2.test collate3.test collate4.test collate5.test collate6.test
 631     conflict.test date.test delete.test expr.test fkey1.test func.test
 632     hook.test index.test insert2.test insert.test interrupt.test in.test
 633     intpkey.test ioerr.test join2.test join.test lastinsert.test
 634     laststmtchanges.test limit.test lock2.test lock.test main.test
 635     memdb.test minmax.test misc1.test misc2.test misc3.test notnull.test
 636     null.test progress.test quote.test rowid.test select1.test select2.test
 637     select3.test select4.test select5.test select6.test sort.test
 638     subselect.test tableapi.test table.test temptable.test
 639     trace.test trigger1.test trigger2.test trigger3.test
 640     trigger4.test types2.test types.test unique.test update.test
 641     vacuum.test view.test where.test
 642     bestindex1.test
 643 }
 644
 645 # Run some tests in exclusive locking mode.
 646 #
 647 test_suite "exclusive" -description {
 648   Run tests in exclusive locking mode.
 649 } -presql {
 650   pragma locking_mode = 'exclusive'
 651 } -files {
 652   rollback.test select1.test select2.test
 653   malloc.test ioerr.test
 654 }
 655
 656 # Run some tests in exclusive locking mode with truncated journals.
 657 #
 658 test_suite "exclusive-truncate" -description {
 659   Run tests in exclusive locking mode and truncate journal mode.
 660 } -presql {
 661   pragma locking_mode = 'exclusive';
 662   pragma journal_mode = TRUNCATE;
 663 } -files {
 664   delete.test delete2.test insert.test rollback.test select1.test
 665   select2.test update.test malloc.test ioerr.test
 666 }
 667
 668 # Run some tests in persistent journal mode.
 669 #
 670 test_suite "persistent_journal" -description {
 671   Run tests in persistent-journal mode.
 672 } -presql {
 673   pragma journal_mode = persist
 674 } -files {
 675   delete.test delete2.test insert.test rollback.test select1.test
 676   select2.test trans.test update.test vacuum.test
 677 }
 678
 679 # Run some tests in truncating journal mode.
 680 #
 681 test_suite "truncate_journal" -description {
 682   Run tests in persistent-journal mode.
 683 } -presql {
 684   pragma journal_mode = truncate
 685 } -files {
 686   delete.test delete2.test insert.test rollback.test select1.test
 687   select2.test trans.test update.test vacuum.test
 688   malloc.test ioerr.test
 689 }
 690
 691 # Run some error tests in persistent journal mode.
 692 #
 693 test_suite "persistent_journal_error" -description {
 694   Run malloc.test and ioerr.test in persistent-journal mode.
 695 } -presql {
 696   pragma journal_mode = persist
 697 } -files {
 698   malloc.test ioerr.test
 699 }
 700
 701 # Run some tests in no journal mode.
 702 #
 703 test_suite "no_journal" -description {
 704   Run tests in no-journal mode.
 705 } -presql {
 706   pragma journal_mode = persist
 707 } -files {
 708   delete.test delete2.test insert.test rollback.test select1.test
 709   select2.test trans.test update.test vacuum.test
 710 }
 711
 712 # Run some error tests in no journal mode.
 713 #
 714 test_suite "no_journal_error" -description {
 715   Run malloc.test and ioerr.test in no-journal mode.
 716 } -presql {
 717   pragma journal_mode = persist
 718 } -files {
 719   malloc.test ioerr.test
 720 }
 721
 722 # Run some crash-tests in autovacuum mode.
 723 #
 724 test_suite "autovacuum_crash" -description {
 725   Run crash.test in autovacuum mode.
 726 } -presql {
 727   pragma auto_vacuum = 1
 728 } -files crash.test
 729
 730 # Run some ioerr-tests in autovacuum mode.
 731 #
 732 test_suite "autovacuum_ioerr" -description {
 733   Run ioerr.test in autovacuum mode.
 734 } -presql {
 735   pragma auto_vacuum = 1
 736 } -files ioerr.test
 737
 738 # Run tests with an in-memory journal.
 739 #
 740 test_suite "inmemory_journal" -description {
 741   Run tests with an in-memory journal file.
 742 } -presql {
 743   pragma journal_mode = 'memory'
 744 } -files [test_set $::allquicktests -exclude {
 745   # Exclude all tests that simulate IO errors.
 746   autovacuum_ioerr2.test cffault.test incrvacuum_ioerr.test ioerr.test
 747   ioerr.test ioerr2.test ioerr3.test ioerr4.test ioerr5.test
 748   vacuum3.test incrblob_err.test diskfull.test backup_ioerr.test
 749   e_fts3.test fts3cov.test fts3malloc.test fts3rnd.test
 750   fts3snippet.test mmapfault.test sessionfault.test sessionfault2.test
 751
 752   # Exclude test scripts that use tcl IO to access journal files or count
 753   # the number of fsync() calls.
 754   pager.test exclusive.test jrnlmode.test sync.test misc1.test
 755   journal1.test conflict.test crash8.test tkt3457.test io.test
 756   journal3.test 8_3_names.test shmlock.test
 757
 758   pager1.test async4.test corrupt.test filefmt.test pager2.test
 759   corrupt5.test corruptA.test pageropt.test
 760
 761   # Exclude stmt.test, which expects sub-journals to use temporary files.
 762   stmt.test symlink.test
 763
 764   zerodamage.test
 765
 766   # WAL mode is different.
 767   wal* tkt-2d1a5c67d.test backcompat.test e_wal* rowallock.test
 768
 769   # This test does not work as the "PRAGMA journal_mode = memory"
 770   # statement switches the database out of wal mode at inopportune
 771   # times.
 772   snapshot_fault.test
 773
 774   # This test assumes a journal file is created on disk.
 775   delete_db.test
 776
 777   # This test depends on a successful recovery from the pager error
 778   # state. Which is not possible with an in-memory journal
 779   fts5fault1.test
 780 }]
 781
 782 ifcapable mem3 {
 783   test_suite "memsys3" -description {
 784     Run tests using the allocator in mem3.c.
 785   } -files [test_set $::allquicktests -exclude {
 786     autovacuum.test           delete3.test              manydb.test
 787     bigrow.test               incrblob2.test            memdb.test
 788     bitvec.test               index2.test               memsubsys1.test
 789     capi3c.test               ioerr.test                memsubsys2.test
 790     capi3.test                join3.test                pagesize.test
 791     collate5.test             limit.test                backup_ioerr.test
 792     backup_malloc.test
 793   }] -initialize {
 794     catch {db close}
 795     sqlite3_reset_auto_extension
 796     sqlite3_shutdown
 797     sqlite3_config_heap 25000000 0
 798     sqlite3_config_lookaside 0 0
 799     ifcapable mem5 {
 800       # If both memsys3 and memsys5 are enabled in the build, the call to
 801       # [sqlite3_config_heap] will initialize the system to use memsys5.
 802       # The following overrides this preference and installs the memsys3
 803       # allocator.
 804       sqlite3_install_memsys3
 805     }
 806     install_malloc_faultsim 1
 807     sqlite3_initialize
 808     autoinstall_test_functions
 809   } -shutdown {
 810     catch {db close}
 811     sqlite3_shutdown
 812     sqlite3_config_heap 0 0
 813     sqlite3_config_lookaside 100 500
 814     install_malloc_faultsim 1
 815     sqlite3_initialize
 816     autoinstall_test_functions
 817   }
 818 }
 819
 820 ifcapable mem5 {
 821   test_suite "memsys5" -description {
 822     Run tests using the allocator in mem5.c.
 823   } -files [test_set $::allquicktests -exclude {
 824     autovacuum.test           delete3.test              manydb.test
 825     bigrow.test               incrblob2.test            memdb.test
 826     bitvec.test               index2.test               memsubsys1.test
 827     capi3c.test               ioerr.test                memsubsys2.test
 828     capi3.test                join3.test                pagesize.test
 829     collate5.test             limit.test                zeroblob.test
 830   }] -initialize {
 831     catch {db close}
 832     sqlite3_shutdown
 833     sqlite3_config_heap 25000000 64
 834     sqlite3_config_lookaside 0 0
 835     install_malloc_faultsim 1
 836     sqlite3_initialize
 837     autoinstall_test_functions
 838   } -shutdown {
 839     catch {db close}
 840     sqlite3_shutdown
 841     sqlite3_config_heap 0 0
 842     sqlite3_config_lookaside 100 500
 843     install_malloc_faultsim 1
 844     sqlite3_initialize
 845     autoinstall_test_functions
 846   }
 847
 848   test_suite "memsys5-2" -description {
 849     Run tests using the allocator in mem5.c in a different configuration.
 850   } -files {
 851     select1.test
 852   } -initialize {
 853     catch {db close}
 854     sqlite3_shutdown
 855     sqlite3_config_memstatus 0
 856     sqlite3_config_heap 40000000 16
 857     sqlite3_config_lookaside 0 0
 858     install_malloc_faultsim 1
 859     sqlite3_initialize
 860     autoinstall_test_functions
 861   } -shutdown {
 862     catch {db close}
 863     sqlite3_shutdown
 864     sqlite3_config_heap 0 0
 865     sqlite3_config_lookaside 100 500
 866     install_malloc_faultsim 1
 867     sqlite3_initialize
 868     autoinstall_test_functions
 869   }
 870 }
 871
 872 ifcapable threadsafe {
 873   test_suite "no_mutex_try" -description {
 874      The sqlite3_mutex_try() interface always fails
 875   } -files [
 876     test_set $::allquicktests -exclude mutex1.test mutex2.test
 877   ] -initialize {
 878     catch {db close}
 879     sqlite3_shutdown
 880     install_mutex_counters 1
 881     set ::disable_mutex_try 1
 882     sqlite3_initialize
 883     autoinstall_test_functions
 884   } -shutdown {
 885     catch {db close}
 886     sqlite3_shutdown
 887     install_mutex_counters 0
 888     sqlite3_initialize
 889     autoinstall_test_functions
 890   }
 891 }
 892
 893 # run_tests "crash_safe_append" -description {
 894 #   Run crash.test with persistent journals on a SAFE_APPEND file-system.
 895 # } -initialize {
 896 #   rename crashsql sa_crashsql
 897 #   proc crashsql {args} {
 898 #     set options [lrange $args 0 [expr {[llength $args]-2}]]
 899 #     lappend options -char safe_append
 900 #     set sql [lindex $args end]
 901 #     lappend options "
 902 #       PRAGMA journal_mode=persistent;
 903 #       $sql
 904 #     "
 905 #     set fd [open test.db-journal w]
 906 #     puts $fd [string repeat 1234567890 100000]
 907 #     close $fd
 908 #     eval sa_crashsql $options
 909 #   }
 910 # } -shutdown {
 911 #   rename crashsql {}
 912 #   rename sa_crashsql crashsql
 913 # } -files crash.test
 914
 915 test_suite "safe_append" -description {
 916   Run some tests on a SAFE_APPEND file-system.
 917 } -initialize {
 918   set ::G(perm:sqlite3_args) [list -vfs devsym]
 919   sqlite3_simulate_device -char safe_append
 920 } -files [
 921   test_set $::allquicktests shared_err.test -exclude async3.test
 922 ]
 923
 924 # The set of tests to run on the alternative-pcache
 925 set perm-alt-pcache-testset {
 926   async.test
 927   attach.test
 928   delete.test delete2.test
 929   index.test
 930   insert.test insert2.test
 931   join.test join2.test
 932   rollback.test
 933   select1.test select2.test
 934   trans.test
 935   update.test
 936 }
 937
 938 foreach discard_rate {0 10 50 90 100} {
 939   test_suite "pcache${discard_rate}" -description "
 940     Alternative pcache implementation with ${discard_rate}% random discard
 941   " -initialize "
 942     catch {db close}
 943     sqlite3_shutdown
 944     sqlite3_config_alt_pcache 1 $discard_rate 1
 945     sqlite3_initialize
 946     autoinstall_test_functions
 947   " -shutdown {
 948     catch {db close}
 949     sqlite3_shutdown
 950     sqlite3_config_alt_pcache 0 0 0
 951     sqlite3_config_lookaside 100 500
 952     install_malloc_faultsim 1
 953     sqlite3_initialize
 954     autoinstall_test_functions
 955   } -files ${perm-alt-pcache-testset}
 956 }
 957
 958 test_suite "journaltest" -description {
 959   Check that pages are synced before being written (test_journal.c).
 960 } -initialize {
 961   catch {db close}
 962   register_jt_vfs -default ""
 963 } -shutdown {
 964   unregister_jt_vfs
 965 } -files [test_set $::allquicktests -exclude {
 966   wal* incrvacuum.test ioerr.test corrupt4.test io.test crash8.test
 967   async4.test bigfile.test backcompat.test e_wal* fstat.test mmap2.test
 968   pager1.test syscall.test tkt3457.test *malloc* mmap* multiplex* nolock*
 969   pager2.test *fault* rowal* snapshot* superlock* symlink.test
 970   delete_db.test shmlock.test chunksize.test
 971 }]
 972
 973 if {[info commands register_demovfs] != ""} {
 974   test_suite "demovfs" -description {
 975     Check that the demovfs (code in test_demovfs.c) more or less works.
 976   } -initialize {
 977     register_demovfs
 978   } -shutdown {
 979     unregister_demovfs
 980   } -files {
 981     insert.test   insert2.test  insert3.test rollback.test
 982     select1.test  select2.test  select3.test
 983   }
 984 }
 985
 986 test_suite "wal" -description {
 987   Run tests with journal_mode=WAL
 988 } -initialize {
 989   set ::G(savepoint6_iterations) 100
 990 } -shutdown {
 991   unset -nocomplain ::G(savepoint6_iterations)
 992 } -files {
 993   savepoint.test     savepoint2.test     savepoint6.test
 994   trans.test         avtrans.test
 995
 996   fts3aa.test  fts3ab.test  fts3ac.test  fts3ad.test
 997   fts3ae.test  fts3af.test  fts3ag.test  fts3ah.test
 998   fts3ai.test  fts3aj.test  fts3ak.test  fts3al.test
 999   fts3am.test  fts3an.test  fts3ao.test  fts3b.test
1000   fts3c.test   fts3d.test   fts3e.test   fts3query.test
1001 }
1002
1003 test_suite "rtree" -description {
1004   All R-tree related tests. Provides coverage of source file rtree.c.
1005 } -files [glob -nocomplain $::testdir/../ext/rtree/*.test]
1006
1007 test_suite "session" -description {
1008   All session module related tests.
1009 } -files [glob -nocomplain $::testdir/../ext/session/*.test]
1010
1011 test_suite "session_eec" -description {
1012   All session module related tests with sqlite3_extended_result_codes() set.
1013 } -files [
1014   glob -nocomplain $::testdir/../ext/session/*.test
1015 ] -dbconfig {
1016   sqlite3_extended_result_codes $::dbhandle 1
1017 }
1018
1019 test_suite "session_strm" -description {
1020   All session module related tests using the streaming APIs.
1021 } -files [
1022   glob -nocomplain $::testdir/../ext/session/*.test
1023 ] -dbconfig {
1024   set ::sqlite3session_streams 1
1025 }
1026
1027 test_suite "rbu" -description {
1028   RBU tests.
1029 } -files [
1030   test_set [glob -nocomplain $::testdir/../ext/rbu/*.test] -exclude rbu.test
1031 ]
1032
1033 test_suite "no_optimization" -description {
1034   Run test scripts with optimizations disabled using the
1035   sqlite3_test_control(SQLITE_TESTCTRL_OPTIMIZATIONS) interface.
1036 } -files [
1037   test_set \
1038     [glob -nocomplain $::testdir/window*.test]                       \
1039     where.test where2.test where3.test where4.test where5.test       \
1040     where6.test where7.test where8.test where9.test                  \
1041     whereA.test whereB.test wherelimit.test                          \
1042     select1.test select2.test select3.test select4.test select5.test \
1043     select7.test select8.test selectA.test selectC.test
1044 ] -dbconfig {
1045   optimization_control $::dbhandle all 0
1046 }
1047
1048 test_suite "prepare" -description {
1049   Run tests with the db connection using sqlite3_prepare() instead of _v2().
1050 } -dbconfig {
1051   $::dbhandle version -use-legacy-prepare 1
1052   #$::dbhandle cache size 0
1053 } -files [
1054   test_set $allquicktests -exclude *malloc* *ioerr* *fault* \
1055       stmtvtab1.test index9.test
1056 ]
1057
1058 test_suite "sorterref" -prefix "" -description {
1059   Run the "veryquick" test suite with SQLITE_CONFIG_SORTERREF_SIZE set
1060   to 0 so that sorter-references are used whenever possible.
1061 } -files [
1062   test_set $allquicktests -exclude *malloc* *ioerr* *fault* *bigfile* *_err* \
1063       *fts5corrupt* *fts5big* *fts5aj*
1064 ] -initialize {
1065   catch {db close}
1066   sqlite3_shutdown
1067   sqlite3_config_sorterref 0
1068   sqlite3_initialize
1069   autoinstall_test_functions
1070 } -shutdown {
1071   catch {db close}
1072   sqlite3_shutdown
1073   sqlite3_config_sorterref -1
1074   sqlite3_initialize
1075   autoinstall_test_functions
1076 }
1077
1078 # End of tests
1079 #############################################################################
1080
1081 # run_tests NAME OPTIONS
1082 #
1083 # where available options are:
1084 #
1085 #       -description TITLE
1086 #       -initialize  SCRIPT
1087 #       -shutdown    SCRIPT
1088 #       -files       LIST-OF-FILES
1089 #       -prefix      NAME
1090 #       -dbconfig    SCRIPT
1091 #
1092 proc run_tests {name args} {
1093   set options(-initialize) ""
1094   set options(-shutdown) ""
1095   set options(-prefix) ""
1096   set options(-dbconfig) ""
1097   set options(-presql) ""
1098
1099   array set options $args
1100
1101   set ::G(perm:name)         $name
1102   set ::G(perm:prefix)       $options(-prefix)
1103   set ::G(isquick)           1
1104   set ::G(perm:dbconfig)     $options(-dbconfig)
1105   set ::G(perm:presql)       $options(-presql)
1106
1107   foreach file [lsort $options(-files)] {
1108     uplevel $options(-initialize)
1109     if {[file tail $file] == $file} { set file [file join $::testdir $file] }
1110     slave_test_file $file
1111     uplevel $options(-shutdown)
1112
1113     unset -nocomplain ::G(perm:sqlite3_args)
1114   }
1115
1116   unset ::G(perm:name)
1117   unset ::G(perm:prefix)
1118   unset ::G(perm:dbconfig)
1119   unset ::G(perm:presql)
1120 }
1121
1122 proc run_test_suite {name} {
1123   if {[info exists ::testspec($name)]==0} {
1124     error "No such test suite: $name"
1125   }
1126   uplevel run_tests $name $::testspec($name)
1127 }
1128
1129 proc help {} {
1130   puts "Usage: $::argv0 TESTSUITE ?TESTFILE?"
1131   puts ""
1132   puts "Available test-suites are:"
1133
1134   set iPos 0
1135   foreach k $::testsuitelist {
1136     if {[info exists ::testspec($k)]} {
1137       switch $iPos {
1138         0 {
1139           puts ""
1140           puts -nonewline "  [format %-30s $k]"
1141         }
1142
1143         1 {
1144           puts -nonewline [format %-30s $k]
1145         }
1146
1147         2 {
1148           puts -nonewline $k
1149         }
1150       }
1151
1152       set iPos [expr (($iPos+1) % 3)]
1153     }
1154   }
1155   puts ""
1156   exit -1
1157 }
1158
1159 if {[file tail $argv0] == "permutations.test"} {
1160   proc main {argv} {
1161     if {[llength $argv]==0} {
1162       help
1163     } else {
1164
1165       # See if the first argument is a named test-suite.
1166       #
1167       set suite [file tail [lindex $argv 0]]
1168       if {[info exists ::testspec($suite)]} {
1169         set S $::testspec($suite)
1170         set i 1
1171       } else {
1172         set S [list]
1173         set i 0
1174       }
1175
1176       set extra ""
1177       if {$i < [llength $argv] && [string range [lindex $argv $i] 0 0]!="-" } {
1178         set files [list]
1179         for {} {$i < [llength $argv]} {incr i} {
1180           set pattern [string map {% *} [lindex $argv $i]]
1181           if {[string range $pattern 0 0]=="-"} break
1182           foreach f $::alltests {
1183             set tail [file tail $f]
1184             if {[lsearch $files $f]<0 && [string match $pattern $tail]} {
1185               lappend files $f
1186             }
1187           }
1188         }
1189         set extra [list -files $files]
1190       }
1191
1192       eval run_tests $suite $S $extra
1193     }
1194   }
1195   main $argv
1196   finish_test
1197 }