test/wal.test

   1 # 2010 April 13
   2 #
   3 # The author disclaims copyright to this source code.  In place of
   4 # a legal notice, here is a blessing:
   5 #
   6 #    May you do good and not evil.
   7 #    May you find forgiveness for yourself and forgive others.
   8 #    May you share freely, never taking more than you give.
   9 #
  10 #***********************************************************************
  11 # This file implements regression tests for SQLite library.  The
  12 # focus of this file is testing the operation of the library in
  13 # "PRAGMA journal_mode=WAL" mode.
  14 #
  15
  16 set testdir [file dirname $argv0]
  17 source $testdir/tester.tcl
  18 source $testdir/lock_common.tcl
  19 source $testdir/malloc_common.tcl
  20 source $testdir/wal_common.tcl
  21
  22 set testprefix wal
  23
  24 ifcapable !wal {finish_test ; return }
  25 test_set_config_pagecache 0 0
  26
  27 proc reopen_db {} {
  28   catch { db close }
  29   forcedelete test.db test.db-wal test.db-wal-summary
  30   sqlite3_wal db test.db
  31 }
  32
  33 set ::blobcnt 0
  34 proc blob {nByte} {
  35   incr ::blobcnt
  36   return [string range [string repeat "${::blobcnt}x" $nByte] 1 $nByte]
  37 }
  38
  39 proc sqlite3_wal {args} {
  40   eval sqlite3 $args
  41   [lindex $args 0] eval { PRAGMA auto_vacuum = 0 }
  42   [lindex $args 0] eval { PRAGMA page_size = 1024 }
  43   [lindex $args 0] eval { PRAGMA journal_mode = wal }
  44   [lindex $args 0] eval { PRAGMA synchronous = normal }
  45   [lindex $args 0] function blob blob
  46 }
  47
  48 proc log_deleted {logfile} {
  49   return [expr [file exists $logfile]==0]
  50 }
  51
  52 #
  53 # These are 'warm-body' tests used while developing the WAL code. They
  54 # serve to prove that a few really simple cases work:
  55 #
  56 # wal-1.*: Read and write the database.
  57 # wal-2.*: Test MVCC with one reader, one writer.
  58 # wal-3.*: Test transaction rollback.
  59 # wal-4.*: Test savepoint/statement rollback.
  60 # wal-5.*: Test the temp database.
  61 # wal-6.*: Test creating databases with different page sizes.
  62 #
  63 #
  64 #
  65 do_test wal-0.1 {
  66   execsql { PRAGMA auto_vacuum = 0 }
  67   execsql { PRAGMA synchronous = normal }
  68   execsql { PRAGMA journal_mode = wal }
  69 } {wal}
  70 do_test wal-0.2 {
  71   file size test.db
  72 } {1024}
  73
  74 do_test wal-1.0 {
  75   execsql {
  76     BEGIN;
  77     CREATE TABLE t1(a, b);
  78   }
  79   list [file exists test.db-journal] \
  80        [file exists test.db-wal]     \
  81        [file size test.db]
  82 } {0 1 1024}
  83 do_test wal-1.1 {
  84   execsql COMMIT
  85   list [file exists test.db-journal] [file exists test.db-wal]
  86 } {0 1}
  87 do_test wal-1.2 {
  88   # There are now two pages in the log.
  89   file size test.db-wal
  90 } [wal_file_size 2 1024]
  91
  92 do_test wal-1.3 {
  93   execsql { SELECT * FROM sqlite_master }
  94 } {table t1 t1 2 {CREATE TABLE t1(a, b)}}
  95
  96 do_test wal-1.4 {
  97   execsql { INSERT INTO t1 VALUES(1, 2) }
  98   execsql { INSERT INTO t1 VALUES(3, 4) }
  99   execsql { INSERT INTO t1 VALUES(5, 6) }
 100   execsql { INSERT INTO t1 VALUES(7, 8) }
 101   execsql { INSERT INTO t1 VALUES(9, 10) }
 102 } {}
 103
 104 do_test wal-1.5 {
 105   execsql { SELECT * FROM t1 }
 106 } {1 2 3 4 5 6 7 8 9 10}
 107
 108 do_test wal-2.1 {
 109   sqlite3_wal db2 ./test.db
 110   execsql { BEGIN; SELECT * FROM t1 } db2
 111 } {1 2 3 4 5 6 7 8 9 10}
 112
 113 do_test wal-2.2 {
 114   execsql { INSERT INTO t1 VALUES(11, 12) }
 115   execsql { SELECT * FROM t1 }
 116 } {1 2 3 4 5 6 7 8 9 10 11 12}
 117
 118 do_test wal-2.3 {
 119   execsql { SELECT * FROM t1 } db2
 120 } {1 2 3 4 5 6 7 8 9 10}
 121
 122 do_test wal-2.4 {
 123   execsql { INSERT INTO t1 VALUES(13, 14) }
 124   execsql { SELECT * FROM t1 }
 125 } {1 2 3 4 5 6 7 8 9 10 11 12 13 14}
 126
 127 do_test wal-2.5 {
 128   execsql { SELECT * FROM t1 } db2
 129 } {1 2 3 4 5 6 7 8 9 10}
 130
 131 do_test wal-2.6 {
 132   execsql { COMMIT; SELECT * FROM t1 } db2
 133 } {1 2 3 4 5 6 7 8 9 10 11 12 13 14}
 134
 135 do_test wal-3.1 {
 136   execsql { BEGIN; DELETE FROM t1 }
 137   execsql { SELECT * FROM t1 }
 138 } {}
 139 do_test wal-3.2 {
 140   execsql { SELECT * FROM t1 } db2
 141 } {1 2 3 4 5 6 7 8 9 10 11 12 13 14}
 142 do_test wal-3.3 {
 143   execsql { ROLLBACK }
 144   execsql { SELECT * FROM t1 }
 145 } {1 2 3 4 5 6 7 8 9 10 11 12 13 14}
 146 db2 close
 147
 148 #-------------------------------------------------------------------------
 149 # The following tests, wal-4.*, test that savepoints work with WAL
 150 # databases.
 151 #
 152 do_test wal-4.1 {
 153   execsql {
 154     DELETE FROM t1;
 155     BEGIN;
 156       INSERT INTO t1 VALUES('a', 'b');
 157       SAVEPOINT sp;
 158         INSERT INTO t1 VALUES('c', 'd');
 159         SELECT * FROM t1;
 160   }
 161 } {a b c d}
 162 do_test wal-4.2 {
 163   execsql {
 164       ROLLBACK TO sp;
 165       SELECT * FROM t1;
 166   }
 167 } {a b}
 168 do_test wal-4.3 {
 169   execsql {
 170     COMMIT;
 171     SELECT * FROM t1;
 172   }
 173 } {a b}
 174
 175 do_test wal-4.4.1 {
 176   db close
 177   sqlite3 db test.db
 178   db func blob blob
 179   list [execsql { SELECT * FROM t1 }] [file size test.db-wal]
 180 } {{a b} 0}
 181 do_test wal-4.4.2 {
 182   execsql { PRAGMA cache_size = 10 }
 183   execsql {
 184     CREATE TABLE t2(a, b);
 185     INSERT INTO t2 VALUES(blob(400), blob(400));
 186     SAVEPOINT tr;
 187       INSERT INTO t2 SELECT blob(400), blob(400) FROM t2; /*  2 */
 188       INSERT INTO t2 SELECT blob(400), blob(400) FROM t2; /*  4 */
 189       INSERT INTO t2 SELECT blob(400), blob(400) FROM t2; /*  8 */
 190       INSERT INTO t2 SELECT blob(400), blob(400) FROM t2; /* 16 */
 191       INSERT INTO t2 SELECT blob(400), blob(400) FROM t2; /* 32 */
 192       INSERT INTO t1 SELECT blob(400), blob(400) FROM t1; /*  2 */
 193       INSERT INTO t1 SELECT blob(400), blob(400) FROM t1; /*  4 */
 194       INSERT INTO t1 SELECT blob(400), blob(400) FROM t1; /*  8 */
 195       INSERT INTO t1 SELECT blob(400), blob(400) FROM t1; /* 16 */
 196       INSERT INTO t1 SELECT blob(400), blob(400) FROM t1; /* 32 */
 197       SELECT count(*) FROM t2;
 198   }
 199 } {32}
 200 do_test wal-4.4.3 {
 201   execsql { ROLLBACK TO tr }
 202 } {}
 203 do_test wal-4.4.4 {
 204   set logsize [file size test.db-wal]
 205   execsql {
 206       INSERT INTO t1 VALUES('x', 'y');
 207     RELEASE tr;
 208   }
 209   expr { $logsize == [file size test.db-wal] }
 210 } {1}
 211 do_test wal-4.4.5 {
 212   execsql { SELECT count(*) FROM t2 }
 213 } {1}
 214 do_test wal-4.4.6 {
 215   forcecopy test.db test2.db
 216   forcecopy test.db-wal test2.db-wal
 217   sqlite3 db2 test2.db
 218   execsql { SELECT count(*) FROM t2 ; SELECT count(*) FROM t1 } db2
 219 } {1 2}
 220 do_test wal-4.4.7 {
 221   execsql { PRAGMA integrity_check } db2
 222 } {ok}
 223 db2 close
 224
 225 do_test wal-4.5.1 {
 226   reopen_db
 227   db func blob blob
 228   execsql {
 229     PRAGMA journal_mode = WAL;
 230     CREATE TABLE t1(a, b);
 231     INSERT INTO t1 VALUES('a', 'b');
 232   }
 233   sqlite3 db test.db
 234   db func blob blob
 235   list [execsql { SELECT * FROM t1 }] [file size test.db-wal]
 236 } {{a b} 0}
 237 do_test wal-4.5.2 {
 238   execsql { PRAGMA cache_size = 10 }
 239   execsql {
 240     CREATE TABLE t2(a, b);
 241     BEGIN;
 242     INSERT INTO t2 VALUES(blob(400), blob(400));
 243     SAVEPOINT tr;
 244       INSERT INTO t2 SELECT blob(400), blob(400) FROM t2; /*  2 */
 245       INSERT INTO t2 SELECT blob(400), blob(400) FROM t2; /*  4 */
 246       INSERT INTO t2 SELECT blob(400), blob(400) FROM t2; /*  8 */
 247       INSERT INTO t2 SELECT blob(400), blob(400) FROM t2; /* 16 */
 248       INSERT INTO t2 SELECT blob(400), blob(400) FROM t2; /* 32 */
 249       INSERT INTO t1 SELECT blob(400), blob(400) FROM t1; /*  2 */
 250       INSERT INTO t1 SELECT blob(400), blob(400) FROM t1; /*  4 */
 251       INSERT INTO t1 SELECT blob(400), blob(400) FROM t1; /*  8 */
 252       INSERT INTO t1 SELECT blob(400), blob(400) FROM t1; /* 16 */
 253       INSERT INTO t1 SELECT blob(400), blob(400) FROM t1; /* 32 */
 254       SELECT count(*) FROM t2;
 255   }
 256 } {32}
 257 do_test wal-4.5.3 {
 258   execsql { ROLLBACK TO tr }
 259 } {}
 260 do_test wal-4.5.4 {
 261   set logsize [file size test.db-wal]
 262   execsql {
 263       INSERT INTO t1 VALUES('x', 'y');
 264     RELEASE tr;
 265     COMMIT;
 266   }
 267   expr { $logsize == [file size test.db-wal] }
 268 } {1}
 269 do_test wal-4.5.5 {
 270   execsql { SELECT count(*) FROM t2 ; SELECT count(*) FROM t1 }
 271 } {1 2}
 272 do_test wal-4.5.6 {
 273   forcecopy test.db test2.db
 274   forcecopy test.db-wal test2.db-wal
 275   sqlite3 db2 test2.db
 276   execsql { SELECT count(*) FROM t2 ; SELECT count(*) FROM t1 } db2
 277 } {1 2}
 278 do_test wal-4.5.7 {
 279   execsql { PRAGMA integrity_check } db2
 280 } {ok}
 281 db2 close
 282
 283 do_test wal-4.6.1 {
 284   execsql {
 285     DELETE FROM t2;
 286     PRAGMA wal_checkpoint;
 287     BEGIN;
 288       INSERT INTO t2 VALUES('w', 'x');
 289       SAVEPOINT save;
 290         INSERT INTO t2 VALUES('y', 'z');
 291       ROLLBACK TO save;
 292     COMMIT;
 293   }
 294   execsql { SELECT * FROM t2 }
 295 } {w x}
 296
 297
 298 reopen_db
 299 do_test wal-5.1 {
 300   execsql {
 301     CREATE TEMP TABLE t2(a, b);
 302     INSERT INTO t2 VALUES(1, 2);
 303   }
 304 } {}
 305 do_test wal-5.2 {
 306   execsql {
 307     BEGIN;
 308       INSERT INTO t2 VALUES(3, 4);
 309       SELECT * FROM t2;
 310   }
 311 } {1 2 3 4}
 312 do_test wal-5.3 {
 313   execsql {
 314     ROLLBACK;
 315     SELECT * FROM t2;
 316   }
 317 } {1 2}
 318 do_test wal-5.4 {
 319   execsql {
 320     CREATE TEMP TABLE t3(x UNIQUE);
 321     BEGIN;
 322       INSERT INTO t2 VALUES(3, 4);
 323       INSERT INTO t3 VALUES('abc');
 324   }
 325   catchsql { INSERT INTO t3 VALUES('abc') }
 326 } {1 {UNIQUE constraint failed: t3.x}}
 327 do_test wal-5.5 {
 328   execsql {
 329     COMMIT;
 330     SELECT * FROM t2;
 331   }
 332 } {1 2 3 4}
 333 db close
 334
 335 foreach sector {512 4096} {
 336   sqlite3_simulate_device -sectorsize $sector
 337   foreach pgsz {512 1024 2048 4096} {
 338     forcedelete test.db test.db-wal
 339     do_test wal-6.$sector.$pgsz.1 {
 340       sqlite3 db test.db -vfs devsym
 341       execsql "
 342         PRAGMA page_size = $pgsz;
 343         PRAGMA auto_vacuum = 0;
 344         PRAGMA journal_mode = wal;
 345       "
 346       execsql "
 347         CREATE TABLE t1(a, b);
 348         INSERT INTO t1 VALUES(1, 2);
 349       "
 350       db close
 351       file size test.db
 352     } [expr $pgsz*2]
 353
 354     do_test wal-6.$sector.$pgsz.2 {
 355       log_deleted test.db-wal
 356     } {1}
 357   }
 358 }
 359
 360 do_test wal-7.1 {
 361   forcedelete test.db test.db-wal
 362   sqlite3_wal db test.db
 363   execsql {
 364     PRAGMA page_size = 1024;
 365     CREATE TABLE t1(a, b);
 366     INSERT INTO t1 VALUES(1, 2);
 367   }
 368   list [file size test.db] [file size test.db-wal]
 369 } [list 1024 [wal_file_size 3 1024]]
 370 do_test wal-7.2 {
 371   execsql { PRAGMA wal_checkpoint }
 372   list [file size test.db] [file size test.db-wal]
 373 } [list 2048 [wal_file_size 3 1024]]
 374
 375 # Execute some transactions in auto-vacuum mode to test database file
 376 # truncation.
 377 #
 378 do_test wal-8.1 {
 379   reopen_db
 380   catch { db close }
 381   forcedelete test.db test.db-wal
 382
 383   sqlite3 db test.db
 384   db function blob blob
 385   execsql {
 386     PRAGMA auto_vacuum = 1;
 387     PRAGMA journal_mode = wal;
 388     PRAGMA auto_vacuum;
 389   }
 390 } {wal 1}
 391 do_test wal-8.2 {
 392   execsql {
 393     PRAGMA page_size = 1024;
 394     CREATE TABLE t1(x);
 395     INSERT INTO t1 VALUES(blob(900));
 396     INSERT INTO t1 VALUES(blob(900));
 397     INSERT INTO t1 SELECT blob(900) FROM t1;       /*  4 */
 398     INSERT INTO t1 SELECT blob(900) FROM t1;       /*  8 */
 399     INSERT INTO t1 SELECT blob(900) FROM t1;       /* 16 */
 400     INSERT INTO t1 SELECT blob(900) FROM t1;       /* 32 */
 401     INSERT INTO t1 SELECT blob(900) FROM t1;       /* 64 */
 402     PRAGMA wal_checkpoint;
 403   }
 404   file size test.db
 405 } [expr 68*1024]
 406 do_test wal-8.3 {
 407   execsql {
 408     DELETE FROM t1 WHERE rowid<54;
 409     PRAGMA wal_checkpoint;
 410   }
 411   file size test.db
 412 } [expr 14*1024]
 413
 414 # Run some "warm-body" tests to ensure that log-summary files with more
 415 # than 256 entries (log summaries that contain index blocks) work Ok.
 416 #
 417 do_test wal-9.1 {
 418   reopen_db
 419   execsql {
 420     PRAGMA cache_size=2000;
 421     CREATE TABLE t1(x PRIMARY KEY);
 422     INSERT INTO t1 VALUES(blob(900));
 423     INSERT INTO t1 VALUES(blob(900));
 424     INSERT INTO t1 SELECT blob(900) FROM t1;       /*  4 */
 425     INSERT INTO t1 SELECT blob(900) FROM t1;       /*  8 */
 426     INSERT INTO t1 SELECT blob(900) FROM t1;       /* 16 */
 427     INSERT INTO t1 SELECT blob(900) FROM t1;       /* 32 */
 428     INSERT INTO t1 SELECT blob(900) FROM t1;       /* 64 */
 429     INSERT INTO t1 SELECT blob(900) FROM t1;       /* 128 */
 430     INSERT INTO t1 SELECT blob(900) FROM t1;       /* 256 */
 431   }
 432   file size test.db
 433 } 1024
 434 do_test wal-9.2 {
 435   sqlite3_wal db2 test.db
 436   execsql {PRAGMA integrity_check } db2
 437 } {ok}
 438
 439 do_test wal-9.3 {
 440   forcedelete test2.db test2.db-wal
 441   copy_file test.db test2.db
 442   copy_file test.db-wal test2.db-wal
 443   sqlite3_wal db3 test2.db
 444   execsql {PRAGMA integrity_check } db3
 445 } {ok}
 446 db3 close
 447
 448 do_test wal-9.4 {
 449   execsql { PRAGMA wal_checkpoint }
 450   db2 close
 451   sqlite3_wal db2 test.db
 452   execsql {PRAGMA integrity_check } db2
 453 } {ok}
 454
 455 foreach handle {db db2 db3} { catch { $handle close } }
 456 unset handle
 457
 458 #-------------------------------------------------------------------------
 459 # The following block of tests - wal-10.* - test that the WAL locking
 460 # scheme works in simple cases. This block of tests is run twice. Once
 461 # using multiple connections in the address space of the current process,
 462 # and once with all connections except one running in external processes.
 463 #
 464 do_multiclient_test tn {
 465
 466   # Initialize the database schema and contents.
 467   #
 468   do_test wal-10.$tn.1 {
 469     execsql {
 470       PRAGMA auto_vacuum = 0;
 471       PRAGMA journal_mode = wal;
 472       CREATE TABLE t1(a, b);
 473       INSERT INTO t1 VALUES(1, 2);
 474       SELECT * FROM t1;
 475     }
 476   } {wal 1 2}
 477
 478   # Open a transaction and write to the database using [db]. Check that [db2]
 479   # is still able to read the snapshot before the transaction was opened.
 480   #
 481   do_test wal-10.$tn.2 {
 482     execsql { BEGIN; INSERT INTO t1 VALUES(3, 4); }
 483     sql2 {SELECT * FROM t1}
 484   } {1 2}
 485
 486   # Have [db] commit the transaction. Check that [db2] is now seeing the
 487   # new, updated snapshot.
 488   #
 489   do_test wal-10.$tn.3 {
 490     execsql { COMMIT }
 491     sql2 {SELECT * FROM t1}
 492   } {1 2 3 4}
 493
 494   # Have [db2] open a read transaction. Then write to the db via [db]. Check
 495   # that [db2] is still seeing the original snapshot. Then read with [db3].
 496   # [db3] should see the newly committed data.
 497   #
 498   do_test wal-10.$tn.4 {
 499     sql2 { BEGIN ; SELECT * FROM t1}
 500   } {1 2 3 4}
 501   do_test wal-10.$tn.5 {
 502     execsql { INSERT INTO t1 VALUES(5, 6); }
 503     sql2 {SELECT * FROM t1}
 504   } {1 2 3 4}
 505   do_test wal-10.$tn.6 {
 506     sql3 {SELECT * FROM t1}
 507   } {1 2 3 4 5 6}
 508   do_test wal-10.$tn.7 {
 509     sql2 COMMIT
 510   } {}
 511
 512   # Have [db2] open a write transaction. Then attempt to write to the
 513   # database via [db]. This should fail (writer lock cannot be obtained).
 514   #
 515   # Then open a read-transaction with [db]. Commit the [db2] transaction
 516   # to disk. Verify that [db] still cannot write to the database (because
 517   # it is reading an old snapshot).
 518   #
 519   # Close the current [db] transaction. Open a new one. [db] can now write
 520   # to the database (as it is not locked and [db] is reading the latest
 521   # snapshot).
 522   #
 523   do_test wal-10.$tn.7 {
 524     sql2 { BEGIN; INSERT INTO t1 VALUES(7, 8) ; }
 525     catchsql { INSERT INTO t1 VALUES(9, 10) }
 526   } {1 {database is locked}}
 527   do_test wal-10.$tn.8 {
 528     execsql { BEGIN ; SELECT * FROM t1 }
 529   } {1 2 3 4 5 6}
 530   do_test wal-10.$tn.9 {
 531     sql2 COMMIT
 532     catchsql { INSERT INTO t1 VALUES(9, 10) }
 533   } {1 {database is locked}}
 534   do_test wal-10.$tn.10 {
 535     execsql { COMMIT }
 536     execsql { BEGIN }
 537     execsql { INSERT INTO t1 VALUES(9, 10) }
 538     execsql { COMMIT }
 539     execsql { SELECT * FROM t1 }
 540   } {1 2 3 4 5 6 7 8 9 10}
 541
 542   # Open a read transaction with [db2]. Check that this prevents [db] from
 543   # checkpointing the database. But not from writing to it.
 544   #
 545   do_test wal-10.$tn.11 {
 546     sql2 { BEGIN; SELECT * FROM t1 }
 547   } {1 2 3 4 5 6 7 8 9 10}
 548   do_test wal-10.$tn.12 {
 549     catchsql { PRAGMA wal_checkpoint }
 550   } {0 {0 7 7}}   ;# Reader no longer block checkpoints
 551   do_test wal-10.$tn.13 {
 552     execsql { INSERT INTO t1 VALUES(11, 12) }
 553     sql2 {SELECT * FROM t1}
 554   } {1 2 3 4 5 6 7 8 9 10}
 555
 556   # Writers do not block checkpoints any more either.
 557   #
 558   do_test wal-10.$tn.14 {
 559     catchsql { PRAGMA wal_checkpoint }
 560   } {0 {0 8 7}}
 561
 562   # The following series of test cases used to verify another blocking
 563   # case in WAL - a case which no longer blocks.
 564   #
 565   do_test wal-10.$tn.15 {
 566     sql2 { COMMIT; BEGIN; SELECT * FROM t1; }
 567   } {1 2 3 4 5 6 7 8 9 10 11 12}
 568   do_test wal-10.$tn.16 {
 569     catchsql { PRAGMA wal_checkpoint }
 570   } {0 {0 8 8}}
 571   do_test wal-10.$tn.17 {
 572     execsql { PRAGMA wal_checkpoint }
 573   } {0 8 8}
 574   do_test wal-10.$tn.18 {
 575     sql3 { BEGIN; SELECT * FROM t1 }
 576   } {1 2 3 4 5 6 7 8 9 10 11 12}
 577   do_test wal-10.$tn.19 {
 578     catchsql { INSERT INTO t1 VALUES(13, 14) }
 579   } {0 {}}
 580   do_test wal-10.$tn.20 {
 581     execsql { SELECT * FROM t1 }
 582   } {1 2 3 4 5 6 7 8 9 10 11 12 13 14}
 583   do_test wal-10.$tn.21 {
 584     sql3 COMMIT
 585     sql2 COMMIT
 586   } {}
 587   do_test wal-10.$tn.22 {
 588     execsql { SELECT * FROM t1 }
 589   } {1 2 3 4 5 6 7 8 9 10 11 12 13 14}
 590
 591   # Another series of tests that used to demonstrate blocking behavior
 592   # but which now work.
 593   #
 594   do_test wal-10.$tn.23 {
 595     execsql { PRAGMA wal_checkpoint }
 596   } {0 9 9}
 597   do_test wal-10.$tn.24 {
 598     sql2 { BEGIN; SELECT * FROM t1; }
 599   } {1 2 3 4 5 6 7 8 9 10 11 12 13 14}
 600   do_test wal-10.$tn.25 {
 601     execsql { PRAGMA wal_checkpoint }
 602   } {0 9 9}
 603   do_test wal-10.$tn.26 {
 604     catchsql { INSERT INTO t1 VALUES(15, 16) }
 605   } {0 {}}
 606   do_test wal-10.$tn.27 {
 607     sql3 { INSERT INTO t1 VALUES(17, 18) }
 608   } {}
 609   do_test wal-10.$tn.28 {
 610     code3 {
 611       set ::STMT [sqlite3_prepare db3 "SELECT * FROM t1" -1 TAIL]
 612       sqlite3_step $::STMT
 613     }
 614     execsql { SELECT * FROM t1 }
 615   } {1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18}
 616   do_test wal-10.$tn.29 {
 617     execsql { INSERT INTO t1 VALUES(19, 20) }
 618     catchsql { PRAGMA wal_checkpoint }
 619   } {0 {0 3 0}}
 620   do_test wal-10.$tn.30 {
 621     code3 { sqlite3_finalize $::STMT }
 622     execsql { PRAGMA wal_checkpoint }
 623   } {0 3 0}
 624
 625   # At one point, if a reader failed to upgrade to a writer because it
 626   # was reading an old snapshot, the write-locks were not being released.
 627   # Test that this bug has been fixed.
 628   #
 629   do_test wal-10.$tn.31 {
 630     sql2 COMMIT
 631     execsql { BEGIN ; SELECT * FROM t1 }
 632     sql2 { INSERT INTO t1 VALUES(21, 22) }
 633     catchsql { INSERT INTO t1 VALUES(23, 24) }
 634   } {1 {database is locked}}
 635   do_test wal-10.$tn.32 {
 636     # This statement would fail when the bug was present.
 637     sql2 { INSERT INTO t1 VALUES(23, 24) }
 638   } {}
 639   do_test wal-10.$tn.33 {
 640     execsql { SELECT * FROM t1 ; COMMIT }
 641   } {1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20}
 642   do_test wal-10.$tn.34 {
 643     execsql { SELECT * FROM t1 }
 644   } {1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24}
 645
 646   # Test that if a checkpointer cannot obtain the required locks, it
 647   # releases all locks before returning a busy error.
 648   #
 649   do_test wal-10.$tn.35 {
 650     execsql {
 651       DELETE FROM t1;
 652       INSERT INTO t1 VALUES('a', 'b');
 653       INSERT INTO t1 VALUES('c', 'd');
 654     }
 655     sql2 {
 656       BEGIN;
 657         SELECT * FROM t1;
 658     }
 659   } {a b c d}
 660   do_test wal-10.$tn.36 {
 661     catchsql { PRAGMA wal_checkpoint }
 662   } {0 {0 8 8}}
 663   do_test wal-10.$tn.36 {
 664     sql3 { INSERT INTO t1 VALUES('e', 'f') }
 665     sql2 { SELECT * FROM t1 }
 666   } {a b c d}
 667   do_test wal-10.$tn.37 {
 668     sql2 COMMIT
 669     execsql { PRAGMA wal_checkpoint }
 670   } {0 9 9}
 671 }
 672
 673 #-------------------------------------------------------------------------
 674 # This block of tests, wal-11.*, test that nothing goes terribly wrong
 675 # if frames must be written to the log file before a transaction is
 676 # committed (in order to free up memory).
 677 #
 678 do_test wal-11.1 {
 679   reopen_db
 680   execsql {
 681     PRAGMA cache_size = 10;
 682     PRAGMA page_size = 1024;
 683     CREATE TABLE t1(x PRIMARY KEY);
 684   }
 685   list [expr [file size test.db]/1024] [expr [file size test.db-wal]/1044]
 686 } {1 3}
 687 do_test wal-11.2 {
 688   execsql { PRAGMA wal_checkpoint }
 689   list [expr [file size test.db]/1024] [file size test.db-wal]
 690 } [list 3 [wal_file_size 3 1024]]
 691 do_test wal-11.3 {
 692   execsql { INSERT INTO t1 VALUES( blob(900) ) }
 693   list [expr [file size test.db]/1024] [file size test.db-wal]
 694 } [list 3 [wal_file_size 4 1024]]
 695
 696 do_test wal-11.4 {
 697   execsql {
 698     BEGIN;
 699       INSERT INTO t1 SELECT blob(900) FROM t1;   -- 2
 700       INSERT INTO t1 SELECT blob(900) FROM t1;   -- 4
 701       INSERT INTO t1 SELECT blob(900) FROM t1;   -- 8
 702       INSERT INTO t1 SELECT blob(900) FROM t1;   -- 16
 703   }
 704   list [expr [file size test.db]/1024] [file size test.db-wal]
 705 } [list 3 [wal_file_size 32 1024]]
 706 do_test wal-11.5 {
 707   execsql {
 708     SELECT count(*) FROM t1;
 709     PRAGMA integrity_check;
 710   }
 711 } {16 ok}
 712 do_test wal-11.6 {
 713   execsql COMMIT
 714   list [expr [file size test.db]/1024] [file size test.db-wal]
 715 } [list 3 [wal_file_size 40 1024]]
 716 do_test wal-11.7 {
 717   execsql {
 718     SELECT count(*) FROM t1;
 719     PRAGMA integrity_check;
 720   }
 721 } {16 ok}
 722 do_test wal-11.8 {
 723   execsql { PRAGMA wal_checkpoint }
 724   list [expr [file size test.db]/1024] [file size test.db-wal]
 725 } [list 37 [wal_file_size 40 1024]]
 726 do_test wal-11.9 {
 727   db close
 728   list [expr [file size test.db]/1024] [log_deleted test.db-wal]
 729 } {37 1}
 730 sqlite3_wal db test.db
 731
 732 # After adding the capability of WAL to overwrite prior uncommitted
 733 # frame in the WAL-file with revised content, the size of the WAL file
 734 # following cache-spill is smaller.
 735 #
 736 #set nWal 39
 737 #if {[permutation]!="mmap"} {set nWal 37}
 738 #ifcapable !mmap {set nWal 37}
 739 set nWal 34
 740
 741 do_test wal-11.10 {
 742   execsql {
 743     PRAGMA cache_size = 10;
 744     BEGIN;
 745       INSERT INTO t1 SELECT blob(900) FROM t1;   -- 32
 746       SELECT count(*) FROM t1;
 747   }
 748   list [expr [file size test.db]/1024] [file size test.db-wal]
 749 } [list 37 [wal_file_size $nWal 1024]]
 750 do_test wal-11.11 {
 751   execsql {
 752       SELECT count(*) FROM t1;
 753     ROLLBACK;
 754     SELECT count(*) FROM t1;
 755   }
 756 } {32 16}
 757 do_test wal-11.12 {
 758   list [expr [file size test.db]/1024] [file size test.db-wal]
 759 } [list 37 [wal_file_size $nWal 1024]]
 760 do_test wal-11.13 {
 761   execsql {
 762     INSERT INTO t1 VALUES( blob(900) );
 763     SELECT count(*) FROM t1;
 764     PRAGMA integrity_check;
 765   }
 766 } {17 ok}
 767 do_test wal-11.14 {
 768   list [expr [file size test.db]/1024] [file size test.db-wal]
 769 } [list 37 [wal_file_size $nWal 1024]]
 770
 771
 772 #-------------------------------------------------------------------------
 773 # This block of tests, wal-12.*, tests the fix for a problem that
 774 # could occur if a log that is a prefix of an older log is written
 775 # into a reused log file.
 776 #
 777 reopen_db
 778 do_test wal-12.1 {
 779   execsql {
 780     PRAGMA page_size = 1024;
 781     CREATE TABLE t1(x, y);
 782     CREATE TABLE t2(x, y);
 783     INSERT INTO t1 VALUES('A', 1);
 784   }
 785   list [expr [file size test.db]/1024] [file size test.db-wal]
 786 } [list 1 [wal_file_size 5 1024]]
 787 do_test wal-12.2 {
 788   db close
 789   sqlite3 db test.db
 790   execsql {
 791     PRAGMA synchronous = normal;
 792     UPDATE t1 SET y = 0 WHERE x = 'A';
 793   }
 794   list [expr [file size test.db]/1024] [expr [file size test.db-wal]/1044]
 795 } {3 1}
 796 do_test wal-12.3 {
 797   execsql { INSERT INTO t2 VALUES('B', 1) }
 798   list [expr [file size test.db]/1024] [expr [file size test.db-wal]/1044]
 799 } {3 2}
 800 do_test wal-12.4 {
 801   forcecopy test.db test2.db
 802   forcecopy test.db-wal test2.db-wal
 803   sqlite3_wal db2 test2.db
 804   execsql { SELECT * FROM t2 } db2
 805 } {B 1}
 806 db2 close
 807 do_test wal-12.5 {
 808   execsql {
 809     PRAGMA wal_checkpoint;
 810     UPDATE t2 SET y = 2 WHERE x = 'B';
 811     PRAGMA wal_checkpoint;
 812     UPDATE t1 SET y = 1 WHERE x = 'A';
 813     PRAGMA wal_checkpoint;
 814     UPDATE t1 SET y = 0 WHERE x = 'A';
 815   }
 816   execsql {  SELECT * FROM t2 }
 817 } {B 2}
 818 do_test wal-12.6 {
 819   forcecopy test.db test2.db
 820   forcecopy test.db-wal test2.db-wal
 821   sqlite3_wal db2 test2.db
 822   execsql { SELECT * FROM t2 } db2
 823 } {B 2}
 824 db2 close
 825 db close
 826
 827 #-------------------------------------------------------------------------
 828 # Check a fun corruption case has been fixed.
 829 #
 830 # The problem was that after performing a checkpoint using a connection
 831 # that had an out-of-date pager-cache, the next time the connection was
 832 # used it did not realize the cache was out-of-date and proceeded to
 833 # operate with an inconsistent cache. Leading to corruption.
 834 #
 835 catch { db close }
 836 catch { db2 close }
 837 catch { db3 close }
 838 forcedelete test.db test.db-wal
 839 sqlite3 db test.db
 840 sqlite3 db2 test.db
 841 do_test wal-14 {
 842   execsql {
 843     PRAGMA journal_mode = WAL;
 844     CREATE TABLE t1(a PRIMARY KEY, b);
 845     INSERT INTO t1 VALUES(randomblob(10), randomblob(100));
 846     INSERT INTO t1 SELECT randomblob(10), randomblob(100) FROM t1;
 847     INSERT INTO t1 SELECT randomblob(10), randomblob(100) FROM t1;
 848     INSERT INTO t1 SELECT randomblob(10), randomblob(100) FROM t1;
 849   }
 850
 851   db2 eval {
 852     INSERT INTO t1 SELECT randomblob(10), randomblob(100);
 853     INSERT INTO t1 SELECT randomblob(10), randomblob(100);
 854     INSERT INTO t1 SELECT randomblob(10), randomblob(100);
 855     INSERT INTO t1 SELECT randomblob(10), randomblob(100);
 856   }
 857
 858   # After executing the "PRAGMA wal_checkpoint", connection [db] was being
 859   # left with an inconsistent cache. Running the CREATE INDEX statement
 860   # in this state led to database corruption.
 861   catchsql {
 862     PRAGMA wal_checkpoint;
 863     CREATE INDEX i1 on t1(b);
 864   }
 865
 866   db2 eval { PRAGMA integrity_check }
 867 } {ok}
 868
 869 catch { db close }
 870 catch { db2 close }
 871
 872 #-------------------------------------------------------------------------
 873 # The following block of tests - wal-15.* - focus on testing the
 874 # implementation of the sqlite3_wal_checkpoint() interface.
 875 #
 876 forcedelete test.db test.db-wal
 877 sqlite3 db test.db
 878 do_test wal-15.1 {
 879   execsql {
 880     PRAGMA auto_vacuum = 0;
 881     PRAGMA page_size = 1024;
 882     PRAGMA journal_mode = WAL;
 883   }
 884   execsql {
 885     CREATE TABLE t1(a, b);
 886     INSERT INTO t1 VALUES(1, 2);
 887   }
 888 } {}
 889
 890 # Test that an error is returned if the database name is not recognized
 891 #
 892 do_test wal-15.2.1 {
 893   sqlite3_wal_checkpoint db aux
 894 } {SQLITE_ERROR}
 895 do_test wal-15.2.2 {
 896   sqlite3_errcode db
 897 } {SQLITE_ERROR}
 898 do_test wal-15.2.3 {
 899   sqlite3_errmsg db
 900 } {unknown database: aux}
 901
 902 # Test that an error is returned if an attempt is made to checkpoint
 903 # if a transaction is open on the database.
 904 #
 905 do_test wal-15.3.1 {
 906   execsql {
 907     BEGIN;
 908     INSERT INTO t1 VALUES(3, 4);
 909   }
 910   sqlite3_wal_checkpoint db main
 911 } {SQLITE_LOCKED}
 912 do_test wal-15.3.2 {
 913   sqlite3_errcode db
 914 } {SQLITE_LOCKED}
 915 do_test wal-15.3.3 {
 916   sqlite3_errmsg db
 917 } {database table is locked}
 918
 919 # Earlier versions returned an error is returned if the db cannot be
 920 # checkpointed because of locks held by another connection. Check that
 921 # this is no longer the case.
 922 #
 923 sqlite3 db2 test.db
 924 do_test wal-15.4.1 {
 925   execsql {
 926     BEGIN;
 927     SELECT * FROM t1;
 928   } db2
 929 } {1 2}
 930 do_test wal-15.4.2 {
 931   execsql { COMMIT }
 932   sqlite3_wal_checkpoint db
 933 } {SQLITE_OK}
 934 do_test wal-15.4.3 {
 935   sqlite3_errmsg db
 936 } {not an error}
 937
 938 # After [db2] drops its lock, [db] may checkpoint the db.
 939 #
 940 do_test wal-15.4.4 {
 941   execsql { COMMIT } db2
 942   sqlite3_wal_checkpoint db
 943 } {SQLITE_OK}
 944 do_test wal-15.4.5 {
 945   sqlite3_errmsg db
 946 } {not an error}
 947 do_test wal-15.4.6 {
 948   file size test.db
 949 } [expr 1024*2]
 950
 951 catch { db2 close }
 952 catch { db close }
 953
 954 #-------------------------------------------------------------------------
 955 # The following block of tests - wal-16.* - test that if a NULL pointer or
 956 # an empty string is passed as the second argument of the wal_checkpoint()
 957 # API, an attempt is made to checkpoint all attached databases.
 958 #
 959 foreach {tn ckpt_cmd ckpt_res ckpt_main ckpt_aux} {
 960   1 {sqlite3_wal_checkpoint db}              SQLITE_OK     1 1
 961   2 {sqlite3_wal_checkpoint db ""}           SQLITE_OK     1 1
 962   3 {db eval "PRAGMA wal_checkpoint"}        {0 10 10}     1 1
 963
 964   4 {sqlite3_wal_checkpoint db main}         SQLITE_OK     1 0
 965   5 {sqlite3_wal_checkpoint db aux}          SQLITE_OK     0 1
 966   6 {sqlite3_wal_checkpoint db temp}         SQLITE_OK     0 0
 967   7 {db eval "PRAGMA main.wal_checkpoint"}   {0 10 10}     1 0
 968   8 {db eval "PRAGMA aux.wal_checkpoint"}    {0 13 13}     0 1
 969   9 {db eval "PRAGMA temp.wal_checkpoint"}   {0 -1 -1}     0 0
 970 } {
 971   do_test wal-16.$tn.1 {
 972     forcedelete test2.db test2.db-wal test2.db-journal
 973     forcedelete test.db test.db-wal test.db-journal
 974
 975     sqlite3 db test.db
 976     execsql {
 977       ATTACH 'test2.db' AS aux;
 978       PRAGMA main.auto_vacuum = 0;
 979       PRAGMA aux.auto_vacuum = 0;
 980       PRAGMA main.journal_mode = WAL;
 981       PRAGMA aux.journal_mode = WAL;
 982       PRAGMA main.synchronous = NORMAL;
 983       PRAGMA aux.synchronous = NORMAL;
 984     }
 985   } {wal wal}
 986
 987   do_test wal-16.$tn.2 {
 988     execsql {
 989       CREATE TABLE main.t1(a, b, PRIMARY KEY(a, b));
 990       CREATE TABLE aux.t2(a, b, PRIMARY KEY(a, b));
 991
 992       INSERT INTO t2 VALUES(1, randomblob(1000));
 993       INSERT INTO t2 VALUES(2, randomblob(1000));
 994       INSERT INTO t1 SELECT * FROM t2;
 995     }
 996
 997     list [file size test.db] [file size test.db-wal]
 998   } [list [expr 1*1024] [wal_file_size 10 1024]]
 999   do_test wal-16.$tn.3 {
1000     list [file size test2.db] [file size test2.db-wal]
1001   } [list [expr 1*1024] [wal_file_size 13 1024]]
1002
1003   do_test wal-16.$tn.4 [list eval $ckpt_cmd] $ckpt_res
1004
1005   do_test wal-16.$tn.5 {
1006     list [file size test.db] [file size test.db-wal]
1007   } [list [expr ($ckpt_main ? 7 : 1)*1024] [wal_file_size 10 1024]]
1008
1009   do_test wal-16.$tn.6 {
1010     list [file size test2.db] [file size test2.db-wal]
1011   } [list [expr ($ckpt_aux ? 7 : 1)*1024] [wal_file_size 13 1024]]
1012
1013   catch { db close }
1014 }
1015
1016 #-------------------------------------------------------------------------
1017 # The following tests - wal-17.* - attempt to verify that the correct
1018 # number of "padding" frames are appended to the log file when a transaction
1019 # is committed in synchronous=FULL mode.
1020 #
1021 # Do this by creating a database that uses 512 byte pages. Then writing
1022 # a transaction that modifies 171 pages. In synchronous=NORMAL mode, this
1023 # produces a log file of:
1024 #
1025 #   32 + (24+512)*171 = 90312 bytes.
1026 #
1027 # Slightly larger than 11*8192 = 90112 bytes.
1028 #
1029 # Run the test using various different sector-sizes. In each case, the
1030 # WAL code should write the 90300 bytes of log file containing the
1031 # transaction, then append as may frames as are required to extend the
1032 # log file so that no part of the next transaction will be written into
1033 # a disk-sector used by transaction just committed.
1034 #
1035 set old_pending_byte [sqlite3_test_control_pending_byte 0x10000000]
1036 catch { db close }
1037 foreach {tn sectorsize logsize} "
1038   1   128  [wal_file_size 172 512]
1039   2   256  [wal_file_size 172 512]
1040   3   512  [wal_file_size 172 512]
1041   4  1024  [wal_file_size 172 512]
1042   5  2048  [wal_file_size 172 512]
1043   6  4096  [wal_file_size 176 512]
1044   7  8192  [wal_file_size 184 512]
1045 " {
1046   forcedelete test.db test.db-wal test.db-journal
1047   sqlite3_simulate_device -sectorsize $sectorsize
1048   sqlite3 db test.db -vfs devsym
1049
1050   do_test wal-17.$tn.1 {
1051     execsql {
1052       PRAGMA auto_vacuum = 0;
1053       PRAGMA page_size = 512;
1054       PRAGMA cache_size = -2000;
1055       PRAGMA journal_mode = WAL;
1056       PRAGMA synchronous = FULL;
1057     }
1058     execsql {
1059       BEGIN;
1060       CREATE TABLE t(x);
1061     }
1062     for {set i 0} {$i<166} {incr i} {
1063       execsql { INSERT INTO t VALUES(randomblob(400)) }
1064     }
1065     execsql COMMIT
1066
1067     file size test.db-wal
1068   } $logsize
1069
1070   do_test wal-17.$tn.2 {
1071     file size test.db
1072   } 512
1073
1074   do_test wal-17.$tn.3 {
1075     db close
1076     file size test.db
1077   } [expr 512*171]
1078 }
1079 sqlite3_test_control_pending_byte $old_pending_byte
1080
1081 #-------------------------------------------------------------------------
1082 # This test - wal-18.* - verifies a couple of specific conditions that
1083 # may be encountered while recovering a log file are handled correctly:
1084 #
1085 #   wal-18.1.* When the first 32-bits of a frame checksum is correct but
1086 #              the second 32-bits are false, and
1087 #
1088 #   wal-18.2.* When the page-size field that occurs at the start of a log
1089 #              file is a power of 2 greater than 16384 or smaller than 512.
1090 #
1091 forcedelete test.db test.db-wal test.db-journal
1092 do_test wal-18.0 {
1093   sqlite3 db test.db
1094   execsql {
1095     PRAGMA page_size = 1024;
1096     PRAGMA auto_vacuum = 0;
1097     PRAGMA journal_mode = WAL;
1098     PRAGMA synchronous = OFF;
1099
1100     CREATE TABLE t1(a, b, UNIQUE(a, b));
1101     INSERT INTO t1 VALUES(0, 0);
1102     PRAGMA wal_checkpoint;
1103
1104     INSERT INTO t1 VALUES(1, 2);          -- frames 1 and 2
1105     INSERT INTO t1 VALUES(3, 4);          -- frames 3 and 4
1106     INSERT INTO t1 VALUES(5, 6);          -- frames 5 and 6
1107   }
1108
1109   forcecopy test.db testX.db
1110   forcecopy test.db-wal testX.db-wal
1111   db close
1112   list [file size testX.db] [file size testX.db-wal]
1113 } [list [expr 3*1024] [wal_file_size 6 1024]]
1114
1115 unset -nocomplain nFrame result
1116 foreach {nFrame result} {
1117          0      {0 0}
1118          1      {0 0}
1119          2      {0 0 1 2}
1120          3      {0 0 1 2}
1121          4      {0 0 1 2 3 4}
1122          5      {0 0 1 2 3 4}
1123          6      {0 0 1 2 3 4 5 6}
1124 } {
1125   do_test wal-18.1.$nFrame {
1126     forcecopy testX.db test.db
1127     forcecopy testX.db-wal test.db-wal
1128
1129     hexio_write test.db-wal [expr 24 + $nFrame*(24+1024) + 20] 00000000
1130
1131     sqlite3 db test.db
1132     execsql {
1133       SELECT * FROM t1;
1134       PRAGMA integrity_check;
1135     }
1136   } [concat $result ok]
1137   db close
1138 }
1139
1140 proc randomblob {pgsz} {
1141   sqlite3 rbdb :memory:
1142   set blob [rbdb one {SELECT randomblob($pgsz)}]
1143   rbdb close
1144   set blob
1145 }
1146
1147 proc logcksum {ckv1 ckv2 blob} {
1148   upvar $ckv1 c1
1149   upvar $ckv2 c2
1150
1151   # Since the magic number at the start of the -wal file header is
1152   # 931071618 that indicates that the content should always be read as
1153   # little-endian.
1154   #
1155   set scanpattern i*
1156
1157   binary scan $blob $scanpattern values
1158   foreach {v1 v2} $values {
1159     set c1 [expr {($c1 + $v1 + $c2)&0xFFFFFFFF}]
1160     set c2 [expr {($c2 + $v2 + $c1)&0xFFFFFFFF}]
1161   }
1162 }
1163
1164 forcecopy test.db testX.db
1165 foreach {tn pgsz works} {
1166   1    128    0
1167   2    256    0
1168   3    512    1
1169   4   1024    1
1170   5   2048    1
1171   6   4096    1
1172   7   8192    1
1173   8  16384    1
1174   9  32768    1
1175  10  65536    1
1176  11 131072    0
1177  11   1016    0
1178 } {
1179
1180   if {$::SQLITE_MAX_PAGE_SIZE < $pgsz} {
1181     set works 0
1182   }
1183
1184   for {set pg 1} {$pg <= 3} {incr pg} {
1185     forcecopy testX.db test.db
1186     forcedelete test.db-wal
1187
1188     # Check that the database now exists and consists of three pages. And
1189     # that there is no associated wal file.
1190     #
1191     do_test wal-18.2.$tn.$pg.1 { file exists test.db-wal } 0
1192     do_test wal-18.2.$tn.$pg.2 { file exists test.db } 1
1193     do_test wal-18.2.$tn.$pg.3 { file size test.db } [expr 1024*3]
1194
1195     do_test wal-18.2.$tn.$pg.4 {
1196
1197       # Create a wal file that contains a single frame (database page
1198       # number $pg) with the commit flag set. The frame checksum is
1199       # correct, but the contents of the database page are corrupt.
1200       #
1201       # The page-size in the log file header is set to $pgsz. If the
1202       # WAL code considers $pgsz to be a valid SQLite database file page-size,
1203       # the database will be corrupt (because the garbage frame contents
1204       # will be treated as valid content). If $pgsz is invalid (too small
1205       # or too large), the db will not be corrupt as the log file will
1206       # be ignored.
1207       #
1208       set walhdr [binary format IIIIII 931071618 3007000 $pgsz 1234 22 23]
1209       set framebody [randomblob $pgsz]
1210       set framehdr  [binary format IIII $pg 5 22 23]
1211       set c1 0
1212       set c2 0
1213       logcksum c1 c2 $walhdr
1214
1215       append walhdr [binary format II $c1 $c2]
1216       logcksum c1 c2 [string range $framehdr 0 7]
1217       logcksum c1 c2 $framebody
1218       set framehdr [binary format IIIIII $pg 5 22 23 $c1 $c2]
1219
1220       set fd [open test.db-wal w]
1221       fconfigure $fd -encoding binary -translation binary
1222       puts -nonewline $fd $walhdr
1223       puts -nonewline $fd $framehdr
1224       puts -nonewline $fd $framebody
1225       close $fd
1226
1227       file size test.db-wal
1228     } [wal_file_size 1 $pgsz]
1229
1230     do_test wal-18.2.$tn.$pg.5 {
1231       sqlite3 db test.db
1232       set rc [catch { db one {PRAGMA integrity_check} } msg]
1233       expr { $rc!=0 || $msg!="ok" }
1234     } $works
1235
1236     db close
1237   }
1238 }
1239
1240 #-------------------------------------------------------------------------
1241 # The following test - wal-19.* - fixes a bug that was present during
1242 # development.
1243 #
1244 # When a database connection in WAL mode is closed, it attempts an
1245 # EXCLUSIVE lock on the database file. If the lock is obtained, the
1246 # connection knows that it is the last connection to disconnect from
1247 # the database, so it runs a checkpoint operation. The bug was that
1248 # the connection was not updating its private copy of the wal-index
1249 # header before doing so, meaning that it could checkpoint an old
1250 # snapshot.
1251 #
1252 do_test wal-19.1 {
1253   forcedelete test.db test.db-wal test.db-journal
1254   sqlite3 db test.db
1255   sqlite3 db2 test.db
1256   execsql {
1257     PRAGMA journal_mode = WAL;
1258     CREATE TABLE t1(a, b);
1259     INSERT INTO t1 VALUES(1, 2);
1260     INSERT INTO t1 VALUES(3, 4);
1261   }
1262   execsql { SELECT * FROM t1 } db2
1263 } {1 2 3 4}
1264 do_test wal-19.2 {
1265   execsql {
1266     INSERT INTO t1 VALUES(5, 6);
1267     SELECT * FROM t1;
1268   }
1269 } {1 2 3 4 5 6}
1270 do_test wal-19.3 {
1271   db close
1272   db2 close
1273   file exists test.db-wal
1274 } {0}
1275 do_test wal-19.4 {
1276   # When the bug was present, the following was returning {1 2 3 4} only,
1277   # as [db2] had an out-of-date copy of the wal-index header when it was
1278   # closed.
1279   #
1280   sqlite3 db test.db
1281   execsql { SELECT * FROM t1 }
1282 } {1 2 3 4 5 6}
1283
1284 #-------------------------------------------------------------------------
1285 # This test - wal-20.* - uses two connections. One in this process and
1286 # the other in an external process. The procedure is:
1287 #
1288 #   1. Using connection 1, create the database schema.
1289 #
1290 #   2. Using connection 2 (in an external process), add so much
1291 #      data to the database without checkpointing that a wal-index
1292 #      larger than 64KB is required.
1293 #
1294 #   3. Using connection 1, checkpoint the database. Make sure all
1295 #      the data is present and the database is not corrupt.
1296 #
1297 # At one point, SQLite was failing to grow the mapping of the wal-index
1298 # file in step 3 and the checkpoint was corrupting the database file.
1299 #
1300 do_test wal-20.1 {
1301   catch {db close}
1302   forcedelete test.db test.db-wal test.db-journal
1303   sqlite3 db test.db
1304   execsql {
1305     PRAGMA journal_mode = WAL;
1306     CREATE TABLE t1(x);
1307     INSERT INTO t1 VALUES(randomblob(900));
1308     SELECT count(*) FROM t1;
1309   }
1310 } {wal 1}
1311 do_test wal-20.2 {
1312   set ::buddy [launch_testfixture]
1313   testfixture $::buddy {
1314     sqlite3 db test.db
1315     db transaction { db eval {
1316       PRAGMA wal_autocheckpoint = 0;
1317       INSERT INTO t1 SELECT randomblob(900) FROM t1;       /* 2 */
1318       INSERT INTO t1 SELECT randomblob(900) FROM t1;       /* 4 */
1319       INSERT INTO t1 SELECT randomblob(900) FROM t1;       /* 8 */
1320       INSERT INTO t1 SELECT randomblob(900) FROM t1;       /* 16 */
1321       INSERT INTO t1 SELECT randomblob(900) FROM t1;       /* 32 */
1322       INSERT INTO t1 SELECT randomblob(900) FROM t1;       /* 64 */
1323       INSERT INTO t1 SELECT randomblob(900) FROM t1;       /* 128 */
1324       INSERT INTO t1 SELECT randomblob(900) FROM t1;       /* 256 */
1325       INSERT INTO t1 SELECT randomblob(900) FROM t1;       /* 512 */
1326       INSERT INTO t1 SELECT randomblob(900) FROM t1;       /* 1024 */
1327       INSERT INTO t1 SELECT randomblob(900) FROM t1;       /* 2048 */
1328       INSERT INTO t1 SELECT randomblob(900) FROM t1;       /* 4096 */
1329       INSERT INTO t1 SELECT randomblob(900) FROM t1;       /* 8192 */
1330       INSERT INTO t1 SELECT randomblob(900) FROM t1;       /* 16384 */
1331     } }
1332   }
1333 } {0}
1334 do_test wal-20.3 {
1335   close $::buddy
1336   execsql { PRAGMA wal_checkpoint }
1337   execsql { SELECT count(*) FROM t1 }
1338 } {16384}
1339 do_test wal-20.4 {
1340   db close
1341   sqlite3 db test.db
1342   execsql { SELECT count(*) FROM t1 }
1343 } {16384}
1344 integrity_check wal-20.5
1345
1346 catch { db2 close }
1347 catch { db close }
1348
1349 do_test wal-21.1 {
1350   faultsim_delete_and_reopen
1351   execsql {
1352     PRAGMA journal_mode = WAL;
1353     CREATE TABLE t1(a, b);
1354     INSERT INTO t1 VALUES(1, 2);
1355     INSERT INTO t1 VALUES(3, 4);
1356     INSERT INTO t1 VALUES(5, 6);
1357     INSERT INTO t1 VALUES(7, 8);
1358     INSERT INTO t1 VALUES(9, 10);
1359     INSERT INTO t1 VALUES(11, 12);
1360   }
1361 } {wal}
1362 do_test wal-21.2 {
1363   execsql {
1364     PRAGMA cache_size = 10;
1365     PRAGMA wal_checkpoint;
1366     BEGIN;
1367       SAVEPOINT s;
1368         INSERT INTO t1 SELECT randomblob(900), randomblob(900) FROM t1;
1369       ROLLBACK TO s;
1370     COMMIT;
1371   }
1372   execsql { SELECT * FROM t1 }
1373 } {1 2 3 4 5 6 7 8 9 10 11 12}
1374 do_test wal-21.3 {
1375   execsql { PRAGMA integrity_check }
1376 } {ok}
1377
1378 #-------------------------------------------------------------------------
1379 # Test reading and writing of databases with different page-sizes.
1380 #
1381 incr ::do_not_use_codec
1382 foreach pgsz {512 1024 2048 4096 8192 16384 32768 65536} {
1383   do_multiclient_test tn [string map [list %PGSZ% $pgsz] {
1384     do_test wal-22.%PGSZ%.$tn.1 {
1385       sql1 {
1386         PRAGMA main.page_size = %PGSZ%;
1387         PRAGMA auto_vacuum = 0;
1388         PRAGMA journal_mode = WAL;
1389         CREATE TABLE t1(x UNIQUE);
1390         INSERT INTO t1 SELECT randomblob(800);
1391         INSERT INTO t1 SELECT randomblob(800);
1392         INSERT INTO t1 SELECT randomblob(800);
1393       }
1394     } {wal}
1395     do_test wal-22.%PGSZ%.$tn.2 { sql2 { PRAGMA integrity_check } } {ok}
1396     do_test wal-22.%PGSZ%.$tn.3 {
1397       sql1 {PRAGMA wal_checkpoint}
1398       expr {[file size test.db] % %PGSZ%}
1399     } {0}
1400   }]
1401 }
1402 incr ::do_not_use_codec -1
1403
1404 #-------------------------------------------------------------------------
1405 # Test that when 1 or more pages are recovered from a WAL file,
1406 # sqlite3_log() is invoked to report this to the user.
1407 #
1408 ifcapable curdir {
1409   set walfile [file nativename [file join [get_pwd] test.db-wal]]
1410 } else {
1411   set walfile test.db-wal
1412 }
1413 catch {db close}
1414 forcedelete test.db
1415 do_test wal-23.1 {
1416   faultsim_delete_and_reopen
1417   execsql {
1418     CREATE TABLE t1(a, b);
1419     PRAGMA journal_mode = WAL;
1420     INSERT INTO t1 VALUES(1, 2);
1421     INSERT INTO t1 VALUES(3, 4);
1422   }
1423   faultsim_save_and_close
1424
1425   sqlite3_shutdown
1426   test_sqlite3_log [list lappend ::log]
1427   set ::log [list]
1428   sqlite3 db test.db
1429   execsql { SELECT * FROM t1 }
1430 } {1 2 3 4}
1431 do_test wal-23.2 { set ::log } {}
1432
1433 do_test wal-23.3 {
1434   db close
1435   set ::log [list]
1436   faultsim_restore_and_reopen
1437   execsql { SELECT * FROM t1 }
1438 } {1 2 3 4}
1439 do_test wal-23.4 {
1440   set ::log
1441 } [list SQLITE_NOTICE_RECOVER_WAL \
1442     "recovered 2 frames from WAL file $walfile"]
1443
1444
1445 ifcapable autovacuum {
1446   # This block tests that if the size of a database is reduced by a
1447   # transaction (because of an incremental or auto-vacuum), that no
1448   # data is written to the WAL file for the truncated pages as part
1449   # of the commit. e.g. if a transaction reduces the size of a database
1450   # to N pages, data for page N+1 should not be written to the WAL file
1451   # when committing the transaction. At one point such data was being
1452   # written.
1453   #
1454   catch {db close}
1455   forcedelete test.db
1456   sqlite3 db test.db
1457   do_execsql_test 24.1 {
1458     PRAGMA auto_vacuum = 2;
1459     PRAGMA journal_mode = WAL;
1460     PRAGMA page_size = 1024;
1461     CREATE TABLE t1(x);
1462     INSERT INTO t1 VALUES(randomblob(5000));
1463     INSERT INTO t1 SELECT * FROM t1;
1464     INSERT INTO t1 SELECT * FROM t1;
1465     INSERT INTO t1 SELECT * FROM t1;
1466     INSERT INTO t1 SELECT * FROM t1;
1467   } {wal}
1468   do_test 24.2 {
1469     execsql {
1470       DELETE FROM t1;
1471       PRAGMA wal_checkpoint;
1472     }
1473     db close
1474     sqlite3 db test.db
1475     file exists test.db-wal
1476   } 0
1477   do_test 24.3 {
1478     file size test.db
1479   } [expr 84 * 1024]
1480   do_test 24.4 {
1481     execsql {
1482       PRAGMA cache_size = 200;
1483       PRAGMA incremental_vacuum;
1484       PRAGMA wal_checkpoint;
1485     }
1486     file size test.db
1487   } [expr 3 * 1024]
1488
1489   # WAL file now contains a single frame - the new root page for table t1.
1490   # It would be two frames (the new root page and a padding frame) if the
1491   # ZERO_DAMAGE flag were not set.
1492   do_test 24.5 {
1493     file size test.db-wal
1494   } [wal_file_size 1 1024]
1495 }
1496
1497 db close
1498 sqlite3_shutdown
1499 test_sqlite3_log
1500 sqlite3_initialize
1501
1502 # Make sure PRAGMA journal_mode=WAL works with ATTACHED databases in
1503 # all journal modes.
1504 #
1505 foreach mode {OFF MEMORY PERSIST DELETE TRUNCATE WAL} {
1506   delete_file test.db test2.db
1507   sqlite3 db test.db
1508   do_test wal-25.$mode {
1509     db eval "PRAGMA journal_mode=$mode"
1510     db eval {ATTACH 'test2.db' AS t2; PRAGMA journal_mode=WAL;}
1511   } {wal}
1512   db close
1513 }
1514
1515 test_restore_config_pagecache
1516 finish_test