* lisp/svg.el (svg--encode-text): Fix off-by-one error in previous patch.
[emacs.git] / doc / misc / ert.texi
blob4a2c29dcb9f1130f38c69e1581891911ad02eea8
1 \input texinfo
2 @c %**start of header
3 @setfilename ../../info/ert.info
4 @settitle Emacs Lisp Regression Testing
5 @include docstyle.texi
6 @c %**end of header
8 @dircategory Emacs misc features
9 @direntry
10 * ERT: (ert).                   Emacs Lisp regression testing tool.
11 @end direntry
13 @copying
14 Copyright @copyright{} 2008, 2010--2017 Free Software Foundation, Inc.
16 @quotation
17 Permission is granted to copy, distribute and/or modify this document
18 under the terms of the GNU Free Documentation License, Version 1.3 or
19 any later version published by the Free Software Foundation; with no
20 Invariant Sections, with the Front-Cover Texts being ``A GNU Manual,''
21 and with the Back-Cover Texts as in (a) below.  A copy of the license
22 is included in the section entitled ``GNU Free Documentation License''.
24 (a) The FSF's Back-Cover Text is: ``You have the freedom to copy and
25 modify this GNU manual.''
26 @end quotation
27 @end copying
29 @titlepage
30 @title Emacs Lisp Regression Testing
31 @page
32 @vskip 0pt plus 1filll
33 @insertcopying
34 @end titlepage
36 @contents
38 @ifnottex
39 @node Top
40 @top ERT: Emacs Lisp Regression Testing
42 @insertcopying
44 ERT is a tool for automated testing in Emacs Lisp.  Its main features
45 are facilities for defining tests, running them and reporting the
46 results, and for debugging test failures interactively.
48 ERT is similar to tools for other environments such as JUnit, but has
49 unique features that take advantage of the dynamic and interactive
50 nature of Emacs.  Despite its name, it works well both for test-driven
51 development (see
52 @url{http://en.wikipedia.org/wiki/Test-driven_development}) and for
53 traditional software development methods.
55 @menu
56 * Introduction::                A simple example of an ERT test.
57 * How to Run Tests::            Run tests in Emacs or from the command line.
58 * How to Write Tests::          How to add tests to your Emacs Lisp code.
59 * How to Debug Tests::          What to do if a test fails.
60 * Extending ERT::               ERT is extensible in several ways.
61 * Other Testing Concepts::      Features not in ERT.
62 * GNU Free Documentation License::  The license for this documentation.
64 @detailmenu
65  --- The Detailed Node Listing ---
67 How to Run Tests
69 * Running Tests Interactively::  Run tests in your current Emacs.
70 * Running Tests in Batch Mode::  Run tests in emacs -Q.
71 * Test Selectors::               Choose which tests to run.
73 How to Write Tests
75 * The @code{should} Macro::          A powerful way to express assertions.
76 * Expected Failures::           Tests for known bugs.
77 * Tests and Their Environment:: Don't depend on customizations; no side effects.
78 * Useful Techniques::           Some examples.
80 How to Debug Tests
82 * Understanding Explanations::  How ERT gives details on why an assertion failed.
83 * Interactive Debugging::       Tools available in the ERT results buffer.
85 Extending ERT
87 * Defining Explanation Functions::  Teach ERT about more predicates.
88 * Low-Level Functions for Working with Tests::  Use ERT's data for your purposes.
90 Other Testing Concepts
92 * Mocks and Stubs::           Stubbing out code that is irrelevant to the test.
93 * Fixtures and Test Suites::  How ERT differs from tools for other languages.
95 Appendix
97 * GNU Free Documentation License:: The license for this documentation.
99 @end detailmenu
100 @end menu
101 @end ifnottex
103 @node Introduction
104 @chapter Introduction
106 ERT allows you to define @emph{tests} in addition to functions,
107 macros, variables, and the other usual Lisp constructs.  Tests are
108 simply Lisp code: code that invokes other code and checks whether
109 it behaves as expected.
111 ERT keeps track of the tests that are defined and provides convenient
112 commands to run them to verify whether the definitions that are
113 currently loaded in Emacs pass the tests.
115 Some Lisp files have comments like the following (adapted from the
116 package @code{pp.el}):
118 @lisp
119 ;; (pp-to-string '(quote quote))          ; expected: "'quote"
120 ;; (pp-to-string '((quote a) (quote b)))  ; expected: "('a 'b)\n"
121 ;; (pp-to-string '('a 'b))                ; same as above
122 @end lisp
124 The code contained in these comments can be evaluated from time to
125 time to compare the output with the expected output.  ERT formalizes
126 this and introduces a common convention, which simplifies Emacs
127 development, since programmers no longer have to manually find and
128 evaluate such comments.
130 An ERT test definition equivalent to the above comments is this:
132 @lisp
133 (ert-deftest pp-test-quote ()
134   "Tests the rendering of `quote' symbols in `pp-to-string'."
135   (should (equal (pp-to-string '(quote quote)) "'quote"))
136   (should (equal (pp-to-string '((quote a) (quote b))) "('a 'b)\n"))
137   (should (equal (pp-to-string '('a 'b)) "('a 'b)\n")))
138 @end lisp
140 If you know @code{defun}, the syntax of @code{ert-deftest} should look
141 familiar: This example defines a test named @code{pp-test-quote} that
142 will pass if the three calls to @code{equal} all return non-@code{nil}.
144 @code{should} is a macro with the same meaning as @code{cl-assert} but
145 better error reporting.  @xref{The @code{should} Macro}.
147 Each test should have a name that describes what functionality it tests.
148 Test names can be chosen arbitrarily---they are in a
149 namespace separate from functions and variables---but should follow
150 the usual Emacs Lisp convention of having a prefix that indicates
151 which package they belong to.  Test names are displayed by ERT when
152 reporting failures and can be used when selecting which tests to run.
154 The empty parentheses @code{()} in the first line don't currently have
155 any meaning and are reserved for future extension.  They also make
156 the syntax of @code{ert-deftest} more similar to that of @code{defun}.
158 The docstring describes what feature this test tests.  When running
159 tests interactively, the first line of the docstring is displayed for
160 tests that fail, so it is good if the first line makes sense on its
161 own.
163 The body of a test can be arbitrary Lisp code.  It should have as few
164 side effects as possible; each test should be written to clean up
165 after itself, leaving Emacs in the same state as it was before the
166 test.  Tests should clean up even if they fail.  @xref{Tests and Their
167 Environment}.
170 @node  How to Run Tests
171 @chapter How to Run Tests
173 You can run tests either in the Emacs you are working in, or on the
174 command line in a separate Emacs process in batch mode (i.e., with no
175 user interface).  The former mode is convenient during interactive
176 development, the latter is useful to make sure that tests pass
177 independently of your customizations; and it allows you to invoke
178 tests from makefiles, and to write scripts that run tests in several
179 different Emacs versions.
181 @menu
182 * Running Tests Interactively::  Run tests in your current Emacs.
183 * Running Tests in Batch Mode::  Run tests in emacs -Q.
184 * Test Selectors::               Choose which tests to run.
185 @end menu
188 @node Running Tests Interactively
189 @section Running Tests Interactively
191 You can run the tests that are currently defined in your Emacs with
192 the command @kbd{@kbd{M-x} ert @kbd{RET} t @kbd{RET}}.  (For an
193 explanation of the @code{t} argument, @pxref{Test Selectors}.) ERT will pop
194 up a new buffer, the ERT results buffer, showing the results of the
195 tests run.  It looks like this:
197 @example
198 Selector: t
199 Passed:  31
200 Skipped: 0
201 Failed:  2 (2 unexpected)
202 Total:   33/33
204 Started at:   2008-09-11 08:39:25-0700
205 Finished.
206 Finished at:  2008-09-11 08:39:27-0700
208 FF...............................
210 F addition-test
211     (ert-test-failed
212      ((should
213        (=
214         (+ 1 2)
215         4))
216       :form
217       (= 3 4)
218       :value nil))
220 F list-test
221     (ert-test-failed
222      ((should
223        (equal
224         (list 'a 'b 'c)
225         '(a b d)))
226       :form
227       (equal
228        (a b c)
229        (a b d))
230       :value nil :explanation
231       (list-elt 2
232                 (different-atoms c d))))
233 @end example
235 At the top, there is a summary of the results: we ran all tests defined
236 in the current Emacs (@code{Selector: t}), 31 of them passed, and 2
237 failed unexpectedly.  @xref{Expected Failures}, for an explanation of
238 the term @emph{unexpected} in this context.
240 The line of dots and @code{F}s is a progress bar where each character
241 represents one test; it fills while the tests are running.  A dot
242 means that the test passed, an @code{F} means that it failed.  Below
243 the progress bar, ERT shows details about each test that had an
244 unexpected result.  In the example above, there are two failures, both
245 due to failed @code{should} forms.  @xref{Understanding Explanations},
246 for more details.
248 In the ERT results buffer, @kbd{TAB} and @kbd{S-TAB} cycle between
249 buttons.  Each name of a function or macro in this buffer is a button;
250 moving point to it and typing @kbd{RET} jumps to its definition.
252 Pressing @kbd{r} re-runs the test near point on its own.  Pressing
253 @kbd{d} re-runs it with the debugger enabled.  @kbd{.} jumps to the
254 definition of the test near point (@kbd{RET} has the same effect if
255 point is on the name of the test).  On a failed test, @kbd{b} shows
256 the backtrace of the failure.
258 @kbd{l} shows the list of @code{should} forms executed in the test.
259 If any messages were generated (with the Lisp function @code{message})
260 in a test or any of the code that it invoked, @kbd{m} will show them.
262 By default, long expressions in the failure details are abbreviated
263 using @code{print-length} and @code{print-level}.  Pressing @kbd{L}
264 while point is on a test failure will increase the limits to show more
265 of the expression.
268 @node Running Tests in Batch Mode
269 @section Running Tests in Batch Mode
271 ERT supports automated invocations from the command line or from
272 scripts or makefiles.  There are two functions for this purpose,
273 @code{ert-run-tests-batch} and @code{ert-run-tests-batch-and-exit}.
274 They can be used like this:
276 @example
277 emacs -batch -l ert -l my-tests.el -f ert-run-tests-batch-and-exit
278 @end example
280 This command will start up Emacs in batch mode, load ERT, load
281 @code{my-tests.el}, and run all tests defined in it.  It will exit
282 with a zero exit status if all tests passed, or nonzero if any tests
283 failed or if anything else went wrong.  It will also print progress
284 messages and error diagnostics to standard output.
286 You can also redirect the above output to a log file, say
287 @file{output.log}, and use the
288 @code{ert-summarize-tests-batch-and-exit} function to produce a neat
289 summary as shown below:
291 @example
292 emacs -batch -l ert -f ert-summarize-tests-batch-and-exit output.log
293 @end example
295 If ERT is not part of your Emacs distribution, you may need to use
296 @code{-L /path/to/ert/} so that Emacs can find it.  You may need
297 additional @code{-L} flags to ensure that @code{my-tests.el} and all the
298 files that it requires are on your @code{load-path}.
301 @node Test Selectors
302 @section Test Selectors
304 Functions like @code{ert} accept a @emph{test selector}, a Lisp
305 expression specifying a set of tests.  Test selector syntax is similar
306 to Common Lisp's type specifier syntax:
308 @itemize
309 @item @code{nil} selects no tests.
310 @item @code{t} selects all tests.
311 @item @code{:new} selects all tests that have not been run yet.
312 @item @code{:failed} and @code{:passed} select tests according to their most recent result.
313 @item @code{:expected}, @code{:unexpected} select tests according to their most recent result.
314 @item A string is a regular expression that selects all tests with matching names.
315 @item A test (i.e., an object of @code{ert-test} data type) selects that test.
316 @item A symbol selects the test that the symbol names.
317 @item @code{(member TESTS...)} selects the elements of TESTS, a list of
318 tests or symbols naming tests.
319 @item @code{(eql TEST)} selects TEST, a test or a symbol naming a test.
320 @item @code{(and SELECTORS...)} selects the tests that match all SELECTORS.
321 @item @code{(or SELECTORS...)} selects the tests that match any SELECTOR.
322 @item @code{(not SELECTOR)} selects all tests that do not match SELECTOR.
323 @item @code{(tag TAG)} selects all tests that have TAG on their tags list.
324 (Tags are optional labels you can apply to tests when you define them.)
325 @item @code{(satisfies PREDICATE)} selects all tests that satisfy PREDICATE,
326 a function that takes a test as argument and returns non-@code{nil} if
327 it is selected.
328 @end itemize
330 Selectors that are frequently useful when selecting tests to run
331 include @code{t} to run all tests that are currently defined in Emacs,
332 @code{"^foo-"} to run all tests in package @code{foo} (this assumes
333 that package @code{foo} uses the prefix @code{foo-} for its test names),
334 result-based selectors such as @code{(or :new :unexpected)} to
335 run all tests that have either not run yet or that had an unexpected
336 result in the last run, and tag-based selectors such as @code{(not
337 (tag :causes-redisplay))} to run all tests that are not tagged
338 @code{:causes-redisplay}.
341 @node How to Write Tests
342 @chapter How to Write Tests
344 ERT lets you define tests in the same way you define functions.  You
345 can type @code{ert-deftest} forms in a buffer and evaluate them there
346 with @code{eval-defun} or @code{compile-defun}, or you can save the
347 file and load it, optionally byte-compiling it first.
349 Just like @code{find-function} is only able to find where a function
350 was defined if the function was loaded from a file, ERT is only able
351 to find where a test was defined if the test was loaded from a file.
354 @menu
355 * The @code{should} Macro::          A powerful way to express assertions.
356 * Expected Failures::           Tests for known bugs.
357 * Tests and Their Environment:: Don't depend on customizations; no side effects.
358 * Useful Techniques::           Some examples.
359 @end menu
361 @node The @code{should} Macro
362 @section The @code{should} Macro
364 Test bodies can include arbitrary code; but to be useful, they need to
365 check whether the code being tested (or @emph{code under test})
366 does what it is supposed to do.  The macro @code{should} is similar to
367 @code{cl-assert} from the cl package
368 (@pxref{Assertions,,, cl, Common Lisp Extensions}),
369 but analyzes its argument form and records information that ERT can
370 display to help debugging.
372 This test definition
374 @lisp
375 (ert-deftest addition-test ()
376   (should (= (+ 1 2) 4)))
377 @end lisp
379 will produce this output when run via @kbd{M-x ert}:
381 @example
382 F addition-test
383     (ert-test-failed
384      ((should
385        (=
386         (+ 1 2)
387         4))
388       :form
389       (= 3 4)
390       :value nil))
391 @end example
393 In this example, @code{should} recorded the fact that (= (+ 1 2) 4)
394 reduced to (= 3 4) before it reduced to @code{nil}.  When debugging why the
395 test failed, it helps to know that the function @code{+} returned 3
396 here.  ERT records the return value for any predicate called directly
397 within @code{should}.
399 In addition to @code{should}, ERT provides @code{should-not}, which
400 checks that the predicate returns @code{nil}, and @code{should-error}, which
401 checks that the form called within it signals an error.  An example
402 use of @code{should-error}:
404 @lisp
405 (ert-deftest test-divide-by-zero ()
406   (should-error (/ 1 0)
407                 :type 'arith-error))
408 @end lisp
410 This checks that dividing one by zero signals an error of type
411 @code{arith-error}.  The @code{:type} argument to @code{should-error}
412 is optional; if absent, any type of error is accepted.
413 @code{should-error} returns an error description of the error that was
414 signaled, to allow additional checks to be made.  The error
415 description has the format @code{(ERROR-SYMBOL . DATA)}.
417 There is no @code{should-not-error} macro since tests that signal an
418 error fail anyway, so @code{should-not-error} is effectively the
419 default.
421 @xref{Understanding Explanations}, for more details on what
422 @code{should} reports.
425 @node Expected Failures
426 @section Expected Failures
428 Some bugs are complicated to fix, or not very important, and are left as
429 @emph{known bugs}.  If there is a test case that triggers the bug and
430 fails, ERT will alert you of this failure every time you run all
431 tests.  For known bugs, this alert is a distraction.  The way to
432 suppress it is to add @code{:expected-result :failed} to the test
433 definition:
435 @lisp
436 (ert-deftest future-bug ()
437   "Test `time-forward' with negative arguments.
438 Since this functionality isn't implemented, the test is known to fail."
439   :expected-result :failed
440   (time-forward -1))
441 @end lisp
443 ERT will still display a small @code{f} in the progress bar as a
444 reminder that there is a known bug, and will count the test as failed,
445 but it will be quiet about it otherwise.
447 An alternative to marking the test as a known failure this way is to
448 delete the test.  This is a good idea if there is no intent to fix it,
449 i.e., if the behavior that was formerly considered a bug has become an
450 accepted feature.
452 In general, however, it can be useful to keep tests that are known to
453 fail.  If someone wants to fix the bug, they will have a very good
454 starting point: an automated test case that reproduces the bug.  This
455 makes it much easier to fix the bug, demonstrate that it is fixed, and
456 prevent future regressions.
458 ERT displays the same kind of alerts for tests that pass unexpectedly
459 as it displays for unexpected failures.  This way, if you make code
460 changes that happen to fix a bug that you weren't aware of, you will
461 know to remove the @code{:expected-result} clause of that test and
462 close the corresponding bug report, if any.
464 Since @code{:expected-result} evaluates its argument when the test is
465 loaded, tests can be marked as known failures only on certain Emacs
466 versions, specific architectures, etc.:
468 @lisp
469 (ert-deftest foo ()
470   "A test that is expected to fail on Emacs 23 but succeed elsewhere."
471   :expected-result (if (string-match "GNU Emacs 23[.]" (emacs-version))
472                        :failed
473                      :passed)
474   ...)
475 @end lisp
478 @node Tests and Their Environment
479 @section Tests and Their Environment
481 Sometimes, it doesn't make sense to run a test due to missing
482 preconditions.  A required Emacs feature might not be compiled in, the
483 function to be tested could call an external binary which might not be
484 available on the test machine, you name it.  In this case, the macro
485 @code{skip-unless} could be used to skip the test:
487 @lisp
488 (ert-deftest test-dbus ()
489   "A test that checks D-BUS functionality."
490   (skip-unless (featurep 'dbusbind))
491   ...)
492 @end lisp
494 The outcome of running a test should not depend on the current state
495 of the environment, and each test should leave its environment in the
496 same state it found it in.  In particular, a test should not depend on
497 any Emacs customization variables or hooks, and if it has to make any
498 changes to Emacs's state or state external to Emacs (such as the file
499 system), it should undo these changes before it returns, regardless of
500 whether it passed or failed.
502 Tests should not depend on the environment because any such
503 dependencies can make the test brittle or lead to failures that occur
504 only under certain circumstances and are hard to reproduce.  Of
505 course, the code under test may have settings that affect its
506 behavior.  In that case, it is best to make the test @code{let}-bind
507 all such setting variables to set up a specific configuration for the
508 duration of the test.  The test can also set up a number of different
509 configurations and run the code under test with each.
511 Tests that have side effects on their environment should restore it to
512 its original state because any side effects that persist after the
513 test can disrupt the workflow of the programmer running the tests.  If
514 the code under test has side effects on Emacs's current state, such as
515 on the current buffer or window configuration, the test should create
516 a temporary buffer for the code to manipulate (using
517 @code{with-temp-buffer}), or save and restore the window configuration
518 (using @code{save-window-excursion}), respectively.  For aspects of
519 the state that can not be preserved with such macros, cleanup should
520 be performed with @code{unwind-protect}, to ensure that the cleanup
521 occurs even if the test fails.
523 An exception to this are messages that the code under test prints with
524 @code{message} and similar logging; tests should not bother restoring
525 the @file{*Message*} buffer to its original state.
527 The above guidelines imply that tests should avoid calling highly
528 customizable commands such as @code{find-file}, except, of course, if
529 such commands are what they want to test.  The exact behavior of
530 @code{find-file} depends on many settings such as
531 @code{find-file-wildcards}, @code{enable-local-variables}, and
532 @code{auto-mode-alist}.  It is difficult to write a meaningful test if
533 its behavior can be affected by so many external factors.  Also,
534 @code{find-file} has side effects that are hard to predict and thus
535 hard to undo: It may create a new buffer or reuse an existing
536 buffer if one is already visiting the requested file; and it runs
537 @code{find-file-hook}, which can have arbitrary side effects.
539 Instead, it is better to use lower-level mechanisms with simple and
540 predictable semantics like @code{with-temp-buffer}, @code{insert} or
541 @code{insert-file-contents-literally}, and to activate any desired mode
542 by calling the corresponding function directly, after binding the
543 hook variables to @code{nil}.  This avoids the above problems.
546 @node Useful Techniques
547 @section Useful Techniques when Writing Tests
549 Testing simple functions that have no side effects and no dependencies
550 on their environment is easy.  Such tests often look like this:
552 @lisp
553 (ert-deftest ert-test-mismatch ()
554   (should (eql (cl-mismatch "" "") nil))
555   (should (eql (cl-mismatch "" "a") 0))
556   (should (eql (cl-mismatch "a" "a") nil))
557   (should (eql (cl-mismatch "ab" "a") 1))
558   (should (eql (cl-mismatch "Aa" "aA") 0))
559   (should (eql (cl-mismatch '(a b c) '(a b d)) 2)))
560 @end lisp
562 This test calls the function @code{cl-mismatch} several times with
563 various combinations of arguments and compares the return value to the
564 expected return value.  (Some programmers prefer @code{(should (eql
565 EXPECTED ACTUAL))} over the @code{(should (eql ACTUAL EXPECTED))}
566 shown here.  ERT works either way.)
568 Here's a more complicated test:
570 @lisp
571 (ert-deftest ert-test-record-backtrace ()
572   (let ((test (make-ert-test :body (lambda () (ert-fail "foo")))))
573     (let ((result (ert-run-test test)))
574       (should (ert-test-failed-p result))
575       (with-temp-buffer
576         (ert--print-backtrace (ert-test-failed-backtrace result))
577         (goto-char (point-min))
578         (end-of-line)
579         (let ((first-line (buffer-substring-no-properties
580                            (point-min) (point))))
581           (should (equal first-line
582                          "  signal(ert-test-failed (\"foo\"))")))))))
583 @end lisp
585 This test creates a test object using @code{make-ert-test} whose body
586 will immediately signal failure.  It then runs that test and asserts
587 that it fails.  Then, it creates a temporary buffer and invokes
588 @code{ert--print-backtrace} to print the backtrace of the failed test
589 to the current buffer.  Finally, it extracts the first line from the
590 buffer and asserts that it matches what we expect.  It uses
591 @code{buffer-substring-no-properties} and @code{equal} to ignore text
592 properties; for a test that takes properties into account,
593 @code{buffer-substring} and @code{ert-equal-including-properties}
594 could be used instead.
596 The reason why this test only checks the first line of the backtrace
597 is that the remainder of the backtrace is dependent on ERT's internals
598 as well as whether the code is running interpreted or compiled.  By
599 looking only at the first line, the test checks a useful property---that
600 the backtrace correctly captures the call to @code{signal} that
601 results from the call to @code{ert-fail}---without being brittle.
603 This example also shows that writing tests is much easier if the code
604 under test was structured with testing in mind.
606 For example, if @code{ert-run-test} accepted only symbols that name
607 tests rather than test objects, the test would need a name for the
608 failing test, which would have to be a temporary symbol generated with
609 @code{make-symbol}, to avoid side effects on Emacs's state.  Choosing
610 the right interface for @code{ert-run-tests} allows the test to be
611 simpler.
613 Similarly, if @code{ert--print-backtrace} printed the backtrace to a
614 buffer with a fixed name rather than the current buffer, it would be
615 much harder for the test to undo the side effect.  Of course, some
616 code somewhere needs to pick the buffer name.  But that logic is
617 independent of the logic that prints backtraces, and keeping them in
618 separate functions allows us to test them independently.
620 A lot of code that you will encounter in Emacs was not written with
621 testing in mind.  Sometimes, the easiest way to write tests for such
622 code is to restructure the code slightly to provide better interfaces
623 for testing.  Usually, this makes the interfaces easier to use as
624 well.
627 @node How to Debug Tests
628 @chapter How to Debug Tests
630 This section describes how to use ERT's features to understand why
631 a test failed.
634 @menu
635 * Understanding Explanations::  How ERT gives details on why an assertion failed.
636 * Interactive Debugging::       Tools available in the ERT results buffer.
637 @end menu
640 @node Understanding Explanations
641 @section Understanding Explanations
643 Failed @code{should} forms are reported like this:
645 @example
646 F addition-test
647     (ert-test-failed
648      ((should
649        (=
650         (+ 1 2)
651         4))
652       :form
653       (= 3 4)
654       :value nil))
655 @end example
657 ERT shows what the @code{should} expression looked like and what
658 values its subexpressions had: The source code of the assertion was
659 @code{(should (= (+ 1 2) 4))}, which applied the function @code{=} to
660 the arguments @code{3} and @code{4}, resulting in the value
661 @code{nil}.  In this case, the test is wrong; it should expect 3
662 rather than 4.
664 If a predicate like @code{equal} is used with @code{should}, ERT
665 provides a so-called @emph{explanation}:
667 @example
668 F list-test
669     (ert-test-failed
670      ((should
671        (equal
672         (list 'a 'b 'c)
673         '(a b d)))
674       :form
675       (equal
676        (a b c)
677        (a b d))
678       :value nil :explanation
679       (list-elt 2
680                 (different-atoms c d))))
681 @end example
683 In this case, the function @code{equal} was applied to the arguments
684 @code{(a b c)} and @code{(a b d)}.  ERT's explanation shows that
685 the item at index 2 differs between the two lists; in one list, it is
686 the atom c, in the other, it is the atom d.
688 In simple examples like the above, the explanation is unnecessary.
689 But in cases where the difference is not immediately apparent, it can
690 save time:
692 @example
693 F test1
694     (ert-test-failed
695      ((should
696        (equal x y))
697       :form
698       (equal a a)
699       :value nil :explanation
700       (different-symbols-with-the-same-name a a)))
701 @end example
703 ERT only provides explanations for predicates that have an explanation
704 function registered.  @xref{Defining Explanation Functions}.
707 @node Interactive Debugging
708 @section Interactive Debugging
710 Debugging failed tests essentially works the same way as debugging any
711 other problems with Lisp code.  Here are a few tricks specific to
712 tests:
714 @itemize
715 @item Re-run the failed test a few times to see if it fails in the same way
716 each time.  It's good to find out whether the behavior is
717 deterministic before spending any time looking for a cause.  In the
718 ERT results buffer, @kbd{r} re-runs the selected test.
720 @item Use @kbd{.} to jump to the source code of the test to find out exactly
721 what it does.  Perhaps the test is broken rather than the code
722 under test.
724 @item If the test contains a series of @code{should} forms and you can't
725 tell which one failed, use @kbd{l}, which shows you the list of all
726 @code{should} forms executed during the test before it failed.
728 @item Use @kbd{b} to view the backtrace.  You can also use @kbd{d} to re-run
729 the test with debugging enabled, this will enter the debugger and show
730 the backtrace as well; but the top few frames shown there will not be
731 relevant to you since they are ERT's own debugger hook.  @kbd{b}
732 strips them out, so it is more convenient.
734 @item If the test or the code under testing prints messages using
735 @code{message}, use @kbd{m} to see what messages it printed before it
736 failed.  This can be useful to figure out how far it got.
738 @item You can instrument tests for debugging the same way you instrument
739 @code{defun}s for debugging: go to the source code of the test and
740 type @kbd{@kbd{C-u} @kbd{C-M-x}}.  Then, go back to the ERT buffer and
741 re-run the test with @kbd{r} or @kbd{d}.
743 @item If you have been editing and rearranging tests, it is possible that
744 ERT remembers an old test that you have since renamed or removed:
745 renamings or removals of definitions in the source code leave around a
746 stray definition under the old name in the running process (this is a
747 common problem in Lisp).  In such a situation, hit @kbd{D} to let ERT
748 forget about the obsolete test.
749 @end itemize
752 @node Extending ERT
753 @chapter Extending ERT
755 There are several ways to add functionality to ERT.
757 @menu
758 * Defining Explanation Functions::  Teach ERT about more predicates.
759 * Low-Level Functions for Working with Tests::  Use ERT's data for your purposes.
760 @end menu
763 @node Defining Explanation Functions
764 @section Defining Explanation Functions
766 The explanation function for a predicate is a function that takes the
767 same arguments as the predicate and returns an @emph{explanation}.
768 The explanation should explain why the predicate, when invoked with
769 the arguments given to the explanation function, returns the value
770 that it returns.  The explanation can be any object but should have a
771 comprehensible printed representation.  If the return value of the
772 predicate needs no explanation for a given list of arguments, the
773 explanation function should return @code{nil}.
775 To associate an explanation function with a predicate, add the
776 property @code{ert-explainer} to the symbol that names the predicate.
777 The value of the property should be the symbol that names the
778 explanation function.
781 @node Low-Level Functions for Working with Tests
782 @section Low-Level Functions for Working with Tests
784 Both @code{ert-run-tests-interactively} and @code{ert-run-tests-batch}
785 are implemented on top of the lower-level test handling code in the
786 sections of @file{ert.el} labeled ``Facilities for running a single test'',
787 ``Test selectors'', and ``Facilities for running a whole set of tests''.
789 If you want to write code that works with ERT tests, you should take a
790 look at this lower-level code.  Symbols that start with @code{ert--}
791 are internal to ERT, whereas those that start with @code{ert-} are
792 meant to be usable by other code.  But there is no mature API yet.
794 Contributions to ERT are welcome.
797 @node Other Testing Concepts
798 @chapter Other Testing Concepts
800 For information on mocks, stubs, fixtures, or test suites, see below.
803 @menu
804 * Mocks and Stubs::           Stubbing out code that is irrelevant to the test.
805 * Fixtures and Test Suites::  How ERT differs from tools for other languages.
806 @end menu
808 @node Mocks and Stubs
809 @section Other Tools for Emacs Lisp
811 Stubbing out functions or using so-called @emph{mocks} can make it
812 easier to write tests.  See
813 @url{http://en.wikipedia.org/wiki/Mock_object} for an explanation of
814 the corresponding concepts in object-oriented languages.
816 ERT does not have built-in support for mocks or stubs.  The package
817 @code{el-mock} (see @url{http://www.emacswiki.org/emacs/el-mock.el})
818 offers mocks for Emacs Lisp and can be used in conjunction with ERT.
821 @node Fixtures and Test Suites
822 @section Fixtures and Test Suites
824 In many ways, ERT is similar to frameworks for other languages like
825 SUnit or JUnit.  However, two features commonly found in such
826 frameworks are notably absent from ERT: fixtures and test suites.
828 Fixtures are mainly used (e.g., in SUnit or JUnit) to provide an
829 environment for a set of tests, and consist of set-up and tear-down
830 functions.
832 While fixtures are a useful syntactic simplification in other
833 languages, this does not apply to Lisp, where higher-order functions
834 and @code{unwind-protect} are available.  One way to implement and use a
835 fixture in ERT is
837 @lisp
838 (defun my-fixture (body)
839   (unwind-protect
840       (progn [set up]
841              (funcall body))
842     [tear down]))
844 (ert-deftest my-test ()
845   (my-fixture
846    (lambda ()
847      [test code])))
848 @end lisp
850 (Another way would be a @code{with-my-fixture} macro.)  This solves
851 the set-up and tear-down part, and additionally allows any test
852 to use any combination of fixtures, so it is more flexible than what
853 other tools typically allow.
855 If the test needs access to the environment the fixture sets up, the
856 fixture can be modified to pass arguments to the body.
858 These are well-known Lisp techniques.  Special syntax for them could
859 be added but would provide only a minor simplification.
861 (If you are interested in such syntax, note that splitting set-up and
862 tear-down into separate functions, like *Unit tools usually do, makes
863 it impossible to establish dynamic @code{let} bindings as part of the
864 fixture.  So, blindly imitating the way fixtures are implemented in
865 other languages would be counter-productive in Lisp.)
867 The purpose of test suites is to group related tests together.
869 The most common use of this is to run just the tests for one
870 particular module.  Since symbol prefixes are the usual way of
871 separating module namespaces in Emacs Lisp, test selectors already
872 solve this by allowing regexp matching on test names; e.g., the
873 selector @code{"^ert-"} selects ERT's self-tests.
875 Other uses include grouping tests by their expected execution time,
876 e.g., to run quick tests during interactive development and slow tests less
877 often.  This can be achieved with the @code{:tag} argument to
878 @code{ert-deftest} and @code{tag} test selectors.
880 @node GNU Free Documentation License
881 @appendix GNU Free Documentation License
882 @include doclicense.texi
884 @bye
886 @c  LocalWords:  ERT JUnit namespace docstring ERT's
887 @c  LocalWords:  backtrace makefiles workflow backtraces API SUnit
888 @c  LocalWords:  subexpressions