(describe-categories): Doc fix.
[emacs.git] / lispref / searching.texi
blob9e26363a43a8a5301fa9ec7950bf3a4d0dbfafde
1 @c -*-texinfo-*-
2 @c This is part of the GNU Emacs Lisp Reference Manual.
3 @c Copyright (C) 1990, 1991, 1992, 1993, 1994, 1995, 1998, 1999
4 @c   Free Software Foundation, Inc.
5 @c See the file elisp.texi for copying conditions.
6 @setfilename ../info/searching
7 @node Searching and Matching, Syntax Tables, Non-ASCII Characters, Top
8 @chapter Searching and Matching
9 @cindex searching
11   GNU Emacs provides two ways to search through a buffer for specified
12 text: exact string searches and regular expression searches.  After a
13 regular expression search, you can examine the @dfn{match data} to
14 determine which text matched the whole regular expression or various
15 portions of it.
17 @menu
18 * String Search::         Search for an exact match.
19 * Regular Expressions::   Describing classes of strings.
20 * Regexp Search::         Searching for a match for a regexp.
21 * POSIX Regexps::         Searching POSIX-style for the longest match.
22 * Search and Replace::    Internals of @code{query-replace}.
23 * Match Data::            Finding out which part of the text matched,
24                             after a string or regexp search.
25 * Searching and Case::    Case-independent or case-significant searching.
26 * Standard Regexps::      Useful regexps for finding sentences, pages,...
27 @end menu
29   The @samp{skip-chars@dots{}} functions also perform a kind of searching.
30 @xref{Skipping Characters}.
32 @node String Search
33 @section Searching for Strings
34 @cindex string search
36   These are the primitive functions for searching through the text in a
37 buffer.  They are meant for use in programs, but you may call them
38 interactively.  If you do so, they prompt for the search string; the
39 arguments @var{limit} and @var{noerror} are @code{nil}, and @var{repeat}
40 is 1.
42   These search functions convert the search string to multibyte if the
43 buffer is multibyte; they convert the search string to unibyte if the
44 buffer is unibyte.  @xref{Text Representations}.
46 @deffn Command search-forward string &optional limit noerror repeat
47 This function searches forward from point for an exact match for
48 @var{string}.  If successful, it sets point to the end of the occurrence
49 found, and returns the new value of point.  If no match is found, the
50 value and side effects depend on @var{noerror} (see below).
51 @c Emacs 19 feature
53 In the following example, point is initially at the beginning of the
54 line.  Then @code{(search-forward "fox")} moves point after the last
55 letter of @samp{fox}:
57 @example
58 @group
59 ---------- Buffer: foo ----------
60 @point{}The quick brown fox jumped over the lazy dog.
61 ---------- Buffer: foo ----------
62 @end group
64 @group
65 (search-forward "fox")
66      @result{} 20
68 ---------- Buffer: foo ----------
69 The quick brown fox@point{} jumped over the lazy dog.
70 ---------- Buffer: foo ----------
71 @end group
72 @end example
74 The argument @var{limit} specifies the upper bound to the search.  (It
75 must be a position in the current buffer.)  No match extending after
76 that position is accepted.  If @var{limit} is omitted or @code{nil}, it
77 defaults to the end of the accessible portion of the buffer.
79 @kindex search-failed
80 What happens when the search fails depends on the value of
81 @var{noerror}.  If @var{noerror} is @code{nil}, a @code{search-failed}
82 error is signaled.  If @var{noerror} is @code{t}, @code{search-forward}
83 returns @code{nil} and does nothing.  If @var{noerror} is neither
84 @code{nil} nor @code{t}, then @code{search-forward} moves point to the
85 upper bound and returns @code{nil}.  (It would be more consistent now to
86 return the new position of point in that case, but some existing
87 programs may depend on a value of @code{nil}.)
89 If @var{repeat} is supplied (it must be a positive number), then the
90 search is repeated that many times (each time starting at the end of the
91 previous time's match).  If these successive searches succeed, the
92 function succeeds, moving point and returning its new value.  Otherwise
93 the search fails, with results depending on the value of
94 @var{noerror}, as described above.
95 @end deffn
97 @deffn Command search-backward string &optional limit noerror repeat
98 This function searches backward from point for @var{string}.  It is
99 just like @code{search-forward} except that it searches backwards and
100 leaves point at the beginning of the match.
101 @end deffn
103 @deffn Command word-search-forward string &optional limit noerror repeat
104 @cindex word search
105 This function searches forward from point for a ``word'' match for
106 @var{string}.  If it finds a match, it sets point to the end of the
107 match found, and returns the new value of point.
108 @c Emacs 19 feature
110 Word matching regards @var{string} as a sequence of words, disregarding
111 punctuation that separates them.  It searches the buffer for the same
112 sequence of words.  Each word must be distinct in the buffer (searching
113 for the word @samp{ball} does not match the word @samp{balls}), but the
114 details of punctuation and spacing are ignored (searching for @samp{ball
115 boy} does match @samp{ball.  Boy!}).
117 In this example, point is initially at the beginning of the buffer; the
118 search leaves it between the @samp{y} and the @samp{!}.
120 @example
121 @group
122 ---------- Buffer: foo ----------
123 @point{}He said "Please!  Find
124 the ball boy!"
125 ---------- Buffer: foo ----------
126 @end group
128 @group
129 (word-search-forward "Please find the ball, boy.")
130      @result{} 35
132 ---------- Buffer: foo ----------
133 He said "Please!  Find
134 the ball boy@point{}!"
135 ---------- Buffer: foo ----------
136 @end group
137 @end example
139 If @var{limit} is non-@code{nil} (it must be a position in the current
140 buffer), then it is the upper bound to the search.  The match found must
141 not extend after that position.
143 If @var{noerror} is @code{nil}, then @code{word-search-forward} signals
144 an error if the search fails.  If @var{noerror} is @code{t}, then it
145 returns @code{nil} instead of signaling an error.  If @var{noerror} is
146 neither @code{nil} nor @code{t}, it moves point to @var{limit} (or the
147 end of the accessible portion of the buffer) and returns @code{nil}.
149 If @var{repeat} is non-@code{nil}, then the search is repeated that many
150 times.  Point is positioned at the end of the last match.
151 @end deffn
153 @deffn Command word-search-backward string &optional limit noerror repeat
154 This function searches backward from point for a word match to
155 @var{string}.  This function is just like @code{word-search-forward}
156 except that it searches backward and normally leaves point at the
157 beginning of the match.
158 @end deffn
160 @node Regular Expressions
161 @section Regular Expressions
162 @cindex regular expression
163 @cindex regexp
165   A @dfn{regular expression} (@dfn{regexp}, for short) is a pattern that
166 denotes a (possibly infinite) set of strings.  Searching for matches for
167 a regexp is a very powerful operation.  This section explains how to write
168 regexps; the following section says how to search for them.
170 @menu
171 * Syntax of Regexps::       Rules for writing regular expressions.
172 * Regexp Example::          Illustrates regular expression syntax.
173 * Regexp Functions::        Functions for operating on regular expressions.
174 @end menu
176 @node Syntax of Regexps
177 @subsection Syntax of Regular Expressions
179   Regular expressions have a syntax in which a few characters are
180 special constructs and the rest are @dfn{ordinary}.  An ordinary
181 character is a simple regular expression that matches that character and
182 nothing else.  The special characters are @samp{.}, @samp{*}, @samp{+},
183 @samp{?}, @samp{[}, @samp{]}, @samp{^}, @samp{$}, and @samp{\}; no new
184 special characters will be defined in the future.  Any other character
185 appearing in a regular expression is ordinary, unless a @samp{\}
186 precedes it.
188   For example, @samp{f} is not a special character, so it is ordinary, and
189 therefore @samp{f} is a regular expression that matches the string
190 @samp{f} and no other string.  (It does @emph{not} match the string
191 @samp{fg}, but it does match a @emph{part} of that string.)  Likewise,
192 @samp{o} is a regular expression that matches only @samp{o}.@refill
194   Any two regular expressions @var{a} and @var{b} can be concatenated.  The
195 result is a regular expression that matches a string if @var{a} matches
196 some amount of the beginning of that string and @var{b} matches the rest of
197 the string.@refill
199   As a simple example, we can concatenate the regular expressions @samp{f}
200 and @samp{o} to get the regular expression @samp{fo}, which matches only
201 the string @samp{fo}.  Still trivial.  To do something more powerful, you
202 need to use one of the special regular expression constructs.
204 @menu
205 * Regexp Special::      Special characters in regular expressions.
206 * Char Classes::        Character classes used in regular expressions.
207 * Regexp Backslash::    Backslash-sequences in regular expressions.
208 @end menu
210 @node Regexp Special
211 @subsubsection Special Characters in Regular Expressions
213   Here is a list of the characters that are special in a regular
214 expression.
216 @need 800
217 @table @asis
218 @item @samp{.}@: @r{(Period)}
219 @cindex @samp{.} in regexp
220 is a special character that matches any single character except a newline.
221 Using concatenation, we can make regular expressions like @samp{a.b}, which
222 matches any three-character string that begins with @samp{a} and ends with
223 @samp{b}.@refill
225 @item @samp{*}
226 @cindex @samp{*} in regexp
227 is not a construct by itself; it is a postfix operator that means to
228 match the preceding regular expression repetitively as many times as
229 possible.  Thus, @samp{o*} matches any number of @samp{o}s (including no
230 @samp{o}s).
232 @samp{*} always applies to the @emph{smallest} possible preceding
233 expression.  Thus, @samp{fo*} has a repeating @samp{o}, not a repeating
234 @samp{fo}.  It matches @samp{f}, @samp{fo}, @samp{foo}, and so on.
236 The matcher processes a @samp{*} construct by matching, immediately, as
237 many repetitions as can be found.  Then it continues with the rest of
238 the pattern.  If that fails, backtracking occurs, discarding some of the
239 matches of the @samp{*}-modified construct in the hope that that will
240 make it possible to match the rest of the pattern.  For example, in
241 matching @samp{ca*ar} against the string @samp{caaar}, the @samp{a*}
242 first tries to match all three @samp{a}s; but the rest of the pattern is
243 @samp{ar} and there is only @samp{r} left to match, so this try fails.
244 The next alternative is for @samp{a*} to match only two @samp{a}s.  With
245 this choice, the rest of the regexp matches successfully.@refill
247 Nested repetition operators can be extremely slow if they specify
248 backtracking loops.  For example, it could take hours for the regular
249 expression @samp{\(x+y*\)*a} to try to match the sequence
250 @samp{xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxz}, before it ultimately fails.
251 The slowness is because Emacs must try each imaginable way of grouping
252 the 35 @samp{x}s before concluding that none of them can work.  To make
253 sure your regular expressions run fast, check nested repetitions
254 carefully.
256 @item @samp{+}
257 @cindex @samp{+} in regexp
258 is a postfix operator, similar to @samp{*} except that it must match
259 the preceding expression at least once.  So, for example, @samp{ca+r}
260 matches the strings @samp{car} and @samp{caaaar} but not the string
261 @samp{cr}, whereas @samp{ca*r} matches all three strings.
263 @item @samp{?}
264 @cindex @samp{?} in regexp
265 is a postfix operator, similar to @samp{*} except that it must match the
266 preceding expression either once or not at all.  For example,
267 @samp{ca?r} matches @samp{car} or @samp{cr}; nothing else.
269 @item @samp{*?}, @samp{+?}, @samp{??}
270 These are ``non-greedy'' variants of the operators @samp{*}, @samp{+}
271 and @samp{?}.  Where those operators match the largest possible
272 substring (consistent with matching the entire containing expression),
273 the non-greedy variants match the smallest possible substring
274 (consistent with matching the entire containing expression).
276 For example, the regular expression @samp{c[ad]*a} when applied to the
277 string @samp{cdaaada} matches the whole string; but the regular
278 expression @samp{c[ad]*?a}, applied to that same string, matches just
279 @samp{cda}.  (The smallest possible match here for @samp{[ad]*?} that
280 permits the whole expression to match is @samp{d}.)
282 @item @samp{[ @dots{} ]}
283 @cindex character alternative (in regexp)
284 @cindex @samp{[} in regexp
285 @cindex @samp{]} in regexp
286 is a @dfn{character alternative}, which begins with @samp{[} and is
287 terminated by @samp{]}.  In the simplest case, the characters between
288 the two brackets are what this character alternative can match.
290 Thus, @samp{[ad]} matches either one @samp{a} or one @samp{d}, and
291 @samp{[ad]*} matches any string composed of just @samp{a}s and @samp{d}s
292 (including the empty string), from which it follows that @samp{c[ad]*r}
293 matches @samp{cr}, @samp{car}, @samp{cdr}, @samp{caddaar}, etc.
295 You can also include character ranges in a character alternative, by
296 writing the starting and ending characters with a @samp{-} between them.
297 Thus, @samp{[a-z]} matches any lower-case @acronym{ASCII} letter.
298 Ranges may be intermixed freely with individual characters, as in
299 @samp{[a-z$%.]}, which matches any lower case @acronym{ASCII} letter
300 or @samp{$}, @samp{%} or period.
302 Note that the usual regexp special characters are not special inside a
303 character alternative.  A completely different set of characters is
304 special inside character alternatives: @samp{]}, @samp{-} and @samp{^}.
306 To include a @samp{]} in a character alternative, you must make it the
307 first character.  For example, @samp{[]a]} matches @samp{]} or @samp{a}.
308 To include a @samp{-}, write @samp{-} as the first or last character of
309 the character alternative, or put it after a range.  Thus, @samp{[]-]}
310 matches both @samp{]} and @samp{-}.
312 To include @samp{^} in a character alternative, put it anywhere but at
313 the beginning.
315 The beginning and end of a range of multibyte characters must be in
316 the same character set (@pxref{Character Sets}).  Thus,
317 @code{"[\x8e0-\x97c]"} is invalid because character 0x8e0 (@samp{a}
318 with grave accent) is in the Emacs character set for Latin-1 but the
319 character 0x97c (@samp{u} with diaeresis) is in the Emacs character
320 set for Latin-2.  (We use Lisp string syntax to write that example,
321 and a few others in the next few paragraphs, in order to include hex
322 escape sequences in them.)
324 If a range starts with a unibyte character @var{c} and ends with a
325 multibyte character @var{c2}, the range is divided into two parts: one
326 is @samp{@var{c}..?\377}, the other is @samp{@var{c1}..@var{c2}}, where
327 @var{c1} is the first character of the charset to which @var{c2}
328 belongs.
330 You cannot always match all non-@acronym{ASCII} characters with the regular
331 expression @code{"[\200-\377]"}.  This works when searching a unibyte
332 buffer or string (@pxref{Text Representations}), but not in a multibyte
333 buffer or string, because many non-@acronym{ASCII} characters have codes
334 above octal 0377.  However, the regular expression @code{"[^\000-\177]"}
335 does match all non-@acronym{ASCII} characters (see below regarding @samp{^}),
336 in both multibyte and unibyte representations, because only the
337 @acronym{ASCII} characters are excluded.
339 Starting in Emacs 21, a character alternative can also specify named
340 character classes (@pxref{Char Classes}).  This is a POSIX feature whose
341 syntax is @samp{[:@var{class}:]}.  Using a character class is equivalent
342 to mentioning each of the characters in that class; but the latter is
343 not feasible in practice, since some classes include thousands of
344 different characters.
346 @item @samp{[^ @dots{} ]}
347 @cindex @samp{^} in regexp
348 @samp{[^} begins a @dfn{complemented character alternative}, which matches any
349 character except the ones specified.  Thus, @samp{[^a-z0-9A-Z]} matches
350 all characters @emph{except} letters and digits.
352 @samp{^} is not special in a character alternative unless it is the first
353 character.  The character following the @samp{^} is treated as if it
354 were first (in other words, @samp{-} and @samp{]} are not special there).
356 A complemented character alternative can match a newline, unless newline is
357 mentioned as one of the characters not to match.  This is in contrast to
358 the handling of regexps in programs such as @code{grep}.
360 @item @samp{^}
361 @cindex beginning of line in regexp
362 When matching a buffer, @samp{^} matches the empty string, but only at the
363 beginning of a line in the text being matched (or the beginning of the
364 accessible portion of the buffer).  Otherwise it fails to match
365 anything.  Thus, @samp{^foo} matches a @samp{foo} that occurs at the
366 beginning of a line.
368 When matching a string instead of a buffer, @samp{^} matches at the
369 beginning of the string or after a newline character.
371 For historical compatibility reasons, @samp{^} can be used only at the
372 beginning of the regular expression, or after @samp{\(} or @samp{\|}.
374 @item @samp{$}
375 @cindex @samp{$} in regexp
376 @cindex end of line in regexp
377 is similar to @samp{^} but matches only at the end of a line (or the
378 end of the accessible portion of the buffer).  Thus, @samp{x+$}
379 matches a string of one @samp{x} or more at the end of a line.
381 When matching a string instead of a buffer, @samp{$} matches at the end
382 of the string or before a newline character.
384 For historical compatibility reasons, @samp{$} can be used only at the
385 end of the regular expression, or before @samp{\)} or @samp{\|}.
387 @item @samp{\}
388 @cindex @samp{\} in regexp
389 has two functions: it quotes the special characters (including
390 @samp{\}), and it introduces additional special constructs.
392 Because @samp{\} quotes special characters, @samp{\$} is a regular
393 expression that matches only @samp{$}, and @samp{\[} is a regular
394 expression that matches only @samp{[}, and so on.
396 Note that @samp{\} also has special meaning in the read syntax of Lisp
397 strings (@pxref{String Type}), and must be quoted with @samp{\}.  For
398 example, the regular expression that matches the @samp{\} character is
399 @samp{\\}.  To write a Lisp string that contains the characters
400 @samp{\\}, Lisp syntax requires you to quote each @samp{\} with another
401 @samp{\}.  Therefore, the read syntax for a regular expression matching
402 @samp{\} is @code{"\\\\"}.@refill
403 @end table
405 @strong{Please note:} For historical compatibility, special characters
406 are treated as ordinary ones if they are in contexts where their special
407 meanings make no sense.  For example, @samp{*foo} treats @samp{*} as
408 ordinary since there is no preceding expression on which the @samp{*}
409 can act.  It is poor practice to depend on this behavior; quote the
410 special character anyway, regardless of where it appears.@refill
412 @node Char Classes
413 @subsubsection Character Classes
414 @cindex character classes in regexp
416   Here is a table of the classes you can use in a character alternative,
417 in Emacs 21, and what they mean:
419 @table @samp
420 @item [:ascii:]
421 This matches any @acronym{ASCII} (unibyte) character.
422 @item [:alnum:]
423 This matches any letter or digit.  (At present, for multibyte
424 characters, it matches anything that has word syntax.)
425 @item [:alpha:]
426 This matches any letter.  (At present, for multibyte characters, it
427 matches anything that has word syntax.)
428 @item [:blank:]
429 This matches space and tab only.
430 @item [:cntrl:]
431 This matches any @acronym{ASCII} control character.
432 @item [:digit:]
433 This matches @samp{0} through @samp{9}.  Thus, @samp{[-+[:digit:]]}
434 matches any digit, as well as @samp{+} and @samp{-}.
435 @item [:graph:]
436 This matches graphic characters---everything except @acronym{ASCII} control
437 characters, space, and the delete character.
438 @item [:lower:]
439 This matches any lower-case letter, as determined by
440 the current case table (@pxref{Case Tables}).
441 @item [:nonascii:]
442 This matches any non-@acronym{ASCII} (multibyte) character.
443 @item [:print:]
444 This matches printing characters---everything except @acronym{ASCII} control
445 characters and the delete character.
446 @item [:punct:]
447 This matches any punctuation character.  (At present, for multibyte
448 characters, it matches anything that has non-word syntax.)
449 @item [:space:]
450 This matches any character that has whitespace syntax
451 (@pxref{Syntax Class Table}).
452 @item [:upper:]
453 This matches any upper-case letter, as determined by
454 the current case table (@pxref{Case Tables}).
455 @item [:word:]
456 This matches any character that has word syntax (@pxref{Syntax Class
457 Table}).
458 @item [:xdigit:]
459 This matches the hexadecimal digits: @samp{0} through @samp{9}, @samp{a}
460 through @samp{f} and @samp{A} through @samp{F}.
461 @end table
463 @node Regexp Backslash
464 @subsubsection Backslash Constructs in Regular Expressions
466   For the most part, @samp{\} followed by any character matches only
467 that character.  However, there are several exceptions: certain
468 two-character sequences starting with @samp{\} that have special
469 meanings.  (The character after the @samp{\} in such a sequence is
470 always ordinary when used on its own.)  Here is a table of the special
471 @samp{\} constructs.
473 @table @samp
474 @item \|
475 @cindex @samp{|} in regexp
476 @cindex regexp alternative
477 specifies an alternative.
478 Two regular expressions @var{a} and @var{b} with @samp{\|} in
479 between form an expression that matches anything that either @var{a} or
480 @var{b} matches.@refill
482 Thus, @samp{foo\|bar} matches either @samp{foo} or @samp{bar}
483 but no other string.@refill
485 @samp{\|} applies to the largest possible surrounding expressions.  Only a
486 surrounding @samp{\( @dots{} \)} grouping can limit the grouping power of
487 @samp{\|}.@refill
489 If you need full backtracking capability to handle multiple uses of
490 @samp{\|}, use the POSIX regular expression functions (@pxref{POSIX
491 Regexps}).
493 @item \@{@var{m}\@}
494 is a postfix operator that repeats the previous pattern exactly @var{m}
495 times.  Thus, @samp{x\@{5\@}} matches the string @samp{xxxxx}
496 and nothing else.  @samp{c[ad]\@{3\@}r} matches string such as
497 @samp{caaar}, @samp{cdddr}, @samp{cadar}, and so on.
499 @item \@{@var{m},@var{n}\@}
500 is a more general postfix operator that specifies repetition with a
501 minimum of @var{m} repeats and a maximum of @var{n} repeats.  If @var{m}
502 is omitted, the minimum is 0; if @var{n} is omitted, there is no
503 maximum.
505 For example, @samp{c[ad]\@{1,2\@}r} matches the strings @samp{car},
506 @samp{cdr}, @samp{caar}, @samp{cadr}, @samp{cdar}, and @samp{cddr}, and
507 nothing else.@*
508 @samp{\@{0,1\@}} or @samp{\@{,1\@}} is equivalent to @samp{?}.  @*
509 @samp{\@{0,\@}} or @samp{\@{,\@}} is equivalent to @samp{*}.    @*
510 @samp{\@{1,\@}} is equivalent to @samp{+}.
512 @item \( @dots{} \)
513 @cindex @samp{(} in regexp
514 @cindex @samp{)} in regexp
515 @cindex regexp grouping
516 is a grouping construct that serves three purposes:
518 @enumerate
519 @item
520 To enclose a set of @samp{\|} alternatives for other operations.  Thus,
521 the regular expression @samp{\(foo\|bar\)x} matches either @samp{foox}
522 or @samp{barx}.
524 @item
525 To enclose a complicated expression for the postfix operators @samp{*},
526 @samp{+} and @samp{?} to operate on.  Thus, @samp{ba\(na\)*} matches
527 @samp{ba}, @samp{bana}, @samp{banana}, @samp{bananana}, etc., with any
528 number (zero or more) of @samp{na} strings.
530 @item
531 To record a matched substring for future reference with
532 @samp{\@var{digit}} (see below).
533 @end enumerate
535 This last application is not a consequence of the idea of a
536 parenthetical grouping; it is a separate feature that was assigned as a
537 second meaning to the same @samp{\( @dots{} \)} construct because, in
538 practice, there was usually no conflict between the two meanings.  But
539 occasionally there is a conflict, and that led to the introduction of
540 shy groups.
542 @item \(?: @dots{} \)
543 is the @dfn{shy group} construct.  A shy group serves the first two
544 purposes of an ordinary group (controlling the nesting of other
545 operators), but it does not get a number, so you cannot refer back to
546 its value with @samp{\@var{digit}}.
548 Shy groups are particularly useful for mechanically-constructed regular
549 expressions because they can be added automatically without altering the
550 numbering of any ordinary, non-shy groups.
552 @item \@var{digit}
553 matches the same text that matched the @var{digit}th occurrence of a
554 grouping (@samp{\( @dots{} \)}) construct.
556 In other words, after the end of a group, the matcher remembers the
557 beginning and end of the text matched by that group.  Later on in the
558 regular expression you can use @samp{\} followed by @var{digit} to
559 match that same text, whatever it may have been.
561 The strings matching the first nine grouping constructs appearing in
562 the entire regular expression passed to a search or matching function
563 are assigned numbers 1 through 9 in the order that the open
564 parentheses appear in the regular expression.  So you can use
565 @samp{\1} through @samp{\9} to refer to the text matched by the
566 corresponding grouping constructs.
568 For example, @samp{\(.*\)\1} matches any newline-free string that is
569 composed of two identical halves.  The @samp{\(.*\)} matches the first
570 half, which may be anything, but the @samp{\1} that follows must match
571 the same exact text.
573 If a @samp{\( @dots{} \)} construct matches more than once (which can
574 happen, for instance, if it is followed by @samp{*}), only the last
575 match is recorded.
577 If a particular grouping construct in the regular expression was never
578 matched---for instance, if it appears inside of an alternative that
579 wasn't used, or inside of a repetition that repeated zero times---then
580 the corresponding @samp{\@var{digit}} construct never matches
581 anything.  To use an artificial example,, @samp{\(foo\(b*\)\|lose\)\2}
582 cannot match @samp{lose}: the second alternative inside the larger
583 group matches it, but then @samp{\2} is undefined and can't match
584 anything.  But it can match @samp{foobb}, because the first
585 alternative matches @samp{foob} and @samp{\2} matches @samp{b}.
587 @item \w
588 @cindex @samp{\w} in regexp
589 matches any word-constituent character.  The editor syntax table
590 determines which characters these are.  @xref{Syntax Tables}.
592 @item \W
593 @cindex @samp{\W} in regexp
594 matches any character that is not a word constituent.
596 @item \s@var{code}
597 @cindex @samp{\s} in regexp
598 matches any character whose syntax is @var{code}.  Here @var{code} is a
599 character that represents a syntax code: thus, @samp{w} for word
600 constituent, @samp{-} for whitespace, @samp{(} for open parenthesis,
601 etc.  To represent whitespace syntax, use either @samp{-} or a space
602 character.  @xref{Syntax Class Table}, for a list of syntax codes and
603 the characters that stand for them.
605 @item \S@var{code}
606 @cindex @samp{\S} in regexp
607 matches any character whose syntax is not @var{code}.
609 @item \c@var{c}
610 matches any character whose category is @var{c}.  Here @var{c} is a
611 character that represents a category: thus, @samp{c} for Chinese
612 characters or @samp{g} for Greek characters in the standard category
613 table.
615 @item \C@var{c}
616 matches any character whose category is not @var{c}.
617 @end table
619   The following regular expression constructs match the empty string---that is,
620 they don't use up any characters---but whether they match depends on the
621 context.  For all, the beginning and end of the accessible portion of
622 the buffer are treated as if they were the actual beginning and end of
623 the buffer.
625 @table @samp
626 @item \`
627 @cindex @samp{\`} in regexp
628 matches the empty string, but only at the beginning
629 of the buffer or string being matched against.
631 @item \'
632 @cindex @samp{\'} in regexp
633 matches the empty string, but only at the end of
634 the buffer or string being matched against.
636 @item \=
637 @cindex @samp{\=} in regexp
638 matches the empty string, but only at point.
639 (This construct is not defined when matching against a string.)
641 @item \b
642 @cindex @samp{\b} in regexp
643 matches the empty string, but only at the beginning or
644 end of a word.  Thus, @samp{\bfoo\b} matches any occurrence of
645 @samp{foo} as a separate word.  @samp{\bballs?\b} matches
646 @samp{ball} or @samp{balls} as a separate word.@refill
648 @samp{\b} matches at the beginning or end of the buffer (or string)
649 regardless of what text appears next to it.
651 @item \B
652 @cindex @samp{\B} in regexp
653 matches the empty string, but @emph{not} at the beginning or
654 end of a word, nor at the beginning or end of the buffer (or string).
656 @item \<
657 @cindex @samp{\<} in regexp
658 matches the empty string, but only at the beginning of a word.
659 @samp{\<} matches at the beginning of the buffer (or string) only if a
660 word-constituent character follows.
662 @item \>
663 @cindex @samp{\>} in regexp
664 matches the empty string, but only at the end of a word.  @samp{\>}
665 matches at the end of the buffer (or string) only if the contents end
666 with a word-constituent character.
667 @end table
669 @kindex invalid-regexp
670   Not every string is a valid regular expression.  For example, a string
671 with unbalanced square brackets is invalid (with a few exceptions, such
672 as @samp{[]]}), and so is a string that ends with a single @samp{\}.  If
673 an invalid regular expression is passed to any of the search functions,
674 an @code{invalid-regexp} error is signaled.
676 @node Regexp Example
677 @comment  node-name,  next,  previous,  up
678 @subsection Complex Regexp Example
680   Here is a complicated regexp which was formerly used by Emacs to
681 recognize the end of a sentence together with any whitespace that
682 follows.  It was used as the variable @code{sentence-end}.  (Its value
683 nowadays contains alternatives for @samp{.}, @samp{?} and @samp{!} in
684 other character sets.)
686   First, we show the regexp as a string in Lisp syntax to distinguish
687 spaces from tab characters.  The string constant begins and ends with a
688 double-quote.  @samp{\"} stands for a double-quote as part of the
689 string, @samp{\\} for a backslash as part of the string, @samp{\t} for a
690 tab and @samp{\n} for a newline.
692 @example
693 "[.?!][]\"')@}]*\\($\\| $\\|\t\\|@ @ \\)[ \t\n]*"
694 @end example
696 @noindent
697 In contrast, if you evaluate this string, you will see the following:
699 @example
700 @group
701 "[.?!][]\"')@}]*\\($\\| $\\|\t\\|@ @ \\)[ \t\n]*"
702      @result{} "[.?!][]\"')@}]*\\($\\| $\\|  \\|@ @ \\)[
704 @end group
705 @end example
707 @noindent
708 In this output, tab and newline appear as themselves.
710   This regular expression contains four parts in succession and can be
711 deciphered as follows:
713 @table @code
714 @item [.?!]
715 The first part of the pattern is a character alternative that matches
716 any one of three characters: period, question mark, and exclamation
717 mark.  The match must begin with one of these three characters.  (This
718 is the one point where the new value of @code{sentence-end} differs
719 from the old.  The new value also lists sentence ending
720 non-@acronym{ASCII} characters.)
722 @item []\"')@}]*
723 The second part of the pattern matches any closing braces and quotation
724 marks, zero or more of them, that may follow the period, question mark
725 or exclamation mark.  The @code{\"} is Lisp syntax for a double-quote in
726 a string.  The @samp{*} at the end indicates that the immediately
727 preceding regular expression (a character alternative, in this case) may be
728 repeated zero or more times.
730 @item \\($\\|@ $\\|\t\\|@ @ \\)
731 The third part of the pattern matches the whitespace that follows the
732 end of a sentence: the end of a line (optionally with a space), or a
733 tab, or two spaces.  The double backslashes mark the parentheses and
734 vertical bars as regular expression syntax; the parentheses delimit a
735 group and the vertical bars separate alternatives.  The dollar sign is
736 used to match the end of a line.
738 @item [ \t\n]*
739 Finally, the last part of the pattern matches any additional whitespace
740 beyond the minimum needed to end a sentence.
741 @end table
743 @node Regexp Functions
744 @subsection Regular Expression Functions
746   These functions operate on regular expressions.
748 @defun regexp-quote string
749 This function returns a regular expression whose only exact match is
750 @var{string}.  Using this regular expression in @code{looking-at} will
751 succeed only if the next characters in the buffer are @var{string};
752 using it in a search function will succeed if the text being searched
753 contains @var{string}.
755 This allows you to request an exact string match or search when calling
756 a function that wants a regular expression.
758 @example
759 @group
760 (regexp-quote "^The cat$")
761      @result{} "\\^The cat\\$"
762 @end group
763 @end example
765 One use of @code{regexp-quote} is to combine an exact string match with
766 context described as a regular expression.  For example, this searches
767 for the string that is the value of @var{string}, surrounded by
768 whitespace:
770 @example
771 @group
772 (re-search-forward
773  (concat "\\s-" (regexp-quote string) "\\s-"))
774 @end group
775 @end example
776 @end defun
778 @defun regexp-opt strings &optional paren
779 This function returns an efficient regular expression that will match
780 any of the strings in the list @var{strings}.  This is useful when you
781 need to make matching or searching as fast as possible---for example,
782 for Font Lock mode.
784 If the optional argument @var{paren} is non-@code{nil}, then the
785 returned regular expression is always enclosed by at least one
786 parentheses-grouping construct.  If @var{paren} is @code{words}, then
787 that construct is additionally surrounded by @samp{\<} and @samp{\>}.
789 This simplified definition of @code{regexp-opt} produces a
790 regular expression which is equivalent to the actual value
791 (but not as efficient):
793 @example
794 (defun regexp-opt (strings paren)
795   (let ((open-paren (if paren "\\(" ""))
796         (close-paren (if paren "\\)" "")))
797     (concat open-paren
798             (mapconcat 'regexp-quote strings "\\|")
799             close-paren)))
800 @end example
801 @end defun
803 @defun regexp-opt-depth regexp
804 This function returns the total number of grouping constructs
805 (parenthesized expressions) in @var{regexp}.  (This does not include
806 shy groups.)
807 @end defun
809 @node Regexp Search
810 @section Regular Expression Searching
811 @cindex regular expression searching
812 @cindex regexp searching
813 @cindex searching for regexp
815   In GNU Emacs, you can search for the next match for a regular
816 expression either incrementally or not.  For incremental search
817 commands, see @ref{Regexp Search, , Regular Expression Search, emacs,
818 The GNU Emacs Manual}.  Here we describe only the search functions
819 useful in programs.  The principal one is @code{re-search-forward}.
821   These search functions convert the regular expression to multibyte if
822 the buffer is multibyte; they convert the regular expression to unibyte
823 if the buffer is unibyte.  @xref{Text Representations}.
825 @deffn Command re-search-forward regexp &optional limit noerror repeat
826 This function searches forward in the current buffer for a string of
827 text that is matched by the regular expression @var{regexp}.  The
828 function skips over any amount of text that is not matched by
829 @var{regexp}, and leaves point at the end of the first match found.
830 It returns the new value of point.
832 If @var{limit} is non-@code{nil} (it must be a position in the current
833 buffer), then it is the upper bound to the search.  No match extending
834 after that position is accepted.
836 If @var{repeat} is supplied (it must be a positive number), then the
837 search is repeated that many times (each time starting at the end of the
838 previous time's match).  If all these successive searches succeed, the
839 function succeeds, moving point and returning its new value.  Otherwise
840 the function fails.
842 What happens when the function fails depends on the value of
843 @var{noerror}.  If @var{noerror} is @code{nil}, a @code{search-failed}
844 error is signaled.  If @var{noerror} is @code{t},
845 @code{re-search-forward} does nothing and returns @code{nil}.  If
846 @var{noerror} is neither @code{nil} nor @code{t}, then
847 @code{re-search-forward} moves point to @var{limit} (or the end of the
848 accessible portion of the buffer) and returns @code{nil}.
850 In the following example, point is initially before the @samp{T}.
851 Evaluating the search call moves point to the end of that line (between
852 the @samp{t} of @samp{hat} and the newline).
854 @example
855 @group
856 ---------- Buffer: foo ----------
857 I read "@point{}The cat in the hat
858 comes back" twice.
859 ---------- Buffer: foo ----------
860 @end group
862 @group
863 (re-search-forward "[a-z]+" nil t 5)
864      @result{} 27
866 ---------- Buffer: foo ----------
867 I read "The cat in the hat@point{}
868 comes back" twice.
869 ---------- Buffer: foo ----------
870 @end group
871 @end example
872 @end deffn
874 @deffn Command re-search-backward regexp &optional limit noerror repeat
875 This function searches backward in the current buffer for a string of
876 text that is matched by the regular expression @var{regexp}, leaving
877 point at the beginning of the first text found.
879 This function is analogous to @code{re-search-forward}, but they are not
880 simple mirror images.  @code{re-search-forward} finds the match whose
881 beginning is as close as possible to the starting point.  If
882 @code{re-search-backward} were a perfect mirror image, it would find the
883 match whose end is as close as possible.  However, in fact it finds the
884 match whose beginning is as close as possible (and yet ends before the
885 starting point).  The reason for this is that matching a regular
886 expression at a given spot always works from beginning to end, and
887 starts at a specified beginning position.
889 A true mirror-image of @code{re-search-forward} would require a special
890 feature for matching regular expressions from end to beginning.  It's
891 not worth the trouble of implementing that.
892 @end deffn
894 @defun string-match regexp string &optional start
895 This function returns the index of the start of the first match for
896 the regular expression @var{regexp} in @var{string}, or @code{nil} if
897 there is no match.  If @var{start} is non-@code{nil}, the search starts
898 at that index in @var{string}.
900 For example,
902 @example
903 @group
904 (string-match
905  "quick" "The quick brown fox jumped quickly.")
906      @result{} 4
907 @end group
908 @group
909 (string-match
910  "quick" "The quick brown fox jumped quickly." 8)
911      @result{} 27
912 @end group
913 @end example
915 @noindent
916 The index of the first character of the
917 string is 0, the index of the second character is 1, and so on.
919 After this function returns, the index of the first character beyond
920 the match is available as @code{(match-end 0)}.  @xref{Match Data}.
922 @example
923 @group
924 (string-match
925  "quick" "The quick brown fox jumped quickly." 8)
926      @result{} 27
927 @end group
929 @group
930 (match-end 0)
931      @result{} 32
932 @end group
933 @end example
934 @end defun
936 @defun looking-at regexp
937 This function determines whether the text in the current buffer directly
938 following point matches the regular expression @var{regexp}.  ``Directly
939 following'' means precisely that: the search is ``anchored'' and it can
940 succeed only starting with the first character following point.  The
941 result is @code{t} if so, @code{nil} otherwise.
943 This function does not move point, but it updates the match data, which
944 you can access using @code{match-beginning} and @code{match-end}.
945 @xref{Match Data}.
947 In this example, point is located directly before the @samp{T}.  If it
948 were anywhere else, the result would be @code{nil}.
950 @example
951 @group
952 ---------- Buffer: foo ----------
953 I read "@point{}The cat in the hat
954 comes back" twice.
955 ---------- Buffer: foo ----------
957 (looking-at "The cat in the hat$")
958      @result{} t
959 @end group
960 @end example
961 @end defun
963 @node POSIX Regexps
964 @section POSIX Regular Expression Searching
966   The usual regular expression functions do backtracking when necessary
967 to handle the @samp{\|} and repetition constructs, but they continue
968 this only until they find @emph{some} match.  Then they succeed and
969 report the first match found.
971   This section describes alternative search functions which perform the
972 full backtracking specified by the POSIX standard for regular expression
973 matching.  They continue backtracking until they have tried all
974 possibilities and found all matches, so they can report the longest
975 match, as required by POSIX.  This is much slower, so use these
976 functions only when you really need the longest match.
978   The POSIX search and match functions do not properly support the
979 non-greedy repetition operators.  This is because POSIX backtracking
980 conflicts with the semantics of non-greedy repetition.
982 @defun posix-search-forward regexp &optional limit noerror repeat
983 This is like @code{re-search-forward} except that it performs the full
984 backtracking specified by the POSIX standard for regular expression
985 matching.
986 @end defun
988 @defun posix-search-backward regexp &optional limit noerror repeat
989 This is like @code{re-search-backward} except that it performs the full
990 backtracking specified by the POSIX standard for regular expression
991 matching.
992 @end defun
994 @defun posix-looking-at regexp
995 This is like @code{looking-at} except that it performs the full
996 backtracking specified by the POSIX standard for regular expression
997 matching.
998 @end defun
1000 @defun posix-string-match regexp string &optional start
1001 This is like @code{string-match} except that it performs the full
1002 backtracking specified by the POSIX standard for regular expression
1003 matching.
1004 @end defun
1006 @ignore
1007 @deffn Command delete-matching-lines regexp
1008 This function is identical to @code{delete-non-matching-lines}, save
1009 that it deletes what @code{delete-non-matching-lines} keeps.
1011 In the example below, point is located on the first line of text.
1013 @example
1014 @group
1015 ---------- Buffer: foo ----------
1016 We hold these truths
1017 to be self-evident,
1018 that all men are created
1019 equal, and that they are
1020 ---------- Buffer: foo ----------
1021 @end group
1023 @group
1024 (delete-matching-lines "the")
1025      @result{} nil
1027 ---------- Buffer: foo ----------
1028 to be self-evident,
1029 that all men are created
1030 ---------- Buffer: foo ----------
1031 @end group
1032 @end example
1033 @end deffn
1035 @deffn Command flush-lines regexp
1036 This function is the same as @code{delete-matching-lines}.
1037 @end deffn
1039 @defun delete-non-matching-lines regexp
1040 This function deletes all lines following point which don't
1041 contain a match for the regular expression @var{regexp}.
1042 @end defun
1044 @deffn Command keep-lines regexp
1045 This function is the same as @code{delete-non-matching-lines}.
1046 @end deffn
1048 @deffn Command how-many regexp
1049 This function counts the number of matches for @var{regexp} there are in
1050 the current buffer following point.  It prints this number in
1051 the echo area, returning the string printed.
1052 @end deffn
1054 @deffn Command count-matches regexp
1055 This function is a synonym of @code{how-many}.
1056 @end deffn
1058 @deffn Command list-matching-lines regexp &optional nlines
1059 This function is a synonym of @code{occur}.
1060 Show all lines following point containing a match for @var{regexp}.
1061 Display each line with @var{nlines} lines before and after,
1062 or @code{-}@var{nlines} before if @var{nlines} is negative.
1063 @var{nlines} defaults to @code{list-matching-lines-default-context-lines}.
1064 Interactively it is the prefix arg.
1066 The lines are shown in a buffer named @samp{*Occur*}.
1067 It serves as a menu to find any of the occurrences in this buffer.
1068 @kbd{C-h m} (@code{describe-mode}) in that buffer gives help.
1069 @end deffn
1071 @defopt list-matching-lines-default-context-lines
1072 Default value is 0.
1073 Default number of context lines to include around a @code{list-matching-lines}
1074 match.  A negative number means to include that many lines before the match.
1075 A positive number means to include that many lines both before and after.
1076 @end defopt
1077 @end ignore
1079 @node Search and Replace
1080 @section Search and Replace
1081 @cindex replacement
1083 @defun perform-replace from-string replacements query-flag regexp-flag delimited-flag &optional repeat-count map start end
1084 This function is the guts of @code{query-replace} and related
1085 commands.  It searches for occurrences of @var{from-string} in the
1086 text between positions @var{start} and @var{end} and replaces some or
1087 all of them.  If @var{start} is @code{nil} (or omitted), point is used
1088 instead, and the end of the buffer's accessible portion is used for
1089 @var{end}.
1091 If @var{query-flag} is @code{nil}, it replaces all
1092 occurrences; otherwise, it asks the user what to do about each one.
1094 If @var{regexp-flag} is non-@code{nil}, then @var{from-string} is
1095 considered a regular expression; otherwise, it must match literally.  If
1096 @var{delimited-flag} is non-@code{nil}, then only replacements
1097 surrounded by word boundaries are considered.
1099 The argument @var{replacements} specifies what to replace occurrences
1100 with.  If it is a string, that string is used.  It can also be a list of
1101 strings, to be used in cyclic order.
1103 If @var{replacements} is a cons cell, @code{(@var{function}
1104 . @var{data})}, this means to call @var{function} after each match to
1105 get the replacement text.  This function is called with two arguments:
1106 @var{data}, and the number of replacements already made.
1108 If @var{repeat-count} is non-@code{nil}, it should be an integer.  Then
1109 it specifies how many times to use each of the strings in the
1110 @var{replacements} list before advancing cyclically to the next one.
1112 If @var{from-string} contains upper-case letters, then
1113 @code{perform-replace} binds @code{case-fold-search} to @code{nil}, and
1114 it uses the @code{replacements} without altering the case of them.
1116 Normally, the keymap @code{query-replace-map} defines the possible user
1117 responses for queries.  The argument @var{map}, if non-@code{nil}, is a
1118 keymap to use instead of @code{query-replace-map}.
1120 @strong{Usage note:} Do not use this function in your own programs
1121 unless you want to do something very similar to what
1122 @code{query-replace} does, including setting the mark and possibly
1123 querying the user.  For most purposes a simple loop like, for
1124 instance:
1126 @example
1127 (while (re-search-forward "foo[ \t]+bar" nil t)
1128   (replace-match "foobar"))
1129 @end example
1131 @noindent
1132 is preferable.  It runs faster and avoids side effects, such as
1133 setting the mark.  @xref{Replacing Match,, Replacing the Text that
1134 Matched}, for a description of @code{replace-match}.
1135 @end defun
1137 @defvar query-replace-map
1138 This variable holds a special keymap that defines the valid user
1139 responses for @code{query-replace} and related functions, as well as
1140 @code{y-or-n-p} and @code{map-y-or-n-p}.  It is unusual in two ways:
1142 @itemize @bullet
1143 @item
1144 The ``key bindings'' are not commands, just symbols that are meaningful
1145 to the functions that use this map.
1147 @item
1148 Prefix keys are not supported; each key binding must be for a
1149 single-event key sequence.  This is because the functions don't use
1150 @code{read-key-sequence} to get the input; instead, they read a single
1151 event and look it up ``by hand.''
1152 @end itemize
1153 @end defvar
1155 Here are the meaningful ``bindings'' for @code{query-replace-map}.
1156 Several of them are meaningful only for @code{query-replace} and
1157 friends.
1159 @table @code
1160 @item act
1161 Do take the action being considered---in other words, ``yes.''
1163 @item skip
1164 Do not take action for this question---in other words, ``no.''
1166 @item exit
1167 Answer this question ``no,'' and give up on the entire series of
1168 questions, assuming that the answers will be ``no.''
1170 @item act-and-exit
1171 Answer this question ``yes,'' and give up on the entire series of
1172 questions, assuming that subsequent answers will be ``no.''
1174 @item act-and-show
1175 Answer this question ``yes,'' but show the results---don't advance yet
1176 to the next question.
1178 @item automatic
1179 Answer this question and all subsequent questions in the series with
1180 ``yes,'' without further user interaction.
1182 @item backup
1183 Move back to the previous place that a question was asked about.
1185 @item edit
1186 Enter a recursive edit to deal with this question---instead of any
1187 other action that would normally be taken.
1189 @item delete-and-edit
1190 Delete the text being considered, then enter a recursive edit to replace
1193 @item recenter
1194 Redisplay and center the window, then ask the same question again.
1196 @item quit
1197 Perform a quit right away.  Only @code{y-or-n-p} and related functions
1198 use this answer.
1200 @item help
1201 Display some help, then ask again.
1202 @end table
1204 @node Match Data
1205 @section The Match Data
1206 @cindex match data
1208   Emacs keeps track of the start and end positions of the segments of
1209 text found during a search.  This means, for example, that you can
1210 search for a complex pattern, such as a date in an Rmail message, and
1211 then extract parts of the match under control of the pattern.
1213   Because the match data normally describe the most recent search only,
1214 you must be careful not to do another search inadvertently between the
1215 search you wish to refer back to and the use of the match data.  If you
1216 can't avoid another intervening search, you must save and restore the
1217 match data around it, to prevent it from being overwritten.
1219 @menu
1220 * Replacing Match::       Replacing a substring that was matched.
1221 * Simple Match Data::     Accessing single items of match data,
1222                             such as where a particular subexpression started.
1223 * Entire Match Data::     Accessing the entire match data at once, as a list.
1224 * Saving Match Data::     Saving and restoring the match data.
1225 @end menu
1227 @node Replacing Match
1228 @subsection Replacing the Text that Matched
1230   This function replaces the text matched by the last search with
1231 @var{replacement}.
1233 @cindex case in replacements
1234 @defun replace-match replacement &optional fixedcase literal string subexp
1235 This function replaces the text in the buffer (or in @var{string}) that
1236 was matched by the last search.  It replaces that text with
1237 @var{replacement}.
1239 If you did the last search in a buffer, you should specify @code{nil}
1240 for @var{string} and make sure that the current buffer when you call
1241 @code{replace-match} is the one in which you did the searching or
1242 matching.  Then @code{replace-match} does the replacement by editing
1243 the buffer; it leaves point at the end of the replacement text, and
1244 returns @code{t}.
1246 If you did the search in a string, pass the same string as @var{string}.
1247 Then @code{replace-match} does the replacement by constructing and
1248 returning a new string.
1250 If @var{fixedcase} is non-@code{nil}, then @code{replace-match} uses
1251 the replacement text without case conversion; otherwise, it converts
1252 the replacement text depending upon the capitalization of the text to
1253 be replaced.  If the original text is all upper case, this converts
1254 the replacement text to upper case.  If all words of the original text
1255 are capitalized, this capitalizes all the words of the replacement
1256 text.  If all the words are one-letter and they are all upper case,
1257 they are treated as capitalized words rather than all-upper-case
1258 words.
1260 If @var{literal} is non-@code{nil}, then @var{replacement} is inserted
1261 exactly as it is, the only alterations being case changes as needed.
1262 If it is @code{nil} (the default), then the character @samp{\} is treated
1263 specially.  If a @samp{\} appears in @var{replacement}, then it must be
1264 part of one of the following sequences:
1266 @table @asis
1267 @item @samp{\&}
1268 @cindex @samp{&} in replacement
1269 @samp{\&} stands for the entire text being replaced.
1271 @item @samp{\@var{n}}
1272 @cindex @samp{\@var{n}} in replacement
1273 @samp{\@var{n}}, where @var{n} is a digit, stands for the text that
1274 matched the @var{n}th subexpression in the original regexp.
1275 Subexpressions are those expressions grouped inside @samp{\(@dots{}\)}.
1276 If the @var{n}th subexpression never matched, an empty string is substituted.
1278 @item @samp{\\}
1279 @cindex @samp{\} in replacement
1280 @samp{\\} stands for a single @samp{\} in the replacement text.
1281 @end table
1283 These substitutions occur after case conversion, if any,
1284 so the strings they substitute are never case-converted.
1286 If @var{subexp} is non-@code{nil}, that says to replace just
1287 subexpression number @var{subexp} of the regexp that was matched, not
1288 the entire match.  For example, after matching @samp{foo \(ba*r\)},
1289 calling @code{replace-match} with 1 as @var{subexp} means to replace
1290 just the text that matched @samp{\(ba*r\)}.
1291 @end defun
1293 @node Simple Match Data
1294 @subsection Simple Match Data Access
1296   This section explains how to use the match data to find out what was
1297 matched by the last search or match operation, if it succeeded.
1299   You can ask about the entire matching text, or about a particular
1300 parenthetical subexpression of a regular expression.  The @var{count}
1301 argument in the functions below specifies which.  If @var{count} is
1302 zero, you are asking about the entire match.  If @var{count} is
1303 positive, it specifies which subexpression you want.
1305   Recall that the subexpressions of a regular expression are those
1306 expressions grouped with escaped parentheses, @samp{\(@dots{}\)}.  The
1307 @var{count}th subexpression is found by counting occurrences of
1308 @samp{\(} from the beginning of the whole regular expression.  The first
1309 subexpression is numbered 1, the second 2, and so on.  Only regular
1310 expressions can have subexpressions---after a simple string search, the
1311 only information available is about the entire match.
1313   A search which fails may or may not alter the match data.  In the
1314 past, a failing search did not do this, but we may change it in the
1315 future.  So don't try to rely on the value of the match data after
1316 a failing search.
1318 @defun match-string count &optional in-string
1319 This function returns, as a string, the text matched in the last search
1320 or match operation.  It returns the entire text if @var{count} is zero,
1321 or just the portion corresponding to the @var{count}th parenthetical
1322 subexpression, if @var{count} is positive.
1324 If the last such operation was done against a string with
1325 @code{string-match}, then you should pass the same string as the
1326 argument @var{in-string}.  After a buffer search or match,
1327 you should omit @var{in-string} or pass @code{nil} for it; but you
1328 should make sure that the current buffer when you call
1329 @code{match-string} is the one in which you did the searching or
1330 matching.
1332 The value is @code{nil} if @var{count} is out of range, or for a
1333 subexpression inside a @samp{\|} alternative that wasn't used or a
1334 repetition that repeated zero times.
1335 @end defun
1337 @defun match-string-no-properties count &optional in-string
1338 This function is like @code{match-string} except that the result
1339 has no text properties.
1340 @end defun
1342 @defun match-beginning count
1343 This function returns the position of the start of text matched by the
1344 last regular expression searched for, or a subexpression of it.
1346 If @var{count} is zero, then the value is the position of the start of
1347 the entire match.  Otherwise, @var{count} specifies a subexpression in
1348 the regular expression, and the value of the function is the starting
1349 position of the match for that subexpression.
1351 The value is @code{nil} for a subexpression inside a @samp{\|}
1352 alternative that wasn't used or a repetition that repeated zero times.
1353 @end defun
1355 @defun match-end count
1356 This function is like @code{match-beginning} except that it returns the
1357 position of the end of the match, rather than the position of the
1358 beginning.
1359 @end defun
1361   Here is an example of using the match data, with a comment showing the
1362 positions within the text:
1364 @example
1365 @group
1366 (string-match "\\(qu\\)\\(ick\\)"
1367               "The quick fox jumped quickly.")
1368               ;0123456789
1369      @result{} 4
1370 @end group
1372 @group
1373 (match-string 0 "The quick fox jumped quickly.")
1374      @result{} "quick"
1375 (match-string 1 "The quick fox jumped quickly.")
1376      @result{} "qu"
1377 (match-string 2 "The quick fox jumped quickly.")
1378      @result{} "ick"
1379 @end group
1381 @group
1382 (match-beginning 1)       ; @r{The beginning of the match}
1383      @result{} 4                 ;   @r{with @samp{qu} is at index 4.}
1384 @end group
1386 @group
1387 (match-beginning 2)       ; @r{The beginning of the match}
1388      @result{} 6                 ;   @r{with @samp{ick} is at index 6.}
1389 @end group
1391 @group
1392 (match-end 1)             ; @r{The end of the match}
1393      @result{} 6                 ;   @r{with @samp{qu} is at index 6.}
1395 (match-end 2)             ; @r{The end of the match}
1396      @result{} 9                 ;   @r{with @samp{ick} is at index 9.}
1397 @end group
1398 @end example
1400   Here is another example.  Point is initially located at the beginning
1401 of the line.  Searching moves point to between the space and the word
1402 @samp{in}.  The beginning of the entire match is at the 9th character of
1403 the buffer (@samp{T}), and the beginning of the match for the first
1404 subexpression is at the 13th character (@samp{c}).
1406 @example
1407 @group
1408 (list
1409   (re-search-forward "The \\(cat \\)")
1410   (match-beginning 0)
1411   (match-beginning 1))
1412     @result{} (9 9 13)
1413 @end group
1415 @group
1416 ---------- Buffer: foo ----------
1417 I read "The cat @point{}in the hat comes back" twice.
1418         ^   ^
1419         9  13
1420 ---------- Buffer: foo ----------
1421 @end group
1422 @end example
1424 @noindent
1425 (In this case, the index returned is a buffer position; the first
1426 character of the buffer counts as 1.)
1428 @node Entire Match Data
1429 @subsection Accessing the Entire Match Data
1431   The functions @code{match-data} and @code{set-match-data} read or
1432 write the entire match data, all at once.
1434 @defun match-data &optional integers reuse
1435 This function returns a newly constructed list containing all the
1436 information on what text the last search matched.  Element zero is the
1437 position of the beginning of the match for the whole expression; element
1438 one is the position of the end of the match for the expression.  The
1439 next two elements are the positions of the beginning and end of the
1440 match for the first subexpression, and so on.  In general, element
1441 @ifnottex
1442 number 2@var{n}
1443 @end ifnottex
1444 @tex
1445 number {\mathsurround=0pt $2n$}
1446 @end tex
1447 corresponds to @code{(match-beginning @var{n})}; and
1448 element
1449 @ifnottex
1450 number 2@var{n} + 1
1451 @end ifnottex
1452 @tex
1453 number {\mathsurround=0pt $2n+1$}
1454 @end tex
1455 corresponds to @code{(match-end @var{n})}.
1457 All the elements are markers or @code{nil} if matching was done on a
1458 buffer and all are integers or @code{nil} if matching was done on a
1459 string with @code{string-match}.   If @var{integers} is
1460 non-@code{nil}, then all elements are integers or @code{nil}, even if
1461 matching was done on a buffer.  Also, @code{match-beginning} and
1462 @code{match-end} always return integers or @code{nil}.
1464 If @var{reuse} is non-@code{nil}, it should be a list.  In that case,
1465 @code{match-data} stores the match data in @var{reuse}.  That is,
1466 @var{reuse} is destructively modified.  @var{reuse} does not need to
1467 have the right length.  If it is not long enough to contain the match
1468 data, it is extended.  If it is too long, the length of @var{reuse}
1469 stays the same, but the elements that were not used are set to
1470 @code{nil}.  The purpose of this feature is to avoid producing too
1471 much garbage, that would later have to be collected.
1473 As always, there must be no possibility of intervening searches between
1474 the call to a search function and the call to @code{match-data} that is
1475 intended to access the match data for that search.
1477 @example
1478 @group
1479 (match-data)
1480      @result{}  (#<marker at 9 in foo>
1481           #<marker at 17 in foo>
1482           #<marker at 13 in foo>
1483           #<marker at 17 in foo>)
1484 @end group
1485 @end example
1486 @end defun
1488 @defun set-match-data match-list
1489 This function sets the match data from the elements of @var{match-list},
1490 which should be a list that was the value of a previous call to
1491 @code{match-data}.  (More precisely, anything that has the same format
1492 will work.)
1494 If @var{match-list} refers to a buffer that doesn't exist, you don't get
1495 an error; that sets the match data in a meaningless but harmless way.
1497 @findex store-match-data
1498 @code{store-match-data} is a semi-obsolete alias for @code{set-match-data}.
1499 @end defun
1501 @node Saving Match Data
1502 @subsection Saving and Restoring the Match Data
1504   When you call a function that may do a search, you may need to save
1505 and restore the match data around that call, if you want to preserve the
1506 match data from an earlier search for later use.  Here is an example
1507 that shows the problem that arises if you fail to save the match data:
1509 @example
1510 @group
1511 (re-search-forward "The \\(cat \\)")
1512      @result{} 48
1513 (foo)                   ; @r{Perhaps @code{foo} does}
1514                         ;   @r{more searching.}
1515 (match-end 0)
1516      @result{} 61              ; @r{Unexpected result---not 48!}
1517 @end group
1518 @end example
1520   You can save and restore the match data with @code{save-match-data}:
1522 @defmac save-match-data body@dots{}
1523 This macro executes @var{body}, saving and restoring the match
1524 data around it.  The return value is the value of the last form in
1525 @var{body}.
1526 @end defmac
1528   You could use @code{set-match-data} together with @code{match-data} to
1529 imitate the effect of the special form @code{save-match-data}.  Here is
1530 how:
1532 @example
1533 @group
1534 (let ((data (match-data)))
1535   (unwind-protect
1536       @dots{}   ; @r{Ok to change the original match data.}
1537     (set-match-data data)))
1538 @end group
1539 @end example
1541   Emacs automatically saves and restores the match data when it runs
1542 process filter functions (@pxref{Filter Functions}) and process
1543 sentinels (@pxref{Sentinels}).
1545 @ignore
1546   Here is a function which restores the match data provided the buffer
1547 associated with it still exists.
1549 @smallexample
1550 @group
1551 (defun restore-match-data (data)
1552 @c It is incorrect to split the first line of a doc string.
1553 @c If there's a problem here, it should be solved in some other way.
1554   "Restore the match data DATA unless the buffer is missing."
1555   (catch 'foo
1556     (let ((d data))
1557 @end group
1558       (while d
1559         (and (car d)
1560              (null (marker-buffer (car d)))
1561 @group
1562              ;; @file{match-data} @r{buffer is deleted.}
1563              (throw 'foo nil))
1564         (setq d (cdr d)))
1565       (set-match-data data))))
1566 @end group
1567 @end smallexample
1568 @end ignore
1570 @node Searching and Case
1571 @section Searching and Case
1572 @cindex searching and case
1574   By default, searches in Emacs ignore the case of the text they are
1575 searching through; if you specify searching for @samp{FOO}, then
1576 @samp{Foo} or @samp{foo} is also considered a match.  This applies to
1577 regular expressions, too; thus, @samp{[aB]} would match @samp{a} or
1578 @samp{A} or @samp{b} or @samp{B}.
1580   If you do not want this feature, set the variable
1581 @code{case-fold-search} to @code{nil}.  Then all letters must match
1582 exactly, including case.  This is a buffer-local variable; altering the
1583 variable affects only the current buffer.  (@xref{Intro to
1584 Buffer-Local}.)  Alternatively, you may change the value of
1585 @code{default-case-fold-search}, which is the default value of
1586 @code{case-fold-search} for buffers that do not override it.
1588   Note that the user-level incremental search feature handles case
1589 distinctions differently.  When given a lower case letter, it looks for
1590 a match of either case, but when given an upper case letter, it looks
1591 for an upper case letter only.  But this has nothing to do with the
1592 searching functions used in Lisp code.
1594 @defopt case-replace
1595 This variable determines whether the higher level replacement
1596 functions should preserve case.  If the variable is @code{nil}, that
1597 means to use the replacement text verbatim.  A non-@code{nil} value
1598 means to convert the case of the replacement text according to the
1599 text being replaced.
1601 This variable is used by passing it as an argument to the function
1602 @code{replace-match}.  @xref{Replacing Match}.
1603 @end defopt
1605 @defopt case-fold-search
1606 This buffer-local variable determines whether searches should ignore
1607 case.  If the variable is @code{nil} they do not ignore case; otherwise
1608 they do ignore case.
1609 @end defopt
1611 @defvar default-case-fold-search
1612 The value of this variable is the default value for
1613 @code{case-fold-search} in buffers that do not override it.  This is the
1614 same as @code{(default-value 'case-fold-search)}.
1615 @end defvar
1617 @node Standard Regexps
1618 @section Standard Regular Expressions Used in Editing
1619 @cindex regexps used standardly in editing
1620 @cindex standard regexps used in editing
1622   This section describes some variables that hold regular expressions
1623 used for certain purposes in editing:
1625 @defvar page-delimiter
1626 This is the regular expression describing line-beginnings that separate
1627 pages.  The default value is @code{"^\014"} (i.e., @code{"^^L"} or
1628 @code{"^\C-l"}); this matches a line that starts with a formfeed
1629 character.
1630 @end defvar
1632   The following two regular expressions should @emph{not} assume the
1633 match always starts at the beginning of a line; they should not use
1634 @samp{^} to anchor the match.  Most often, the paragraph commands do
1635 check for a match only at the beginning of a line, which means that
1636 @samp{^} would be superfluous.  When there is a nonzero left margin,
1637 they accept matches that start after the left margin.  In that case, a
1638 @samp{^} would be incorrect.  However, a @samp{^} is harmless in modes
1639 where a left margin is never used.
1641 @defvar paragraph-separate
1642 This is the regular expression for recognizing the beginning of a line
1643 that separates paragraphs.  (If you change this, you may have to
1644 change @code{paragraph-start} also.)  The default value is
1645 @w{@code{"[@ \t\f]*$"}}, which matches a line that consists entirely of
1646 spaces, tabs, and form feeds (after its left margin).
1647 @end defvar
1649 @defvar paragraph-start
1650 This is the regular expression for recognizing the beginning of a line
1651 that starts @emph{or} separates paragraphs.  The default value is
1652 @w{@code{"\f\\|[ \t]*$"}}, which matches a line containing only
1653 whitespace or starting with a form feed (after its left margin).
1654 @end defvar
1656 @defvar sentence-end
1657 This is the regular expression describing the end of a sentence.  (All
1658 paragraph boundaries also end sentences, regardless.)  The (slightly
1659 simplified) default value is:
1661 @example
1662 "[.?!][]\"')@}]*\\($\\| $\\|\t\\|@ @ \\)[ \t\n]*"
1663 @end example
1665 This means a period, question mark or exclamation mark (the actual
1666 default value also lists their alternatives in other character sets),
1667 followed optionally by closing parenthetical characters, followed by
1668 tabs, spaces or new lines.
1670 For a detailed explanation of this regular expression, see @ref{Regexp
1671 Example}.
1672 @end defvar
1674 @ignore
1675    arch-tag: c2573ca2-18aa-4839-93b8-924043ef831f
1676 @end ignore