userdiff-cpp: tighten word regex
commit350b87cd658553598a269fdd320ca05ee4789a10
authorJohannes Sixt <j6t@kdbg.org>
Fri, 8 Oct 2021 19:09:55 +0000 (8 19:09 +0000)
committerJunio C Hamano <gitster@pobox.com>
Fri, 8 Oct 2021 20:04:07 +0000 (8 13:04 -0700)
tree06a7cd33e6eab78d7d3ca4bffaf9b8956791384f
parent3e063de46e6270606e058b96bfcc0baebc4aea81
userdiff-cpp: tighten word regex

Generally, word regex can be written such that they match tokens
liberally and need not model the actual syntax because it can be assumed
that the regex will only be applied to syntactically correct text.

The regex for cpp (C/C++) is too liberal, though. It regards these
sequences as single tokens:

   1+2
   1.5-e+2+f

and the following amalgams as one token:

   .l      as in str.length
   .f      as in str.find
   .e      as in str.erase

Tighten the regex in the following way:

- Accept + and - only in one position in the exponent. + and - are no
  longer regarded as the sign of a number and are treated by the
  catcher-all that is not visible in the driver's regex.

- Accept a leading decimal point only when it is followed by a digit.

For readability, factor hex- and binary numbers into an own term.

As a drive-by, this fixes that floating point numbers such as 12E5
(with upper-case E) were split into two tokens.

Signed-off-by: Johannes Sixt <j6t@kdbg.org>
Signed-off-by: Junio C Hamano <gitster@pobox.com>
t/t4034/cpp/expect
userdiff.c