t/chainlint.sed

   1 #------------------------------------------------------------------------------
   2 # Detect broken &&-chains in tests.
   3 #
   4 # At present, only &&-chains in subshells are examined by this linter;
   5 # top-level &&-chains are instead checked directly by the test framework. Like
   6 # the top-level &&-chain linter, the subshell linter (intentionally) does not
   7 # check &&-chains within {...} blocks.
   8 #
   9 # Checking for &&-chain breakage is done line-by-line by pure textual
  10 # inspection.
  11 #
  12 # Incomplete lines (those ending with "\") are stitched together with following
  13 # lines to simplify processing, particularly of "one-liner" statements.
  14 # Top-level here-docs are swallowed to avoid false positives within the
  15 # here-doc body, although the statement to which the here-doc is attached is
  16 # retained.
  17 #
  18 # Heuristics are used to detect end-of-subshell when the closing ")" is cuddled
  19 # with the final subshell statement on the same line:
  20 #
  21 #    (cd foo &&
  22 #        bar)
  23 #
  24 # in order to avoid misinterpreting the ")" in constructs such as "x=$(...)"
  25 # and "case $x in *)" as ending the subshell.
  26 #
  27 # Lines missing a final "&&" are flagged with "?!AMP?!", as are lines which
  28 # chain commands with ";" internally rather than "&&". A line may be flagged
  29 # for both violations.
  30 #
  31 # Detection of a missing &&-link in a multi-line subshell is complicated by the
  32 # fact that the last statement before the closing ")" must not end with "&&".
  33 # Since processing is line-by-line, it is not known whether a missing "&&" is
  34 # legitimate or not until the _next_ line is seen. To accommodate this, within
  35 # multi-line subshells, each line is stored in sed's "hold" area until after
  36 # the next line is seen and processed. If the next line is a stand-alone ")",
  37 # then a missing "&&" on the previous line is legitimate; otherwise a missing
  38 # "&&" is a break in the &&-chain.
  39 #
  40 #    (
  41 #         cd foo &&
  42 #         bar
  43 #    )
  44 #
  45 # In practical terms, when "bar" is encountered, it is flagged with "?!AMP?!",
  46 # but when the stand-alone ")" line is seen which closes the subshell, the
  47 # "?!AMP?!" violation is removed from the "bar" line (retrieved from the "hold"
  48 # area) since the final statement of a subshell must not end with "&&". The
  49 # final line of a subshell may still break the &&-chain by using ";" internally
  50 # to chain commands together rather than "&&", but an internal "?!AMP?!" is
  51 # never removed from a line even though a line-ending "?!AMP?!" might be.
  52 #
  53 # Care is taken to recognize the last _statement_ of a multi-line subshell, not
  54 # necessarily the last textual _line_ within the subshell, since &&-chaining
  55 # applies to statements, not to lines. Consequently, blank lines, comment
  56 # lines, and here-docs are swallowed (but not the command to which the here-doc
  57 # is attached), leaving the last statement in the "hold" area, not the last
  58 # line, thus simplifying &&-link checking.
  59 #
  60 # The final statement before "done" in for- and while-loops, and before "elif",
  61 # "else", and "fi" in if-then-else likewise must not end with "&&", thus
  62 # receives similar treatment.
  63 #
  64 # Swallowing here-docs with arbitrary tags requires a bit of finesse. When a
  65 # line such as "cat <<EOF" is seen, the here-doc tag is copied to the front of
  66 # the line enclosed in angle brackets as a sentinel, giving "<EOF>cat <<EOF".
  67 # As each subsequent line is read, it is appended to the target line and a
  68 # (whitespace-loose) back-reference match /^<(.*)>\n\1$/ is attempted to see if
  69 # the content inside "<...>" matches the entirety of the newly-read line. For
  70 # instance, if the next line read is "some data", when concatenated with the
  71 # target line, it becomes "<EOF>cat <<EOF\nsome data", and a match is attempted
  72 # to see if "EOF" matches "some data". Since it doesn't, the next line is
  73 # attempted. When a line consisting of only "EOF" (and possible whitespace) is
  74 # encountered, it is appended to the target line giving "<EOF>cat <<EOF\nEOF",
  75 # in which case the "EOF" inside "<...>" does match the text following the
  76 # newline, thus the closing here-doc tag has been found. The closing tag line
  77 # and the "<...>" prefix on the target line are then discarded, leaving just
  78 # the target line "cat <<EOF".
  79 #------------------------------------------------------------------------------
  80
  81 # incomplete line -- slurp up next line
  82 :squash
  83 /\\$/ {
  84         N
  85         s/\\\n//
  86         bsquash
  87 }
  88
  89 # here-doc -- swallow it to avoid false hits within its body (but keep the
  90 # command to which it was attached)
  91 /<<-*[  ]*[\\'"]*[A-Za-z0-9_]/ {
  92         /"[^"]*<<[^"]*"/bnotdoc
  93         s/^\(.*<<-*[    ]*\)[\\'"]*\([A-Za-z0-9_][A-Za-z0-9_]*\)['"]*/<\2>\1\2/
  94         :hered
  95         N
  96         /^<\([^>]*\)>.*\n[      ]*\1[   ]*$/!{
  97                 s/\n.*$//
  98                 bhered
  99         }
 100         s/^<[^>]*>//
 101         s/\n.*$//
 102 }
 103 :notdoc
 104
 105 # one-liner "(...) &&"
 106 /^[     ]*!*[   ]*(..*)[        ]*&&[   ]*$/boneline
 107
 108 # same as above but without trailing "&&"
 109 /^[     ]*!*[   ]*(..*)[        ]*$/boneline
 110
 111 # one-liner "(...) >x" (or "2>x" or "<x" or "|x" or "&"
 112 /^[     ]*!*[   ]*(..*)[        ]*[0-9]*[<>|&]/boneline
 113
 114 # multi-line "(...\n...)"
 115 /^[     ]*(/bsubsh
 116
 117 # innocuous line -- print it and advance to next line
 118 b
 119
 120 # found one-liner "(...)" -- mark suspect if it uses ";" internally rather than
 121 # "&&" (but not ";" in a string)
 122 :oneline
 123 /;/{
 124         /"[^"]*;[^"]*"/!s/;/; ?!AMP?!/
 125 }
 126 b
 127
 128 :subsh
 129 # bare "(" line? -- stash for later printing
 130 /^[     ]*([    ]*$/ {
 131         h
 132         bnextln
 133 }
 134 # "(..." line -- split off and stash "(", then process "..." as its own line
 135 x
 136 s/.*/(/
 137 x
 138 s/(//
 139 bslurp
 140
 141 :nextln
 142 N
 143 s/.*\n//
 144
 145 :slurp
 146 # incomplete line "...\"
 147 /\\$/bicmplte
 148 # multi-line quoted string "...\n..."?
 149 /"/bdqstr
 150 # multi-line quoted string '...\n...'? (but not contraction in string "it's")
 151 /'/{
 152         /"[^'"]*'[^'"]*"/!bsqstr
 153 }
 154 :folded
 155 # here-doc -- swallow it (but not "<<" in a string)
 156 /<<-*[  ]*[\\'"]*[A-Za-z0-9_]/{
 157         /"[^"]*<<[^"]*"/!bheredoc
 158 }
 159 # comment or empty line -- discard since final non-comment, non-empty line
 160 # before closing ")", "done", "elsif", "else", or "fi" will need to be
 161 # re-visited to drop "suspect" marking since final line of those constructs
 162 # legitimately lacks "&&", so "suspect" mark must be removed
 163 /^[     ]*#/bnextln
 164 /^[     ]*$/bnextln
 165 # in-line comment -- strip it (but not "#" in a string, Bash ${#...} array
 166 # length, or Perforce "//depot/path#42" revision in filespec)
 167 /[      ]#/{
 168         /"[^"]*#[^"]*"/!s/[     ]#.*$//
 169 }
 170 # one-liner "case ... esac"
 171 /^[     ]*case[         ]*..*esac/bchkchn
 172 # multi-line "case ... esac"
 173 /^[     ]*case[         ]..*[   ]in/bcase
 174 # multi-line "for ... done" or "while ... done"
 175 /^[     ]*for[  ]..*[   ]in/bcont
 176 /^[     ]*while[        ]/bcont
 177 /^[     ]*do[   ]/bcont
 178 /^[     ]*do[   ]*$/bcont
 179 /;[     ]*do/bcont
 180 /^[     ]*done[         ]*&&[   ]*$/bdone
 181 /^[     ]*done[         ]*$/bdone
 182 /^[     ]*done[         ]*[<>|]/bdone
 183 /^[     ]*done[         ]*)/bdone
 184 /||[    ]*exit[         ]/bcont
 185 /||[    ]*exit[         ]*$/bcont
 186 # multi-line "if...elsif...else...fi"
 187 /^[     ]*if[   ]/bcont
 188 /^[     ]*then[         ]/bcont
 189 /^[     ]*then[         ]*$/bcont
 190 /;[     ]*then/bcont
 191 /^[     ]*elif[         ]/belse
 192 /^[     ]*elif[         ]*$/belse
 193 /^[     ]*else[         ]/belse
 194 /^[     ]*else[         ]*$/belse
 195 /^[     ]*fi[   ]*&&[   ]*$/bdone
 196 /^[     ]*fi[   ]*$/bdone
 197 /^[     ]*fi[   ]*[<>|]/bdone
 198 /^[     ]*fi[   ]*)/bdone
 199 # nested one-liner "(...) &&"
 200 /^[     ]*(.*)[         ]*&&[   ]*$/bchkchn
 201 # nested one-liner "(...)"
 202 /^[     ]*(.*)[         ]*$/bchkchn
 203 # nested one-liner "(...) >x" (or "2>x" or "<x" or "|x")
 204 /^[     ]*(.*)[         ]*[0-9]*[<>|]/bchkchn
 205 # nested multi-line "(...\n...)"
 206 /^[     ]*(/bnest
 207 # multi-line "{...\n...}"
 208 /^[     ]*{/bblock
 209 # closing ")" on own line -- exit subshell
 210 /^[     ]*)/bclssolo
 211 # "$((...))" -- arithmetic expansion; not closing ")"
 212 /\$(([^)][^)]*))[^)]*$/bchkchn
 213 # "$(...)" -- command substitution; not closing ")"
 214 /\$([^)][^)]*)[^)]*$/bchkchn
 215 # multi-line "$(...\n...)" -- command substitution; treat as nested subshell
 216 /\$([^)]*$/bnest
 217 # "=(...)" -- Bash array assignment; not closing ")"
 218 /=(/bchkchn
 219 # closing "...) &&"
 220 /)[     ]*&&[   ]*$/bclose
 221 # closing "...)"
 222 /)[     ]*$/bclose
 223 # closing "...) >x" (or "2>x" or "<x" or "|x")
 224 /)[     ]*[<>|]/bclose
 225 :chkchn
 226 # mark suspect if line uses ";" internally rather than "&&" (but not ";" in a
 227 # string and not ";;" in one-liner "case...esac")
 228 /;/{
 229         /;;/!{
 230                 /"[^"]*;[^"]*"/!s/;/; ?!AMP?!/
 231         }
 232 }
 233 # line ends with pipe "...|" -- valid; not missing "&&"
 234 /|[     ]*$/bcont
 235 # missing end-of-line "&&" -- mark suspect
 236 /&&[    ]*$/!s/$/ ?!AMP?!/
 237 :cont
 238 # retrieve and print previous line
 239 x
 240 s/?!HERE?!/<</g
 241 n
 242 bslurp
 243
 244 # found incomplete line "...\" -- slurp up next line
 245 :icmplte
 246 N
 247 s/\\\n//
 248 bslurp
 249
 250 # check for multi-line double-quoted string "...\n..." -- fold to one line
 251 :dqstr
 252 # remove all quote pairs
 253 s/"\([^"]*\)"/@!\1@!/g
 254 # done if no dangling quote
 255 /"/!bdqdone
 256 # otherwise, slurp next line and try again
 257 N
 258 s/\n//
 259 bdqstr
 260 :dqdone
 261 s/@!/"/g
 262 bfolded
 263
 264 # check for multi-line single-quoted string '...\n...' -- fold to one line
 265 :sqstr
 266 # remove all quote pairs
 267 s/'\([^']*\)'/@!\1@!/g
 268 # done if no dangling quote
 269 /'/!bsqdone
 270 # otherwise, slurp next line and try again
 271 N
 272 s/\n//
 273 bsqstr
 274 :sqdone
 275 s/@!/'/g
 276 bfolded
 277
 278 # found here-doc -- swallow it to avoid false hits within its body (but keep
 279 # the command to which it was attached)
 280 :heredoc
 281 s/^\(.*\)<<\(-*[        ]*\)[\\'"]*\([A-Za-z0-9_][A-Za-z0-9_]*\)['"]*/<\3>\1?!HERE?!\2\3/
 282 :hdocsub
 283 N
 284 /^<\([^>]*\)>.*\n[      ]*\1[   ]*$/!{
 285         s/\n.*$//
 286         bhdocsub
 287 }
 288 s/^<[^>]*>//
 289 s/\n.*$//
 290 bfolded
 291
 292 # found "case ... in" -- pass through untouched
 293 :case
 294 x
 295 s/?!HERE?!/<</g
 296 n
 297 :cascom
 298 /^[     ]*#/{
 299         N
 300         s/.*\n//
 301         bcascom
 302 }
 303 /^[     ]*esac/bslurp
 304 bcase
 305
 306 # found "else" or "elif" -- drop "suspect" from final line before "else" since
 307 # that line legitimately lacks "&&"
 308 :else
 309 x
 310 s/\( ?!AMP?!\)* ?!AMP?!$//
 311 x
 312 bcont
 313
 314 # found "done" closing for-loop or while-loop, or "fi" closing if-then -- drop
 315 # "suspect" from final contained line since that line legitimately lacks "&&"
 316 :done
 317 x
 318 s/\( ?!AMP?!\)* ?!AMP?!$//
 319 x
 320 # is 'done' or 'fi' cuddled with ")" to close subshell?
 321 /done.*)/bclose
 322 /fi.*)/bclose
 323 bchkchn
 324
 325 # found nested multi-line "(...\n...)" -- pass through untouched
 326 :nest
 327 x
 328 :nstslrp
 329 s/?!HERE?!/<</g
 330 n
 331 :nstcom
 332 # comment -- not closing ")" if in comment
 333 /^[     ]*#/{
 334         N
 335         s/.*\n//
 336         bnstcom
 337 }
 338 # closing ")" on own line -- stop nested slurp
 339 /^[     ]*)/bnstcl
 340 # "$((...))" -- arithmetic expansion; not closing ")"
 341 /\$(([^)][^)]*))[^)]*$/bnstcnt
 342 # "$(...)" -- command substitution; not closing ")"
 343 /\$([^)][^)]*)[^)]*$/bnstcnt
 344 # closing "...)" -- stop nested slurp
 345 /)/bnstcl
 346 :nstcnt
 347 x
 348 bnstslrp
 349 :nstcl
 350 # is it "))" which closes nested and parent subshells?
 351 /)[     ]*)/bslurp
 352 bchkchn
 353
 354 # found multi-line "{...\n...}" block -- pass through untouched
 355 :block
 356 x
 357 s/?!HERE?!/<</g
 358 n
 359 :blkcom
 360 /^[     ]*#/{
 361         N
 362         s/.*\n//
 363         bblkcom
 364 }
 365 # closing "}" -- stop block slurp
 366 /}/bchkchn
 367 bblock
 368
 369 # found closing ")" on own line -- drop "suspect" from final line of subshell
 370 # since that line legitimately lacks "&&" and exit subshell loop
 371 :clssolo
 372 x
 373 s/\( ?!AMP?!\)* ?!AMP?!$//
 374 s/?!HERE?!/<</g
 375 p
 376 x
 377 s/?!HERE?!/<</g
 378 b
 379
 380 # found closing "...)" -- exit subshell loop
 381 :close
 382 x
 383 s/?!HERE?!/<</g
 384 p
 385 x
 386 s/?!HERE?!/<</g
 387 b