xdl_change_compact(): fix compaction heuristic to adjust ixo
commita8fd78cc53456ec6831436690eba06b36093ed7e
authorMichael Haggerty <mhagger@alum.mit.edu>
Mon, 22 Aug 2016 11:22:40 +0000 (22 13:22 +0200)
committerJunio C Hamano <gitster@pobox.com>
Tue, 23 Aug 2016 20:51:47 +0000 (23 13:51 -0700)
tree8897f9dcab4883773405e752748b006eb085fc6d
parent054d949ffb2e3aa98a97c564dc9c260e7fbab033
xdl_change_compact(): fix compaction heuristic to adjust ixo

The code branch used for the compaction heuristic forgot to keep ixo in
sync while the group was shifted. This is certainly wrong, as it causes
the two counters to get out of sync.

I *think* that this bug could also have caused the function to read past
the end of the rchgo array, though I haven't done the work to prove it
for sure. Here is my reasoning:

If ixo is not decremented correctly during one iteration of the outer
while loop, then it will loose sync with the ix counter. In particular,
ixo will be too large.

Suppose that the next iterations of the outer while loop (i.e.,
processing the next block of add/delete lines) don't have any sliders.
Then the ixo counter would be incremented by the number of non-changed
lines in xdf, which is the same as the number of non-changed lines in
xdfo that *should have* followed the group that experienced the
malfunction. But since ixo was too large at the end of that iteration,
it will be incremented past the end of the xdfo->rchg array, and will
try to read that memory illegally.

Signed-off-by: Michael Haggerty <mhagger@alum.mit.edu>
Signed-off-by: Junio C Hamano <gitster@pobox.com>
xdiff/xdiffi.c