p5310: stop timing non-bitmap pack-to-disk
commit14d277879cfe4ef2f2d58f9a30458d2d84cee1df
authorJeff King <peff@peff.net>
Thu, 26 Mar 2020 07:54:36 +0000 (26 03:54 -0400)
committerJunio C Hamano <gitster@pobox.com>
Fri, 27 Mar 2020 22:11:21 +0000 (27 15:11 -0700)
treebd1eefc30d9aee3c20c2a8c57c7459490fb76490
parent274b9cc25322d9ee79aa8e6d4e86f0ffe5ced925
p5310: stop timing non-bitmap pack-to-disk

Commit 645c432d61 (pack-objects: use reachability bitmap index when
generating non-stdout pack, 2016-09-10) added two timing tests for
packing to an on-disk file, both with and without bitmaps. However, the
non-bitmap one isn't interesting to have as part of p5310's regression
suite. It _could_ be used as a baseline to show off the improvement in
the bitmap case, but:

  - the point of the t/perf suite is to find performance regressions,
    and it won't help with that. We don't compare the numbers between
    two tests (which the perf suite has no idea are even related), and
    any change in its numbers would have nothing to do with bitmaps.

  - it did show off the improvement in the commit message of 645c432d61,
    but it wasn't even necessary there. The bitmap case already shows an
    improvement (because before the patch, it behaved the same as the
    non-bitmap case), and the perf suite is even able to show the
    difference between the before and after measurements.

On top of that, it's one of the most expensive tests in the suite,
clocking in around 60s for linux.git on my machine (as compared to 16s
for the bitmapped version). And by default when using "./run", we'd run
it three times!

So let's just drop it. It's not useful and is adding minutes to perf
runs.

Signed-off-by: Jeff King <peff@peff.net>
Signed-off-by: Junio C Hamano <gitster@pobox.com>
t/perf/p5310-pack-bitmaps.sh