CI: Fix windows-ci dependency installation.
[xz.git] / NEWS
blob2f4d35adca6198671434d2988803cc9316ad1ec8
2 XZ Utils Release Notes
3 ======================
5 5.4.3 (2023-05-04)
7     * All fixes from 5.2.12
9     * Features in the CMake build can now be disabled as CMake cache
10       variables, similar to the Autotools build.
12     * Minor update to the Croatian translation.
15 5.4.2 (2023-03-18)
17     * All fixes from 5.2.11 that were not included in 5.4.1.
19     * If xz is built with support for the Capsicum sandbox but running
20       in an environment that doesn't support Capsicum, xz now runs
21       normally without sandboxing instead of exiting with an error.
23     * liblzma:
25         - Documentation was updated to improve the style, consistency,
26           and completeness of the liblzma API headers.
28         - The Doxygen-generated HTML documentation for the liblzma API
29           header files is now included in the source release and is
30           installed as part of "make install". All JavaScript is
31           removed to simplify license compliance and to reduce the
32           install size.
34         - Fixed a minor bug in lzma_str_from_filters() that produced
35           too many filters in the output string instead of reporting
36           an error if the input array had more than four filters. This
37           bug did not affect xz.
39     * Build systems:
41         - autogen.sh now invokes the doxygen tool via the new wrapper
42           script doxygen/update-doxygen, unless the command line option
43           --no-doxygen is used.
45         - Added microlzma_encoder.c and microlzma_decoder.c to the
46           VS project files for Windows and to the CMake build. These
47           should have been included in 5.3.2alpha.
49     * Tests:
51         - Added a test to the CMake build that was forgotten in the
52           previous release.
54         - Added and refactored a few tests.
56     * Translations:
58         - Updated the Brazilian Portuguese translation.
60         - Added Brazilian Portuguese man page translation.
63 5.4.1 (2023-01-11)
65     * liblzma:
67         - Fixed the return value of lzma_microlzma_encoder() if the
68           LZMA options lc/lp/pb are invalid. Invalid lc/lp/pb options
69           made the function return LZMA_STREAM_END without encoding
70           anything instead of returning LZMA_OPTIONS_ERROR.
72         - Windows / Visual Studio: Workaround a possible compiler bug
73           when targeting 32-bit x86 and compiling the CLMUL version of
74           the CRC64 code. The CLMUL code isn't enabled by the Windows
75           project files but it is in the CMake-based builds.
77     * Build systems:
79         - Windows-specific CMake changes:
81             * Don't try to enable CLMUL CRC64 code if _mm_set_epi64x()
82               isn't available. This fixes CMake-based build with Visual
83               Studio 2013.
85             * Created a workaround for a build failure with windres
86               from GNU binutils. It is used only when the C compiler
87               is GCC (not Clang). The workaround is incompatible
88               with llvm-windres, resulting in "XZx20Utils" instead
89               of "XZ Utils" in the resource file, but without the
90               workaround llvm-windres works correctly. See the
91               comment in CMakeLists.txt for details.
93             * Included the resource files in the xz and xzdec build
94               rules. Building the command line tools is still
95               experimental but possible with MinGW-w64.
97         - Visual Studio: Added stream_decoder_mt.c to the project
98           files. Now the threaded decompressor lzma_stream_decoder_mt()
99           gets built. CMake-based build wasn't affected.
101         - Updated windows/INSTALL-MSVC.txt to mention that CMake-based
102           build is now the preferred method with Visual Studio. The
103           project files will probably be removed after 5.4.x releases.
105         - Changes to #defines in config.h:
107             * HAVE_DECL_CLOCK_MONOTONIC was replaced by
108               HAVE_CLOCK_MONOTONIC. The old macro was always defined
109               in configure-generated config.h to either 0 or 1. The
110               new macro is defined (to 1) only if the declaration of
111               CLOCK_MONOTONIC is available. This matches the way most
112               other config.h macros work and makes things simpler with
113               other build systems.
115             * HAVE_DECL_PROGRAM_INVOCATION_NAME was replaced by
116               HAVE_PROGRAM_INVOCATION_NAME for the same reason.
118     * Tests:
120         - Fixed test script compatibility with ancient /bin/sh
121           versions. Now the five test_compress_* tests should
122           no longer fail on Solaris 10.
124         - Added and refactored a few tests.
126     * Translations:
128         - Updated the Catalan and Esperanto translations.
130         - Added Korean and Ukrainian man page translations.
133 5.4.0 (2022-12-13)
135     This bumps the minor version of liblzma because new features were
136     added. The API and ABI are still backward compatible with liblzma
137     5.2.x and 5.0.x.
139     Since 5.3.5beta:
141     * All fixes from 5.2.10.
143     * The ARM64 filter is now stable. The xz option is now --arm64.
144       Decompression requires XZ Utils 5.4.0. In the future the ARM64
145       filter will be supported by XZ for Java, XZ Embedded (including
146       the version in Linux), LZMA SDK, and 7-Zip.
148     * Translations:
150         - Updated Catalan, Croatian, German, Romanian, and Turkish
151           translations.
153         - Updated German man page translations.
155         - Added Romanian man page translations.
157     Summary of new features added in the 5.3.x development releases:
159     * liblzma:
161         - Added threaded .xz decompressor lzma_stream_decoder_mt().
162           It can use multiple threads with .xz files that have multiple
163           Blocks with size information in Block Headers. The threaded
164           encoder in xz has always created such files.
166           Single-threaded encoder cannot store the size information in
167           Block Headers even if one used LZMA_FULL_FLUSH to create
168           multiple Blocks, so this threaded decoder cannot use multiple
169           threads with such files.
171           If there are multiple Streams (concatenated .xz files), one
172           Stream will be decompressed completely before starting the
173           next Stream.
175         - A new decoder flag LZMA_FAIL_FAST was added. It makes the
176           threaded decompressor report errors soon instead of first
177           flushing all pending data before the error location.
179         - New Filter IDs:
180             * LZMA_FILTER_ARM64 is for ARM64 binaries.
181             * LZMA_FILTER_LZMA1EXT is for raw LZMA1 streams that don't
182               necessarily use the end marker.
184         - Added lzma_str_to_filters(), lzma_str_from_filters(), and
185           lzma_str_list_filters() to convert a preset or a filter chain
186           string to a lzma_filter[] and vice versa. These should make
187           it easier to write applications that allow users to specify
188           custom compression options.
190         - Added lzma_filters_free() which can be convenient for freeing
191           the filter options in a filter chain (an array of lzma_filter
192           structures).
194         - lzma_file_info_decoder() to makes it a little easier to get
195           the Index field from .xz files. This helps in getting the
196           uncompressed file size but an easy-to-use random access
197           API is still missing which has existed in XZ for Java for
198           a long time.
200         - Added lzma_microlzma_encoder() and lzma_microlzma_decoder().
201           It is used by erofs-utils and may be used by others too.
203           The MicroLZMA format is a raw LZMA stream (without end marker)
204           whose first byte (always 0x00) has been replaced with
205           bitwise-negation of the LZMA properties (lc/lp/pb). It was
206           created for use in EROFS but may be used in other contexts
207           as well where it is important to avoid wasting bytes for
208           stream headers or footers. The format is also supported by
209           XZ Embedded (the XZ Embedded version in Linux got MicroLZMA
210           support in Linux 5.16).
212           The MicroLZMA encoder API in liblzma can compress into a
213           fixed-sized output buffer so that as much data is compressed
214           as can be fit into the buffer while still creating a valid
215           MicroLZMA stream. This is needed for EROFS.
217         - Added lzma_lzip_decoder() to decompress the .lz (lzip) file
218           format version 0 and the original unextended version 1 files.
219           Also lzma_auto_decoder() supports .lz files.
221         - lzma_filters_update() can now be used with the multi-threaded
222           encoder (lzma_stream_encoder_mt()) to change the filter chain
223           after LZMA_FULL_BARRIER or LZMA_FULL_FLUSH.
225         - In lzma_options_lzma, allow nice_len = 2 and 3 with the match
226           finders that require at least 3 or 4. Now it is internally
227           rounded up if needed.
229         - CLMUL-based CRC64 on x86-64 and E2K with runtime processor
230           detection. On 32-bit x86 it currently isn't available unless
231           --disable-assembler is used which can make the non-CLMUL
232           CRC64 slower; this might be fixed in the future.
234         - Building with --disable-threads --enable-small
235           is now thread-safe if the compiler supports
236           __attribute__((__constructor__)).
238     * xz:
240         - Using -T0 (--threads=0) will now use multi-threaded encoder
241           even on a single-core system. This is to ensure that output
242           from the same xz binary is identical on both single-core and
243           multi-core systems.
245         - --threads=+1 or -T+1 is now a way to put xz into
246           multi-threaded mode while using only one worker thread.
247           The + is ignored if the number is not 1.
249         - A default soft memory usage limit is now used for compression
250           when -T0 is used and no explicit limit has been specified.
251           This soft limit is used to restrict the number of threads
252           but if the limit is exceeded with even one thread then xz
253           will continue with one thread using the multi-threaded
254           encoder and this limit is ignored. If the number of threads
255           is specified manually then no default limit will be used;
256           this affects only -T0.
258           This change helps on systems that have very many cores and
259           using all of them for xz makes no sense. Previously xz -T0
260           could run out of memory on such systems because it attempted
261           to reserve memory for too many threads.
263           This also helps with 32-bit builds which don't have a large
264           amount of address space that would be required for many
265           threads. The default soft limit for -T0 is at most 1400 MiB
266           on all 32-bit platforms.
268         - Previously a low value in --memlimit-compress wouldn't cause
269           xz to switch from multi-threaded mode to single-threaded mode
270           if the limit cannot otherwise be met; xz failed instead. Now
271           xz can switch to single-threaded mode and then, if needed,
272           scale down the LZMA2 dictionary size too just like it already
273           did when it was started in single-threaded mode.
275         - The option --no-adjust no longer prevents xz from scaling down
276           the number of threads as that doesn't affect the compressed
277           output (only performance). Now --no-adjust only prevents
278           adjustments that affect compressed output, that is, with
279           --no-adjust xz won't switch from multi-threaded mode to
280           single-threaded mode and won't scale down the LZMA2
281           dictionary size.
283         - Added a new option --memlimit-mt-decompress=LIMIT. This is
284           used to limit the number of decompressor threads (possibly
285           falling back to single-threaded mode) but it will never make
286           xz refuse to decompress a file. This has a system-specific
287           default value because without any limit xz could end up
288           allocating memory for the whole compressed input file, the
289           whole uncompressed output file, multiple thread-specific
290           decompressor instances and so on. Basically xz could
291           attempt to use an insane amount of memory even with fairly
292           common files. The system-specific default value is currently
293           the same as the one used for compression with -T0.
295           The new option works together with the existing option
296           --memlimit-decompress=LIMIT. The old option sets a hard limit
297           that must not be exceeded (xz will refuse to decompress)
298           while the new option only restricts the number of threads.
299           If the limit set with --memlimit-mt-decompress is greater
300           than the limit set with --memlimit-compress, then the latter
301           value is used also for --memlimit-mt-decompress.
303         - Added new information to the output of xz --info-memory and
304           new fields to the output of xz --robot --info-memory.
306         - In --lzma2=nice=NUMBER allow 2 and 3 with all match finders
307           now that liblzma handles it.
309         - Don't mention endianness for ARM and ARM-Thumb filters in
310           --long-help. The filters only work for little endian
311           instruction encoding but modern ARM processors using
312           big endian data access still use little endian
313           instruction encoding. So the help text was misleading.
314           In contrast, the PowerPC filter is only for big endian
315           32/64-bit PowerPC code. Little endian PowerPC would need
316           a separate filter.
318         - Added decompression support for the .lz (lzip) file format
319           version 0 and the original unextended version 1. It is
320           autodetected by default. See also the option --format on
321           the xz man page.
323         - Sandboxing enabled by default:
324             * Capsicum (FreeBSD)
325             * pledge(2) (OpenBSD)
327     * Scripts now support the .lz format using xz.
329     * A few new tests were added.
331     * The liblzma-specific tests are now supported in CMake-based
332       builds too ("make test").
335 5.3.5beta (2022-12-01)
337     * All fixes from 5.2.9.
339     * liblzma:
341         - Added new LZMA_FILTER_LZMA1EXT for raw encoder and decoder to
342           handle raw LZMA1 streams that don't have end of payload marker
343           (EOPM) alias end of stream (EOS) marker. It can be used in
344           filter chains, for example, with the x86 BCJ filter.
346         - Added lzma_str_to_filters(), lzma_str_from_filters(), and
347           lzma_str_list_filters() to make it easier for applications
348           to get custom compression options from a user and convert
349           it to an array of lzma_filter structures.
351         - Added lzma_filters_free().
353         - lzma_filters_update() can now be used with the multi-threaded
354           encoder (lzma_stream_encoder_mt()) to change the filter chain
355           after LZMA_FULL_BARRIER or LZMA_FULL_FLUSH.
357         - In lzma_options_lzma, allow nice_len = 2 and 3 with the match
358           finders that require at least 3 or 4. Now it is internally
359           rounded up if needed.
361         - ARM64 filter was modified. It is still experimental.
363         - Fixed LTO build with Clang if -fgnuc-version=10 or similar
364           was used to make Clang look like GCC >= 10. Now it uses
365           __has_attribute(__symver__) which should be reliable.
367     * xz:
369         - --threads=+1 or -T+1 is now a way to put xz into multi-threaded
370           mode while using only one worker thread.
372         - In --lzma2=nice=NUMBER allow 2 and 3 with all match finders
373           now that liblzma handles it.
375     * Updated translations: Chinese (simplified), Korean, and Turkish.
378 5.3.4alpha (2022-11-15)
380     * All fixes from 5.2.7 and 5.2.8.
382     * liblzma:
384         - Minor improvements to the threaded decoder.
386         - Added CRC64 implementation that uses SSSE3, SSE4.1, and CLMUL
387           instructions on 32/64-bit x86 and E2K. On 32-bit x86 it's
388           not enabled unless --disable-assembler is used but then
389           the non-CLMUL code might be slower. Processor support is
390           detected at runtime so this is built by default on x86-64
391           and E2K. On these platforms, if compiler flags indicate
392           unconditional CLMUL support (-msse4.1 -mpclmul) then the
393           generic version is not built, making liblzma 8-9 KiB smaller
394           compared to having both versions included.
396           With extremely compressible files this can make decompression
397           up to twice as fast but with typical files 5 % improvement
398           is a more realistic expectation.
400           The CLMUL version is slower than the generic version with
401           tiny inputs (especially at 1-8 bytes per call, but up to
402           16 bytes). In normal use in xz this doesn't matter at all.
404         - Added an experimental ARM64 filter. This is *not* the final
405           version! Files created with this experimental version won't
406           be supported in the future versions! The filter design is
407           a compromise where improving one use case makes some other
408           cases worse.
410         - Added decompression support for the .lz (lzip) file format
411           version 0 and the original unextended version 1. See the
412           API docs of lzma_lzip_decoder() for details. Also
413           lzma_auto_decoder() supports .lz files.
415         - Building with --disable-threads --enable-small
416           is now thread-safe if the compiler supports
417           __attribute__((__constructor__))
419     * xz:
421         - Added support for OpenBSD's pledge(2) as a sandboxing method.
423         - Don't mention endianness for ARM and ARM-Thumb filters in
424           --long-help. The filters only work for little endian
425           instruction encoding but modern ARM processors using
426           big endian data access still use little endian
427           instruction encoding. So the help text was misleading.
428           In contrast, the PowerPC filter is only for big endian
429           32/64-bit PowerPC code. Little endian PowerPC would need
430           a separate filter.
432         - Added --experimental-arm64. This will be renamed once the
433           filter is finished. Files created with this experimental
434           filter will not be supported in the future!
436         - Added new fields to the output of xz --robot --info-memory.
438         - Added decompression support for the .lz (lzip) file format
439           version 0 and the original unextended version 1. It is
440           autodetected by default. See also the option --format on
441           the xz man page.
443     * Scripts now support the .lz format using xz.
445     * Build systems:
447         - New #defines in config.h: HAVE_ENCODER_ARM64,
448           HAVE_DECODER_ARM64, HAVE_LZIP_DECODER, HAVE_CPUID_H,
449           HAVE_FUNC_ATTRIBUTE_CONSTRUCTOR, HAVE_USABLE_CLMUL
451         - New configure options: --disable-clmul-crc,
452           --disable-microlzma, --disable-lzip-decoder, and
453           'pledge' is now an option in --enable-sandbox (but
454           it's autodetected by default anyway).
456         - INSTALL was updated to document the new configure options.
458         - PACKAGERS now lists also --disable-microlzma and
459           --disable-lzip-decoder as configure options that must
460           not be used in builds for non-embedded use.
462     * Tests:
464         - Fix some of the tests so that they skip instead of fail if
465           certain features have been disabled with configure options.
466           It's still not perfect.
468         - Other improvements to tests.
470     * Updated translations: Croatian, Finnish, Hungarian, Polish,
471       Romanian, Spanish, Swedish, and Ukrainian.
474 5.3.3alpha (2022-08-22)
476     * All fixes from 5.2.6.
478     * liblzma:
480         - Fixed 32-bit build.
482         - Added threaded .xz decompressor lzma_stream_decoder_mt().
483           It can use multiple threads with .xz files that have multiple
484           Blocks with size information in Block Headers. The threaded
485           encoder in xz has always created such files.
487           Single-threaded encoder cannot store the size information in
488           Block Headers even if one used LZMA_FULL_FLUSH to create
489           multiple Blocks, so this threaded decoder cannot use multiple
490           threads with such files.
492           If there are multiple Streams (concatenated .xz files), one
493           Stream will be decompressed completely before starting the
494           next Stream.
496         - A new decoder flag LZMA_FAIL_FAST was added. It makes the
497           threaded decompressor report errors soon instead of first
498           flushing all pending data before the error location.
500     * xz:
502         - Using -T0 (--threads=0) will now use multi-threaded encoder
503           even on a single-core system. This is to ensure that output
504           from the same xz binary is identical on both single-core and
505           multi-core systems.
507         - A default soft memory usage limit is now used for compression
508           when -T0 is used and no explicit limit has been specified.
509           This soft limit is used to restrict the number of threads
510           but if the limit is exceeded with even one thread then xz
511           will continue with one thread using the multi-threaded
512           encoder and this limit is ignored. If the number of threads
513           is specified manually then no default limit will be used;
514           this affects only -T0.
516           This change helps on systems that have very many cores and
517           using all of them for xz makes no sense. Previously xz -T0
518           could run out of memory on such systems because it attempted
519           to reserve memory for too many threads.
521           This also helps with 32-bit builds which don't have a large
522           amount of address space that would be required for many
523           threads. The default limit is 1400 MiB on all 32-bit
524           platforms with -T0.
526           Now xz -T0 should just work. It might use too few threads
527           in some cases but at least it shouldn't easily run out of
528           memory. It's possible that this will be tweaked before 5.4.0.
530         - Changes to --memlimit-compress and --no-adjust:
532           In single-threaded mode, --memlimit-compress can make xz
533           scale down the LZMA2 dictionary size to meet the memory usage
534           limit. This obviously affects the compressed output. However,
535           if xz was in threaded mode, --memlimit-compress could make xz
536           reduce the number of threads but it wouldn't make xz switch
537           from multi-threaded mode to single-threaded mode or scale
538           down the LZMA2 dictionary size. This seemed illogical.
540           Now --memlimit-compress can make xz switch to single-threaded
541           mode if one thread in multi-threaded mode uses too much
542           memory. If memory usage is still too high, then the LZMA2
543           dictionary size can be scaled down too.
545           The option --no-adjust was also changed so that it no longer
546           prevents xz from scaling down the number of threads as that
547           doesn't affect compressed output (only performance). After
548           this commit --no-adjust only prevents adjustments that affect
549           compressed output, that is, with --no-adjust xz won't switch
550           from multithreaded mode to single-threaded mode and won't
551           scale down the LZMA2 dictionary size.
553         - Added a new option --memlimit-mt-decompress=LIMIT. This is
554           used to limit the number of decompressor threads (possibly
555           falling back to single-threaded mode) but it will never make
556           xz refuse to decompress a file. This has a system-specific
557           default value because without any limit xz could end up
558           allocating memory for the whole compressed input file, the
559           whole uncompressed output file, multiple thread-specific
560           decompressor instances and so on. Basically xz could
561           attempt to use an insane amount of memory even with fairly
562           common files.
564           The new option works together with the existing option
565           --memlimit-decompress=LIMIT. The old option sets a hard limit
566           that must not be exceeded (xz will refuse to decompress)
567           while the new option only restricts the number of threads.
568           If the limit set with --memlimit-mt-decompress is greater
569           than the limit set with --memlimit-compress, then the latter
570           value is used also for --memlimit-mt-decompress.
572     * Tests:
574         - Added a few more tests.
576         - Added tests/code_coverage.sh to create a code coverage report
577           of the tests.
579     * Build systems:
581         - Automake's parallel test harness is now used to make tests
582           finish faster.
584         - Added the CMake files to the distribution tarball. These were
585           supposed to be in 5.2.5 already.
587         - Added liblzma tests to the CMake build.
589         - Windows: Fix building of liblzma.dll with the included
590           Visual Studio project files.
593 5.3.2alpha (2021-10-28)
595     This release was made on short notice so that recent erofs-utils can
596     be built with LZMA support without needing a snapshot from xz.git.
597     Thus many pending things were not included, not even updated
598     translations (which would need to be updated for the new --list
599     strings anyway).
601     * All fixes from 5.2.5.
603     * xz:
605         - When copying metadata from the source file to the destination
606           file, don't try to set the group (GID) if it is already set
607           correctly. This avoids a failure on OpenBSD (and possibly on
608           a few other OSes) where files may get created so that their
609           group doesn't belong to the user, and fchown(2) can fail even
610           if it needs to do nothing.
612         - The --keep option now accepts symlinks, hardlinks, and
613           setuid, setgid, and sticky files. Previously this required
614           using --force.
616         - Split the long strings used in --list and --info-memory modes
617           to make them much easier for translators.
619         - If built with sandbox support and enabling the sandbox fails,
620           xz will now immediately exit with exit status of 1. Previously
621           it would only display a warning if -vv was used.
623         - Cap --memlimit-compress to 2000 MiB on MIPS32 because on
624           MIPS32 userspace processes are limited to 2 GiB of address
625           space.
627     * liblzma:
629         - Added lzma_microlzma_encoder() and lzma_microlzma_decoder().
630           The API is in lzma/container.h.
632           The MicroLZMA format is a raw LZMA stream (without end marker)
633           whose first byte (always 0x00) has been replaced with
634           bitwise-negation of the LZMA properties (lc/lp/pb). It was
635           created for use in EROFS but may be used in other contexts
636           as well where it is important to avoid wasting bytes for
637           stream headers or footers. The format is also supported by
638           XZ Embedded.
640           The MicroLZMA encoder API in liblzma can compress into a
641           fixed-sized output buffer so that as much data is compressed
642           as can be fit into the buffer while still creating a valid
643           MicroLZMA stream. This is needed for EROFS.
645         - Added fuzzing support.
647         - Support Intel Control-flow Enforcement Technology (CET) in
648           32-bit x86 assembly files.
650         - Visual Studio: Use non-standard _MSVC_LANG to detect C++
651           standard version in the lzma.h API header. It's used to
652           detect when "noexcept" can be used.
654     * Scripts:
656         - Fix exit status of xzdiff/xzcmp. Exit status could be 2 when
657           the correct value is 1.
659         - Fix exit status of xzgrep.
661         - Detect corrupt .bz2 files in xzgrep.
663         - Add zstd support to xzgrep and xzdiff/xzcmp.
665         - Fix less(1) version detection in xzless. It failed if the
666           version number from "less -V" contained a dot.
668     * Fix typos and technical issues in man pages.
670     * Build systems:
672         - Windows: Fix building of resource files when config.h isn't
673           used. CMake + Visual Studio can now build liblzma.dll.
675         - Various fixes to the CMake support. It might still need a few
676           more fixes even for liblzma-only builds.
679 5.3.1alpha (2018-04-29)
681     * All fixes from 5.2.4.
683     * Add lzma_file_info_decoder() into liblzma and use it in xz to
684       implement the --list feature.
686     * Capsicum sandbox support is enabled by default where available
687       (FreeBSD >= 10).
690 5.2.12 (2023-05-04)
692     * Fixed a build system bug that prevented building liblzma as a
693       shared library when configured with --disable-threads. This bug
694       affected releases 5.2.6 to 5.2.11 and 5.4.0 to 5.4.2.
696     * Include <intrin.h> for Windows intrinsic functions where they are
697       needed. This fixed a bug that prevented building liblzma using
698       clang-cl on Windows.
700     * Minor update to the Croatian translation. The small change
701       applies to a string in both 5.2 and 5.4 branches.
704 5.2.11 (2023-03-18)
706     * Removed all possible cases of null pointer + 0. It is undefined
707       behavior in C99 and C17. This was detected by a sanitizer and had
708       not caused any known issues.
710     * Build systems:
712         - Added a workaround for building with GCC on MicroBlaze Linux.
713           GCC 12 on MicroBlaze doesn't support the __symver__ attribute
714           even though __has_attribute(__symver__) returns true. The
715           build is now done without the extra RHEL/CentOS 7 symbols
716           that were added in XZ Utils 5.2.7. The workaround only
717           applies to the Autotools build (not CMake).
719         - CMake: Ensure that the C compiler language is set to C99 or
720           a newer standard.
722         - CMake changes from XZ Utils 5.4.1:
724             * Added a workaround for a build failure with
725               windres from GNU binutils.
727             * Included the Windows resource files in the xz
728               and xzdec build rules.
731 5.2.10 (2022-12-13)
733     * xz: Don't modify argv[] when parsing the --memlimit* and
734       --block-list command line options. This fixes confusing
735       arguments in process listing (like "ps auxf").
737     * GNU/Linux only: Use __has_attribute(__symver__) to detect if
738       that attribute is supported. This fixes build on Mandriva where
739       Clang is patched to define __GNUC__ to 11 by default (instead
740       of 4 as used by Clang upstream).
743 5.2.9 (2022-11-30)
745     * liblzma:
747         - Fixed an infinite loop in LZMA encoder initialization
748           if dict_size >= 2 GiB. (The encoder only supports up
749           to 1536 MiB.)
751         - Fixed two cases of invalid free() that can happen if
752           a tiny allocation fails in encoder re-initialization
753           or in lzma_filters_update(). These bugs had some
754           similarities with the bug fixed in 5.2.7.
756         - Fixed lzma_block_encoder() not allowing the use of
757           LZMA_SYNC_FLUSH with lzma_code() even though it was
758           documented to be supported. The sync-flush code in
759           the Block encoder was already used internally via
760           lzma_stream_encoder(), so this was just a missing flag
761           in the lzma_block_encoder() API function.
763         - GNU/Linux only: Don't put symbol versions into static
764           liblzma as it breaks things in some cases (and even if
765           it didn't break anything, symbol versions in static
766           libraries are useless anyway). The downside of the fix
767           is that if the configure options --with-pic or --without-pic
768           are used then it's not possible to build both shared and
769           static liblzma at the same time on GNU/Linux anymore;
770           with those options --disable-static or --disable-shared
771           must be used too.
773     * New email address for bug reports is <xz@tukaani.org> which
774       forwards messages to Lasse Collin and Jia Tan.
777 5.2.8 (2022-11-13)
779     * xz:
781         - If xz cannot remove an input file when it should, this
782           is now treated as a warning (exit status 2) instead of
783           an error (exit status 1). This matches GNU gzip and it
784           is more logical as at that point the output file has
785           already been successfully closed.
787         - Fix handling of .xz files with an unsupported check type.
788           Previously such printed a warning message but then xz
789           behaved as if an error had occurred (didn't decompress,
790           exit status 1). Now a warning is printed, decompression
791           is done anyway, and exit status is 2. This used to work
792           slightly before 5.0.0. In practice this bug matters only
793           if xz has been built with some check types disabled. As
794           instructed in PACKAGERS, such builds should be done in
795           special situations only.
797         - Fix "xz -dc --single-stream tests/files/good-0-empty.xz"
798           which failed with "Internal error (bug)". That is,
799           --single-stream was broken if the first .xz stream in
800           the input file didn't contain any uncompressed data.
802         - Fix displaying file sizes in the progress indicator when
803           working in passthru mode and there are multiple input files.
804           Just like "gzip -cdf", "xz -cdf" works like "cat" when the
805           input file isn't a supported compressed file format. In
806           this case the file size counters weren't reset between
807           files so with multiple input files the progress indicator
808           displayed an incorrect (too large) value.
810     * liblzma:
812         - API docs in lzma/container.h:
813             * Update the list of decoder flags in the decoder
814               function docs.
815             * Explain LZMA_CONCATENATED behavior with .lzma files
816               in lzma_auto_decoder() docs.
818         - OpenBSD: Use HW_NCPUONLINE to detect the number of
819           available hardware threads in lzma_physmem().
821         - Fix use of wrong macro to detect x86 SSE2 support.
822           __SSE2_MATH__ was used with GCC/Clang but the correct
823           one is __SSE2__. The first one means that SSE2 is used
824           for floating point math which is irrelevant here.
825           The affected SSE2 code isn't used on x86-64 so this affects
826           only 32-bit x86 builds that use -msse2 without -mfpmath=sse
827           (there is no runtime detection for SSE2). It improves LZMA
828           compression speed (not decompression).
830         - Fix the build with Intel C compiler 2021 (ICC, not ICX)
831           on Linux. It defines __GNUC__ to 10 but doesn't support
832           the __symver__ attribute introduced in GCC 10.
834     * Scripts: Ignore warnings from xz by using --quiet --no-warn.
835       This is needed if the input .xz files use an unsupported
836       check type.
838     * Translations:
840         - Updated Croatian and Turkish translations.
842         - One new translations wasn't included because it needed
843           technical fixes. It will be in upcoming 5.4.0. No new
844           translations will be added to the 5.2.x branch anymore.
846         - Renamed the French man page translation file from
847           fr_FR.po to fr.po and thus also its install directory
848           (like /usr/share/man/fr_FR -> .../fr).
850         - Man page translations for upcoming 5.4.0 are now handled
851           in the Translation Project.
853     * Update doc/faq.txt a little so it's less out-of-date.
856 5.2.7 (2022-09-30)
858     * liblzma:
860         - Made lzma_filters_copy() to never modify the destination
861           array if an error occurs. lzma_stream_encoder() and
862           lzma_stream_encoder_mt() already assumed this. Before this
863           change, if a tiny memory allocation in lzma_filters_copy()
864           failed it would lead to a crash (invalid free() or invalid
865           memory reads) in the cleanup paths of these two encoder
866           initialization functions.
868         - Added missing integer overflow check to lzma_index_append().
869           This affects xz --list and other applications that decode
870           the Index field from .xz files using lzma_index_decoder().
871           Normal decompression of .xz files doesn't call this code
872           and thus most applications using liblzma aren't affected
873           by this bug.
875         - Single-threaded .xz decoder (lzma_stream_decoder()): If
876           lzma_code() returns LZMA_MEMLIMIT_ERROR it is now possible
877           to use lzma_memlimit_set() to increase the limit and continue
878           decoding. This was supposed to work from the beginning
879           but there was a bug. With other decoders (.lzma or
880           threaded .xz decoder) this already worked correctly.
882         - Fixed accumulation of integrity check type statistics in
883           lzma_index_cat(). This bug made lzma_index_checks() return
884           only the type of the integrity check of the last Stream
885           when multiple lzma_indexes were concatenated. Most
886           applications don't use these APIs but in xz it made
887           xz --list not list all check types from concatenated .xz
888           files. In xz --list --verbose only the per-file "Check:"
889           lines were affected and in xz --robot --list only the "file"
890           line was affected.
892         - Added ABI compatibility with executables that were linked
893           against liblzma in RHEL/CentOS 7 or other liblzma builds
894           that had copied the problematic patch from RHEL/CentOS 7
895           (xz-5.2.2-compat-libs.patch). For the details, see the
896           comment at the top of src/liblzma/validate_map.sh.
898           WARNING: This uses __symver__ attribute with GCC >= 10.
899           In other cases the traditional __asm__(".symver ...")
900           is used. Using link-time optimization (LTO, -flto) with
901           GCC versions older than 10 can silently result in
902           broken liblzma.so.5 (incorrect symbol versions)! If you
903           want to use -flto with GCC, you must use GCC >= 10.
904           LTO with Clang seems to work even with the traditional
905           __asm__(".symver ...") method.
907     * xzgrep: Fixed compatibility with old shells that break if
908       comments inside command substitutions have apostrophes (').
909       This problem was introduced in 5.2.6.
911     * Build systems:
913         - New #define in config.h: HAVE_SYMBOL_VERSIONS_LINUX
915         - Windows: Fixed liblzma.dll build with Visual Studio project
916           files. It broke in 5.2.6 due to a change that was made to
917           improve CMake support.
919         - Windows: Building liblzma with UNICODE defined should now
920           work.
922         - CMake files are now actually included in the release tarball.
923           They should have been in 5.2.5 already.
925         - Minor CMake fixes and improvements.
927     * Added a new translation: Turkish
930 5.2.6 (2022-08-12)
932     * xz:
934         - The --keep option now accepts symlinks, hardlinks, and
935           setuid, setgid, and sticky files. Previously this required
936           using --force.
938         - When copying metadata from the source file to the destination
939           file, don't try to set the group (GID) if it is already set
940           correctly. This avoids a failure on OpenBSD (and possibly on
941           a few other OSes) where files may get created so that their
942           group doesn't belong to the user, and fchown(2) can fail even
943           if it needs to do nothing.
945         - Cap --memlimit-compress to 2000 MiB instead of 4020 MiB on
946           MIPS32 because on MIPS32 userspace processes are limited
947           to 2 GiB of address space.
949     * liblzma:
951         - Fixed a missing error-check in the threaded encoder. If a
952           small memory allocation fails, a .xz file with an invalid
953           Index field would be created. Decompressing such a file would
954           produce the correct output but result in an error at the end.
955           Thus this is a "mild" data corruption bug. Note that while
956           a failed memory allocation can trigger the bug, it cannot
957           cause invalid memory access.
959         - The decoder for .lzma files now supports files that have
960           uncompressed size stored in the header and still use the
961           end of payload marker (end of stream marker) at the end
962           of the LZMA stream. Such files are rare but, according to
963           the documentation in LZMA SDK, they are valid.
964           doc/lzma-file-format.txt was updated too.
966         - Improved 32-bit x86 assembly files:
967             * Support Intel Control-flow Enforcement Technology (CET)
968             * Use non-executable stack on FreeBSD.
970         - Visual Studio: Use non-standard _MSVC_LANG to detect C++
971           standard version in the lzma.h API header. It's used to
972           detect when "noexcept" can be used.
974     * xzgrep:
976         - Fixed arbitrary command injection via a malicious filename
977           (CVE-2022-1271, ZDI-CAN-16587). A standalone patch for
978           this was released to the public on 2022-04-07. A slight
979           robustness improvement has been made since then and, if
980           using GNU or *BSD grep, a new faster method is now used
981           that doesn't use the old sed-based construct at all. This
982           also fixes bad output with GNU grep >= 3.5 (2020-09-27)
983           when xzgrepping binary files.
985           This vulnerability was discovered by:
986           cleemy desu wayo working with Trend Micro Zero Day Initiative
988         - Fixed detection of corrupt .bz2 files.
990         - Improved error handling to fix exit status in some situations
991           and to fix handling of signals: in some situations a signal
992           didn't make xzgrep exit when it clearly should have. It's
993           possible that the signal handling still isn't quite perfect
994           but hopefully it's good enough.
996         - Documented exit statuses on the man page.
998         - xzegrep and xzfgrep now use "grep -E" and "grep -F" instead
999           of the deprecated egrep and fgrep commands.
1001         - Fixed parsing of the options -E, -F, -G, -P, and -X. The
1002           problem occurred when multiple options were specied in
1003           a single argument, for example,
1005               echo foo | xzgrep -Fe foo
1007           treated foo as a filename because -Fe wasn't correctly
1008           split into -F -e.
1010         - Added zstd support.
1012     * xzdiff/xzcmp:
1014         - Fixed wrong exit status. Exit status could be 2 when the
1015           correct value is 1.
1017         - Documented on the man page that exit status of 2 is used
1018           for decompression errors.
1020         - Added zstd support.
1022     * xzless:
1024         - Fix less(1) version detection. It failed if the version number
1025           from "less -V" contained a dot.
1027     * Translations:
1029         - Added new translations: Catalan, Croatian, Esperanto,
1030           Korean, Portuguese, Romanian, Serbian, Spanish, Swedish,
1031           and Ukrainian
1033         - Updated the Brazilian Portuguese translation.
1035         - Added French man page translation. This and the existing
1036           German translation aren't complete anymore because the
1037           English man pages got a few updates and the translators
1038           weren't reached so that they could update their work.
1040     * Build systems:
1042         - Windows: Fix building of resource files when config.h isn't
1043           used. CMake + Visual Studio can now build liblzma.dll.
1045         - Various fixes to the CMake support. Building static or shared
1046           liblzma should work fine in most cases. In contrast, building
1047           the command line tools with CMake is still clearly incomplete
1048           and experimental and should be used for testing only.
1051 5.2.5 (2020-03-17)
1053     * liblzma:
1055         - Fixed several C99/C11 conformance bugs. Now the code is clean
1056           under gcc/clang -fsanitize=undefined. Some of these changes
1057           might have a negative effect on performance with old GCC
1058           versions or compilers other than GCC and Clang. The configure
1059           option --enable-unsafe-type-punning can be used to (mostly)
1060           restore the old behavior but it shouldn't normally be used.
1062         - Improved API documentation of lzma_properties_decode().
1064         - Added a very minor encoder speed optimization.
1066     * xz:
1068         - Fixed a crash in "xz -dcfv not_an_xz_file". All four options
1069           were required to trigger it. The crash occurred in the
1070           progress indicator code when xz was in passthru mode where
1071           xz works like "cat".
1073         - Fixed an integer overflow with 32-bit off_t. It could happen
1074           when decompressing a file that has a long run of zero bytes
1075           which xz would try to write as a sparse file. Since the build
1076           system enables large file support by default, off_t is
1077           normally 64-bit even on 32-bit systems.
1079         - Fixes for --flush-timeout:
1080             * Fix semi-busy-waiting.
1081             * Avoid unneeded flushes when no new input has arrived
1082               since the previous flush was completed.
1084         - Added a special case for 32-bit xz: If --memlimit-compress is
1085           used to specify a limit that exceeds 4020 MiB, the limit will
1086           be set to 4020 MiB. The values "0" and "max" aren't affected
1087           by this and neither is decompression. This hack can be
1088           helpful when a 32-bit xz has access to 4 GiB address space
1089           but the specified memlimit exceeds 4 GiB. This can happen
1090           e.g. with some scripts.
1092         - Capsicum sandbox is now enabled by default where available
1093           (FreeBSD >= 10). The sandbox debug messages (xz -vv) were
1094           removed since they seemed to be more annoying than useful.
1096         - DOS build now requires DJGPP 2.05 instead of 2.04beta.
1097           A workaround for a locale problem with DJGPP 2.05 was added.
1099     * xzgrep and other scripts:
1101         - Added a configure option --enable-path-for-scripts=PREFIX.
1102           It is disabled by default except on Solaris where the default
1103           is /usr/xpg4/bin. See INSTALL for details.
1105         - Added a workaround for a POSIX shell detection problem on
1106           Solaris.
1108     * Build systems:
1110         - Added preliminary build instructions for z/OS. See INSTALL
1111           section 1.2.9.
1113         - Experimental CMake support was added. It should work to build
1114           static liblzma on a few operating systems. It may or may not
1115           work to build shared liblzma. On some platforms it can build
1116           xz and xzdec too but those are only for testing. See the
1117           comment in the beginning of CMakeLists.txt for details.
1119         - Visual Studio project files were updated.
1120           WindowsTargetPlatformVersion was removed from VS2017 files
1121           and set to "10.0" in the added VS2019 files. In the future
1122           the VS project files will be removed when CMake support is
1123           good enough.
1125         - New #defines in config.h: HAVE___BUILTIN_ASSUME_ALIGNED,
1126           HAVE___BUILTIN_BSWAPXX, and TUKLIB_USE_UNSAFE_TYPE_PUNNING.
1128         - autogen.sh has a new optional dependency on po4a and a new
1129           option --no-po4a to skip that step. This matters only if one
1130           wants to remake the build files. po4a is used to update the
1131           translated man pages but as long as the man pages haven't
1132           been modified, there's nothing to update and one can use
1133           --no-po4a to avoid the dependency on po4a.
1135     * Translations:
1137         - XZ Utils translations are now handled by the Translation
1138           Project: https://translationproject.org/domain/xz.html
1140         - All man pages are now included in German too.
1142         - New xz translations: Brazilian Portuguese, Finnish,
1143           Hungarian, Chinese (simplified), Chinese (traditional),
1144           and Danish (partial translation)
1146         - Updated xz translations: French, German, Italian, and Polish
1148         - Unfortunately a few new xz translations weren't included due
1149           to technical problems like too long lines in --help output or
1150           misaligned column headings in tables. In the future, many of
1151           these strings will be split and e.g. the table column
1152           alignment will be handled in software. This should make the
1153           strings easier to translate.
1156 5.2.4 (2018-04-29)
1158     * liblzma:
1160         - Allow 0 as memory usage limit instead of returning
1161           LZMA_PROG_ERROR. Now 0 is treated as if 1 byte was specified,
1162           which effectively is the same as 0.
1164         - Use "noexcept" keyword instead of "throw()" in the public
1165           headers when a C++11 (or newer standard) compiler is used.
1167         - Added a portability fix for recent Intel C Compilers.
1169         - Microsoft Visual Studio build files have been moved under
1170           windows/vs2013 and windows/vs2017.
1172     * xz:
1174         - Fix "xz --list --robot missing_or_bad_file.xz" which would
1175           try to print an uninitialized string and thus produce garbage
1176           output. Since the exit status is non-zero, most uses of such
1177           a command won't try to interpret the garbage output.
1179         - "xz --list foo.xz" could print "Internal error (bug)" in a
1180           corner case where a specific memory usage limit had been set.
1183 5.2.3 (2016-12-30)
1185     * xz:
1187         - Always close a file before trying to delete it to avoid
1188           problems on some operating system and file system combinations.
1190         - Fixed copying of file timestamps on Windows.
1192         - Added experimental (disabled by default) sandbox support using
1193           Capsicum (FreeBSD >= 10). See --enable-sandbox in INSTALL.
1195     * C99/C11 conformance fixes to liblzma. The issues affected at least
1196       some builds using link-time optimizations.
1198     * Fixed bugs in the rarely-used function lzma_index_dup().
1200     * Use of external SHA-256 code is now disabled by default.
1201       It can still be enabled by passing --enable-external-sha256
1202       to configure. The reasons to disable it by default (see INSTALL
1203       for more details):
1205         - Some OS-specific SHA-256 implementations conflict with
1206           OpenSSL and cause problems in programs that link against both
1207           liblzma and libcrypto. At least FreeBSD 10 and MINIX 3.3.0
1208           are affected.
1210         - The internal SHA-256 is faster than the SHA-256 code in
1211           some operating systems.
1213     * Changed CPU core count detection to use sched_getaffinity() on
1214       GNU/Linux and GNU/kFreeBSD.
1216     * Fixes to the build-system and xz to make xz buildable even when
1217       encoders, decoders, or threading have been disabled from libilzma
1218       using configure options. These fixes added two new #defines to
1219       config.h: HAVE_ENCODERS and HAVE_DECODERS.
1222 5.2.2 (2015-09-29)
1224     * Fixed bugs in QNX-specific code.
1226     * Omitted the use of pipe2() even if it is available to avoid
1227       portability issues with some old Linux and glibc combinations.
1229     * Updated German translation.
1231     * Added project files to build static and shared liblzma (not the
1232       whole XZ Utils) with Visual Studio 2013 update 2 or later.
1234     * Documented that threaded decompression hasn't been implemented
1235       yet. A 5.2.0 NEWS entry describing multi-threading support had
1236       incorrectly said "decompression" when it should have said
1237       "compression".
1240 5.2.1 (2015-02-26)
1242     * Fixed a compression-ratio regression in fast mode of LZMA1 and
1243       LZMA2. The bug is present in 5.1.4beta and 5.2.0 releases.
1245     * Fixed a portability problem in xz that affected at least OpenBSD.
1247     * Fixed xzdiff to be compatible with FreeBSD's mktemp which differs
1248       from most other mktemp implementations.
1250     * Changed CPU core count detection to use cpuset_getaffinity() on
1251       FreeBSD.
1254 5.2.0 (2014-12-21)
1256     Since 5.1.4beta:
1258     * All fixes from 5.0.8
1260     * liblzma: Fixed lzma_stream_encoder_mt_memusage() when a preset
1261       was used.
1263     * xzdiff: If mktemp isn't installed, mkdir will be used as
1264       a fallback to create a temporary directory. Installing mktemp
1265       is still recommended.
1267     * Updated French, German, Italian, Polish, and Vietnamese
1268       translations.
1270     Summary of fixes and new features added in the 5.1.x development
1271     releases:
1273     * liblzma:
1275         - Added support for multi-threaded compression. See the
1276           lzma_mt structure, lzma_stream_encoder_mt(), and
1277           lzma_stream_encoder_mt_memusage() in <lzma/container.h>,
1278           lzma_get_progress() in <lzma/base.h>, and lzma_cputhreads()
1279           in <lzma/hardware.h> for details.
1281         - Made the uses of lzma_allocator const correct.
1283         - Added lzma_block_uncomp_encode() to create uncompressed
1284           .xz Blocks using LZMA2 uncompressed chunks.
1286         - Added support for LZMA_IGNORE_CHECK.
1288         - A few speed optimizations were made.
1290         - Added support for symbol versioning. It is enabled by default
1291           on GNU/Linux, other GNU-based systems, and FreeBSD.
1293         - liblzma (not the whole XZ Utils) should now be buildable
1294           with MSVC 2013 update 2 or later using windows/config.h.
1296     * xz:
1298         - Fixed a race condition in the signal handling. It was
1299           possible that e.g. the first SIGINT didn't make xz exit
1300           if reading or writing blocked and one had bad luck. The fix
1301           is non-trivial, so as of writing it is unknown if it will be
1302           backported to the v5.0 branch.
1304         - Multi-threaded compression can be enabled with the
1305           --threads (-T) option.
1306           [Fixed: This originally said "decompression".]
1308         - New command line options in xz: --single-stream,
1309           --block-size=SIZE, --block-list=SIZES,
1310           --flush-timeout=TIMEOUT, and --ignore-check.
1312         - xz -lvv now shows the minimum xz version that is required to
1313           decompress the file. Currently it is 5.0.0 for all supported
1314           .xz files except files with empty LZMA2 streams require 5.0.2.
1316     * xzdiff and xzgrep now support .lzo files if lzop is installed.
1317       The .tzo suffix is also recognized as a shorthand for .tar.lzo.
1320 5.1.4beta (2014-09-14)
1322     * All fixes from 5.0.6
1324     * liblzma: Fixed the use of presets in threaded encoder
1325       initialization.
1327     * xz --block-list and --block-size can now be used together
1328       in single-threaded mode. Previously the combination only
1329       worked in multi-threaded mode.
1331     * Added support for LZMA_IGNORE_CHECK to liblzma and made it
1332       available in xz as --ignore-check.
1334     * liblzma speed optimizations:
1336         - Initialization of a new LZMA1 or LZMA2 encoder has been
1337           optimized. (The speed of reinitializing an already-allocated
1338           encoder isn't affected.) This helps when compressing many
1339           small buffers with lzma_stream_buffer_encode() and other
1340           similar situations where an already-allocated encoder state
1341           isn't reused. This speed-up is visible in xz too if one
1342           compresses many small files one at a time instead running xz
1343           once and giving all files as command-line arguments.
1345         - Buffer comparisons are now much faster when unaligned access
1346           is allowed (configured with --enable-unaligned-access). This
1347           speeds up encoding significantly. There is arch-specific code
1348           for 32-bit and 64-bit x86 (32-bit needs SSE2 for the best
1349           results and there's no run-time CPU detection for now).
1350           For other archs there is only generic code which probably
1351           isn't as optimal as arch-specific solutions could be.
1353         - A few speed optimizations were made to the SHA-256 code.
1354           (Note that the builtin SHA-256 code isn't used on all
1355           operating systems.)
1357     * liblzma can now be built with MSVC 2013 update 2 or later
1358       using windows/config.h.
1360     * Vietnamese translation was added.
1363 5.1.3alpha (2013-10-26)
1365     * All fixes from 5.0.5
1367     * liblzma:
1369         - Fixed a deadlock in the threaded encoder.
1371         - Made the uses of lzma_allocator const correct.
1373         - Added lzma_block_uncomp_encode() to create uncompressed
1374           .xz Blocks using LZMA2 uncompressed chunks.
1376         - Added support for native threads on Windows and the ability
1377           to detect the number of CPU cores.
1379     * xz:
1381         - Fixed a race condition in the signal handling. It was
1382           possible that e.g. the first SIGINT didn't make xz exit
1383           if reading or writing blocked and one had bad luck. The fix
1384           is non-trivial, so as of writing it is unknown if it will be
1385           backported to the v5.0 branch.
1387         - Made the progress indicator work correctly in threaded mode.
1389         - Threaded encoder now works together with --block-list=SIZES.
1391         - Added preliminary support for --flush-timeout=TIMEOUT.
1392           It can be useful for (somewhat) real-time streaming. For
1393           now the decompression side has to be done with something
1394           else than the xz tool due to how xz does buffering, but this
1395           should be fixed.
1398 5.1.2alpha (2012-07-04)
1400     * All fixes from 5.0.3 and 5.0.4
1402     * liblzma:
1404         - Fixed a deadlock and an invalid free() in the threaded encoder.
1406         - Added support for symbol versioning. It is enabled by default
1407           on GNU/Linux, other GNU-based systems, and FreeBSD.
1409         - Use SHA-256 implementation from the operating system if one is
1410           available in libc, libmd, or libutil. liblzma won't use e.g.
1411           OpenSSL or libgcrypt to avoid introducing new dependencies.
1413         - Fixed liblzma.pc for static linking.
1415         - Fixed a few portability bugs.
1417     * xz --decompress --single-stream now fixes the input position after
1418       successful decompression. Now the following works:
1420           echo foo | xz > foo.xz
1421           echo bar | xz >> foo.xz
1422           ( xz -dc --single-stream ; xz -dc --single-stream ) < foo.xz
1424       Note that it doesn't work if the input is not seekable
1425       or if there is Stream Padding between the concatenated
1426       .xz Streams.
1428     * xz -lvv now shows the minimum xz version that is required to
1429       decompress the file. Currently it is 5.0.0 for all supported .xz
1430       files except files with empty LZMA2 streams require 5.0.2.
1432     * Added an *incomplete* implementation of --block-list=SIZES to xz.
1433       It only works correctly in single-threaded mode and when
1434       --block-size isn't used at the same time. --block-list allows
1435       specifying the sizes of Blocks which can be useful e.g. when
1436       creating files for random-access reading.
1439 5.1.1alpha (2011-04-12)
1441     * All fixes from 5.0.2
1443     * liblzma fixes that will also be included in 5.0.3:
1445         - A memory leak was fixed.
1447         - lzma_stream_buffer_encode() no longer creates an empty .xz
1448           Block if encoding an empty buffer. Such an empty Block with
1449           LZMA2 data would trigger a bug in 5.0.1 and older (see the
1450           first bullet point in 5.0.2 notes). When releasing 5.0.2,
1451           I thought that no encoder creates this kind of files but
1452           I was wrong.
1454         - Validate function arguments better in a few functions. Most
1455           importantly, specifying an unsupported integrity check to
1456           lzma_stream_buffer_encode() no longer creates a corrupt .xz
1457           file. Probably no application tries to do that, so this
1458           shouldn't be a big problem in practice.
1460         - Document that lzma_block_buffer_encode(),
1461           lzma_easy_buffer_encode(), lzma_stream_encoder(), and
1462           lzma_stream_buffer_encode() may return LZMA_UNSUPPORTED_CHECK.
1464         - The return values of the _memusage() functions are now
1465           documented better.
1467     * Support for multithreaded compression was added using the simplest
1468       method, which splits the input data into blocks and compresses
1469       them independently. Other methods will be added in the future.
1470       The current method has room for improvement, e.g. it is possible
1471       to reduce the memory usage.
1473     * Added the options --single-stream and --block-size=SIZE to xz.
1475     * xzdiff and xzgrep now support .lzo files if lzop is installed.
1476       The .tzo suffix is also recognized as a shorthand for .tar.lzo.
1478     * Support for short 8.3 filenames under DOS was added to xz. It is
1479       experimental and may change before it gets into a stable release.
1482 5.0.8 (2014-12-21)
1484     * Fixed an old bug in xzgrep that affected OpenBSD and probably
1485       a few other operating systems too.
1487     * Updated French and German translations.
1489     * Added support for detecting the amount of RAM on AmigaOS/AROS.
1491     * Minor build system updates.
1494 5.0.7 (2014-09-20)
1496     * Fix regressions introduced in 5.0.6:
1498         - Fix building with non-GNU make.
1500         - Fix invalid Libs.private value in liblzma.pc which broke
1501           static linking against liblzma if the linker flags were
1502           taken from pkg-config.
1505 5.0.6 (2014-09-14)
1507     * xzgrep now exits with status 0 if at least one file matched.
1509     * A few minor portability and build system fixes
1512 5.0.5 (2013-06-30)
1514     * lzmadec and liblzma's lzma_alone_decoder(): Support decompressing
1515       .lzma files that have less common settings in the headers
1516       (dictionary size other than 2^n or 2^n + 2^(n-1), or uncompressed
1517       size greater than 256 GiB). The limitations existed to avoid false
1518       positives when detecting .lzma files. The lc + lp <= 4 limitation
1519       still remains since liblzma's LZMA decoder has that limitation.
1521       NOTE: xz's .lzma support or liblzma's lzma_auto_decoder() are NOT
1522       affected by this change. They still consider uncommon .lzma headers
1523       as not being in the .lzma format. Changing this would give way too
1524       many false positives.
1526     * xz:
1528         - Interaction of preset and custom filter chain options was
1529           made less illogical. This affects only certain less typical
1530           uses cases so few people are expected to notice this change.
1532           Now when a custom filter chain option (e.g. --lzma2) is
1533           specified, all preset options (-0 ... -9, -e) earlier are on
1534           the command line are completely forgotten. Similarly, when
1535           a preset option is specified, all custom filter chain options
1536           earlier on the command line are completely forgotten.
1538           Example 1: "xz -9 --lzma2=preset=5 -e" is equivalent to "xz -e"
1539           which is equivalent to "xz -6e". Earlier -e didn't put xz back
1540           into preset mode and thus the example command was equivalent
1541           to "xz --lzma2=preset=5".
1543           Example 2: "xz -9e --lzma2=preset=5 -7" is equivalent to
1544           "xz -7". Earlier a custom filter chain option didn't make
1545           xz forget the -e option so the example was equivalent to
1546           "xz -7e".
1548         - Fixes and improvements to error handling.
1550         - Various fixes to the man page.
1552     * xzless: Fixed to work with "less" versions 448 and later.
1554     * xzgrep: Made -h an alias for --no-filename.
1556     * Include the previously missing debug/translation.bash which can
1557       be useful for translators.
1559     * Include a build script for Mac OS X. This has been in the Git
1560       repository since 2010 but due to a mistake in Makefile.am the
1561       script hasn't been included in a release tarball before.
1564 5.0.4 (2012-06-22)
1566     * liblzma:
1568         - Fix lzma_index_init(). It could crash if memory allocation
1569           failed.
1571         - Fix the possibility of an incorrect LZMA_BUF_ERROR when a BCJ
1572           filter is used and the application only provides exactly as
1573           much output space as is the uncompressed size of the file.
1575         - Fix a bug in doc/examples_old/xz_pipe_decompress.c. It didn't
1576           check if the last call to lzma_code() really returned
1577           LZMA_STREAM_END, which made the program think that truncated
1578           files are valid.
1580         - New example programs in doc/examples (old programs are now in
1581           doc/examples_old). These have more comments and more detailed
1582           error handling.
1584     * Fix "xz -lvv foo.xz". It could crash on some corrupted files.
1586     * Fix output of "xz --robot -lv" and "xz --robot -lvv" which
1587       incorrectly printed the filename also in the "foo (x/x)" format.
1589     * Fix exit status of "xzdiff foo.xz bar.xz".
1591     * Fix exit status of "xzgrep foo binary_file".
1593     * Fix portability to EBCDIC systems.
1595     * Fix a configure issue on AIX with the XL C compiler. See INSTALL
1596       for details.
1598     * Update French, German, Italian, and Polish translations.
1601 5.0.3 (2011-05-21)
1603     * liblzma fixes:
1605         - A memory leak was fixed.
1607         - lzma_stream_buffer_encode() no longer creates an empty .xz
1608           Block if encoding an empty buffer. Such an empty Block with
1609           LZMA2 data would trigger a bug in 5.0.1 and older (see the
1610           first bullet point in 5.0.2 notes). When releasing 5.0.2,
1611           I thought that no encoder creates this kind of files but
1612           I was wrong.
1614         - Validate function arguments better in a few functions. Most
1615           importantly, specifying an unsupported integrity check to
1616           lzma_stream_buffer_encode() no longer creates a corrupt .xz
1617           file. Probably no application tries to do that, so this
1618           shouldn't be a big problem in practice.
1620         - Document that lzma_block_buffer_encode(),
1621           lzma_easy_buffer_encode(), lzma_stream_encoder(), and
1622           lzma_stream_buffer_encode() may return LZMA_UNSUPPORTED_CHECK.
1624         - The return values of the _memusage() functions are now
1625           documented better.
1627     * Fix command name detection in xzgrep. xzegrep and xzfgrep now
1628       correctly use egrep and fgrep instead of grep.
1630     * French translation was added.
1633 5.0.2 (2011-04-01)
1635     * LZMA2 decompressor now correctly accepts LZMA2 streams with no
1636       uncompressed data. Previously it considered them corrupt. The
1637       bug can affect applications that use raw LZMA2 streams. It is
1638       very unlikely to affect .xz files because no compressor creates
1639       .xz files with empty LZMA2 streams. (Empty .xz files are a
1640       different thing than empty LZMA2 streams.)
1642     * "xz --suffix=.foo filename.foo" now refuses to compress the
1643       file due to it already having the suffix .foo. It was already
1644       documented on the man page, but the code lacked the test.
1646     * "xzgrep -l foo bar.xz" works now.
1648     * Polish translation was added.
1651 5.0.1 (2011-01-29)
1653     * xz --force now (de)compresses files that have setuid, setgid,
1654       or sticky bit set and files that have multiple hard links.
1655       The man page had it documented this way already, but the code
1656       had a bug.
1658     * gzip and bzip2 support in xzdiff was fixed.
1660     * Portability fixes
1662     * Minor fix to Czech translation
1665 5.0.0 (2010-10-23)
1667     Only the most important changes compared to 4.999.9beta are listed
1668     here. One change is especially important:
1670       * The memory usage limit is now disabled by default. Some scripts
1671         written before this change may have used --memory=max on xz command
1672         line or in XZ_OPT. THESE USES OF --memory=max SHOULD BE REMOVED
1673         NOW, because they interfere with user's ability to set the memory
1674         usage limit himself. If user-specified limit causes problems to
1675         your script, blame the user.
1677     Other significant changes:
1679       * Added support for XZ_DEFAULTS environment variable. This variable
1680         allows users to set default options for xz, e.g. default memory
1681         usage limit or default compression level. Scripts that use xz
1682         must never set or unset XZ_DEFAULTS. Scripts should use XZ_OPT
1683         instead if they need a way to pass options to xz via an
1684         environment variable.
1686       * The compression settings associated with the preset levels
1687         -0 ... -9 have been changed. --extreme was changed a little too.
1688         It is now less likely to make compression worse, but with some
1689         files the new --extreme may compress slightly worse than the old
1690         --extreme.
1692       * If a preset level (-0 ... -9) is specified after a custom filter
1693         chain options have been used (e.g. --lzma2), the custom filter
1694         chain will be forgotten. Earlier the preset options were
1695         completely ignored after custom filter chain options had been
1696         seen.
1698       * xz will create sparse files when decompressing if the uncompressed
1699         data contains long sequences of binary zeros. This is done even
1700         when writing to standard output that is connected to a regular
1701         file and certain additional conditions are met to make it safe.
1703       * Support for "xz --list" was added. Combine with --verbose or
1704         --verbose --verbose (-vv) for detailed output.
1706       * I had hoped that liblzma API would have been stable after
1707         4.999.9beta, but there have been a couple of changes in the
1708         advanced features, which don't affect most applications:
1710           - Index handling code was revised. If you were using the old
1711             API, you will get a compiler error (so it's easy to notice).
1713           - A subtle but important change was made to the Block handling
1714             API. lzma_block.version has to be initialized even for
1715             lzma_block_header_decode(). Code that doesn't do it will work
1716             for now, but might break in the future, which makes this API
1717             change easy to miss.
1719       * The major soname has been bumped to 5.0.0. liblzma API and ABI
1720         are now stable, so the need to recompile programs linking against
1721         liblzma shouldn't arise soon.