Dpkg::Shlibs: Move split_soname from dpkg-shlibdeps

Dpkg::Shlibs: Refactor is_shared_library

Dpkg::ObjectFile: Move ELF-specific functions from Dpkg::Shlibs::Objdump

Rename get_format() to get_objectfile_abi().

debian: Install the perl module man pages from section 3perl

Fixes: commit 0b020bec8cffe1bf21931f868262d7a34592d1a3

man: Use command-string instead of command for dpkg-architecture -c argument

Using the same name as the name in the SYNOPSIS, or the COMMANDS section
seems confusing as it can be understood as the program accepting -c
argument values without the -c command option.

Reported-by: Johannes Schauer <josch@debian.org>

man: Clarify behavior for dpkg-maintscript-helper

Closes: #857852

man: Mark source:Version substvar in bold in deb-substvars(5)

man: Document currently accepted syntax for changelogs

The current implementation supports several comment lines, VCS and
editor variable settings which get ignored. In addition, to be able
to handle ancient changelog entries, the parser will detect those and
ignore while preserving them for output.

Closes: #858579
Reviewed-by: G. Branden Robinson <g.branden.robinson@gmail.com>

dpkg-shlibdeps: Remove unused my $file variable

Signed-off-by: Niels Thykier <niels@thykier.net>

test: Use Module::Metadata instead of grepping for $VERSION

test: Add new module-version unit test

This will check that the module $VERSION matches the newest entry
in the CHANGES section if there is any POD present.

Test::Dpkg: Add new all_perl_modules function

test: Disable perlcritic ValuesAndExpressions::ProhibitEscapedCharacter

test: Enable perlcritic Documentation::RequirePodSections

Declare the minimum required POD sections.

test: Enable perlcritic Miscellanea::ProhibitTies

build: Install perl man pages in section 3perl

build: Do not override the default DEPENDENCIES for libdpkg

Extend it instead, to make sure that we preserve the libcompat
dependency generated from LIBADD.

build: Add new gcc-7 warnings

Dpkg::Util: Remove and replace with core module List::Util

Our current minimal Perl version contains a new enough List::Util module
implementing none and any, and several other functions.

doc: Bump minimal Perl version to 5.20.2

The Perl version in Debian jessie is 5.20.2, which is the release that
will be oldstable once 1.19.x gets uploaded to Debian unstable.

Remove accidentially forgotten ,fuzzy

Bump version to 1.19.0

Release 1.18.24

po: Regenerate .pot files and merge .po files with them

Update German translation of manual pages

Update to 2841t1f.

libdpkg: Improve tar metadata parsing

Make the existing octal parser more robust, by checking for the expected
format of leading zeros or spaces, followed by any ASCII octal characters
(0-7), followed by zero or more space or NULs. Even though POSIX specifies
that numerical fields should end with at least one space or NUL, we still
support this extension which has been present in other implementations
for a long time.

Add support for base-256 encoded numeric fields, to support large
values, for UID/GID, device number, size and even negative timestamps.
This is necessary not only to be able to store larger values, but to
cover packages that can already be generated by dpkg-deb, given that it
uses the system GNU tar when building.

Closes: #850834

libdpkg: Do not parse device number for non block nor char tar entry objects

We should not try to parse these fields if the tar entry is neither
a block nor a char device.

On older tar entries these fields will be all NULs, so it would make
a parser expecting a somewhat strictly formatted octal value to error
out.

libdpkg: Handle files with non-zero sizes in c-tarextract test code

The test suite only handles empty files, so it never had any problem
with not skipping those objects. But when testing it on common data,
and to make the code future-proof, we should just skip the file
objects when parsing them.

dpkg: Fix digest inference for shared conffiles

The code in charge of inferring the digest for a conffile was
checking the owning package status twice, and ignoring conffiles
with a status lower than "unpacked" even if they had been configured
previously and their md5sums were valid.

This was causing bogus takeover unpack errors.

Fixes: commit 05a8ddb482419d110571679a29bcd25e3c2b036d
Closes: #861217
Stable-Candidate: 1.17.x

dpkg: Fix conffile takeover handling during unpack on --root or diversions

The current code was trying to stat(2) a conffile without taking into
account a specified root directory, nor any possible diversions.

But the check based on the device and inode was pretty much unnecessary
because a simple string comparison is enough here, which as a bogus
solves both problems by reducing the code size.

Closes: #837051, #858004
Stable-Candidate: 1.17.x

Dpkg::Source::Package: Ignore debian/files and debian/files.new by default

These are generated files, and these pathnames are part of the external
interface. With the introduction of the buildinfo support, these get
generated even on source builds, which means that it can disrupt
previous workflows based on not cleaning the source tree, because they
assumed that source-only builds did not have filesystem side-effects.

dpkg-genbuildinfo: Add duplicate prevention code for debian/files

We should do something similar to what dpkg-gencontrol is doing, by
preventing duplicated entries for the same file with different versions.

In this case, because the assumption is that there can ever only be one
buildinfo file for a «source» or «all» build, but possibly multiple for
arch-specific builds (from another build driver than dpkg-buildpackage),
we filter based on this.

dpkg-maintscript-helper: Print all unowned files from a directory

Add a new internal command that is not part of the public interface,
that takes care of checking whether a pathname is owned by a package.

This internal command has some logic to prevent external abuse, by
checking whether the parent has set a specific environment variable
with a token that changes per release.

The code will list all unowned files because xargs does not short-circuit
on the first command erroring out, as long these do not terminate with an
exit code of 255.

Closes: #813454, #860238
Based-on-patch-by: Bastien ROUCARIÈS <roucaries.bastien@gmail.com>

dpkg-shlibdeps: Preserve the order when scanning symbols/shlibs files

The code was getting all the possible shared library pathnames for the
wanted SONAME, but was not preserving the order carefully constructed
in find_library(), so we were overwriting symbols/shlibs information
when parsing multiple entries, and selecting the symbols/shlibs files
randomly based on the perl hash order.

This causes regressions when multiple packages provide the same
SONAME on different directories. An example would be libc6:amd64
and libc6-amd64:i386.

Fixes: commit a927295c93fb7a17742441aa863aaffcf4a351b5
Closes: #860979
Reported-by: Helmut Grohne <helmut@subdivi.de>

Dpkg::Source::Patch: Indented patch test-case

POSIX specifies that a diff hunk can be indented by spaces or tabs
(while the original patch(1) by Larry Wall also accepts 'X'), as long
as the amount of spaces is consistent for all subsequent lines. And as
we are not checking for this condition at all, any such indented hunk
can avoid the sanity checks performed by Dpkg::Source::Patch.

On systems using GNU patch >= 2.7.5, this should, in principle, not be
a problem anymore, as that implementation protects against directory
traversal issue. But on other systems where the patch implementation
does not perform such checks (such as the BSDs) this is an issue, so
check for this in the test-suite.

Those are arguably all security issues in these various patch
implementations, but given that we are performing sanity checks and that
those implementations are currently very lax, it seems prudent to do the
heavy lifting ourselves and also take the possible blame too.

Ref: CVE-2017-8283
Stable-Candidate: 1.17.x

Dpkg::Deps: Bump $VERSION to match the documented CHANGES

The documentation on the CHANGES section did not match the current
$VERSION, bump it so that it does, and document when it was actually
bumped, so that users do not get confused.

Fixes: commit 608f93858f2fc44e86538fbf585d4e0fa9cf7743

build: Detect the required GNU patch

This makes sure the perl module is using a directory traversal resistant
patch implementation, currently that's only GNU patch.

Fixes: CVE-2017-8283
Stable-Candidate: 1.17.x

build: Detect the required GNU tar

For now we do require a GNU tar implementation, so let's check this
explicitly in configure, so that downstream packagers do not get
surprised when the code fails at run-time.

In the future this should be lifted once we switch fully to an internal
tar implementation.

Dpkg::Vendor::Ubuntu: Remove obsolete hardening-wrapper support

Signed-off-by: Guillem Jover <guillem@debian.org>

libdpkg: Add missing symbols to the map file

This causes build failures when enabling the shared library.

arch: Add support for ARM64 ILP32

Closes: #824742
Based-on-patch-by: Wookey <wookey@wookware.org>

build: Use libexec variable for auxiliary internal programs

Using libdir is wrong, and doubly so when being referred from
architecture independent files such as perl modules. This affects
non-Debian based systems, which might by default use an arch varying
libdir per architecture, for example when using the obsolete multilib
layout.

build: Spell builtin correctly

This has no functional effect, it's just used for output.

po: Add missing new lines in Catalan translation

debian: Add missing changelog entries

Entry for Spanish translation update. Multi-maintainer marking in
1.18.23.

po: Update Catalan translation

po: Fix German man page translation

Closes: #857449
Signed-off-by: Guillem Jover <guillem@debian.org>

po: Unfuzzy strings after spelling fixes

doc: Do not include mispellings in changelogs

This makes detecting them more difficult, as they become a bunch of
false-positives to wade through.

doc: Spelling fixes

Spotted-by: Josh Soref <jsoref@gmail.com>

doc: Spelling fixes

Signed-off-by: Guillem Jover <guillem@debian.org>

Updated Czech translation

Updated Spanish translation

Bump version to 1.18.24

Release 1.18.23

po: Regenerate .pot files and merge .po files with them

po: Update Dutch translations

Closes: #856325, #856326
Signed-off-by: Guillem Jover <guillem@debian.org>

Update German translation of manual pages

Update to 2841t1f.

Update German scripts translation

Update to 589t.

libdpkg: Use snprintf() instead of sprintf()

The field width in a format string does not limit the number of bytes
emitted, so we can overflow, even if we are checking the number of bytes
written. Use snprintf() to limit the amount written.

Warned-by: gcc-7

dpkg: Add a comment on any switch case that falls through

Warned-by: gcc-7

dselect: Do not depend on cxxabi.h to have declared __cxa_pure_virtual

The C++ ABI specifies that these functions are within the “__cxxabiv1”
namespace, and that “abi” is an alias to be used by userland. But in
this case as we are replacing the implementation we should also use the
same canonical namespace.

Signed-off-by: Guillem Jover <guillem@debian.org>

s-s-d: Define _KMEMUSER for NetBSD

We need to define this macro to be able to get the declarations for the
struct proc and other struct kproc_info members.

s-s-d: Use correct struct kinfo_proc ruid submember on NetBSD

s-s-d: Use 5-argument kvm_getprocs() call form on OpenBSD

s-s-d: Rename err to ret as the former is a function on BSDs

Do not shadow the global err() with a local variable.

test: Use the detected perl interpreter instead of a random one from PATH

We check for a specific version of perl and store that in the PERL
variable. But the shebangs on several test scripts hardcode a specific
perl that might not be present or might not be recent enough. Always
invoke perl scripts explicitly with PERL, or implicitly by letting the
currently running interpreter use itself.

build: Do not fail on missing compression libraries or headers on check mode

This is supposed to be the automatic detection mode, so we should cope
gracefully with any of these being missing.

Regression introduced in commit a166517a6d2f095c96b9661e8f2519470576a513.

build: Handle libmd implementations built into system libc

As found on some BSD systems.

build: Check <sys/proc.h> by also including <sys/param.h>

On several BSD systems the header is not self-contained and requires
<sys/param.h> to compile, add the pre-requisite so that the check
succeeds there.

libcompat: Do not redeclare sys_siglist when the system does so

This can cause issues if the declaration is not exactly the same, and
declaring it when the system already does is bogus no matter what.

Signed-off-by: Guillem Jover <guillem@debian.org>

Dpkg::Vendor::Debian: Switch PIE handling to have no default (!)

Delegate the setting to gcc builtin or an explicit request by a user.
This is needed to cope with the general PIE brokenness situation in
Debian, and the current specific brokenness of a Debian gcc patch
mangling the dpkg build flags.

This is wrong in so many levels, as we'll have discrepancies between
architectures, the interface towards maintainers is inconsistent, and
updating the PIE support needs touching and coordinating two places. But
it's certainly the current lesser evil.

Closes: #848129, #845550

Dpkg::Vendor::Debian: Mark more architectures as having gcc builtin PIE

Specifically kfreebsd-amd64, kfreebsd-i386, sparc and sparc64.

Dpkg::Source::Package: Add ‘.mnt-ignore’ to the default ignore lists

Closes: #855450
Signed-off-by: Guillem Jover <guillem@debian.org>

Dpkg::Shlibs::Objdump: Do not parse bogus ELF binaries in get_format()

If the ELF class or endianness are unknown or bogus, ignore the file.

Reported-by: Niels Thykier <niels@thykier.net>

Dpkg::Shlibs::Objdump:Object: Warn for unknown exec formats in analyze()

Emit an explicit warning whenever we cannot detect the format for
an executable object, instead of delegating this to the subsequent
objdump, and letting it die, which ca be canfusing and is not
future-proof.

Closes: #854536

Dpkg::Shlibs::Objdump: Fix read() error handling in get_format()

The rest of the code handles non-binary files (ELF in this case)
gracefully and ignores them, even though not very explicitly, as
objdump will emit a warning that might be difficult to decrypt.

We will still fail for other read failures that are not just
short-reads, as those imply some actual problem with the passed files.

Closes: #854536

Dpkg::Shlibs::Objdump: Do not special case EM_SPARC32PLUS for NetBSD

The affected code in NetBSD was bogus, and has been removed now. So
there is no point in trying to special case the EM_SPARC32PLUS ELF
machine ID depending on the ELF class, for something that should never
happen.

Ref: https//gnats.netbsd.org/51925

dpkg-genbuildinfo: Declare .buildinfo format as stable with version 1.0

All the currently planned changes have been done, let's bump the format
version to denote a stable format, which will not change in incomatible
changes any more without bumping the major version component.

dpkg-genbuildinfo: Handle unmatched virtual arch-qualified packages

The dependency traversal code is currently broken, and this mostly
papers over the issue. Properly fixing this involves changes all over
the place, which would be too intrusive for this series.

We should handle this gracefully, instead of letting perl die.

Closes: #849944

dpkg-buildpackage: Document --ignore-builtin-builddeps in --help output

Missed in commit 98b3341f5f46866208862ff40e4336ff1a7e1cd3.

dpkg-source: Document --before-build and --after-build in --help output

man: Clarify the requirements for deb-conffile(5) pathnames

Closes: #854417
Proposed-by: Dieter Adriaenssens <dieter.adriaenssens@gmail.com>

Minor fix

Noted by looking at lintian warning

Bump version to 1.18.23

Release 1.18.22

po: Regenerate .pot files and merge .po files with them

Dpkg::Shlibs::Objdump: Mask ABI bits in flags for ARM

These are too unreliable for exact matches. There are objects with
EABIv4 in the wild, even when the current is EABIv5. The soft and
hard float flags are not always set on armel and armhf respectively,
although the Tag_ABI_VFP_args attribute in the the ARM attribute
section should always be present on armhf. And there are cases were
both soft and hard float flags are set at the same time(!).

Mask all flags on ARM, so that we get back to the previous behavior
with objdump. We can try to revisit this for a better matching during
the dpkg 1.19.x cycle.

Closes: #853793

libdpkg: Turn status file parser errors on field blank lines into warnings

Regression introduced in commit e4cb12a710457b103a7544c4de5e9fc1b2bd24d8.

This has caused issues at least on Cydia installations. And it should
have been introduced as a lax parsing error, only failing for new
packages, and warn on already installed ones. Otherwise one cannot
easily recover after upgrading to a new dpkg on an affected system.

Reported-by: Jay Freeman <saurik@saurik.com>
Stable-Candidate: 1.17.x

po: Update Turkish programs translations

Closes: #853202
Signed-off-by: Guillem Jover <guillem@debian.org>

Update German scripts translation

Update to 588t.

Bump version to 1.18.22

Release 1.18.21

po: Regenerate .pot files and merge .po files with them

Revert "dpkg-source: Generate Testsuite-Restrictions fields from test restrictions"

This reverts commit 9899bdcf9bde76d969b124abf0a898fcbb202c70.

This change is contentious and should have been discussed more widely.
Given that this has been live only for a couple of days, the impact
should be minimal, but still something to take into account once and
if this gets reintroduced, in the same or different form and shape.

Closes: #852820

Dpkg::Shlibs::Objdump: Map alternative or old ELF machines to canonical ones

Some ELF binaries contain alternative or old ELF machine types, which
should match with their canonical forms. Map those before encoding the
ABI.

We ignore some mappings for things that should certainly never appear
in current systems. Of note are EM_PPC_OLD (17) that conflicts with
EM_VPP550 (17), and EM_PJ_OLD (99) that conflicts with EM_SNP1K (99).

Warned-by: rebootstrap

Add missing markup to option

Update German translation of manual pages

Update to 2843t1f.

Bump version to 1.18.21

Release 1.18.20