libdpkg: New function to lookup prime numbers

libdpkg: Switch fieldinfos from a simple array to a perfect hash

Use gperf to increase parsing time, by avoiding repeated array traversal
and uneeded string comparisons.

FIXME:
 - the code is now WET.
 - triehash needs an automake silent rule.

dpkg: Fix off-by-one bug in --abort-after check

The code checking whether the amount of errors had been reached, was
incrementing the counter after the check, which meant it was allowing
one more error than expected.

[guillem@debian.org: Move return to the next line. ]

Closes: #924886
Signed-off-by: Guillem Jover <guillem@debian.org>

Bump version to 1.19.7

Release 1.19.6

po: Regenerate .pot files and merge .po files with them

debian, man: Fix typos

Warned-by: lintian

po: Update Dutch translations

Closes: #924776, #924777
Signed-off-by: Guillem Jover <guillem@debian.org>

Update German translation of manual pages

Update to 2997t1f.

dpkg-gencontrol: Check presence of package build dir before traversing it

The find() function does not cope well with trying to traverse an
unexistent directory and generates various alarming warnings.

Dpkg::Source::Package: Handle Format field being undefined

On source format 1.0, the default is for the debian/source/format file
not being present, which means we'll start with an empty Format field
name.

Fixes: commit d1d35a56e401181b6d15baf474a7db21d3372a65

Dpkg::Source::Package::V1: Change default build option style to -sa

Using -sA by default means the user might lose data on overwrite if
there is already a directory with the same name laying around.

Closes: #910737

libdpkg: Use ERANGE instead of EINVAL for tar_atol8() out-of-range error

We should use the correct errno value, otherwise the error string makes
little sense, and ends up being very confusing.

libdpkg: Handle non end-of-tape errors from tar_header_decode()

We need to assign a status value in the non end-of-tape branch,
otherwise we are using an uninitialized value, which might be anything,
and could end up making the code proceed even if the archive is
damaged/broken, etc.

libdpkg: Set tar_entry to zero on tar_entry_destroy()

When we are destroying a tar_entry we need to zero the struct, otherwise
we will end up freeing already freed memory and crashing.

libdpkg: Add a new TAR_FORMAT_UNKNOWN enum value

This will make it possible to have a value denoting an unknown format,
when we initialize the tar_entry or tar_archive structs.

t-func: Quote the 'yes' command to make the comment clearer

t-func: Export and move TESTDATA definition close to the PATH definition

These both are related to pathname handling, group them together.

t-func: Stop requiring (pseudo-)root

Pass --root-owner-group to dpkg-deb, which was the only command needing
(pseudo-)root.

debian: Add Breaks on lsb-base due to s-s-d breaking killproc

There was a bug in the killproc function implementation that made it not
pass the --name argument, so it would end up with just the --pidfile.
The new security requirements from s-s-d made that in some cases, when
the usage was not secure, it would bail out with an error.

Closes: #923861

debian: Add a lintian dpkg profile to supress Debian specific tags

This makes it possible to disable tags that are Debian specific, such as
the controversial tag emitted for vendor-specific patch series files.

debian: Update usertags

This updates the categories used, changes the default view, and update
the file with what was already configued in the BTS.

debian: Add bug closures

This helps link the reported issues with the changes done.

Update German translation of manual pages

Update to 2996t1f.

Fix spelling of exempt

Update German translation of manual pages

Update to 2994t2f1u.

Update German scripts translation

Update to 603t.

Bump version to 1.19.6

Release 1.19.5

po: Regenerate .pot files and merge .po files with them

po: Update Dutch translations

Closes: #921942, #921943
Signed-off-by: Guillem Jover <guillem@debian.org>

po: Update Simplified Chinese programs translation

Closes: #920972
Signed-off-by: Guillem Jover <guillem@debian.org>

po: Update French man page translations

[guillem@debian.org:
 - Fix markup errors.
 - Mark broken translation as fuzzy. ]

Closes: #920905
Signed-off-by: Guillem Jover <guillem@debian.org>

libdpkg: Fix typos

libdpkg, dpkg: Print the dpkg database directory on access errors

There were several error messages involving the dpkg database, that were
ambiguous by referring to it as "dpkg status area", instead of printing
the affected pathname. The historical reason for not being more explicit
has been to keep the user a bit under the dark, because this has been an
internal database storage, and only those in the known would go there to
edit it by hand and similar.

This is a bit pointless though, because the Internet is full of
references to those directories, and other error messages just print
them anyway.

In addition, for users that want to diagnose what is the problem this is
not helpful, and the directory might have been changed at build or run
time with one of the options.

Closes: #883700

libdpkg: Blank packages that are not-installed with unknown selection

Versions before 1.13.10 did not properly clear the Origin and Bugs
fields, so there might still be entries with these fields that are
not getting garbage collected properly.

Make sure to blank these package entries so that they get forgotten
on the next database dump.

Closes: #922410

libdpkg: Use pkg_set_want() instead of a direct assignment

libdpkg: Include <string.h> in pager.c

Closes: #922212
Reported-by: Y <sevener@cock.li>

libdpkg: Use va_arg copy instead of the original on a vasprintf() call

We need to do that, as we might try to use args again when constructing
the error message into the emergency buffer, which would get garbage
instead.

libdpkg: Fix unit test for file_slurp()

We should compare only the memory being used, and file_slurp() does not
guarantee NUL-terminating the varbuf.

Closes: #920974
Diagnosed-by: Frank Schaefer <kelledin@gmail.com>

libdpkg: Increase the pkg-hash bins size

We use a number that is close to the amount of packages currently present
in a Debian suite, so that installed and available packages do not add
tons of collisions.

The memory usage is «BINS * sizeof(void *)», so it will be 256 KiB on
32-bit systems and 512 KiB on 64-bit systems.

Update the code comment to reflect the above.

libdpkg: Print a more accurate warning for Revision nicknames

Now that we do not use a nickname mapping anymore, the field struct
contains the actual field name matched, so we can report it correctly
instead of listing all possible altrnatives, and then missing some.

libdpkg: Merge nicknames table into fieldinfos

The current code first does a lookup to see if the fieldname is in the
nicknames table, if found fixes up the fieldname to the new alias, and
then always does a lookup for the normalized name in fieldinfos table.

This penalizes the common case (i.e. non-obsolete fieldnames)
substantially. Also moving the nicknames into the fieldinfos table will
allow to print correct fieldnames on error as those are not mangled any
more, and to provide new wrapper parse functions that print warnings for
the obsolete fieldnames.

libdpkg: Optimize error handling

Move the error reporting outside the involved functions so that we do
not need to call gettext if there is no error, which has a significant
performance cost.

libdpkg: Clarify field names in error and warning messages

Move all field names to be format arguments so that these do not get
accidentally translated. Use fip->name instead of hardcoding the field
name. Always refer to the field names as "'%s' field". Use the proper
field names instead of descriptions. And capitalize their names.

libdpkg: Move status names from parse errors to arguments

Although package states are very unlikely to change their names, it's
just better to use a single canonical place to store their values.

This also makes sure no translator will accidentally translate these
names.

libdpkg: Add new dpkg_has_error() function

libdpkg: Add new dpkg_error_move() function

libdpkg: New benchmark programs and infrastructure

These are intended to be used to check performance improvements in the
libdpkg implementation.

Dpkg::BuildOptions: Fix typo in POD

Dpkg::Source::Package: Add a missing use Dpkg::Source::Format

Closes: #921031
Fixes: commit d1d35a56e401181b6d15baf474a7db21d3372a65
Diagnosed-by: Ian Jackson <ijackson@chiark.greenend.org.uk>

Dpkg::Vendor::Debian: Add support for usr-local-has-* tainted tags

These will detect problematic files under /usr/local which can taint
the current build.

Dpkg::Vendor::Debian: Add support for merged-usr-via-symlinks tainted tag

This will detect whether the system we are building on contains the
problematic /usr merged via symlinks deployment method.

Suggested-by: Alexander E. Patrakov <patrakov@gmail.com>

dpkg-genbuildinfo: Add support for a new Build-Tainted-By field

This field will contain a list of tainting reason tags, which can denote
that the current build has potentially been broken.

Suggested-by: Alexander E. Patrakov <patrakov@gmail.com>

dpkg-maintscript-helper: Restrict find for dir-to-symlink move to -maxdepth 1

We do not want to move the entries beneath the first depth of the
pathname, as when we try to move those, we will have already moved
their parent.

Closes: #922799
Signed-off-by: Guillem Jover <guillem@debian.org>

dpkg-buildpackage: Clarify the warning/error on short OpenPGP key IDs

Print where these are to be used.

Closes: #922039

dpkg(1): Document the unknown selection state

Closes: #922407

dpkg: Clarify error on unknown system user/group in statoverride database

Closes: #920880

dpkg: Add new option --refuse-security-mac to control SELinux

This new option works in both dpkg and dpkg-statoverride. And dpkg will
pass it to its children, which means dpkg-statoverride called from a
maintainer script will automatically pick it up.

Ref: #811037

dpkg-statoverride: Switch from --force option to new --force-<thing> options

Deprecate --force option which will be considered an alias for
--force-all for now.

dpkg-statoverride: Add support for --force-* options

dpkg: Parse and set new DPKG_FORCE environment variable for subprocesses

This will make it possible for third-party tools, and also for other
dpkg tools to have access to the force options specified for dpkg.

Closes: #666147

dpkg: Switch to set the default force option from the forceinfos array

dpkg: Switch from a char to an enum to track the force options types

dpkg: Switch force options from individual variables to bit fields

This makes it easier to generalize to be used by other modules with
different force options, and to operate on the force options.

dpkg: Print the current set of enabled force options on --force-help

This will make it possible to reason more easily about what is
getting enabled.

dpkg: Do not hardcode the program name in the --force-help output

We will be using the same logic for other commands.

dpkg: Move force options support into its own file

This unifies all force related code in a single file, and will make it
possible to use it in other programs.

dpkg: Simplify maintscript_set_exec_context()

We do not really need to normalize the return code, which was confusing
the cppcheck for which we required a supression.

dpkg: Move SELinux fallback label to the SELinux specific code path

The wrapper function should be generic, so leaking this SELinux specific
detail there is just wrong.

s-s-d(1): Document behavior of --pidfile security checks

Describe what to expect from these new checks.

Closes: #921557

s-s-d: Always refuse to parse a world-writable pidfile, except for /dev/null

This is generally insecure, not just when using the --pidfile match
option alone. The «/dev/null» excemption is still in place.

s-s-d: Add new fatalv() and fatale() and use the latter for system errors

We should not try to use errno, when the error has not been produced due
to a system error, as then errno might contain bogus or unrelated
information. Be explicit in the error handling by calling fatale() for
errno related errors, and fatal() for the ones that are disconnected
from it.

s-s-d: Make sure that we get a meaningful errno on parse_unsigned()

Initialize errno to 0 before returning on any error condition, not just
before strtol(3), so that when we call fatal() we get a meaningful value
in errno.

debian: Include a bug-script to report on tainted merged-usr-via-symlinks

Systems deployed with that method bypass the package manager and its
understanding of the filesystem, create aliasing problems, and break
all kinds of expectations for any program that uses pathnames as key
into their database, such as u-a.

debian: Remove Origin and Bugs fields from control file

These fields have been there mostly to showcase their usage, which
should instead be dynamically added at build-time, and as a reminder
that this should be done.

But there is already a bug filed as a reminder (see #511160), they
are also now documented in the deb-src-control(5) man page, they are
actually wrong in many cases when present on a downstream, and they
generate nagging lintian warnings to boot.

debian: Remove trailing whitespace from changelog

debian: Remove now unused assert usertag description

All such bugs have been closed, there is no reason to document it
anymore.

debian: Bump Standards-Version to 4.3.0 (no changes required)

debian: Clarify autopkgtest behavior on root/non-root requirement

Mark the not-root test as skippable, and skip it if running as root, as
there is no restriction currently to represent that. For the root test
clarify the failing exit code with a comment.

debian: Add file to autopkgtest Depends fields

libtool generated scripts make use of file(1) to detect the executable
types.

debian: Fix bug closures

build: Check whether this dist is a release based only on the version format

Using the .dist-version file implies that we need to do a two staged
release process. First a «make dist», unpack the generated tarball
distribution, and run that again. When the deciding factor is the
format of the version. Switch to use that exclusively.

debian: Fix impromperly indented line in debian/changelog

German dpkg translation update

Update to 1128t.

Update German translation of manual pages

Update to 2970t1f.

Update German scripts translation

Update to 603t.

Bump version to 1.19.5

Release 1.19.4

debian: Change autopkgtest Depends to «build-essential, autoconf, pkg-config»

This fixes the Depends to what is really required by the configure
script.

debian: Pass --disable-nls and --disable-dselect to configure in autopkgtests

This reduces the required dependencies to a minimum.

s-s-d: Remove bogus comment about Linux user namespaces vs /dev/null

The /dev/null device always has world-writable permissions, so it would
always fail anyway.

Spotted-by: James Clarke <jrtc27@debian.org> (on IRC)

s-s-d: Do not sanity check the pidfile when it is specified as /dev/null

Several projects use this to bypass the requirement for a matching
option so that they can start a program no matter what. Even though
the check should not fail on this condition, it does on some scenarios,
such as when using Linux user namespaces.

Closes: #920242

s-s-d: Move SO_PASSCRED setting into its own function

This way we have the entire logic in one place, and can more cleanly
conditionalize on SO_PASSCRED availability.

s-s-d: Only use SO_PASSCRED if defined

Fixes build failure at least on GNU/Hurd.

Bump version to 1.19.4

Release 1.19.3

po: Regenerate .pot files and merge .po files with them

po: Update Simplified Chinese programs translation

Closes: #919040
Signed-off-by: Guillem Jover <guillem@debian.org>

po: Update Portuguese programs translation

Closes: #917813
Signed-off-by: Guillem Jover <guillem@debian.org>