libdpkg: Remove union in buffer_data and just use ptr

libdpkg: Switch buffer API internally from descriptors to the file API

libdpkg: New file based api

Fix bug closure for “dpkg-deb: Do not warn on strange timestamps”

Spotted-by: Carl Fürstenberg <azatoth@gmail.com>

German dpkg translation update

Update to 1022t.

build: Ship debian/dpkg.prerm in the dist tarball

Regression introduced in commit cf6b98d3738d1fe8b3119b71fd8321c12feb618c.

dpkg-buildflags(1): Escape minus sign

libdpkg: Do not generate the unused infodir in modstatdb_init()

dpkg: Refactor control directory creation on unpack

Do not include trailing slash for directory string literals

This makes it more natural to manage the directory names, and avoids
some doubled slashes.

libdpkg: Move trigger note support to a new trignote module

This detangles the trigger note support from triglib and avoids code
using parsedb() to end up pulling the triglib and dbmodify modules.
This reduces the dpkg-deb binary size.

libdpkg: Refactor trig_awaited_pend_head processing into new functions

This will allow accessing trig_awaited_pend_head from a different
module, w/o needing to pull in triglib.

libdpkg: Rename trig_enqueue_awaited_pend to trig_awaited_pend_enqueue

libdpkg: Move trig_name_is_illegal to a new trigname module

This detangles the function from the triglib module, avoiding
dpkg-trigger to pull it, and reducing its size.

dpkg-deb: Do not warn on strange timestamps

The external extractor is only used on dpkg-deb -x (and friends), which
is only used by dpkg when extracting the control member. The internal
dpkg tar extractor never warns on timestamps, and there's no point for
dpkg to induce those warnings on the control extraction either.

Closes: #640298

dpkg: Fix double “error:” string in missing PATH error output

Closes: #639997

u-a: Update alternative links only if they change

There's no point in changing the links to the same target. This also
helps when systems might have a read-only file system mounted, but a
writable database.

Closes: #636700

Based-on-patch-by: Salvatore Bonaccorso <carnil@debian.org>
Signed-off-by: Guillem Jover <guillem@debian.org>

u-a: Refactor alternative_path_classify from alternative_can_replace_path

u-a: Do not try to readlink() a non-symlink

Return early in case the path is not a symlink, there's no point in
calling readlink() if we know it's going to fail.

u-a: Use xreadlink() instead of areadlink() in alternative_evolve()

The function does not expect the readlink call to fail.

u-a: Split xreadlink() allocation code into areadlink()

Using a bool as an argument for a function already taking several
arguments is almost never a good interface, it's not clear from
the call sites what it refers to and as such prone to confusion.

Split the main xreadlink() code into a function that allocates but
can return NULL, and make xreadlink() use the common semantics of
never failing.

dpkg: Print a message instead of asserting on readlink/stat size discrepancy

This will help the user diagnose which file was affected and in
correcting the situation, which in most cases is due to file system
breakage, or non POSIX compliance.

Closes: #639229

dpkg: Change type of variable r from int to ssize_t in conffderef()

libdpkg: Detangle buffer filter logic from write logic

libdpkg: Add new BUFFER_FILTER_NULL filter action

libdpkg: Rename BUFFER_WRITE_MD5 to BUFFER_FILTER_MD5

libdpkg: Namespace buffer init and done functions with buffer_filter_

This makes it clear these functions are not to initialize normal
buffer operations, but just for when a filter is in place.

libdpkg: Rename fd_null_copy() to fd_skip()

libdpkg: Add a test case for fd_md5()

Convert translation files to UTF-8

Consolidating the charset used for all files in the repository makes
diff actually useful, otherwise when showing a patch involving distinct
charsets it's not possible to display them correctly due to the mixture.

dpkg-buildflags(1): add initial hardening documentation

Document the various hardening options that can be enabled/disabled
via DEB_BUILD_MAINT_OPTIONS.

Improved-by: Raphaël Hertzog <hertzog@debian.org>
Signed-off-by: Kees Cook <kees@debian.org>
Signed-off-by: Raphaël Hertzog <hertzog@debian.org>

dpkg-buildflags: emit hardening build flags by default

All the hardening build flags supported by hardening-includes
are supported except that PIE is not enabled by default (just like
the corresponding gcc patch doesn't enable it by default).

Inspired by the work of Kees Cook <kees@debian.org>.

Dpkg::BuildOptions: enable usage of alternative variable names

Update German translation of manual pages

Update to 2038t.

dpkg-source(1): add example of extend-diff-ignore's usage

Suggested-by: Christoph Berg <myon@debian.org>
Closes: #640198

Update Swedish translation.

man/po/sv.po: 2044t0f0u.

Update German translation of manual pages

Update to 2038t.

dpkg-source: Make single-debian-patch not abort on upstream changes

The single-debian-patch option usage in Dpkg::Source::Package::V2
was typoed as single_debian_patch, and thus not avoiding aborting
on upstream changes. Instead of fixing the typo, let's just not
expose single-debian-patch in Dpkg::Source::Package::V2, as it's
Dpkg::Source::Package::V3::quilt specific and as such a layer
violation, the code will just set auto_commit when single-debian-patch
is specified, which is the actual intended behaviour. Reflect this
explicitly in the man page.

Regression introduced in commit 46b688e4824f00842568b517b119eec34a5f7286.

Reported-by: Bernhard R. Link <brlink@debian.org>

Dpkg::Source::Package: Use “-z” instead of “not -s”

Update German scripts translation

Update to 523t.

Update German translation of manual pages

Update to 2038t.

dpkg: correctly handle a hardlink pointing to a conffile

Normal files tagged as a conffile are not tagged with
fnnf_deferred_rename and due to this the hardlinking code
was assuming that the target is in its final location
already. This is obviously not the case for a conffile.

Fix the code so that the hardlinking logic takes into account
the fact that conffiles are unpacked in .dpkg-new and stay
there until the configuration phase.

Reported-by: Igor Pashev <pashev.igor@gmail.com>

German dpkg translation update

Update to 1022t.

Update Swedish translation.

man/po/sv.po: 1978t50f16u (WIP).

u-a: Do not build strings from parts in alternative_check_install_args

This makes the work of translators harder.

u-a: Refactor alternative argument checks into new function

u-a: Refactor --install argument checking into a new function

u-a: Move alternative map loading to the actions that make use of them

This will reduce start up time, by not doing unneeded operations.

u-a: Split alternative map loading into two functions

This will allow only loading them when needed, instead of doing it
for any action.

u-a: Refactor scandir() namelist free into new altdb_free_namelist()

u-a: Rename get_all_alternatives() to altdb_get_namelist()

This makes it clear we are referring to the filenames in the database
directory.

u-a: Do not check if linknames can be updated if --force is in use

The action is going to proceed in any case, no point wasting resources
doing the checks. Also this removes a possible point of non-overridable
failure.

Dpkg::Compression: Change default values depending on the compressor used

This makes dpkg-source use more appropriate default compression values
depending on the compressor used.

Prompted-by: Timo Juhani Lindfors <timo.lindfors@iki.fi>

Do not use possessive «'s» after ‘s’ or ‘x’

Fix spelling errors

Found by codespell.

dpkg: Clarify --update-avail usage error message

Unify the reference to the Packages-file to match the one used on the
man pages and on the --help output.

Closes: #628055

dpkg-parsechangelog: Remove duplicate program name from usage error output

Expand numeric literals and word abbreviation in usage error output

This avoids unneeded abbreviations, uses correct english, and should
help translators.

dpkg-deb(1): Clarify the default compression-levels

deb-src-control(5): Use linux-any in example control stanza

Instead of using the negated list of not supported architectures, just
use the positive form, which should be considered current best practice.

dselect(1): Correct configuration directory reference

Use /etc/dpkg/dselect.cfg.d/ instead of /etc/dpkg/dpkg.cfg.d/.

man: Use minus signs and hyphens consistently

Any string that can be copy & pasted into control files or into a
terminal, for example, needs to correctly use minus signs (escaped
dashes), instead of the default hyphen.

Regenerate .pot files and merge .po files with them

Update Swedish translation.

po/sv.po: 1023t0f0u.
man/po/sv.po: 1824t180f40u (WIP).
scripts/po/sv.po: 524t0f0u

dpkg: Defer hardlink renames to avoid breakage on unpack

This fixes two issues related to making the new file contents available
through an alternative but final path before

1) the one "carrying" the content has been fsync()ed, to avoid getting
garbage on system failure.

2) the deferred fsync() on the main path has been performed, avoiding
a possible error when reopening the file for writing if it's currently
under execution.

Deferring the hardlink is safe as they are always after the tar entry
containing the actual file data.

Regression introduced in commit 9cd41fdda1c27169c52d73b3b3ce71991d724994.

Closes: #635683

Reported-by: Niko Tyni <ntyni@debian.org>
Based-on-patch-by: Jonathan Nieder <jrnieder@gmail.com>
Signed-off-by: Guillem Jover <guillem@debian.org>

Dpkg::Deps: fix simplification logic of union dependencies

The code merging dependencies was wrongly updating the dependency that's
not integrated in the resulting field.

Reported-by: Andreas Metzler <ametzler@downhill.at.eu.org>

libdpkg: Use a generic pointer to pass the parsed object data around

This will allow code not parsing binary package control files to be
able to easily reuse the parser, by supplying their own object
structure.

Unfortunately this sacrifices the type-safety of the parse_stanza()
and parse_field() functions, but that only affects one variable,
which should be an acceptable tradeoff given the gain in code reuse.

Changelog for French translation update

Fix Sylvestre's translation

Update of the french localization

Fix a french typo

libdpkg: Initialize ps->pkg and ps->pkgbin to NULL in parse_open()

This guarantees the parsedb_state variable is in a sane state after
the parse_open() call.

libdpkg: Refactor parse_open() and parse_close() from parsedb()

This will allow code using parse_stanza() to avoid having to reimplement
the opening and closing logic.

libdpkg: Close the file descriptor just after slurping it in parsedb()

dpkg-source: simplify message pointing to dpkg-source --commit

The supplementary arguments suggested are awkward and are generally not
needed unless your package is huge and takes a long time to uncompress
and diff.

The best advice is thus “dpkg-source --commit” without any parameter.
Maintainers of big packages will read the manual package and learn
by themselves how to reuse the generated patch.

dpkg-source: don't always print "local changes have been recorded in a new patch"

The message should only be printed if such a patch has really
been created.

Reported-by: Sven Joachim

Fix typo

Update German translation of manual pages

Update to 2047t.

Update German translation of manual pages

Update to 2037t7f3u.

Update German scripts translation

Update to 524t.

German dpkg translation update

Update to 1023t.

dpkg-source: clean up temporary file in case of interruption

Navite packages (both "1.0" and "3.0 (native)") failed to remove
the temporary tarball if the process is interrupted during its
generation.

Reported-by: Cyril Brulebois <kibi@debian.org>

Move changelog entry to attribute it correctly to me

libdpkg: Remove obsolete variable references in parsedb() comment

The warnto and warncount variables were removed in commits
ba908783e306ba38457a84fd6d975ca69e351e56 and
8451065cf85cb8a17dcd17e0cd2ca1fdef7cb749 respectively.

libdpkg: Make parse_stanza() a public function

Make public also the required parse helper macros and structures. At
least parse_EOF() will be needed for other callers to get out of the
loop when parsing multi-stanza files.

libdpkg: Detangle fieldinfos from struct field_state

Define the fieldencountered array in the stack, and switch the array
in struct field_state to be a pointer to that array. This way we do not
pull the fieldinfos symbol (specific to the parsedb() function) to the
now generic struct field_state.

libdpkg: Rename parse helper *_mmap functions to parse_*

This abstracts the method used to load the file contents, and it also
namespaces it for the parser.

libdpkg: Refactor RFC-822 stanza parsing into new parse_stanza()

This generalizes the stanza parsing so that it can be used by other
parts of the code.

libdpkg: Move dataptr and endptr from parsedb() to struct parsedb_state

libdpkg: Add pkg and pkgbin to struct parsedb_state

We are passing these variables as arguments most of the time for
parse_error() and parse_warn() calls which are not run-time frequent,
this also unties somewhat the code from the package structures.

libdpkg: Remove trailing semicolons from getc_mmap and ungetc_mmap

Those are unnecessary as these are function macros which need to be
followed by semicolons on the call sites.

dpkg-deb: Add --raw-extract option combining --control and --extract

This allows to extract the control and file system members of a .deb
into a single directory using the same layout dpkg-deb -b expects for
building a package.

Closes: #552123

dpkg-deb: Add new -v, --verbose option

Change --extract to honour --verbose and behave as --vextract.

Closes: #293280

Regenerate .pot files and merge .po files with them

Revert "dpkg-buildpackage: support for Build-Features: build-arch"

This reverts commit 14d48ef9abc2ce2d394e9ae4d69d4ba68b551620. Given
that Guillem does not want this field and that the technical committee
has not yet decided on the proper approach to enable
build-arch/build-indep, it's safer to revert this change for now and allow
us to proceed with a release.

Conflicts:

man/deb-src-control.5

debian/rules: use the in-tree dpkg-buildflags to inject build flags

Note that $(shell ...) does not receive variables defined
within make with "export VAR=foo" so that we have to include
DEB_CFLAGS_MAINT_APPEND in the command-line.

dpkg-buildflags: support a "strip" operation

The strip operation is useful to drop some options from the
returned build flags.

dpkg-buildflags: implement support of DEB_<flag>_MAINT_<op> env variables

Those variables are meant to be used by the package maintainer within
debian/rules to alter the resulting build flags if needed.

dpkg-buildflags: implement --export=configure

The goal is to make it easy to set compilation flags on a ./configure
command line for example like this:
./configure $(shell dpkg-buildflags --export=configure)

The output thus looks like this:
CFLAGS="-g -O2" CPPFLAGS="" CXXFLAGS="-g -O2" FFLAGS="-g -O2" LDFLAGS=""

Revert "dpkg-buildflags: support debian/buildflags"

This reverts commit 316df0a76f2ef91badbccb6fef0bfa7ae23fac59.
A recent discussion concluded that it was not a proper interface
for maintainers to override/extend build flags.

See http://lists.debian.org/debian-dpkg/2011/07/msg00033.html

Conflicts:

scripts/Dpkg/BuildFlags.pm