Add NEWS and tweak.
[mailman.git] / src / mailman / docs / NEWS.rst
blob4d08e770e782df79f0f3bde921c9e729e2ec0048
1 ===============================================
2 Mailman - The GNU Mailing List Management System
3 ================================================
5 Copyright (C) 1998-2016 by the Free Software Foundation, Inc.
6 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301, USA
8 Here is a history of user visible changes to Mailman.
11 3.1.0 -- "Between The Wheels"
12 =============================
13 (2016-XX-XX)
15 Bugs
16 ----
17  * When the mailing list's `admin_notify_mchanges` is True, the list owners
18    now get the subscription notification.  (Closes: #1)
19  * Fix the traceback that occurred when trying to convert a `text/html`
20    subpart to plaintext via the `mimedel` handler.  Now, a configuration
21    variable `[mailman]html_to_plain_text_command` in the `mailman.cfg` file
22    defines the command to use.  It defaults to `lynx`.  (Closes: #109)
23  * Confirmation messages should not be `Precedence: bulk`.  (Closes #75)
24  * Fix constraint violations on mailing list deletes affecting PostgreSQL.
25    Given by Abhilash Raj.  (Closes #115)
26  * `mailman` command with no subcommand now prints the help text.  Given by
27    Abhilash Raj.  (Closes #137)
28  * The MHonArc archiver must set stdin=PIPE when calling the subprocess.
29    Given by Walter Doekes.
30  * For now, treat `DeliveryMode.summary_digests` the same as `.mime_digests`.
31    (Closes #141).  Also, don't enqueue a particular digest if there are no
32    recipients for that digest.
33  * For Python versions earlier than 3.5, use a compatibility layer for a
34    backported smtpd module which can accept non-UTF-8 data.  (Closes #140)
35  * Bulk emails are now decorated with headers and footers.  Given by Aurélien
36    Bompard.  (Closes #145)
37  * Core no longer depends on the standalone `mock` module.  (Closes: #146)
38  * The logging of moderation reasons has been fixed.  Given by Aurélien
39    Bompard.
40  * Collapse multiple ``Re:`` in Subject headers.  Given by Mark Sapiro.
41    (Closes: #147)
42  * Added Trove classifiers to setup.py.  (Closes: #152)
43  * Fix the processing of subscription confirmation messages when the mailing
44    list is set to confirm-then-moderate.  (Closes #114)
45  * Fix ``UnicodeEncodeError`` in the hold chain when sending the authorization
46    email to the mailing list moderators.  (Closes: #144)
47  * Fix traceback in approved handler when the moderator password is None.
48    Given by Aurélien Bompard.
49  * Fix IntegrityErrors raised under PostreSQL when deleting users and
50    addresses.  Given by Aurélien Bompard.
51  * Allow mailing lists to have localhost names with a suffix matching the
52    subcommand extensions.  Given by Aurélien Bompard.  (Closes: #168)
53  * Don't traceback if a nonexistent message-id is deleted from the message
54    store.  Given by Aurélien Bompard, tweaked by Barry Warsaw.  (Closes: #167)
55  * Fix a bug in ``SubscriptionService.find_members()`` when searching for a
56    subscribed address that is not linked to a user.  Given by Aurélien Bompard.
57  * Fix a REST server crash when trying to subscribe a user without a preferred
58    address.  (Closes #185)
60 Configuration
61 -------------
62  * Mailing lists can now have their own header matching rules, although
63    site-defined rules still take precedence.  Importing a Mailman 2.1 list
64    with header matching rules defined will create them in Mailman 3, albeit
65    with a few unsupported corner cases.  Definition of new header matching
66    rules is not yet exposed through the REST API.  Given by Aurélien Bompard.
67  * The default languages from Mailman 2.1 have been ported over.  Given by
68    Aurélien Bompard.
70 Interfaces
71 ----------
72  * Implement reasons for why a message is being held for moderator approval.
73    Given by Aurélien Bompard, tweaked by Barry Warsaw.
74  * The default `postauth.txt` and `postheld.txt` templates now no longer
75    include the inaccurate admindb and confirmation urls.
76  * Messages now include a `Message-ID-Hash` as the replacement for
77    `X-Message-ID-Hash` although the latter is still included for backward
78    compatibility.  Also be sure that all places which add the header use the
79    same algorithm.  (Closes #118)
80  * ``IMessageStore.delete_message()`` no longer raises a ``LookupError`` when
81    you attempt to delete a nonexistent message from the message store.
82  * ``ISubscriptionService.find_members()`` accepts asterisks as wildcards in
83    the ``subscriber`` argument string.  Given by Aurélien Bompard.
85 Internal API
86 ------------
87  * A handful of unused legacy exceptions have been removed.  The redundant
88    `MailmanException` has been removed; use `MailmanError` everywhere.
90 Message handling
91 ----------------
92  * New placeholders have been added for message headers and footers.  You can
93    use a placeholder of the format `$<archiver-name>_url` to insert the
94    permalink to the message in the named archiver, for any archiver enabled
95    for the mailing list.  Given by Abhilash Raj.
96  * The default posting chain has been modified so that the header-match chain
97    and nonmember-moderation rule are processed before "hold" rules are
98    processed.  This allows for better anti-spam defenses and rejecting
99    non-member posts instead of always holding them for moderator review.
100    Given by Aurélien Bompard.  (Closes #163)
101  * Bounces can now contain rejection messages.  Given by Aurélien Bompard.
103 REST
104 ----
105  * REST API version 3.1 introduced.  Mostly backward compatible with version
106    3.0 except that UUIDs are represented as hex strings instead of 128-bit
107    integers, since the latter are not compatible with all versions of
108    JavaScript.  (Closes #121)
109  * When creating a user via REST using an address that already exists, but
110    isn't linked, the address is linked to the new user.  Given by Aurélien
111    Bompard.
112  * The REST API incorrectly parsed `is_server_owner` values when given
113    explicitly in the POST that creates a user.  (Closes #136)
114  * A new top-level resource `<api>/owners` can be used to get the list of
115    server owners as `IUser`s.  (Closes #135)
116  * By POSTing to a user resource with an existing unlinked address, you can
117    link the address to the user.  Given by Abhilash Raj.
118  * Fix pagination values `start` and `total_size` in the REST API.  Given by
119    Aurélien Bompard.  (Closes: #154)
120  * JSON representations for held message now include a ``self_link``.
121  * When ``[devmode]enabled`` is set, the JSON output is sorted.  Given by
122    Aurélien Bompard.
123  * A member's moderation action can be changed via the REST API.  Given by
124    Aurélien Bompard.
125  * Fixed a number of corner cases for the return codes when PUTing or PATCHing
126    list configuration variables.  (Closes: #182)
127  * Expose ``digest_send_periodic``, ``digest_volume_frequency``, and
128    ``digests_enabled`` (renamed from ``digestable``) to the REST API.
129    (Closes: #159)
130  * Expose the "bump digest" and "send digest" functionality though the REST
131    API via the ``<api>/lists/<list-id>/digest`` end-point.  GETting this
132    resource returns the ``next_digest_number`` and ``volume`` as the same
133    values accessible through the list's configuraiton resource.  POSTing to
134    the resource with either ``send=True``, ``bump=True``, or both invokes the
135    given action.
136  * Global and list-centric bans can now be managed through the REST API.
137    Given by Aurélien Bompard.
138  * ``<api>/members/find`` accepts GET query parameters in addition to POST
139    arguments.  Given by Aurélien Bompard.
141 Other
142 -----
143  * The test suite is now Python 3.5 compatible.
144  * Improvements in importing Mailman 2.1 lists, given by Aurélien Bompard.
145  * The ``prototype`` archiver is not web accessible so it does not have a
146    ``list_url`` or permalink.  Given by Aurélien Bompard.
147  * Large performance improvement in ``SubscriptionService.find_members()``.
148    Given by Aurélien Bompard.
149  * Rework the digest machinery, and add a new ``digests`` subcommand, which
150    can be used from the command line or cron to immediately send out any
151    partially collected digests, or bump the digest and volume numbers.
152  * The mailing list "data directory" has been renamed.  Instead of using the
153    fqdn listname, the subdirectory inside ``[paths]list_data_dir`` now uses
154    the List-ID.
155  * The ``mailman members`` command can now be used to display members based on
156    subscription roles.  Also, the positional "list" argument can now accept
157    list names or list-ids.
160 3.0.0 -- "Show Don't Tell"
161 ==========================
162 (2015-04-28)
164 Architecture
165 ------------
166  * Domains now have a list of owners, which are ``IUser`` objects, instead of
167    the single ``contact_address`` they used to have.  ``IUser`` objects now
168    also have a ``is_server_owner`` flag (defaulting to False) to indicate
169    whether they have superuser privileges.  Give by Abhliash Raj, with fixes
170    and refinements by Barry Warsaw.  (LP: #1423756)
171  * Mailing list subscription policy work flow has been completely rewritten.
172    It now properly supports email verification and subscription confirmation
173    by the user, and approval by the moderator using unique tokens.
174    ``IMailingList`` objects now have a ``subscription_policy`` attribute.
175    (LP: #1095552)
176  * Port the REST machinery to Falcon 0.3. (LP: #1446881)
178 Bugs
179 ----
180  * Fix calculation of default configuration file to use when the ``$var_dir``
181    is created by ``mailman start``.  (LP: #1411435)
182  * When creating a user with an email address, do not create the user record
183    if the email address already exists.  Given by Andrew Stuart.
184    (LP: #1418280)
185  * When deleting a user via REST, make sure all linked addresses are deleted.
186    Found by Andrew Stuart.  (LP: #1419519)
187  * When trying to subscribe an address to a mailing list through the REST API
188    where a case-differing version of the address is already subscribed, return
189    a 409 error instead of a 500 error.  Found by Ankush Sharma.  (LP: #1425359)
190  * ``mailman lists --domain`` was not properly handling its arguments.  Given
191    by Manish Gill.  (LP: #1166911)
192  * When deleting a user object, make sure their preferences are also deleted.
193    Given by Abhishek.  (LP: #1418276)
194  * Be sure a mailing list's acceptable aliases are deleted when the mailing
195    list itself is deleted.  (LP: #1432239)
196  * The built-in example ``IArchiver`` implementations now explicitly return
197    None.  (LP: #1203359)
198  * The test suite now runs successfully again with PostgreSQL.  Given by
199    Aurélien Bompard.  (LP: #1435941)
201 Configuration
202 -------------
203  * When specifying a file system path in the [paths.*] section, $cfg_file can
204    be used to expand into the path of the ``-C`` option if given.  In the
205    default ``[paths.dev]`` section, ``$var_dir`` is now specified relative to
206    ``$cfg_file`` so that it won't accidentally be relative to the current
207    working directory, if ``-C`` is given.
208  * ``$cwd`` is now an additional substitution variable for the ``mailman.cfg``
209    file's ``[paths.*]`` sections.  A new ``[paths.here]`` section is added,
210    which puts the ``var_dir`` in ``$cwd``.  It is made the default layout.
212 Documentation
213 -------------
214  * Improve the documentation describing how to run Alembic to add new schema
215    migrations.  Given by Abhilash Raj.
217 REST
218 ----
219  * **Backward incompatible change**: The JSON representation for pending
220    mailing list subscription hold now no longer includes the ``password``
221    key.  Also, the ``address`` key has been renamed ``email`` for consistent
222    terminology and other usage.
223  * You can now view the contents of, inject messages into, and delete messages
224    from the various queue directories via the ``<api>/queues`` resource.
225  * You can now DELETE an address.  If the address is linked to a user, the
226    user is not delete, it is just unlinked.
227  * A new API is provided to support non-production testing infrastructures,
228    allowing a client to cull all orphaned UIDs via ``DELETE`` on
229    ``<api>/reserved/uids/orphans``.  Note that *no guarantees* of API
230    stability will ever be made for resources under ``reserved``.
231    (LP: #1420083)
232  * Domains can now optionally be created with owners; domain owners can be
233    added after the fact; domain owners can be deleted.  Also, users now have
234    an ``is_server_owner`` flag as part of their representation, which defaults
235    to False, and can be PUT and PATCH'd.  Given by Abhilash Raj, with fixes
236    and refinements by Barry Warsaw.  (LP: #1423756)
239 3.0 beta 5 -- "Carve Away The Stone"
240 ====================================
241 (2014-12-29)
243 Bugs
244 ----
245  * Fixed Unicode errors in the digest runner and when sending messages to the
246    site owner as a fallback.  Given by Aurélien Bompard.  (LP: #1130957).
247  * Fixed Unicode errors when a message being added to the digest has non-ascii
248    characters in its payload, but no Content-Type header defining a charset.
249    Given by Aurélien Bompard.  (LP: #1170347)
250  * Fixed messages without a `text/plain` part crashing the `Approved` rule.
251    Given by Aurélien Bompard.  (LP: #1158721)
252  * Fixed getting non-ASCII filenames from RFC 2231 i18n'd messages.  Given by
253    Aurélien Bompard.  (LP: #1060951)
254  * Fixed `AttributeError` on MIME digest messages.  Given by Aurélien Bompard.
255    (LP: #1130696)
257 Commands
258 --------
259  * The `mailman conf` command no longer takes the `-t/--sort` option; the
260    output is always sorted.
262 Configuration
263 -------------
264  * The ``[database]migrations_path`` setting is removed.
266 Database
267 --------
268  * The ORM layer, previously implemented with Storm, has been replaced by
269    SQLAlchemy, thanks to the fantastic work by Abhilash Raj and Aurélien
270    Bompard.  Alembic is now used for all database schema migrations.
271  * The new logger `mailman.database` logs any errors at the database layer.
273 Development
274 -----------
275  * Python 3.4 is now the minimum requirement.
276  * You no longer have to create a virtual environment separately when running
277    the test suite.  Just use `tox`.
278  * You no longer have to edit `src/mailman/testing/testing.cfg` to run the
279    test suite against PostgreSQL.  See `src/mailman/docs/START.rst` for
280    details.
282 Interfaces
283 ----------
284  * The RFC 2369 headers added to outgoing messages are now added in sorted
285    order.
286  * Several changes to the internal API:
288    - `IListManager.mailing_lists` is guaranteed to be sorted in List-ID order.
289    - `IDomains.mailing_lists` is guaranteed to be sorted in List-ID order.
290    - Iteration over domains via the `IDomainManager` is guaranteed to be sorted
291      by `IDomain.mail_host` order.
292    - `ITemporaryDatabase` interface and all implementations are removed.
294 REST
295 ----
296  * The Falcon Framework has replaced restish as the REST layer.  This is an
297    internal change only.
298  * The JSON representation `http_etag` key uses an algorithm that is
299    insensitive to Python's dictionary sort order.
300  * The address resource now has an additional '/user' sub-resource which can
301    be used to GET the address's linked user if there is one.  This
302    sub-resource also supports POST to link an unlinked address (with an
303    optional 'auto_create' flag), and PUT to link the address to a different
304    user.  It also supports DELETE to unlink the address.  (LP: #1312884)
305    Given by Aurélien Bompard based on work by Nicolas Karageuzian.
306  * The ``/3.0/system`` path is deprecated; use ``/3.0/system/versions`` to get
307    the system version information.
308  * You can access the system configuration via the resource path
309    ``/3.0/system/configuration/<section>``.  This returns a dictionary with
310    the keys being the section's variables and the values being their value
311    from ``mailman.cfg`` as verbatim strings.  You can get a list of all
312    section names via ``/3.0/system/configuration`` which returns a dictionary
313    containing the ``http_etag`` and the section names as a sorted list under
314    the ``sections`` key.  The system configuration resource is read-only.
315  * Member resource JSON now include the ``member_id`` as a separate key.
318 3.0 beta 4 -- "Time and Motion"
319 ===============================
320 (2014-04-22)
322 Development
323 -----------
324  * Mailman 3 no longer uses ``zc.buildout`` and tests are now run by the
325    ``nose2`` test runner.  See ``src/mailman/docs/START.rst`` for details on
326    how to build Mailman and run the test suite.  Also, use ``-P`` to select a
327    test pattern and ``-E`` to enable stderr debugging in runners.
328  * Use the ``enum34`` package instead of ``flufl.enum``.
329  * Use ``setuptools`` instead of ``distribute``, since the latter is defunct.
331 REST
332 ----
333  * Add ``reply_to_address`` and ``first_strip_reply_to`` as writable
334    attributes of a mailing list's configuration.  (LP: #1157881)
335  * Support pagination of some large collections (lists, users, members).
336    [Florian Fuchs]  (LP: #1156529)
337  * Expose ``hide_address`` to the ``.../preferences`` REST API.
338    [Sneha Priscilla.]  (LP: #1203519)
339  * Mailing lists can now individually enable or disable any archiver available
340    site-wide.  [Joanna Skrzeszewska]  (LP: #1158040)
341  * Addresses can be added to existing users, including display names, via the
342    REST API.  [Florian Fuchs]
343  * Fixed a crash in the REST server when searching for nonmembers via
344    ``/find`` which we've never seen before, because those members only have an
345    address record, not a user record.  This requires a small change in the API
346    where the JSON response's ``address`` key now contains the URL to the
347    address resource, the new ``email`` key contains the email address as a
348    string, and the ``user`` key is optional.
350 Commands
351 --------
352  * `mailman conf` now has a `-t/--sort` flag which sorts the output by section
353    and then key.  [Karl-Aksel Puulmann and David Soto] (LP: 1162492)
354  * Greatly improve the fidelity of the Mailman 2.1 list importer functionality
355    (i.e. ``mailman import21``).  [Aurélien Bompard].
357 Configuration
358 -------------
359  * Add support for the Exim 4 MTA.  [Stephen Turnbull]
360  * When creating the initial file system layout in ``var``, e.g. via
361    ``bin/mailman info``, add an ``var/etc/mailman.cfg`` file if one does not
362    already exist.  Also, when initializing the system, look for that file as
363    the configuration file, just after ``./mailman.cfg`` and before
364    ``~/.mailman.cfg``.  (LP: #1157861)
366 Database
367 --------
368  * The `bounceevent` table now uses list-ids to cross-reference the mailing
369    list, to match other tables.  Similarly for the `IBounceEvent` interface.
370  * Added a `listarchiver` table to support list-specific archivers.
372 Bugs
373 ----
374  * Non-queue runners should not create ``var/queue`` subdirectories.
375    [Sandesh Kumar Agrawal] (LP: #1095422)
376  * Creation of lists with upper case names should be coerced to lower case.
377    (LP: #1117176)
378  * Fix REST server crash on `mailman reopen` due to no interception of
379    signals.  (LP: #1184376)
380  * Add `subject_prefix` to the `IMailingList` interface, and clarify the
381    docstring for `display_name`.  (LP: #1181498)
382  * Fix importation from MM2.1 to MM3 of the archive policy.
383    [Aurélien Bompard] (LP: #1227658)
384  * Fix non-member moderation rule to prefer a member sender if both members
385    and non-members are in the message's sender list.  [Aurélien Bompard]
386    (LP: #1291452)
387  * Fix IntegrityError (against PostgreSQL) when deleting a list with content
388    filters.  [Aurélien Bompard]  (LP: #1117174)
389  * Fix test isolation bug in ``languages.rst``.
390    [Piotr Kasprzyk] (LP: #1308769)
393 3.0 beta 3 -- "Here Again"
394 ==========================
395 (2012-12-31)
397 Compatibility
398 -------------
399  * Python 2.7 is now required.  Python 2.6 is no longer officially supported.
400    The code base is now also `python2.7 -3` clean, although there are still
401    some warnings in 3rd party dependencies.  (LP: #1073506)
403 REST
404 ----
405  * **API change**: The JSON representation for held messages no longer
406    includes the `data` key.  The values in this dictionary are flatted into
407    the top-level JSON representation.  The `key` key is remove since it's
408    redundant.  Use `message_id` for held messages, and `address` for held
409    subscriptions/unsubscriptions.  The following `_mod_*` keys are inserted
410    without the `_mod_` prefix:
412    - `_mod_subject` -> `subject`
413    - `_mod_hold_date` -> `hold_date`
414    - `_mod_reason` -> `reason`
415    - `_mod_sender` -> `sender`
416    - `_mod_message_id` -> `message_id`
418  * List styles are supported through the REST API.  Get the list of available
419    styles (by name) via `.../lists/styles`.  Create a list in a specific style
420    by using POST data `style_name=<style>`.  (LP: #975692)
421  * Allow the getting/setting of IMailingList.subject_prefix via the REST API
422    (given by Terri Oda).  (LP: #1062893)
423  * Expose a REST API for membership change (subscriptions and unsubscriptions)
424    moderation.  (LP: #1090753)
425  * Add list_id to JSON representation for a mailing list (given by Jimmy
426    Bergman).
427  * The canonical resource for a mailing list (and thus its self_link) is now
428    the URL with the list-id.  To reference a mailing list, the list-id url is
429    preferred, but for backward compatibility, the posting address is still
430    accepted.
431  * You can now PUT and PATCH on user resources to change the user's display
432    name or password.  For passwords, you pass in the clear text password and
433    Mailman will hash it before storing.
434  * You can now verify and unverify an email address through the REST API.
435    POST to .../addresses/<email>/verify and .../addresses/<email>/unverify
436    respectively.  The POST data is ignored.  It is not an error to verify or
437    unverify an address more than once, but verifying an already verified
438    address does not change its `.verified_on` date.  (LP: #1054730)
439  * Deleting a user through the REST API also deletes all the user's linked
440    addresses and memberships.  (LP: #1074374)
441  * A user's password can be verified by POSTing to .../user/<id>/login.  The
442    data must contain a single parameter `cleartext_password` and if this
443    matches, a 204 (No Content) will be returned, otherwise a 403 (Forbidden)
444    is returned.  (LP: #1065447)
446 Configuration
447 -------------
448  * `[passlib]path` configuration variable renamed to `[passlib]configuration`.
449  * Postfix-specific configurations in the `[mta]` section are moved to a
450    separate file, named by the `[mta]configuration` variable.
451  * In the new `postfix.cfg` file, `postfix_map_cmd` is renamed to
452    `postmap_command`.
453  * The default list style is renamed to `legacy-default` and a new
454    `legacy-announce` style is added.  This is similar to the `legacy-default`
455    except set up for announce-only lists.
457 Database
458 --------
459  * The `ban` table now uses list-ids to cross-reference the mailing list,
460    since these cannot change even if the mailing list is moved or renamed.
461  * The following columns were unused and have been removed:
463    - `mailinglist.new_member_options`
464    - `mailinglist.send_reminders`
465    - `mailinglist.subscribe_policy`
466    - `mailinglist.unsubscribe_policy`
467    - `mailinglist.subscribe_auto_approval`
468    - `mailinglist.private_roster`
469    - `mailinglist.admin_member_chunksize`
471 Interfaces
472 ----------
473  * The `IBanManager` is no longer a global utility.  Instead, you adapt an
474    `IMailingList` to an `IBanManager` to manage the bans for a specific
475    mailing list.  To manage the global bans, adapt ``None``.
477 Commands
478 --------
479  * `bin/mailman aliases` loses the `--output`, `--format`, and `--simple`
480    arguments, and adds a `--directory` argument.  This is necessary to support
481    the Postfix `relay_domains` support.
482  * `bin/mailman start` was passing the wrong relative path to its runner
483    subprocesses when -C was given.  (LP: #982551)
484  * `bin/runner` command has been simplified and its command line options
485    reduced.  Now, only one `-r/--runner` option may be provided and the
486    round-robin feature has been removed.
488 Other
489 -----
490  * Added support for Postfix `relay_domains` setting for better virtual domain
491    support.  [Jimmy Bergman].
492  * Two new events are triggered on membership changes: `SubscriptionEvent`
493    when a new member joins a mailing list, and an `UnsubscriptionEvent` when a
494    member leaves a mailing list.  (LP: #1047286)
495  * Improve the --help text for the `start`, `stop`, `restart`, and `reopen`
496    subcommands.  (LP: #1035033)
498 Bugs
499 ----
500  * Fixed `send_goodbye_message()`.  (LP: #1091321)
501  * Fixed REST server crash on `reopen` command.  Identification and test
502    provided by Aurélien Bompard.  (LP: #1184376)
505 3.0 beta 2 -- "Freeze"
506 ======================
507 (2012-09-05)
509 Architecture
510 ------------
511  * The link between members and the mailing lists they are subscribed to, is
512    now via the RFC 2369 `list_id` instead of the fqdn listname (i.e. posting
513    address).  This is because while the posting address can change if the
514    mailing list is moved to a new server, the list id is fixed.
515    (LP: #1024509)
517    - IListManager.get_by_list_id() added.
518    - IListManager.list_ids added.
519    - IMailingList.list_id added.
520    - Several internal APIs that accepted fqdn list names now require list ids,
521      e.g. ISubscriptionService.join() and .find_members().
522    - IMember.list_id attribute added; .mailing_list is now an alias that
523      retrieves and returns the IMailingList.
525  * `passlib`_ is now used for all password hashing instead of flufl.password.
526    The default hash is `sha512_crypt`.  (LP: #1015758)
527  * Internally, all datetimes are kept in the UTC timezone, however because of
528    LP: #280708, they are stored in the database in naive format.
529  * `received_time` is now added to the message metadata by the LMTP runner
530    instead of by `Switchboard.enqueue()`.  This latter no longer depends on
531    `received_time` in the metadata.
532  * The `ArchiveRunner` no longer acquires a lock before it calls the
533    individual archiver implementations, since not all of them need a lock.  If
534    they do, the implementations must acquire said lock themselves.
535  * The `news` runner and queue has been renamed to the more accurate `nntp`.
536    The runner has also been ported to Mailman 3 (LP: #967409).  Beta testers
537    can safely remove `$var_dir/queue/news`.
538  * A mailing list's *moderator password* is no longer stored in the clear; it
539    is hashed with the currently selected scheme.
540  * An `AddressVerificationEvent` is triggered when an `IAddress` is verified
541    or unverified.  (LP: #975698)
542  * A `PasswordChangeEvent` is triggered when an `IUser`'s password changes.
543    (LP: #975700)
544  * When a queue runner gets an exception in its _dispose() method, a
545    `RunnerCrashEvent` is triggered, which contains references to the queue
546    runner, mailing list, message, metadata, and exception.  Interested parties
547    can subscribe to that `zope.event` for notification.
548  * Events renamed and moved:
549    * `mailman.chains.accept.AcceptNotification`
550    * `mailman.chains.base.ChainNotification`
551    * `mailman.chains.discard.DiscardNotification`
552    * `mailman.chains.hold.HoldNotification`
553    * `mailman.chains.owner.OwnerNotification`
554    * `mailman.chains.reject.RejectNotification`
555    changed to (respectively):
556    * `mailman.interfaces.chains.AcceptEvent`
557    * `mailman.interfaces.chains.ChainEvent`
558    * `mailman.interfaces.chains.DiscardEvent`
559    * `mailman.interfaces.chains.HoldEvent`
560    * `mailman.interfaces.chains.AcceptOwnerEvent`
561    * `mailman.interfaces.chains.RejectEvent`
562  * A `ConfigurationUpdatedEvent` is triggered when the system-wide global
563    configuration stack is pushed or popped.
564  * The policy for archiving has now been collapsed into a single enum, called
565    ArchivePolicy.  This describes the three states of never archive, archive
566    privately, and archive_publicly. (LP: #967238)
568 Database
569 --------
570  * Schema migrations (LP: #971013)
572    - mailinglist.include_list_post_header -> allow_list_posts
573    - mailinglist.news_prefix_subject_too  -> nntp_prefix_subject_too
574    - mailinglist.news_moderation          -> newsgroup_moderation
575    - mailinglist.archive and mailinglist.archive_private have been collapsed
576      into archive_policy.
577    - mailinglist.nntp_host has been removed.
578    - mailinglist.generic_nonmember_action has been removed (LP: #975696)
580  * Schema migrations (LP: #1024509)
581    - member.mailing_list -> list_id
582  * The PostgreSQL port of the schema accidentally added a moderation_callback
583    column to the mailinglist table.  Since this is unused in Mailman, it was
584    simply commented out of the base schema for PostgreSQL.
586 REST
587 ----
588  * Expose `archive_policy` in the REST API.  Contributed by Alexander
589    Sulfrian.  (LP: #1039129)
591 Configuration
592 -------------
593  * New configuration variables `clobber_date` and `clobber_skew` supported in
594    every `[archiver.<name>]` section.  These are used to determine under what
595    circumstances a message destined for a specific archiver should have its
596    `Date:` header clobbered.  (LP: #963612)
597  * With the switch to `passlib`_, `[passwords]password_scheme` has been
598    removed.  Instead use `[passwords]path` to specify where to find the
599    `passlib.cfg` file.  See the comments in `schema.cfg` for details.
600  * Configuration schema variable changes:
601    * [nntp]username -> [nntp]user
602    * [nntp]port (added)
603  * Header check specifications in the `mailman.cfg` file have changed quite
604    bit.  The previous `[spam.header.foo]` sections have been removed.
605    Instead, there's a new `[antispam]` section that contains a `header_checks`
606    variable.  This variable takes multiple lines of `Header: regexp` values,
607    one per line.  There is also a new `jump_chain` variable which names the
608    chain to jump to should any of the header checks (including the
609    list-specific, and programmatically added ones) match.
611 Documentation
612 -------------
613  * Some additional documentation on related components such as Postorius and
614    hyperkitty have been added, given by Stephen J Turnbull.
616 Bug fixes
617 ---------
618  * Fixed the RFC 1153 digest footer to be compliant.  (LP: #887610)
619  * Fixed a UnicodeError with non-ascii message bodies in the `approved` rule,
620    given by Mark Sapiro. (LP: #949924)
621  * Fixed a typo when returning the configuration file's header match checks.
622    (LP: #953497)
623  * List-Post should be NO when posting is not allowed. (LP: #987563)
624  * Non-unicode values in msgdata broke pending requests. (LP: #1031391)
625  * Show devmode in `bin/mailman info` output. (LP: #1035028)
626  * Fix residual references to the old `IMailingList` archive variables.
627    (LP: #1031393)
629 .. _`passlib`: http://packages.python.org/passlib/index.html
632 3.0 beta 1 -- "The Twilight Zone"
633 =================================
634 (2012-03-23)
636 Architecture
637 ------------
638  * Schema migrations have been implemented.
639  * Implement the style manager as a utility instead of an attribute hanging
640    off the `mailman.config.config` object.
641  * PostgreSQL support contributed by Stephen A. Goss. (LP: #860159)
642  * Separate out the RFC 2369 header adding handler.
643  * Dynamically calculate the `List-Id` header instead of storing it in the
644    database.  This means it cannot be changed.
645  * Major redesign of the template search system, fixing LP: #788309.  $var_dir
646    is now used when search for all template overrides, site, domain, or
647    mailing list.  The in-tree English templates are used only as a last
648    fallback.
649  * Support downloading templates by URI, including mailman:// URIs.  This is
650    used in welcome and goodbye messages, as well as regular and digest headers
651    and footers, and supports both language and mailing list specifications.
652    E.g. mailman:///test@example.com/it/welcome.txt
653  * $user_password is no longer supported as a placeholder in headers and
654    footers.
655  * Mailing lists get multiple chains and pipelines.  For example, normal
656    postings go through the `posting_chain` while messages to owners to through
657    `owners_chain`.  The default `built-in` chain is renamed to
658    `default-posting-chain` while the `built-in` pipeline is renamed
659    `default-posting-pipeline`.
660  * The experimental `maildir` runner is removed.  Use LMTP.
661  * The LMTP server now requires that the incoming message have a `Message-ID`,
662    otherwise it rejects the message with a 550 error.  Also, the LMTP server
663    adds the `X-Message-ID-Hash` header automatically.  The `inject` cli
664    command will also add the `X-Message-ID-Hash` header, but it will craft a
665    `Message-ID` header first if one is missing from the injected text.  Also,
666    `inject` will always set the correct value for the `original_size`
667    attribute on the message object, instead of trusting a possibly incorrect
668    value if it's already set.  The individual `IArchiver` implementations no
669    longer set the `X-Message-ID-Hash` header.
670  * The Prototype archiver now stores its files in maildir format inside of
671    `$var_dir/archives/prototype`, given by Toshio Kuratomi.
672  * Improved "8 mile high" document distilled by Stephen J Turnbull from the
673    Pycon 2012 Mailman 3 sprint.  Also improvements to the Sphinx build given
674    by Andrea Crotti (LP: #954718).
675  * Pipermail has been eradicated.
676  * Configuration variable `[mailman]filtered_messages_are_preservable`
677    controls whether messages which have their top-level `Content-Type`
678    filtered out can be preserved in the `bad` queue by list owners.
679  * Configuration section `[scrubber]` removed, as is the scrubber handler.
680    This handler was essentially incompatible with Mailman 3 since it required
681    coordination with Pipermail to store attachments on disk.
683 Database
684 --------
685  * Schema changes:
686    - welcome_msg      -> welcome_message_uri
687    - goodbye_msg      -> goodbye_message_uri
688    - send_welcome_msg -> send_welcome_message
689    - send_goodbye_msg -> send_goodbye_message
690    - msg_header       -> header_uri
691    - msg_footer       -> footer_uri
692    - digest_header    -> digest_header_uri
693    - digest_footer    -> digest_footer_uri
694    - start_chain      -> posting_chain
695    - pipeline         -> posting_pipeline
696    - real_name        -> display_name (mailinglist, user, address)
697  * Schema additions:
698    - mailinglist.filter_action
699    - mailinglist.owner_chain
700    - mailinglist.owner_pipeline
702 REST
703 ----
704  * Held messages can now be moderated through the REST API.  Mailing list
705    resources now accept a `held` path component.  GETing this returns all held
706    messages for the mailing list.  POSTing to a specific request id under this
707    url can dispose of the message using `Action` enums.
708  * Mailing list resources now have a `member_count` attribute which gives the
709    number of subscribed members.  Given by Toshio Kuratomi.
711 Interfaces
712 ----------
713  * Add property `IUserManager.members` to return all `IMembers` in the system.
714  * Add property `IListmanager.name_components` which returns 2-tuples for
715    every mailing list as (list_name, mail_host).
716  * Remove previously deprecated `IListManager.get_mailing_lists()`.
717  * `IMailTransportAgentAliases` now explicitly accepts duck-typed arguments.
718  * `IRequests` interface is removed.  Now just use adaptation from
719    `IListRequests` directly (which takes an `IMailingList` object).
720  * `handle_message()` now allows for `Action.hold` which is synonymous with
721    `Action.defer` (since the message is already being held).
722  * `IListRequests.get_request()` now takes an optional `request_type`
723    argument to narrow the search for the given request.
724  * New `ITemplateLoader` utility.
725  * `ILanguageManager.add()` returns the `ILanguage` object just created.
726  * `IMailinglist.decorators` removed; it was unused
727  * `IMailingList.real_name` -> `IMailingList.display_name`
728  * `IUser.real_name` -> `IUser.display_name`
729  * `IAddress.real_name` -> `IAddress.display_name`
730  * Add property `IRoster.member_count`.
732 Commands
733 --------
734  * IPython support in `bin/mailman shell` contributed by Andrea Crotti.
735    (LP: #949926).
736  * The `mailman.cfg` configuration file will now automatically be detected if
737    it exists in an `etc` directory which is a sibling of argv0.
738  * `bin/mailman shell` is an alias for `withlist`.
739  * The `confirm` email command now properly handles `Re:`-like prefixes, even
740    if they contain non-ASCII characters.  (LP: #685261)
741  * The `join` email command no longer accepts an `address=` argument.  Its
742    `digest=` argument now accepts the following values: `no` (for regular
743    delivery), `mime`, or `plain`.
744  * Added a `help` email command.
745  * A welcome message is sent when the user confirms their subscription via
746    email.
747  * Global ``-C`` option now accepts an absolute path to the configuration
748    file.  Given by Andrea Crotti.  (LP: #953707)
750 Bug fixes
751 ---------
752  * Subscription disabled probe warning notification messages are now sent
753    without a `Precedence:` header.  Given by Mark Sapiro. (LP: #808821)
754  * Fixed KeyError in retry runner, contributed by Stephen A. Goss.
755    (LP: #872391)
756  * Fixed bogus use of `bounce_processing` attribute (should have been
757    `process_bounces`, with thanks to Vincent Fretin.  (LP: #876774)
758  * Fix `test_moderation` for timezones east of UTC+0000, given by blacktav.
759    (LP: #890675)
762 3.0 alpha 8 -- "Where's My Thing?"
763 ==================================
764 (2011-09-23)
766 Architecture
767 ------------
768  * Factor out bounce detection to `flufl.bounce`.
769  * Unrecognized bounces can now also be forwarded to the site owner.
770  * mailman.qrunner log is renamed to mailman.runner
771  * master-qrunner.lck -> master.lck
772  * master-qrunner.pid -> master.pid
773  * Four new events are created, and notifications are sent during mailing list
774    lifecycle changes:
775    - ListCreatingEvent - sent before the mailing list is created
776    - ListCreatedEvent  - sent after the mailing list is created
777    - ListDeletingEvent - sent before the mailing list is deleted
778    - ListDeletedEvent  - sent after the mailing list is deleted
779  * Four new events are created, and notifications are sent during domain
780    lifecycle changes:
781    - DomainCreatingEvent - sent before the domain is created
782    - DomainCreatedEvent  - sent after the domain is created
783    - DomainDeletingEvent - sent before the domain is deleted
784    - DomainDeletedEvent  - sent after the domain is deleted
785  * Using the above events, when a domain is deleted, associated mailing lists
786    are deleted.  (LP: #837526)
787  * IDomain.email_host -> .mail_host (LP: #831660)
788  * User and Member ids are now proper UUIDs.
789  * Improved the way enums are stored in the database, so that they are more
790    explicitly expressed in the code, and more database efficient.
792 REST
793 ----
794  * Preferences for addresses, users, and members can be accessed, changed, and
795    deleted through the REST interface.  Hierarchical, combined preferences for
796    members, and system preferences can be read through the REST interface.
797    (LP: #821438)
798  * The IMailingList attribute ``host_name`` has been renamed to ``mail_host``
799    for consistency.  This changes the REST API for mailing list
800    resources. (LP: #787599)
801  * New REST resource http://.../members/find can be POSTed to in order to find
802    member records.  Optional arguments are `subscriber` (email address to
803    search for), `fqdn_listname`, and `role` (i.e. MemberRole).  (LP: #799612)
804  * You can now query or change a member's `delivery_mode` attribute through
805    the REST API (LP: #833132).  Given by Stephen A. Goss.
806  * New REST resource http://.../<domain>/lists can be GETed in order to find
807    all the mailing lists in a specific domain (LP: #829765).  Given by
808    Stephen A. Goss.
809  * Fixed /lists/<fqdn_listname>/<role>/<email> (LP: #825570)
810  * Remove role plurals from /lists/<fqdn_listname/rosters/<role>
811  * Fixed incorrect error code for /members/<bogus> (LP: #821020).  Given by
812    Stephen A. Goss.
813  * DELETE users via the REST API.  (LP: #820660)
814  * Moderators and owners can be added via REST (LP: #834130).  Given by
815    Stephen A. Goss.
816  * Getting the roster or configuration of a nonexistent list did not give a
817    404 error (LP: #837676).  Given by Stephen A. Goss.
818  * PATCHing an invalid attribute on a member did not give a 400 error
819    (LP: #833376).  Given by Stephen A. Goss.
820  * Getting the memberships for a non-existent address did not give a 404 error
821    (LP: #848103).  Given by Stephen A. Goss.
823 Commands
824 --------
825  * `bin/qrunner` is renamed to `bin/runner`.
826  * `bin/mailman aliases` gains `-f` and `-s` options.
827  * `bin/mailman create` no longer allows a list to be created with bogus owner
828    addresses.  (LP: #778687)
829  * `bin/mailman start --force` option is fixed.  (LP: #869317)
831 Documentation
832 -------------
833  * Update the COPYING file to contain the GPLv3.  (LP: #790994)
834  * Major terminology change: ban the terms "queue runners" and "qrunners" since
835    not all runners manage queue directories.  Just call them "runners".  Also,
836    the master is now just called "the master runner".
838 Testing
839 -------
840  * New configuration variable in [devmode] section, called `wait` which sets
841    the timeout value used in the test suite for starting up subprocesses.
842  * Handle SIGTERM in the REST server so that the test suite always shuts down
843    correctly.  (LP: #770328)
845 Other bugs and changes
846 ----------------------
847  * Moderating a message with Action.accept now sends the message. (LP: #827697)
848  * Fix AttributeError triggered by i18n call in autorespond_to_sender()
849    (LP: #827060)
850  * Local timezone in X-Mailman-Approved-At caused test failure. (LP: #832404)
851  * InvalidEmailAddressError no longer repr()'s its value.
852  * Rewrote a test for compatibility between Python 2.6 and 2.7. (LP: #833208)
853  * Fixed Postfix alias file generation when more than one mailing list
854    exists.  (LP: #874929).  Given by Vincent Fretin.
857 3.0 alpha 7 -- "Mission"
858 ========================
859 (2011-04-29)
861 Architecture
862 ------------
863  * Significant updates to the subscription model.  Members can now subscribe
864    with a preferred address, and changes to that will be immediately reflected
865    in mailing list subscriptions.  Users who subscribe with an explicit
866    address can easily change to a different address, as long as that address
867    is verified.  (LP: #643949)
868  * IUsers and IMembers are now assigned a unique, random, immutable id.
869  * IUsers now have created_on and .preferred_address properties.
870  * IMembers now have a .user attribute for easy access to the subscribed user.
871  * When created with add_member(), passwords are always stored encrypted.
872  * In all interfaces, "email" refers to the textual email address while
873    "address" refers to the `IAddress` object.
874  * mailman.chains.base.Chain no longer self registers.
875  * New member and nonmember moderation rules and chains.  This effectively
876    ports moderation rules from Mailman 2 and replaces attributes such as
877    member_moderation_action, default_member_moderation, and
878    generic_nonmember_action.  Now, nonmembers exist as subscriptions on a
879    mailing list and members have a moderation_action attribute which describes
880    the disposition for postings from that address.
881  * Member.is_moderated was removed because of the above change.
882  * default_member_action and default_nonmember_action were added to mailing
883    lists.
884  * All sender addresses are registered (unverified) with the user manager by
885    the incoming queue runner.  This way, nonmember moderation rules will
886    always have an IAddress that they can subscribe to the list (as
887    MemberRole.nonmember).
888  * Support for SMTP AUTH added via smtp_user and smtp_pass configuration
889    variables in the [mta] section.  (LP: #490044)
890  * IEmailValidator interface for pluggable validation of email addresses.
891  * .subscribe() is moved from the IAddress to the IMailingList
892  * IAddresses get their registered_on attribute set when the object is created.
894 Configuration
895 -------------
896  * [devmode] section gets a new 'testing' variable.
897  * Added password_scheme and password_length settings  for defining the
898    default password encryption scheme.
899  * creator_pw_file and site_pw_file are removed.
901 Commands
902 --------
903  * 'bin/mailman start' does a better job of producing an error when Mailman is
904    already running.
905  * 'bin/mailman status' added for providing command line status on the master
906    queue runner watcher process.
907  * 'bin/mailman info' now prints the REST root url and credentials.
908  * mmsitepass removed; there is no more site password.
910 REST
911 ----
912  * Add Basic Auth support for REST API security.  (Jimmy Bergman)
913  * Include the fqdn_listname and email address in the member JSON
914    representation.
915  * Added reply_goes_to_list, send_welcome_msg, welcome_msg,
916    default_member_moderation to the mailing list's writable attributes in the
917    REST service.  (Jimmy Bergman)
918  * Expose the new membership model to the REST API.  Canonical member resource
919    URLs are now much shorter and live in their own top-level namespace instead
920    of within the mailing list's namespace.
921  * /addresses/<email>/memberships gets all the memberships for a given email
922    address.
923  * /users is a new top-level URL under which user information can be
924    accessed.  Posting to this creates new users.
925  * Users can subscribe to mailing lists through the REST API.
926  * Domains can be deleted via the REST API.
927  * PUT and PATCH to a list configuration now returns a 204 (No Content).
929 Build
930 -----
931  * Support Python 2.7. (LP: #667472)
932  * Disable site-packages in buildout.cfg because of LP: #659231.
933  * Don't include eggs/ or parts/ in the source tarball. (LP: #656946)
934  * flufl.lock is now required instead of locknix.
936 Bugs fixed
937 ----------
938  * Typo in scan_message(). (LP: #645897)
939  * Typo in add_member().  (LP: #710182) (Florian Fuchs)
940  * Re-enable bounce detectors. (LP: #756943)
941  * Clean up many pyflakes problems; ditching pylint.
944 3.0 alpha 6 -- "Cut to the Chase"
945 =================================
946 (2010-09-20)
948 Commands
949 --------
950  * The functionality of 'bin/list_members' has been moved to
951    'bin/mailman members'.
952  * 'bin/mailman info' -v/--verbose output displays the file system
953    layout paths Mailman is currently configured to use.
955 Configuration
956 -------------
957  * You can now configure the paths Mailman uses for queue files, lock files,
958    data files, etc. via the configuration file.  Define a file system 'layout'
959    and then select that layout in the [mailman] section.  Default layouts
960    include 'local' for putting everything in /var/tmp/mailman, 'dev' for local
961    development, and 'fhs' for Filesystem Hierarchy Standard 2.3 (LP #490144).
962  * Queue file directories now live in $var_dir/queues.
964 REST
965 ----
966  * lazr.restful has been replaced by restish as the REST publishing technology
967    used by Mailman.
968  * New REST API for getting all the members of a roster for a specific mailing
969    list.
970  * New REST API for getting and setting a mailing list's configuration.  GET
971    and PUT are supported to retrieve the current configuration, and set all
972    the list's writable attributes in one request.  PATCH is supported to
973    partially update a mailing list's configuration.  Individual options can be
974    set and retrieved by using subpaths.
975  * Subscribing an already subscribed member via REST now returns a 409 HTTP
976    error.  LP: #552917
977  * Fixed a bug when deleting a list via the REST API.  LP: #601899
979 Architecture
980 ------------
981  * X-BeenThere header is removed.
982  * Mailman no longer touches the Sender or Errors-To headers.
983  * Chain actions can now fire Zope events in their _process()
984    implementations.
985  * Environment variable $MAILMAN_VAR_DIR can be used to control the var/
986    directory for Mailman's runtime files.  New environment variable
987    $MAILMAN_UNDER_MASTER_CONTROL is used instead of the qrunner's --subproc/-s
988    option.
990 Miscellaneous
991 -------------
992  * Allow X-Approved and X-Approve headers, equivalent to Approved and
993    Approve. LP: #557750
994  * Various test failure fixes.  LP: #543618, LP: #544477
995  * List-Post header is retained in MIME digest messages.  LP: #526143
996  * Importing from a Mailman 2.1.x list is partially supported.
999 3.0 alpha 5 -- "Distant Early Warning"
1000 ======================================
1001 (2010-01-18)
1003 REST
1004 ----
1005  * Add REST API for subscription services.  You can now:
1007    - list all members in all mailing lists
1008    - subscribe (and possibly register) an address to a mailing list
1009    - unsubscribe an address from mailing list
1011 Commands
1012 --------
1013  * 'bin/dumpdb' is now 'bin/mailman qfile'
1014  * 'bin/unshunt' is now 'bin/mailman unshunt'
1015  * Mailman now properly handles the '-join', '-leave', and '-confirm' email
1016    commands and sub-addresses.  '-subscribe' and '-unsubscribe' are aliases
1017    for '-join' and '-leave' respectively.
1019 Configuration
1020 -------------
1021  * devmode settings now live in their own [devmode] section.
1022  * Mailman now searches for a configuration file using this search order.  The
1023    first file that exists is used.
1025    - -C config command line argument
1026    - $MAILMAN_CONFIG_FILE environment variable
1027    - ./mailman.cfg
1028    - ~/.mailman.cfg
1029    - /etc/mailman.cfg
1032 3.0 alpha 4 -- "Vital Signs"
1033 ============================
1034 (2009-11-28)
1036 Commands
1037 --------
1038  * 'bin/inject' is now 'bin/mailman inject', with some changes
1039  * 'bin/mailmanctl' is now 'bin/mailman start|stop|reopen|restart'
1040  * 'bin/mailman version' is added (output same as 'bin/mailman --version')
1041  * 'bin/mailman members' command line arguments have changed.  It also
1042    now ignores blank lines and lines that start with #.  It also no longer
1043    quits when it sees an address that's already subscribed.
1044  * 'bin/withlist' is now 'bin/mailman withlist', and its command line
1045    arguments have changed.
1046  * 'bin/mailman lists' command line arguments have changed.
1047  * 'bin/genaliases' is now 'bin/mailman aliases'
1049 Architecture
1050 ------------
1051  * A near complete rewrite of the low-level SMTP delivery machinery.  This
1052    greatly improves readability, testability, reuse and extensibility.  Almost
1053    all the old functionality has been retained.  The smtp_direct.py handler is
1054    gone.
1055  * Refactor model objects into the mailman.model subpackage.
1056  * Refactor most of the i18n infrastructure into a separate flufl.i18n package.
1057  * Switch from setuptools to distribute.
1058  * Remove the dependency on setuptools_bzr
1059  * Do not create the .mo files during setup.
1061 Configuration
1062 -------------
1063  * All log files now have a '.log' suffix by default.
1064  * The substitution placeholders in the verp_format configuration variable
1065    have been renamed.
1066  * Add a devmode configuration variable that changes some basic behavior.
1067    Most importantly, it allows you to set a low-level SMTP recipient for all
1068    mail for testing purposes.  See also devmode_recipient.
1071 3.0 alpha 3 -- "Working Man"
1072 ============================
1073 (2009-08-21)
1075 Configuration
1076 -------------
1077  * Configuration is now done through lazr.config.  Defaults.py is
1078    dead.  lazr.config files are essentially hierarchical ini files.
1079  * Domains are now stored in the database instead of in the configuration file.
1080  * pre- and post- initialization hooks are now available to plugins.  Specify
1081    additional hooks to run in the configuration file.
1082  * Add the environment variable $MAILMAN_CONFIG_FILE which overrides the -C
1083    command line option.
1084  * Make LMTP more compliant with Postfix docs (Patrick Koetter)
1085  * Added a NullMTA for mail servers like Exim which just work automatically.
1087 Architecture
1088 ------------
1089  * 'bin/mailman' is a new super-command for managing Mailman from the command
1090    line.  Some older bin scripts have been converted, with more to come.
1091  * Mailman now has an administrative REST interface which can be used to get
1092    information from and manage Mailman remotely.
1093  * Back port of Mailman 2.1's limit on .bak file restoration.  After 3
1094    restores, the file is moved to the bad queue, with a .psv extension. (Mark
1095    Sapiro)
1096  * Digest creation is moved into a new queue runner so it doesn't block main
1097    message processing.
1099 Other changes
1100 -------------
1101  * bin/make_instance is no longer necessary, and removed
1102  * The debug log is turned up to info by default to reduce log file spam.
1104 Building and installation
1105 -------------------------
1106  * All doc tests can now be turned into documentation, via Sphinx.  Just run
1107    bin/docs after bin/buildout.
1110 3.0 alpha 2 -- "Grand Designs"
1111 ==============================
1112 (03-Jan-2009)
1114 Licensing
1115 ---------
1117  * Mailman 3 is now licensed under the GPLv3.
1119 Bug fixes
1120 ---------
1122  * Changed bin/arch to attempt to open the mbox before wiping the old
1123    archive. Launchpad bug #280418.
1125  * Added digest.mbox and pending.pck to the 'list' files checked by
1126    check_perms. Launchpad bug #284802.
1128 Architecture
1129 ------------
1131  * Converted to using zope.testing as the test infrastructure.  Use bin/test
1132    now to run the full test suite.
1133    <http://pypi.python.org/pypi/zope.testing/3.7.1>
1134  * Partially converted to using lazr.config as the new configuration
1135    regime.  Not everything has been converted yet, so some manual editing
1136    of mailman/Defaults.py is required.  This will be rectified in future
1137    versions.  <http://launchpad.net/lazr.config>
1138  * All web-related stuff is moved to its own directory, effectively moving
1139    it out of the way for now.
1140  * The email command infrastructure has been reworked to play more nicely
1141    with the plug-in architecture.  Not all commands have yet been
1142    converted.
1144 Other changes
1145 -------------
1147  * The LMTP server now properly calculates the message's original size.
1148  * For command line scripts, -C names the configuration file to use.  For
1149    convenient testing, if -C is not given, then the environment variable
1150    MAILMAN_CONFIG_FILE is consulted.
1151  * Support added for a local MHonArc archiver, as well as archiving
1152    automatically in the remote Mail-Archive.com service.
1153  * The permalink proposal for supporting RFC 5064 has been adopted.
1154  * Mailing lists no longer have a .web_page_url attribute; this is taken from
1155    the mailing list's domain's base_url attribute.
1156  * Incoming MTA selection is now taken from the config file instead of
1157    plugins.  An MTA for Postfix+LMTP is added.  bin/genaliases works again.
1158  * If a message has no Message-ID, the stock archivers will return None for
1159    the permalink now instead of raising an assertion.
1160  * IArchiver no longer has an is_enabled property; this is taken from the
1161    configuration file now.
1163 Installation
1164 ------------
1166  * Python 2.6 is the minimal requirement.
1167  * Converted to using zc.buildout as the build infrastructure.  See
1168    docs/ALPHA.txt for details.
1169    <http://pypi.python.org/pypi/zc.buildout/1.1.1>
1172 3.0 alpha 1 -- "Leave That Thing Alone"
1173 =======================================
1174 (08-Apr-2008)
1176 User visible changes
1177 --------------------
1179  * So called 'new style' subject prefixing is the default now, and the only
1180    option.  When a list's subject prefix is added, it's always done so before
1181    any Re: tag, not after.  E.g. '[My List] Re: The subject'.
1182  * RFC 2369 headers List-Subscribe and List-Unsubscribe now use the preferred
1183    -join and -leave addresses instead of the -request address with a subject
1184    value.
1186 Configuration
1187 -------------
1189  * There is no more separate configure; make; make install step. Mailman 3.0
1190    is a setuptools package.
1191  * Mailman can now be configured via a 'mailman.cfg' file which lives in
1192    $VAR_PREFIX/etc.  This is used to separate the configuration from the
1193    source directory.  Alternative configuration files can be specified via
1194    -C/--config for most command line scripts.  mailman.cfg contains Python
1195    code.  mm_cfg.py is no more.  You do not need to import Defaults.py in
1196    etc/mailman.cfg.  You should still consult Defaults.py for the list of site
1197    configuration variables available to you.
1199    See the etc/mailman.cfg.sample file.
1200  * PUBLIC_ARCHIVE_URL and DEFAULT_SUBJECT_PREFIX now takes $-string
1201    substitutions instead of %-string substitutions.  See documentation in
1202    Defaults.py.in for details.
1203  * Message headers and footers now only accept $-string substitutions;
1204    %-strings are no longer supported.  The substitution variable
1205    '_internal_name' has been removed; use $list_name or $real_name
1206    instead.  The substitution variable $fqdn_listname has been added.
1207    DEFAULT_MSG_FOOTER in Defaults.py.in has been updated accordingly.
1208  * The KNOWN_SPAMMERS global variable is replaced with HEADER_MATCHES.  The
1209    mailing list's header_filter_rules variable is replaced with header_matches
1210    which has the same semantics as HEADER_MATCHES, but is list-specific.
1211  * DEFAULT_MAIL_COMMANDS_MAX_LINES -> EMAIL_COMMANDS_MAX_LINES
1212  * All SMTP_LOG_* templates use $-strings and all consistently write the
1213    Message-ID as the first item in the log entry.
1214  * DELIVERY_MODULE now names a handler, not a module (yes, this is a
1215    misnomer, but it will likely change again before the final release).
1217 Architecture
1218 ------------
1220  * Internally, all strings are Unicodes.
1221  * Implementation of a chain-of-rules based approach for deciding whether a
1222    message should initially be accepted, held for approval, rejected/bounced,
1223    or discarded.  This replaces most of the disposition handlers in the
1224    pipeline.  The IncomingRunner now only processes message through the rule
1225    chains, and once accepted, places the message in a new queue processed by
1226    the PipelineRunner.
1227  * Substantially reworked the entire queue runner process management,
1228    including mailmanctl, a new master script, and the qrunners.  This should
1229    be much more robust and reliable now.
1230  * The Storm ORM is used for data storage, with the SQLite backend as the
1231    default relational database.
1232  * Zope interfaces are used to describe the major components.
1233  * Users are now stored in a unified database, and shared across all mailing
1234    lists.
1235  * Mailman's web interface is now WSGI compliant.  WSGI is a Python standard
1236    (PEP 333) allowing web applications to be (more) easily integrated with any
1237    number of existing Python web application frameworks.  For more information
1238    see:
1240    http://www.wsgi.org/wsgi
1241    http://www.python.org/dev/peps/pep-0333/
1243    Mailman can still be run as a traditional CGI program of course.
1244  * Mailman now provides an LMTP server for more efficient integration with
1245    supporting mail servers (e.g. Postfix, Sendmail).  The Local Mail Transport
1246    Protocol is defined in RFC 2033:
1248    http://www.faqs.org/rfcs/rfc2033.html
1249  * Virtual domains are now fully supported in that mailing lists of the same
1250    name can exist in more than one domain.  This is accomplished by renaming
1251    the lists/ and archives/ subdirectories after the list's posting address.
1252    For example, data for list foo in example.com and list foo in example.org
1253    will be stored in lists/foo@example.com and lists/foo@example.org.
1255    For Postfix or manual MTA users, you will need to regenerate your mail
1256    aliases.  Use bin/genaliases.
1258    VIRTUAL_HOST_OVERVIEW has been removed, effectively Mailman now operates
1259    as if it were always enabled.  If your site has more than one domain,
1260    you must configure all domains by using add_domain() in your
1261    etc/mailman.cfg flie (see below -- add_virtual() has been removed).
1262  * If you had customizations based on Site.py, you will need to re-implement
1263    them.  Site.py has been removed.
1264  * The site list is no more.  You can remove your 'mailman' site list unless
1265    you want to retain it for other purposes, but it is no longer used (or
1266    required) by Mailman.  You should set NO_REPLY_ADDRESS to an address that
1267    throws away replies, and you should set SITE_OWNER_ADDRESS to an email
1268    address that reaches the person ultimately responsible for the Mailman
1269    installation.  The MAILMAN_SITE_LIST variable has been removed.
1270  * qrunners no longer restart on SIGINT; SIGUSR1 is used for that now.
1272 Internationalization Big Changes
1273 --------------------------------
1275  * Translators should work only on messages/<lang>/LC_MESSAGES/mailman.po.
1276    Templates files are generated from mailman.po during the build process.
1278 New Features
1279 ------------
1281  * Confirmed member change of address is logged in the 'subscribe' log, and if
1282    admin_notify_mchanges is true, a notice is sent to the list owner using a
1283    new adminaddrchgack.txt template.
1284  * There is a new list attribute 'subscribe_auto_approval' which is a list of
1285    email addresses and regular expressions matching email addresses whose
1286    subscriptions are exempt from admin approval. RFE 403066.
1288 Command line scripts
1289 --------------------
1291  * Most scripts have grown a -C/--config flag to allow you to specify a
1292    different configuration file.  Without this, the default etc/mailman.cfg
1293    file will be used.
1294  * the -V/--virtual-host-overview switch in list_lists has been removed, while
1295    -d/--domain and -f/--full have been added.
1296  * bin/newlist is renamed bin/create_list and bin/rmlist is renamed
1297    bin/remove_list.  Both take fully-qualified list names now (i.e. the list's
1298    posting address), but also accept short names, in which case the default
1299    domain is used.  newlist's -u/--urlhost and -e/--emailhost switches have
1300    been removed.  The domain that the list is being added to must already
1301    exist.
1302  * Backport the ability to specify additional footer interpolation variables
1303    by the message metadata 'decoration-data' key.
1305 Bug fixes and other patches
1306 ---------------------------
1308  * Removal of DomainKey/DKIM signatures is now controlled by Defaults.py
1309    mm_cfg.py variable REMOVE_DKIM_HEADERS (default = No).
1310  * Queue runner processing is improved to log and preserve for analysis in the
1311    shunt queue certain bad queue entries that were previously logged but lost.
1312    Also, entries are preserved when an attempt to shunt throws an exception
1313    (1656289).
1314  * The processing of Topics regular expressions has changed. Previously the
1315    Topics regexp was compiled in verbose mode but not documented as such which
1316    caused some confusion.  Also, the documentation indicated that topic
1317    keywords could be entered one per line, but these entries were not handled
1318    properly.  Topics regexps are now compiled in non-verbose mode and multi-
1319    line entries are 'ored'.  Existing Topics regexps will be converted when
1320    the list is updated so they will continue to work.
1321  * The List-Help, List-Subscribe, and List-Unsubscribe headers were
1322    incorrectly suppressed in messages that Mailman sends directly to users.
1323  * The 'adminapproved' metadata key is renamed 'moderator_approved'.