Merge branch 'typo-documentaion-documentation' into 'master'
[mailman.git] / src / mailman / docs / NEWS.rst
blob45738d78497205e088387e888388e30954d67b88
1 =======================
2  GNU Mailman 3 changes
3 =======================
5 Copyright (C) 1998-2022 by the Free Software Foundation, Inc.
6 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301, USA
8 Here is a history of user visible changes to Mailman.
10 .. _news-3.3.11:
12 3.3.11
13 ======
16 .. _news-3.3.10:
18 3.3.10
19 ======
21 (2024-10-02)
23 Configuration
24 -------------
26 * **BREAKING CHANGE**: The nntp runner is no longer started by default. If you
27   have lists gating to/from usnet you need to add ``start: yes`` in the
28   ``[runner.nntp]`` section in mailman.cfg.
30 Bugs fixed
31 ----------
32 * The ``mailman members`` command will now fall back to the member's user
33   record display_name if the address record has none.  (Closes #1107)
34 * The user_name_or_email substitution in regular header/footer templates now
35   works (Closes #1108)
36 * The output from the ``mailman lists`` command no longer has trailing blanks
37   and the command with the ``-d`` option doesn't fail with very long list ids.
38   (Closes #1117 and #1118)
39 * The text of the AlreadySubscribedError is now translatable.  (Closes #1121)
40 * The ``mailman import21`` command adjust spaces in ``subject_prefix`` for
41   Mailman 2.1 compatibility.  (Closes #1135)
42 * An exception in the lmtp runner is caught and a retryable status returned.
43   (Closes #1148)
44 * Catch more generic requests exceptions on downloading suffix list
45   to avoid shunting messages.  (Closes #1140)
46 * Reordered retrievals in the Task runner to avoid premature deletions due to
47   a race condition.  (Closes #1151)
48 * The ``nttplib`` slated to be removed in Python 3.13. Getting from PyPI.
49   (Closes #1144)
50 * The web URL replacements now work in all templates.  (Closes #1142)
51 * Emergency moderation is now applied following mail loop detection, banned
52   address detection and header matching so those actions are applied before
53   an emergency hold.  (Closes #173)
54 * The performance of ``mailman findmember`` has been improved.  (Closes #1095)
55 * Moderation reasons in admin notices of held messages are now always in the
56   list's preferred language.  (Closes #1159)
57 * The ``mailman import21`` command drops invalid regexps from the imported
58   ``ban_list``.  (Closes #1166)
59 * The default setting for ``bounce_matching_headers`` is shortened.
60   (Closes #1172)
61 * The ``--force`` option for ``mailman start`` will now remove a stale lock if
62   the ``pid`` that set it exists but is not a Mailman process.  (Closes #1174)
64 New Features
65 ------------
66 * One can now add entries like ``@list@example.com`` to the
67   ``accept_these_nonmembers`` attribute of a list to accept nonmember posts
68   from members of another list.  (Closes #794)
69 * REST API now allows forwarding the held message to a new address when handling
70   the message. (Fixes #174)
71 * Add the ability to set web URLs by setting domain's ``base_url`` parameter
72   which allows using parameters like ``$held_message_url`` in
73   the templates. (See #981)
74 * The ``mailman create`` command now has a ``--style-name NAME`` option.
75   (Closes #1136)
76 * The task runner will now delete message files that have no entry in the
77   message store.  (Closes #1145)
78 * Set process title if setproctitle module is available.  (Closes #1134)
79 * Strip whitespaces from Message-ID header value in log not to separate
80   into multiple lines (Closes #1139)
81 * The lifetime of saved DSNs in the message store is now configurable with a
82   default of 1 day.  (Closes #1145)
83 * Task runner now uses the configured dsn_lifetime when deleting bounce events.
84 * Setting ``digest_size_threshold`` to zero now means ``unlimited``, i.e., a
85   digest will never be sent based on size.  (Closes #1158)
86 * There is a new ``mailman admins`` command to add/delete owners or moderators
87   of a list.  (Closes #1160)
89 Other
90 -----
91 * The Mailman master process that starts the runners will now pass a
92   number of environment variables to the runner processes that alter
93   the behavior of the Python interpreter.  See section ENVIRONMENT
94   VARIABLES in `man python`.
96 Packaging
97 ---------
98 * Migrate to using the new standard `pyproject.toml` for Python packaging
99   instead of setup.py. This also moves from setuptools to pdm to be used
100   as the build backend.
102 .. _news-3.3.9:
104 3.3.9
105 =====
107 (2023-10-20)
109 Configuration
110 -------------
112 * **BREAKING CHANGE**: ``logging.http`` section has now been split into two
113   parts, ``logging.http`` is for the Mailman internal code and
114   ``logging.gunicorn`` is for Gunicorn specifically since they have
115   different logging formats. This should fix suprious errors with
116   ``KeyError: t`` that was often confusing for users. (Fixes #1049)
118 * Python 3.9 is now the minimum supported version of Python.
120 Bugs fixed
121 ----------
122 * ``config.mta.remove_dkim_headers`` now applies to messages to -owner.
123   (Closes #1053)
124 * The master process now robustly detects when runner processes
125   terminate and restarts them (Closes #898).
126 * Setting Postfix transport_file_type: regex without setting something for
127   postmap_command: no longer throws an exception.  (Closes #1058)
128 * When bounce processing disables delivery for a user, the user's score is
129   reset so it will be zero if delivery is enabled.  (Closes #1061)
130 * The ``mailman shell`` command now works and displays the banner with
131   ``use_ipython: yes``.  (Closes #1062)
132 * Bogus Message-ID headers that have been observed in the wild are now fixed.
133   (Closes #1065)
134 * Raising StopIteration in a workflow process no longer creates a mailman.error
135   log entry.  (Closes #1059)
136 * The task runner now evicts old, processed bounce events.  (Closes #1067)
137 * We now require authheaders>=0.15.2.  (Closes #1064)
138 * Digests no longer contain a bogus Archived-At header.  (Closes #1069)
139 * Content filtering will no longer add its report to a non-mixed multipart
140   message but will wrap the message and add the report to the wrapper.
141   (Closes #1071)
142 * The administrivia rule will now decode encoded message bodies.
143   (Closes #1072)
144 * Email address validation now accepts quoted local parts and @ in local part.
145   (Closes #1077)
146 * The default for max_recipients has been reduced to 10 to avoid possible lost
147   mail when a large number of invalid recipients causes the MTA to disconnect.
148   (Closes #1083)
149 * Messages preserved or forwarded by content filtering are now the original
150   message rather than the content filtered one.  (Closes #1089)
151 * List welcome and goodbye messages to users with English preferred_language
152   now have their Subject: RFC 2047 encoded as needed.  (Closes #1098)
153 * Bounce processing notifications due to a DSN for multiple users now have the
154   DSN attached to each notice.  (Closes #1101)
156 New Features
157 ------------
158 * There is a new ``dmarc_addresses`` list attribute which is a list of email
159   addresses and patterns matching email addresses.  If a post is From: an
160   address matching one of these, dmarc mitigations will be applied regardless
161   of the From: domain's dmarc policy.  (Closes #1084)
163 Other
164 -----
165 * Typo corrected under "Building the documentation" section of
166   ``contribute.rst``.  (Fixes #1075)
168 .. _news-3.3.8:
170 3.3.8
171 =====
173 (2023-01-04)
175 Bugs fixed
176 ----------
177 * The deprecated SQLAlchemy query.values() method is replaced by
178   query.with_entities().  This fixes an issue with MariaDB that truncated
179   the generated postfix_lmtp file.  (Closes #1044)
180 * An uncaught passlib.exc.UnknownHashError in utilities/passwords.py is now
181   caught and handled appropriately.  (Closes #1046)
182 * Rejection notices for a message with an RFC 2047 encoded Subject: now display
183   the decoded subject.  (Closes #672)
184 * Don't RFC 2047 encode display names in UserNotifications. Allow sending
185   utf-8 encoded notifications.  (Closes #673)
186 * Don't replace non-ascii in subjects in notifications.  (Closes #673)
189 Command line
190 ------------
191 * The ``mailman members`` command no longer RFC 2047 encodes non-ascii display
192   names.  (Closes #1048)
195 Performance
196 -----------
197 * Improve the performance of Held message handling by reducing the total
198   number of database calls required. (Fixes #1026 and #1045)
201 Python Support
202 --------------
203 * Add support for Python 3.10. (Closes #936)
204 * Add support for Python 3.11 (See !1076)
208 .. _news-3.3.7:
210 3.3.7
211 =====
213 (2022-11-10)
215 **BREAKING CHANGE**: When using PostgreSQL database with Mailman, starting with
216 Mailman Core 3.3.7 (due to bump in SQLAlchemy 1.4+), the urls in ``[database]``
217 section will require ``postgresql`` as the scheme. Previously, ``postgres`` was
218 also accepted. This is an example config::
220     [database]
221     class: mailman.database.postgresql.PostgreSQLDatabase
222     url: postgresql://myuser:mypassword@mypghost/mailman
225 Dependencies
226 ------------
227 * Add support for SQLAlchemy 1.4+ (Closes #964)
230 Python Support
231 --------------
233 * Drop support for Python 3.6 since SQLAlchemy 2.0 will drop
234   support for it and it is EOL by now. (See !1035)
237 Bugs fixed
238 ----------
239 * The fix for #994 in 3.3.6 blocked too many subscription attempts.  This is
240   now corrected and another test added.
243 .. _news-3.3.6:
245 3.3.6
246 =====
248 (2022-10-26)
250 Bugs fixed
251 ----------
252 * The ``mailman members`` command reports incompatible options that would
253   otherwise throw exceptions.
254 * Require authheaders >=0.14.0 and adjust tests accordingly.  (Closes #954)
255 * Handling a held message will not remove it from the message store if there
256   are other requests for it.  (Closes #955)
257 * ARC signing now signs after the message has been personalized and decorated.
258   (Closes #896)
259 * The prior fix for expanding replacements in the ``list:user:notice:goodbye``
260   template was incomplete.  This is fixed.  (Closes #922)
261 * Decoration of an html message containing non-ascii resulted in a message
262   that couldn't by flattened as_bytes and whose as_string representation
263   contained non-ascii.  This is fixed.  (Closes #965 and #967)
264 * The REST API will now accept JSON encoded data with boolean values for
265   boolean attributes.  (Closes #970)
266 * Fix a bug where loading a plugin which raises an exception in ``pre_hook``
267   can cause Mailman to crash trying to disable that plugin. (Closes #724)
268 * Fix a bug where the ``PIDWatcher()`` iterates over internal dict while
269   it can be updated during that time. (Closes #724)
270 * The ``mailman import21`` now always imports owners/moderators with
271   ``DeliveryStatus.enabled``.  (Closes #977)
272 * A specific nonmember moderation action will be checked for and applied before
273   testing the legacy ``*_these_nonmembers`` settings.  (Closes #978)
274 * Invalid regexps in ``*_these_nonmembers`` are properly logged and can't be
275   set via REST.  (Closes #974)
276 * Override the as_bytes() method in the mailman.email.message.Message class to
277   workaround https://bugs.python.org/issue41307.  (Closes #979 and #980)
278 * The nonmember moderation rule now checks all senders, not just the first.
279   (Closes #986)
280 * The i18n gettext replacements now all use curly brace notation to avoid
281   issues whith translations that might follow them immediately with a period.
282   The various mailman.po files have been updated accordingly.  (Closes #987)
283 * The ``mailman import21`` command no longer creates unnecessary entries in the
284   ``template`` table.  (Closes #988)
285 * DMARC munge from mitigation will now find a nonmember poster's display name.
286   (Closes #989)
287 * Subscription workflow will now find an existing User when subscription is
288   for an Address and vice versa.  (Closes #994)
289 * The subject of Welcome and Goodbye messages is now translated.  (Closes #993)
290 * Emails to a list's ``-join``, ``-leave`` or ``-confirm`` address that result
291   in some errors will now produce a response.  (Closes #991)
292 * RFC2047 encoded Subject: and From: headers reported in email command replies
293   are now decoded.  (Closes #999)
294 * The ``mailman import21`` command now converts more template replacements and
295   reports to stderr any remaining unconverted replacements.  (See #870)
296 * The postfix generated virtual mappings now have correct spacing with
297   alias_domains.  (Closes #1001 and #1013)
298 * Updated outgoing runner's fake DSN to use list addresses rather than
299   mailman@example.com in From: and To:.  (Closes #1018)
300 * Subject prefixing on lists with non-ascii preferred language no longer drops
301   parts of folded subject headers.  (Closes #1021)
302 * The ``verp_confirmations`` setting has now been implemented with default
303   of ``yes``.  (Closes #1023)
304 * The ``anonymous_list_keep_headers`` setting now only applies to X-* headers
305   and will not cause non X-* headers to be removed.  (Closes #1031)
306 * The ``mailman.mta.connection.sendmail()`` method now accepts a string, bytes
307   or a Message object and ``BaseDelivery`` now passes a Message object.
308   (See #1022)
309 * The ``mailman.app.inject.inject_text()`` function now creates the Message
310   object from bytes.  (Closes #1024)
311 * The ``mailman import21`` command now adds ``^listname@`` to the list's
312   ``acceptable_aliases`` for compatiblity with Mailman 2.1's behavior.
313   (Closes #1032)
314 * An ``AttributeError`` thrown in the task runner, possibly due to a race
315   condition, is now avoided.  (Closes #1028)
316 * Email confirmation of a subscription request for a member is no longer
317   shunted.  (Closes #1035)
319 REST
320 ----
321 * Expose bounce related parameters for Member objects.
323 Command line
324 ------------
325 * The ``mailman members`` command now has a ``--count-only`` option.
326   (Closes #1030)
328 New Features
329 ------------
330 * The LMTP service now only accept ``RCPT TO`` commands if the given
331   recipient address is acceptable (See !1043).
333 .. _news-3.3.5:
335 3.3.5
336 =====
338 (2021-09-28)
340 Bugs fixed
341 ----------
342 * Bounce runner now properly commits database transactions.  (Closes #850)
343 * Pending subscriptions now have a lifetime equal to the configured
344   ``pending_request_life`` rather than 3650 days.  (Closes #729)
345 * Held messages which are handled are now removed from the message store and
346   the pending db.  (Closes #257)
347 * Admin notices sent when a list member's delivery is disabled by bounce or
348   when a member's bounce score is incremented, now contain a copy of the
349   triggering DSN.  (Closes #737)
350 * Handling a held message now also removes the poster's pending
351   ``held message`` from the pending db.  (Closes #257)
352 * Deleting a pending request now also deletes any associated workflow.
353   (See #853)
354 * A new runner which is not a queue runner and which doesn't override its
355   ``run`` or ``_one_itiration`` methods can now be implemented.  (Closes #866)
356 * The ``FileNotFound`` exception thrown in CacheManager on attempt to delete
357   an entry for a missing file is now caught.  (Closes #867)
358 * Pending probe bounce tokens now have a lifetime of 10 days.  (Closes #869)
359 * Improve the performance of ``/users`` API when paginating by doing the
360   pagination in database layer. (Closes #876)
361 * Attempts to get a message from the message store with a missing file are
362   now handled.  (Closes #877)
363 * The task runner no longer prematurely deletes saved DSNs.  (Closes #878)
364 * Bounce probe messages now contain the DSN as advertised.  (Closes #880)
365 * The avoid_duplicates handler properly handles headers that are returned as
366   email.header.Header instances rather than strings.  (Closeds #881)
367 * The mta.deliver module properly handles headers that are returned as
368   email.header.Header instances rather than strings.  (Closeds #882)
369 * Places where  ``to_list`` in the message metadata were increctly referenced
370   as ``tolist`` have been corrected.  (Closes #883)
371 * It is now possible to confirm held messages by email as the admin notice
372   says.  (Closes #169)
373 * Some exceptions in ARC signing of some posts from HyperKitty and some from
374   prod.outlook.com are now handled without shunting the message.  (Closes #885)
375 * Command runner now will decode the message body before processing it.
376   (Closes #859)
377 * The ``mailinglist`` table ``info``, ``autoresponse_owner_text``,
378   ``autoresponse_postings_text`` and ``autoresponse_request_text`` columns are
379   changed to Text.  (Closes #840, #886 and #925)
380 * The mailing list administrators roster ``get_member()`` method now returns
381   the owner if the target is both an owner and moderator.  (Closes #888)
382 * Command runner now handles RFC 2047 encoded command with non-ascii prefix.
383   (Closes #858)
384 * Improve performance of the bounce runner by decreasing the number of
385   database queries executed.
386 * The master watcher will now restart a process that exits.  (See #887)
387 * When using MySQL, most database columns that expect user input will now
388   accept emojis and other 4-byte unicode characters by using the utf8mb4
389   character set instead of 3-byte. (Closes #891)
390 * LMTP runner now sets unixfrom in incoming messages.  (Closes #904)
391 * The ``Message`` ``senders()`` method now RFC2047-decodes and unfolds headers.
392   (Closes #903)
393 * The ``Message`` ``senders()`` method now gets all the addresses from the
394   configured headers.  (Closes #905)
395 * Require flufl.bounce >=3.0.2, which improves parsing of bounce messages.
396   (Closes #892)
397 * DMARC policy discovery ignores domains with multiple DMARC records per
398   RFC 7849.  (Closes #907)
399 * Held messages missing from the message store can now be accepted and/or
400   forwarded.  (closes #914)
401 * Dispose SQLAlchemy connections after a new worker process is forked. (Closes
402   #854)
403 * Exceptions in bounce processing member removal don't roll back successful
404   removals.  (Closes #909)
405 * Only remove or send warnings to list members when processing bounces.
406   (Closes #910)
407 * Replacements are now expanded in the ``list:user:notice:goodbye`` template.
408   (Closes #922)
409 * The nntp runner no longer folds long headers in newsgroup posts.  (Closes
410   #919)
411 * RFC 2047 encoded subject headers will now be recoded in the character set of
412   the list's preferred_language during subject prefixing if possible.  (Closes
413   #923)
414 * DMARC mitigation wrap message now ensures existing cc and reply-to headers
415   are included in the wrapper.  (Closes #926)
416 * The tagger handler now stringifies any Header instances.  (Closes #928)
417 * Invitation and (un)subscription confirmation subjects are now translated
418   to the list's preferred language.  (Closes #930)
419 * The ``mailman syncmembers`` command now catches and reports a
420   ``SubscriptionPendingError``.  (Closes #929)
421 * Trailing spaces are no longer removed from header and footer templates.
422   (Closes #932)
423 * The email ``join`` command now handles RFC2047 encoded display names with
424   embedded commas.  (Closes #933)
425 * The ``gatenews`` command now parses messages with email.message_from_bytes
426   without specifying policy.  (Closes #934)
427 * Improve error message from REST API for invalid email address (Fixes #872)
428 * Nonmember posts gated from usenet bypass nonmember moderation.  (Closes #937)
429 * VERPed vacation responses and similar are no longer scored as bounces.
430   (Closes #939)
431 * If a message is held by a ``HeaderMatchRule``, the header name is now included
432   in the reason for hold.  (Closes #785)
434 Command line
435 ------------
436 * The ``notify`` subcommand is now more tolerant of certain database anomalies.
437   (Closes #861)
438 * The ``notify`` subcommand now handles unicode errors in decoding RFC 2047
439   encoded subject headers.  (Closes #915)
440 * The ``mailman`` command will refuse to run as root unless the new
441   ``--run-as-root`` option is specified.  (Closes #776 and #920)
443 REST
444 ----
445 * Fixed an exception on retreiving held messages if the held request exists,
446   but the message is missing.  (Closes #856)
447 * Add a new ``/users/find`` endpoint to allow searching for users by matching
448   display_name and user's email address. (Closes #874)
450 New Features
451 ------------
452 * There is a new ``bounce_notify_admin_on_bounce_increment`` list setting and
453   a corresponding ``list:admin:notice:increment`` template for the notice.
454   This setting, if True, will cause a notice to be sent to the list admins
455   when a member's bounce score is incremented, but doesn't disable delivery.
456 * There is a new ``moderator_request_life`` setting in the ``[mailman]``
457   section of mailman.cfg that controls the lifetime of pending moderator
458   requests as opposed to pending user confirmations.  Default is 180 days.
459 * There is a new ``task`` runner to do periodic tasks.  The current
460   implementation evicts expired pendings and cache entries and removes
461   orphaned workflows and orphaned message store messages.  It does these tasks
462   at intervals defined by the new ``run_tasks_every`` setting in the
463   ``[mailman]`` section of mailman.cfg. Default is 1 hour.  (Closes #467 and
464   #853)
465 * There is a new ``list:admin:notice:pending`` template for the notice from
466   the ``mailman notify`` command.  (Closes #890)
467 * The ``nntp`` runner will now run the ``gatenews`` subcommand at intervals
468   defined by a new ``gatenews_every`` setting in the ``[nntp]`` section of
469   mailman.cfg. Default is 5 every minutes.
471 Security
472 --------
473 * Check the REST API password in a way that is resistant to timing attacks.
474   (CVE-2021-34337, Closes #911)
476 .. _news-3.3.4:
478 3.3.4
479 =====
481 (2021-03-21)
483 Bugs
484 ----
485 * Require aiosmtpd >= 1.4.1 to allow address local parts longer than 64 bytes
486   in the lmtp runner.  (Closes #836)
487 * The email join command now honors the digest=<no|mime|plain> option.
488   (Closes #19)
489 * Folded ``Message-ID`` headers no longer cause folded smtp.log messages.
490   (Closes #844)
491 * Removal of headers from posts to anonymous lists that can reveal the poster
492   or the poster's domain has been improved.  (Closes #848)
494 Command line
495 ------------
496 * The ``notify`` subcommand will now decode an RFC 2047 encoded Subject: for
497   the report of held messages.  (Closes #831)
498 * The deprecated options ``--add``, ``--del`` and ``--sync`` are now disabled
499   on the ``mailman members`` command.
501 REST
502 ----
503 * Improve the speed of Members lookup via REST API. (Related to #700)
504 * Allow specifying ``delivery_mode`` and ``delivery_status`` when creating a
505   new Member. (Closes #828)
506 * Allow filtering members in ``/members/find`` API using ``delivery_status``,
507   ``delivery_mode`` and ``moderation_action``. (See #827)
509 New Features
510 ------------
511 * There is a new setting ``filter_report`` in the ``[mailman]`` section of
512   mailman.cfg.  If this is set to ``yes``, a report of changes by content
513   filtering will be added to the outgoing message.  (Closes #833)
514 * There is a new setting ``check_max_size_on_filtered_message`` in the
515   ``[mailman]`` section of mailman.cfg.  If this is set to ``yes`` and the
516   list does content filtering, the ``max_message_size`` hold will be based
517   on the size of the content filtered message.  (Closes #377)
518 * There is a new setting ``anonymous_list_keep_headers`` in the ``[mailman]``
519   section of mailman.cfg.  This is part of improved removal of headers from
520   posts to anonymous lists.  This setting is a space separated list of regexp
521   patterns.  After anonomyzing removes the headers which are known to reveal
522   the poster or poster's domain, it then removes all headers whose names do
523   not match (case-insensitively) one of these patterns.  The default setting
524   keeps non X- headers, those X- headers added by Mailman and any X-Spam-
525   headers.
527 Other
528 -----
529 * Add better error message for preferred email edit when not verified. (Closes #706)
530 * Reduce the number of database calls in UserManager. (Closes #700)
532 .. _news-3.3.3:
534 3.3.3
535 =====
537 (2021-02-02)
539 Bugs
540 ----
541 * Handle some UnicodeEncodeErrors in creating digests.  (Closes #560)
542 * Increased the size of the data column in the workflowstate table.
543   (Closes #793)
544 * Implemented a ``scrubber`` for plain text digests.  (Closes #473)
545 * The ``mailman gatenews`` command now adds ``original_size`` as a message
546   attribute.  (Extends fix for #762)
547 * Handle FileNotFoundError when creating digest.mmdf file without a
548   parent directory present.  (Closes #699)
549 * Fixed an issue where content filtering can throw UnicodeEncodeError when
550   converting HTML to plain text.  (Closes #798)
551 * A bounce for a non-existent list is now handled.  (Closes #799)
552 * RFC 2047 From: headers in emailed ``join`` commands are now decoded.
553   (Closes #802)
554 * The ``mailman addmembers`` command now catches and reports a
555   ``SubscriptionPendingError``.  (Closes #805)
556 * RFC 2369 ``List-Owner`` header is now added when these headers are included.
557   (Closes #809)
558 * Header filters will now properly match RFC 2047 encoded headers.
559   (Closes #815)
560 * Mailman's ``vette`` log discard messages now include the reasons.
561   (Closes #816)
562 * Increase the default REST API (gunicorn) timeout to 360 seconds from 30 as
563   several API endpoinds can be very slow. (Closes #770)
564 * Header filter rules are now properly processed after deletions and/or
565   reordering.  (Closes #818)
566 * Folded ``To: list-confirm+token@...`` headers are now parsed correctly.
567   (Closes: #819)
569 Command line
570 ------------
571 * A new ``findmember`` ``mailman`` subcommand has been added to find to which
572   lists and with which roles an address matching a given pattern belongs.
573 * A new ``changeaddress`` ``mailman`` subcommand has been added to enable site
574   admins to change a user's address.
576 New Features
577 ------------
578 * There is a new setting ``hold_digest`` in the ``[mailman]`` section of
579   mailman.cfg.  If this is set to ``yes``, posts with a digest like Subject:
580   header or which quote the digest masthead will be held for moderation.
582 REST
583 ----
584 * List configuration option ``send_goodbye_message`` is now exposed through
585   the REST API. (See !737)
586 * Allow updating an Addresses' display_name attribute. (Closes #786)
587 * Allow specifying a reason when rejecting a subscription request. (Closes
588   #767)
589 * REST API now exposes unsubscription requests that can be handled by
590   Moderator. (Closes #768)
592 3.3.2
593 =====
595 (2020-11-6)
597 Bugs
598 ----
599 * When importing 2.1 lists, ignore CR characters added by browsers in headers
600   and footers.  (Closes #701)
601 * RFC 2369 headers are now added to notification messages.  (Closes #710)
602 * Bounce probes are now encoded in the correct charset.  (Closes #712)
603 * We now unfold address containing headers before parsing in avoid_duplicates.
604   (Closes #725)
605 * The ``dmarc`` rule no longer misses if DNS returns a name containing upper
606   case.  (Closes #726)
607 * Fixed ``mailman.email.message.Message.as_string`` to not return unicode
608   surrogates.  (Closes #732)
609 * Bounce probes can now be sent to a member subscribed as a User.
610   (Closes #739)
611 * A member subscribed as a User can now be unsubscribed.  (Closes #734)
612 * When a handler rejects or discards a message, it won't be delivered or
613   archived anyway.  (Closes #752)
614 * Messages forwarded when content filtering removes the entire message and
615   ``filter_action`` is forward now go to owners as well as moderators.
616   (Closes #753)
617 * Handle TOCTOU conditions when there are two simultaneous subscription
618   requests for the same email address. (Closes #748)
619 * Removed unnecessary call to ``Lock().disown()`` from ``bin/master.py``.
620   (Closes #754)
621 * Fixed an invalid logging call in bin/master.py.  (Closes #756)
622 * VERPed list welcome messages now have a correct envelope sender.
623   (Closes #757)
624 * Messages in digests now contain a ``Message: N`` header.  (Closes #764)
625 * The LMTP runner will now add a ``Message-ID:`` header if missing.
626   (Closes #448 and #490)
627 * The ``mailman gatenews`` command now adds ``original_size`` to the msgdata.
628   (Closes #762)
630 Command line
631 ------------
632 * New ``addmembers``, ``delmembers`` and ``syncmembers`` ``mailman``
633   subcommands have been added.  These provide more options and controls than
634   the corresponding ``mailman members`` modes which are now deprecated.
635   (Closes #686)
636 * The ``mailman conf`` command without a ``-s/--section`` argument will now
637   show sections defined only in mailman.cfg in addition to those from
638   schema.cfg.  (Closes #736)
639 * Added a ``charset`` option to the ``import21`` subcommand.  (Closes #769)
640 * The ``import21`` subcommand will now truncate long SAUnicode values if the
641   database is MySQL.  (Closes #772)
642 * The ``import21`` subcommand no longer adds the entire legacy
643   ``*_these_nonmembers`` list and then removes the non-regexps.  It now just
644   adds the regexps.  (Closes #773)
646 REST
647 ----
648 * Add a new endpoint ``/lists/<listid>/requests/count`` which returns total
649   number of pending requests. (Closes #713)
650 * Subscription requests API now allows filtering requests with ``token_owner``
651   parameter. (Closes #714)
652 * Add ``subscription_mode`` to ``Member`` resource so API clients can
653   differentiate between subscription via address and via primary address of a
654   user. (Closes #707)
655 * Add ``/list/<listid>/held/count`` to get a count of total held
656   messages. (Closes #713)
657 * Add ``fields`` as an optional parameter in all the Member's APIs to customize
658   which fields are included in the resource. (Closes #716)
659 * Expose ``emergency`` field of MailingList via REST API. (Closes #719)
661 Localization
662 ------------
663 * Italian translations of the templates have been added.
664 * The default charset for many languages is changed to utf-8.  (Closes #747)
666 Others
667 ------
668 * Add a new ``archive_rendering_mode`` attribute to ``MailingList`` to
669   configure what kind of rendering should Archivers use to render
670   Emails. (Closes #720)
671 * An ``address=`` option has been added to the email ``join`` command to allow
672   requesting subscription of other than the sender of the email.  (Closes #721)
673 * Added the ability to invite members to a list.  (Closes #510 and #730)
674 * Made (un)subscription confirmation email subjects user friendly and
675   translatable.  (Closes #541)
676 * Implemented a new email ``who`` command to obtain list membership.
677 * Add support  for dnspython>=2.0. (Closes #743)
678 * Added information about ``pass_types``, ``filter_extensions`` and
679   ``pass_extensions`` to the content filtering doc.  (Closes #775)
681 3.3.1
682 =====
684 (2020-04-19)
686 Bugs
687 ----
688 * Allow ``action`` for header matches to be None in REST interface. (Closes #671)
689 * It is now possible to add the list posting address with nonmember role, e.g.
690   to give it a moderaction of discard.  (Closes #633)
691 * The issue of posting a message without a To: header to a fully personalized
692   list throwing a KeyError has been fixed.  (Closes #639)
693 * Confirmation or moderator approval of a subscription from an address banned
694   subsequent to subscribing will no longer succeed.  (Closes #642)
695 * Fixed an issue caused by the fix for #642 where email confirmation of a
696   banned subscription address would cause a shunted message.  (Closes #643)
697 * Fixed a bug where the ``postfix_vmap`` file would merge two columns for long
698   domain names. (Closes #651)
699 * Fix failing test cases due to changed API in a new version of dkimpy. (Closes
700   #655)
701 * Mailman now auto-geneartes alias maps when it starts for the first
702   time. (Closes #469)
703 * Sending a bounce probe now resets ``bounce_score``.  (Closes #660)
704 * Bounce probes which bounce are now properly recognized.  (Closes #661)
705 * Residual bounces are logged but are not processed further.  (Closes #662)
706 * Disabling delivery by bounce properly initializes some bounce info so
707   warnings can be sent and the member eventually removed.  (Closes #663)
708 * Bouncing member is not removed until
709   ``bounce_you_are_disabled_warnings_interval`` after the last warning was
710   sent.  (Closes #664)
711 * Fixed recipient address in delivery disabled by bounce notice to the user.
712   (Closes #665)
713 * Residial bounces are now marked as processed.  (Closes #669)
714 * Find members API now searches for the Member's display name too. (Closes #667)
715 * Content filtering ``convert_html_to_plaintext`` no longer creates messages
716   that can't be flattened as_bytes.  (Closes #677)
717 * Removed an incorrect failing assertion when confirming a confirm_then_moderate
718   unsubscription.  (Closes #553)
719 * Fix a bug due to incompatible API of a new version of ``importlib_resources``
720   library which causes Templates loading to fail. (Closes #691)
721 * Fix a bug due to incompatible API of a new version of ``zope.intefaces``.
722   (See !606)
723 * Import21 no longer tries to import banned addresses.  (Closes #688)
725 Command line
726 ------------
727 * A new ``mailman members --sync`` command has been added to help you
728   synchronize subscribed mailing list members against a text list of
729   subscription addresses. (see !545)
731 REST
732 ----
733 * Expose ``max_days_to_hold``, ``accept_these_nonmembers``,
734   ``reject_these_nonmembers``, ``discard_these_nonmembers``,
735   ``hold_these_nonmembers``, ``personalize``, and ``unsubscription_policy``
736   attributes of a MailingList through API. (See !570)
737 * Add a new ``send_welcome_message`` flag when subscribing users to override
738   MailingList's default setting. (Closes #362)
739 * Expose content filtering settings for MailingList. (Closes #694)
740 * Add ``advertised`` attribute to ``MailingList`` object so Postorius doesn't
741   have to make multiple calls for Index Page. (See !608)
742 * Expose ``filter_action`` attribute of MailingList through API. (See !609)
743 * Unsubscribing a user by calling ``DELETE`` on a Member resources now honors
744   Lists's ``unsubscription_policy`` and also sends out notifications to user
745   and admins if list is configured to do so. (Closes #759)
747 Features
748 --------
749 * Add support for processing of email bounce events. Thanks to Aaryan Bhagat for
750   working on this as a part of his GSoC project and Thanks to Google for
751   sponsoring the project as a part of GSoC.(See !584)
754 3.3.0 -- "Tom Sawyer"
755 =====================
756 (2019-09-04)
758 Bugs
759 ----
760 * A list member with ``receive_list_copy`` set to ``False`` who is addressed in
761   ``CC`` will now be removed from ``CC`` even if this results in no ``CC``.
762   (Closes #575)
763 * ``X-Mailman-Approved-At`` header now has correct timezone.  (Closes #584)
764 * A spurious ``invalid FilterAction: discard. Treating as discard`` log
765   message is eliminated.  (Closes #592)
766 * A post from a nonmember matching the legacy ``accept_these_nonmembers`` is
767   now subject to subsequent rules rather than accepted immediately.
768   (Closes #587)
769 * Email attempts to subscribe a user who is banned or has a subscription
770   already pending are now handled properly.  (Closes #577 and #583)
771 * It is no longer possible to add the list's posting address with any role to
772   a list.  (Closes #599)
773 * Fixed the nntp runner which was calling the ``nntplib.NNTP.post()`` method
774   with a string object instead of bytes.  (Closes #613)
775 * A post with a Reply-To: the list address will no longer be shunted.
776   (Closes #614)
777 * Encoded (base64 or quoted-printable) HTML message bodies are now decoded for
778   ``html_to_plaintext``.  (Closes #616)
779 * Non-VERPed temporary failure DSNs are no longer reported as unrecognized
780   bounces.  (Closes #622)
781 * Fix ``mailman import21`` command to work in Python 3.7.4 and Python 3.8b4
782   (Closes #625)
784 Command line
785 ------------
786 * The ``mailman import21`` command now leaves only regexps in the legacy
787   ``*_these_nonmembers`` list attributes.  (Closes #588)
788 * The ``mailman import21`` command now imports nonmember accept actions as
789   ``Action.defer`` rather than ``Action.accept``.  (Closes #579)
790 * The ``mailman import21`` command now correctly imports ``*_these_nonmembers``
791   actions for nonmembers following a member in the list.  (Closes #580)
792 * The progress meter while ``mailman import21`` is importing rosters has been
793   shortened so it no longer wraps and scrolls.  (Closes #589)
794 * The ``mailman import21`` command no longer sends an email to existing owners
795   for each imported member.  (Closes #605)
796 * A ``mailman notify`` command has been implemented to be run by cron to send
797   periodic notices of held requests to list owners and moderators.
798   (Closes #258)
799 * The ``mailman import21`` command now imports ``private_roster``.
800   (Closes #607)
801 * A ``mailman gatenews`` command has been implemented to be run by cron to gate
802   messages from usenet to those lists which have the gateway configured.
803 * The ``mailman members --add`` command no longer prints a stack trace if an
804   invalid email address is given.  (See !544)
805 * A new ``mailman members --remove`` command has been added to help you
806   mass-unsubscribe subscribers from a mailing list.
808 REST
809 ----
810 * Expose a user's preferred address using REST API. (Closes #240)
811 * Expose `header_matches/find` API to find a list of ``HeaderMatches`` belonging
812   to a MailingList. (See !497)
813 * Allow adding a comment when rejecting held messages. (Closes #594)
814 * Fix a 500 error when creating a user with invalid email address. (Closes #263)
816 Localization
817 ------------
818 * Add French translations for mail templates. (See !522)
820 Other
821 -----
822 * Add a new attribute ``tag`` to ``HeaderMatch`` to find and manage a set of
823   rules. (See !497)
824 * Expired cached entries will be deleted efficiently. (Closes #462)
825 * REST Runner now uses Gunicorn to run WSGI server instead of the standard
826   library wsgiref for better performance.
827 * Add support for SMPTS/STARTTLS for connections to MTA. (See !508)
828 * The last remnants of the mailing list attribute ``nntp_host`` have been
829   removed.  (Closes #611)
830 * Email confirmation requests now include an ``Auto-Submitted`` header to
831   prevent robotic replies per ``RFC 3834``.  (Closes #23)
832 * The mail->news gateway no longer munges Message-ID headers unless the
833   original Message-ID is rejected by the ``nntp_host``.  (Closes #24)
835 3.2.2
836 =====
837 (2019-03-23)
839 REST
840 ----
841 * Failed validation to new Mailing List creation and Domain creation no longer
842   returns 500 errors.
843 * Expose ``preferred_language`` for MailingList through REST API.
844 * Self-link of banned emails will be url-encoded when the email is actually
845   a regex, mainly to prevent misplaced `?` in the link.
846 * REST API now accepts inputs in JSON format. (See !451)
847 * REST API errors are now always formatted as JSON. (See !451)
848 * Failed request validations now return more verbose errors, like ``Enum`` types
849   return all acceptable values. (See !451)
850 * REST API accepts request with content type None (See !479)
853 Command line
854 ------------
855 * The ``mailman import21`` command now displays import progress.  (Closes #561)
856 * An issue with ``mailman subcommand --help`` hanging has been worked around.
857   (Closes #520)
860 3.2.1
861 =====
862 (2019-02-22)
864 Command line
865 ------------
866 * The ``mailman import21`` command properly converts all acceptable_aliases
867   to regexps.  (Closes #496)
868 * The ``mailman import21`` command correctly converts autorespond_* settings.
869   (Closes #505)
870 * The various ``mailman`` commands now issue a help hint in case of error.
871   Tests have been updated to recognize this.  (Closes #519)
873 Bugs
874 ----
875 * Open non-regular log files (e.g. fifos) in write mode instead of append mode.
876   (See !407)
877 * Autoresponses to posts and -owner and -request messages now work.
878   (Closes #504)
879 * Message parts are now properly decoded when trying to remove an Approved:
880   header.  (Closes #518)
881 * Outgoing SMTP connections are now closed following message delivery
882   regardless of the max_sessions_per_connection setting.  (Closes #529)
883 * Messages with Subject: Re: only are now processed correctly.  (Closes #545)
885 LOCALIZATION
886 ------------
887 * Added German translations for mail templates. Thanks to the "Institut für
888   Gebrauchsgrafik" for providing them. (Closes #534)
890 REST
891 ----
892 * Allow setting ``max_num_recipients`` for a mailing list.  (Closes #508)
893 * Add a per-list visibility option for Members. (Closes #108)
895 Other
896 -----
897 * Email commands are now case insensitive.  (Closes #353)
898 * Implicit commands sent to -join, -leave and -confirm addresses no longer
899   generate a Results email.  (Closes #516)
900 * An ``explicit_header_only`` option has been added to Reply-To: munging to
901   avoid putting the list address in Cc:.  (Closes #531)
902 * The default list welcome message has been cleaned up a bit.  (Closes #530)
903 * A substitution variable ``user_name_or_email`` has been added to
904   ``list:member:regular:header`` and ``list:member:regular:footer`` templates
905   when personalized deliveries are enabled.  (Closes #533)
906 * The template search algorithm was fixed to look for in-tree templates for
907   each language in the search list. (Closes #535)
908 * Set default subscription policy to "confirm then moderate" for private
909   mailing list style. (Closes #536)
912 3.2.0 -- "La Villa Strangiato"
913 ==============================
914 (2018-07-10)
916 Bugs
917 ----
918 * A missing html_to_plain_text_command is now properly detected and logged.
919   (Closes #345)
920 * Syntactically invalid sender addresses are now ignored.  (Closes #229)
921 * An AttributeError: 'str' object has no attribute 'decode' exception in
922   subject prefixing is fixed.  (Closes #359)
923 * Messages with no syntactically valid senders are now automatically
924   discarded.  (Closes #369)
925 * Various message holds and rejects that gave 'N/A' as a reason now give an
926   appropriate reason.  (Closes #368)
927 * Bounce messages are now composed for proper translations.
928 * Messages with badly encoded ``Subject`` headers no longer crash the message
929   moderation REST API.  (Closes #383)
930 * Generated ``regexp`` tables for Postfix now account for possible ``+extra``
931   additions to the ``-bounces`` and ``-confirm`` addresses.  (Closes #401)
932 * Address confirmation notices are now properly encoded in the character set
933   of the list's preferred_language.  (Closes #395 and #413)
934 * Thanks to Jim Popovitch, certain failures in DNS lookups of DMARC policy
935   will now result in mitigations being applied.  (Closes #415)
936 * Messages without a sender can no longer bypass the ``nonmember-moderation``
937   rule.  (Closes #414)
938 * Invalid regexps in header_matches rules are properly logged and can't be set
939   via REST.  (Closes #418)
940 * A list whose name is one of the ``admin``, ``bounces``, ``confirm``, etc.
941   subaddresses can now be posted to.  (Closes #433)
942 * The ``admin`` subaddress, a synonym for ``bounces`` and deprecated since
943   Mailman 2.1, has been removed.  (Closes #435)
944 * Better support for changing the ``list_name`` property.  (Closes #428)
945 * Raw Message text is now coerced to pure ascii before sending, and
946   https://bugs.python.org/issue27321 is now defended against by overriding
947   Message.as_string() to cover more cases than before.  (Closes #406)
948 * The override of Message.as_string() has been extended to catch another
949   observed exception.  (Closes #441)
950 * The email.message.UserNotification() constructor will now not fail if given
951   a ``text`` argument containing a character not in the charset of the
952   ``lang`` argument.  (Closes #437)
953 * A new SQLAlchemy column type ``SAUnicodeXL`` has been implemented to support
954   large columns in MySQL and is used for the ``value`` column of the
955   ``pendedkeyvalue`` table.  (Closes #385)
956 * Messages with ``Subject`` headers encoded in an unknown character set no
957   longer throw ``LookupError`` in subject prefixing.  (Closes #445)
958 * A list's ``last_post_at`` is now properly updated.  (Closes #453)
959 * Fixed an AttributeError in mailman/handlers/decorate.py when
960   member.subscriber is an ``IUser`` instance rather than an ``IAddress``
961   instance.  (Closes #449)
962 * Message decoration has been removed from the posting pipeline and added to
963   bulk delivery to avoid duplicate decoration of personalized and VERPed
964   messages.  (Closes #450)
965 * The ``mailman inject`` command now reads standard input as documented if
966   there is no ``-f`` or ``--filename`` option.  (Closes #459)
967 * Mailman doesn't chmod existing configuration directories on startup (Closes
968   #439)
969 * Calling ``set`` on a template evicts the local cache if the template was
970   cached before. (Closes #463)
971 * The override of Message.as_string() has been extended to catch yet another
972   observed exception.  (Closes #470)
973 * Fixed a typo in the help for ``mailman digests --periodic``.  (Closes #472)
974 * Character encoding errors in adding headers and footers to multipart messages
975   are detected and ``replaced``.  (Closes #409)
976 * The help for ``mailman qfile`` has been fixed to reference ``mailman qfile``
977   rather than the non-existent ``bin/dumpdb``.  (Closes #475)
978 * The dmarc rule has been fixed to not throw a TypeError when msg.get('from')
979   returns a header instance.  (Closes #477)
980 * ``mailman`` command without any sub-command now invokes ``mailman help`` by
981   default. (Closes #479)
982 * The ``alias_domain`` attribute can become a null string.  ``mta/postfix.py``
983   has been fixed to generate proper mappings in this case.  (Closes #485)
984 * Fix a bug where duplicate address records can be created when a user adds an
985   existing address with a different case. (Closes #476)
986 * Several additional templates can now be set in the ``var/templates``
987   hierarchy.  (Closes #486)
989 Command line
990 ------------
991 * Adopt the ``click`` package for command line parsing.  This makes the
992   command line more consistent and pluggable.  Also, many CLIs that accepted a
993   "fqdn list name" (i.e. the posting address of a mailing list), now also
994   accept a ``List-ID``.  Every attempt has been made to keep the CLI backward
995   compatible, but there may be subtle differences.  (Closes #346)
996 * If no listname is given, running ``mailman withlist -r`` must name a
997   function taking no arguments.  This can be used to introspect Mailman
998   outside of the context of a mailing list.
999 * Fix ``mailman withlist`` command parsing.  (Closes #319)
1000 * Add a new option ``--periodic`` to ``mailman digests`` command. It sends out
1001   digests for only those Mailing Lists that have ``digest_send_periodic`` option
1002   set to ``True``. (Closes #384)
1003 * The ``mailman import21`` command now imports DMARC mitigations.
1004 * The ``mailman import21`` command no longer creates templates with
1005   non-standard names,  (Closes #482)
1007 Configuration
1008 -------------
1009 * The ``[mailman]pre_hook`` and ``[mailman]post_hook`` variables are
1010   deprecated.  They can still be specified but they will not be run.
1011 * The ``[paths.*]ext_dir`` variable has been removed.
1012 * A new logger has been added called ``logging.plugins``.
1013 * The ``[styles]paths`` variable has been removed; you can now specify
1014   additional styles using the new plugin architecture.
1015 * Mailman now also searches at ``/etc/mailman3/mailman.cfg`` for the
1016   configuration file.
1018 Database
1019 --------
1020 * The fix for #313 which ported an upstream SQLAlchemy fix to Mailman
1021   has been refactored now that SQLAlchemy 1.2 has been released.
1023 Interfaces
1024 ----------
1025 * Broaden the semantics for ``IListManager.get()``.  This API now accepts
1026   both ``List-ID``s and fully qualified list names, since that's the most
1027   common use case.  There's now a separate ``.get_by_fqdn()`` which only
1028   accepts the latter and mirrors the already existing ``.get_by_list_id()``.
1029 * A new template ``list:user:notice:rejected`` has been added for customizing
1030   the bounce message rejection notice.
1031 * The ``acceptable_alias`` and ``require_explicit_destination`` attributes
1032   have been added to the ``IMailingList`` definition.  (Closes #483)
1034 Other
1035 -----
1036 * Add a new plugin architecture, which allows third parties to add
1037   initialization hooks, REST endpoints, and additional components.  Given by
1038   Jan Jancar.
1039 * Drop support for Python 3.4.  (Closes #373)
1040 * Bump minimum requirements for aiosmtpd (>= 1.1) and flufl.lock (>= 3.1).
1041 * Add '.pc' (patch directory) to list of ignored patterns when building the
1042   documentation with Sphinx.
1043 * Domain objects now have an ``alias_domain`` attribute which is normally
1044   ``None``, but which can be set to an alternate domain.  This will enable
1045   the Postfix MTA to generate ``virtual_alias_maps`` which will map list
1046   addresses in the domain to addresses in the alternate domain, and will
1047   modify the other generated mappings to use the ``alias_domain``.  The
1048   ``lmtp`` runner will also accept the alias_domain as an alias for the
1049   ``email_host``.
1050 * ``ICacheManager`` now allows evicting a single file from cache.
1052 REST
1053 ----
1054 * Allow a mailing list's acceptable aliases to be cleared by calling
1055   ``DELETE`` on the list's ``config/acceptable_aliases`` resource.
1056   (Closes #394)
1057 * Allow setting ``max_message_size`` for a mailing list. (Closes #417)
1058 * Added new attribute in ``lists/styles`` resource ``styles`` that contains the
1059   list of all the styles in Core along with their description. ``style_names``
1060   attribute is now deprecated and will be removed in future versions.
1061 * Add ``display_name`` for ``member`` in order to expose ``member.display_name``.
1062   (Closes #398)
1063 * Expose ``MailingList.respond_to_post_request`` through REST API. (Closes #420)
1064 * Add a new API ``lists/find`` which returns all the lists related to a
1065   subscriber. It optionally allows filtering based on a role. (See !388)
1066 * ``IAcceptableAliasSet`` resource now interprets an empty string ('') as an
1067   empty list ([]). This can be used to clear the list of acceptable aliases of a
1068   MailingList in a PATCH or PUT request, without having to use a DELETE request.
1069 * Expose ``MailingList.require_explicit_destination`` through REST API.
1070   (Closes #484)
1073 3.1.0 -- "Between The Wheels"
1074 =============================
1075 (2017-05-25)
1077 Bugs
1078 ----
1079 * When the mailing list's ``admin_notify_mchanges`` is True, the list owners
1080   now get the subscription notification.  (Closes: #1)
1081 * Fix the traceback that occurred when trying to convert a ``text/html``
1082   subpart to plaintext via the ``mimedel`` handler.  Now, a configuration
1083   variable ``[mailman]html_to_plain_text_command`` in the ``mailman.cfg`` file
1084   defines the command to use.  It defaults to ``lynx``.  (Closes: #109)
1085 * Confirmation messages should not be ``Precedence: bulk``.  (Closes #75)
1086 * Fix constraint violations on mailing list deletes affecting PostgreSQL.
1087   Given by Abhilash Raj.  (Closes #115)
1088 * ``mailman`` command with no subcommand now prints the help text.  Given by
1089   Abhilash Raj.  (Closes #137)
1090 * The MHonArc archiver must set stdin=PIPE when calling the subprocess.
1091   Given by Walter Doekes.
1092 * For now, treat ``DeliveryMode.summary_digests`` the same as
1093   ``.mime_digests``.
1094   (Closes #141).  Also, don't enqueue a particular digest if there are no
1095   recipients for that digest.
1096 * For Python versions earlier than 3.5, use a compatibility layer for a
1097   backported smtpd module which can accept non-UTF-8 data.  (Closes #140)
1098 * Bulk emails are now decorated with headers and footers.  Given by Aurélien
1099   Bompard.  (Closes #145)
1100 * Core no longer depends on the standalone ``mock`` module.  (Closes: #146)
1101 * The logging of moderation reasons has been fixed.  Given by Aurélien
1102   Bompard.
1103 * Collapse multiple ``Re:`` in Subject headers.  Given by Mark Sapiro.
1104   (Closes: #147)
1105 * Added Trove classifiers to setup.py.  (Closes: #152)
1106 * Fix the processing of subscription confirmation messages when the mailing
1107   list is set to confirm-then-moderate.  (Closes #114)
1108 * Fix ``UnicodeEncodeError`` in the hold chain when sending the authorization
1109   email to the mailing list moderators.  (Closes: #144)
1110 * Fix traceback in approved handler when the moderator password is None.
1111   Given by Aurélien Bompard.
1112 * Fix IntegrityErrors raised under PostreSQL when deleting users and
1113   addresses.  Given by Aurélien Bompard.
1114 * Allow mailing lists to have localhost names with a suffix matching the
1115   subcommand extensions.  Given by Aurélien Bompard.  (Closes: #168)
1116 * Don't traceback if a nonexistent message-id is deleted from the message
1117   store.  Given by Aurélien Bompard, tweaked by Barry Warsaw.  (Closes: #167)
1118 * Fix a bug in ``SubscriptionService.find_members()`` when searching for a
1119   subscribed address that is not linked to a user.  Given by Aurélien Bompard.
1120 * Fix a REST server crash when trying to subscribe a user without a preferred
1121   address.  (Closes #185)
1122 * Fix membership query when multiple users are subscribed to a mailing list.
1123   Reported by Darrell Kresge.  (Closes: #190)
1124 * Prevent moderation of messages held for a different list.  (Closes: #161)
1125 * When approving a subscription request via the REST API, for a user who is
1126   already a member, return an HTTP 409 Conflict code instead of the previous
1127   server traceback (and resulting HTTP 500 code).  (Closes: #193)
1128 * In decoration URIs (e.g. ``IMailingList.header_uri`` and ``.footer_uri``)
1129   you should now use the mailing list's List-ID instead of the
1130   fqdn-listname.  The latter is deprecated.  (Closes #196)
1131 * Trying to subscribe an address as a list owner (or moderator or nonmember)
1132   which is already subscribed with that role produces a server error.
1133   Originally given by Anirudh Dahiya.  (Closes #198)
1134 * Cross-posting messages held on both lists no longer fails.  (Closes #176)
1135 * Don't let unknown charsets crash the "approved" rule.  Given by Aurélien
1136   Bompard.  (Closes #203)
1137 * Don't let crashes in IArchiver plugins break handlers or runners.
1138   (Closes #208)
1139 * Fix "None" as display name in welcome message.  Given by Aditya Divekar.
1140   (Closes #194)
1141 * Fix ``mailman shell`` processing of ``$PYTHONSTARTUP``.  (Closes #224)
1142 * Fix query bug for ``SubscriptionService.find_members()`` leading to the
1143   incorrect number of members being returned.  Given by Aurélien Bompard.
1144   (Closes #227)
1145 * Fix header match rule suffix inflation.  Given by Aurélien Bompard.
1146   (Closes #226)
1147 * MIME digests now put the individual message/rfc822 messages inside a
1148   multipart/digest subpart.  (Closes #234)
1149 * Nonmember subscriptions are removed when one of the addresses controlled by
1150   a user is subscribed as a member.  Given by Aditya Divekar.  (Closes #237)
1151 * Email address validation is now more compliant with RFC 5321.  (Closes #266)
1152 * A mailing list's ``description`` must not contain newlines.  Given by
1153   Aurélien Bompard.  (Closes: #273)
1154 * Allow MailingList.info to be set using the REST API.  Given by Aurélien
1155   Bompard.
1156 * Extend header filters to also check sub-part headers.  (Closes #280)
1157 * Allow REST API to PUT and PATCH domain attributes.  Allows Postorius domain
1158   edit to work.  (Closes: #290)
1159 * Prevent posting from banned addresses.  Given by Aurélien Bompard.
1160   (Closes: #283)
1161 * Remove the digest mbox files after the digests are sent.  Given by Aurélien
1162   Bompard.  (Closes: #259)
1163 * Transmit the moderation reason and expose it in the REST API as the
1164   ``reason`` attribute.  Given by Aurélien Bompard.
1165 * Don't return a 500 error from the REST API when trying to handle a held
1166   message with defective content.  Given by Abhilash Raj.  (Closes: #256)
1167 * Delete subscription requests when a mailing list is deleted.  Given by
1168   Abhilash Raj.  (Closes: #214)
1169 * Messages were shunted when non-ASCII characters appeared in a mailing
1170   list's description.  Given by Mark Sapiro.  (Closes: #215)
1171 * Fix confirmation of unsubscription requests.  (Closes: #294)
1172 * Fix ``mailman stop`` not stopping some runners due to PEP 475 interaction.
1173   (Closes: #255)
1174 * Update documentation links for ``config.cfg`` settings.  (Closes: #306)
1175 * Disallow problematic characters in listnames.  (Closes: #311)
1176 * Forward port several content filtering fixes from the 2.1 branch.
1177   (Closes: #330, #331, #332 and #334)
1179 Configuration
1180 -------------
1181 * Mailing lists can now have their own header matching rules, although
1182   site-defined rules still take precedence.  Importing a Mailman 2.1 list
1183   with header matching rules defined will create them in Mailman 3, albeit
1184   with a few unsupported corner cases.  Definition of new header matching
1185   rules is not yet exposed through the REST API.  Given by Aurélien Bompard.
1186 * The default languages from Mailman 2.1 have been ported over.  Given by
1187   Aurélien Bompard.
1188 * There is now a configuration setting to limit the characters that can be
1189   used in list names.
1191 Command line
1192 ------------
1193 * ``mailman create <listname@dom.ain>`` will now create missing domains
1194   by default.  The ``-d``/``--domain`` option is kept for backward
1195   compatibility, but now there is a ``-D``/``--no-domain`` option to prevent
1196   missing domains from being create, forcing an error in those cases.
1197   Given by Gurkirpal Singh.  (Closes #39)
1198 * ``mailman`` subcommands now properly commit any outstanding transactions.
1199   (Closes #223)
1200 * ``mailman digests`` has grown ``--verbose`` and ``-dry-run`` options.
1201 * ``mailman shell`` now supports readline history if you set the
1202   ``[shell]history_file`` variable in mailman.cfg.  Also, many useful names
1203   are pre-populated in the namespace of the shell.  (Closes: #228)
1205 Database
1206 --------
1207 * MySQL is now an officially supported database.  Given by Abhilash Raj.
1208 * Fix a problem with tracebacks when a PostgreSQL database is power cycled
1209   while Mailman is still running.  This ports an upstream SQLAlchemy fix to
1210   Mailman in lieu of a future SQLAlchemy 1.2 release.  (Closes: #313)
1212 Interfaces
1213 ----------
1214 * Implement reasons for why a message is being held for moderator approval.
1215   Given by Aurélien Bompard, tweaked by Barry Warsaw.
1216 * The default ``postauth.txt`` and ``postheld.txt`` templates now no longer
1217   include the inaccurate admindb and confirmation urls.
1218 * Messages now include a ``Message-ID-Hash`` as the replacement for
1219   ``X-Message-ID-Hash`` although the latter is still included for backward
1220   compatibility.  Also be sure that all places which add the header use the
1221   same algorithm.  (Closes #118)
1222 * ``IMessageStore.delete_message()`` no longer raises a ``LookupError`` when
1223   you attempt to delete a nonexistent message from the message store.
1224 * ``ISubscriptionService.find_members()`` accepts asterisks as wildcards in
1225   the ``subscriber`` argument string.  Given by Aurélien Bompard.
1226 * ``ISubscriptionService`` now supports mass unsubscribes.  Given by Harshit
1227   Bansal.
1229 Message handling
1230 ----------------
1231 * New DMARC mitigations have been added.  Given by Mark Sapiro.  (Closes #247)
1232 * New placeholders have been added for message headers and footers.  You can
1233   use a placeholder of the format ``$<archiver-name>_url`` to insert the
1234   permalink to the message in the named archiver, for any archiver enabled
1235   for the mailing list.  Given by Abhilash Raj.
1236 * The default posting chain has been modified so that the header-match chain
1237   and nonmember-moderation rule are processed before "hold" rules are
1238   processed.  This allows for better anti-spam defenses and rejecting
1239   non-member posts instead of always holding them for moderator review.
1240   Given by Aurélien Bompard.  (Closes #163)
1241 * Bounces can now contain rejection messages.  Given by Aurélien Bompard.
1242 * The ``moderation_action`` for members and nonmember can now be ``None``
1243   which signals falling back to the appropriate list default action,
1244   e.g. ``default_member_action`` and ``default_nonmember_action``.  Given by
1245   Aurélien Bompard.  (Closes #189)
1246 * Ensure that postings from alternative emails aren't held for moderator
1247   approval.  For example, if a user is subscribed with one email but posts
1248   with a second email that they control, the message should be processed as
1249   a posting from a member.  Given by Aditya Divekar.  (Closes #222)
1250 * The default message footer has been improved to include a way to
1251   unsubscribe via the ``-leave`` address.  Given by Francesco Ariis.
1253 REST
1254 ----
1255 * REST API version 3.1 introduced.  Mostly backward compatible with version
1256   3.0 except that UUIDs are represented as hex strings instead of 128-bit
1257   integers, since the latter are not compatible with all versions of
1258   JavaScript.  (Closes #121)
1259 * REST clients must minimally support HTTP/1.1. (Closes #288)
1260 * Experimental Gunicorn support.  See ``contrib/gunicorn.py`` docstring for
1261   details.  With assistance from Eric Searcy.  (Closes #287)
1262 * The new template system is introduced for API 3.1.  See
1263   ``src/mailman/rest/docs/templates.rst`` for details.  (Closes #249)
1264 * When creating a user via REST using an address that already exists, but
1265   isn't linked, the address is linked to the new user.  Given by Aurélien
1266   Bompard.
1267 * The REST API incorrectly parsed ``is_server_owner`` values when given
1268   explicitly in the POST that creates a user.  (Closes #136)
1269 * A new top-level resource ``<api>/owners`` can be used to get the list of
1270   server owners as ``IUser`` s.  (Closes #135)
1271 * By POSTing to a user resource with an existing unlinked address, you can
1272   link the address to the user.  Given by Abhilash Raj.
1273 * Fix pagination values ``start`` and ``total_size`` in the REST API.  Given
1274   by Aurélien Bompard.  (Closes: #154)
1275 * JSON representations for held message now include a ``self_link``.
1276 * When ``[devmode]enabled`` is set, the JSON output is sorted.  Given by
1277   Aurélien Bompard.
1278 * A member's moderation action can be changed via the REST API.  Given by
1279   Aurélien Bompard.
1280 * Fixed a number of corner cases for the return codes when PUTing or PATCHing
1281   list configuration variables.  (Closes: #182)
1282 * Expose ``digest_send_periodic``, ``digest_volume_frequency``, and
1283   ``digests_enabled`` (renamed from ``digestable``) to the REST API.
1284   (Closes: #159)
1285 * Expose the "bump digest" and "send digest" functionality though the REST
1286   API via the ``<api>/lists/<list-id>/digest`` end-point.  GETting this
1287   resource returns the ``next_digest_number`` and ``volume`` as the same
1288   values accessible through the list's configuraiton resource.  POSTing to
1289   the resource with either ``send=True``, ``bump=True``, or both invokes the
1290   given action.
1291 * Global and list-centric bans can now be managed through the REST API.
1292   Given by Aurélien Bompard.
1293 * ``<api>/members/find`` accepts GET query parameters in addition to POST
1294   arguments.  Given by Aurélien Bompard.
1295 * Header match rules for individual mailing lists are now exposed in the REST
1296   API.  Given by Aurélien Bompard.  (Closes: #192)
1297 * Expose ``goodbye_message_uri`` in the REST API.  Given by Harshit Bansal.
1298 * New subscription requests are rejected if there is already one pending.
1299   With thanks to Anirudh Dahiya.  (Closes #199)
1300 * Expose the system pipelines and chains via ``<api>/system/pipelines`` and
1301   ``<api>/system/chains`` respectively.  Given by Simon Hanna.  (Closes #66)
1302 * Support mass unsubscription of members via ``DELETE`` on the
1303   ``<api>/lists/<list-id>/roster/member`` resource.  Given by Harshit
1304   Bansal.  (Closes #171)
1305 * It is now possible to merge users when creating them via REST.  When you
1306   POST to ``<api>/users/<address>/addresses`` and the address given in the
1307   ``email`` parameter already exists, instead of getting a 400 error, if you
1308   set ``absorb_existing=True`` in the POST data, the existing user will be
1309   merged into the newly created on.  Given by Aurélien Bompard.
1310 * Port to Falcon 1.0 (Closes #20)
1311 * A member's ``moderation_action`` can be reset, allowing fallback to the
1312   list's ``default_member_action`` by setting the attribute to the empty
1313   string in the REST API.  Given by Aurélien Bompard.
1314 * A list's ``moderator_password`` can be set via the REST API.  Given by
1315   Andrew Breksa.  (Closes #207)
1316 * The ban manager now returns a pageable, sorted sequence.  Given by Amit and
1317   Aurélien Bompard.  (Closes #284)
1318 * Query parameters now allow you to filter mailing lists by the
1319   ``advertised`` boolean parameter.  Given by Aurélien Bompard.
1320 * Only the system-enabled archivers are returned in the REST API.  Given by
1321   Aurélien Bompard.
1322 * **Backward incompatibility: mild** Held message resources now have an
1323   ``original_subject`` key which is the raw value of the ``Subject:`` header
1324   (i.e. without any RFC 2047 decoding).  The ``subject`` key is RFC 2047
1325   decoded.  Given by Simon Hanna.  (Closes #219)
1327 Other
1328 -----
1329 * Add official support for Python 3.5 and 3.6. (Closes #295)
1330 * A handful of unused legacy exceptions have been removed.  The redundant
1331   ``MailmanException`` has been removed; use ``MailmanError`` everywhere.
1332 * Drop the use of the ``lazr.smtptest`` library, which is based on the
1333   asynchat/asyncore-based smtpd.py stdlib module.  Instead, use the
1334   asyncio-based `aiosmtpd <https://aiosmtpd.readthedocs.io/>`_ package.
1335 * Improvements in importing Mailman 2.1 lists, given by Aurélien Bompard.
1336 * The ``prototype`` archiver is not web accessible so it does not have a
1337   ``list_url`` or permalink.  Given by Aurélien Bompard.
1338 * Large performance improvement in ``SubscriptionService.find_members()``.
1339   Given by Aurélien Bompard.
1340 * Rework the digest machinery, and add a new ``digests`` subcommand, which
1341   can be used from the command line or cron to immediately send out any
1342   partially collected digests, or bump the digest and volume numbers.
1343 * The mailing list "data directory" has been renamed.  Instead of using the
1344   fqdn listname, the subdirectory inside ``[paths]list_data_dir`` now uses
1345   the List-ID.
1346 * The ``mailman members`` command can now be used to display members based on
1347   subscription roles.  Also, the positional "list" argument can now accept
1348   list names or list-ids.
1349 * Unsubscriptions can now be confirmed and/or moderated.  (Closes #213)
1352 3.0.0 -- "Show Don't Tell"
1353 ==========================
1354 (2015-04-28)
1356 Architecture
1357 ------------
1358 * Domains now have a list of owners, which are ``IUser`` objects, instead of
1359   the single ``contact_address`` they used to have.  ``IUser`` objects now
1360   also have a ``is_server_owner`` flag (defaulting to False) to indicate
1361   whether they have superuser privileges.  Give by Abhliash Raj, with fixes
1362   and refinements by Barry Warsaw.  (LP: #1423756)
1363 * Mailing list subscription policy work flow has been completely rewritten.
1364   It now properly supports email verification and subscription confirmation
1365   by the user, and approval by the moderator using unique tokens.
1366   ``IMailingList`` objects now have a ``subscription_policy`` attribute.
1367   (LP: #1095552)
1368 * Port the REST machinery to Falcon 0.3. (LP: #1446881)
1370 Bugs
1371 ----
1372 * Fix calculation of default configuration file to use when the ``$var_dir``
1373   is created by ``mailman start``.  (LP: #1411435)
1374 * When creating a user with an email address, do not create the user record
1375   if the email address already exists.  Given by Andrew Stuart.
1376   (LP: #1418280)
1377 * When deleting a user via REST, make sure all linked addresses are deleted.
1378   Found by Andrew Stuart.  (LP: #1419519)
1379 * When trying to subscribe an address to a mailing list through the REST API
1380   where a case-differing version of the address is already subscribed, return
1381   a 409 error instead of a 500 error.  Found by Ankush Sharma.  (LP: #1425359)
1382 * ``mailman lists --domain`` was not properly handling its arguments.  Given
1383   by Manish Gill.  (LP: #1166911)
1384 * When deleting a user object, make sure their preferences are also deleted.
1385   Given by Abhishek.  (LP: #1418276)
1386 * Be sure a mailing list's acceptable aliases are deleted when the mailing
1387   list itself is deleted.  (LP: #1432239)
1388 * The built-in example ``IArchiver`` implementations now explicitly return
1389   None.  (LP: #1203359)
1390 * The test suite now runs successfully again with PostgreSQL.  Given by
1391   Aurélien Bompard.  (LP: #1435941)
1393 Configuration
1394 -------------
1395 * When specifying a file system path in the [paths.*] section, $cfg_file can
1396   be used to expand into the path of the ``-C`` option if given.  In the
1397   default ``[paths.dev]`` section, ``$var_dir`` is now specified relative to
1398   ``$cfg_file`` so that it won't accidentally be relative to the current
1399   working directory, if ``-C`` is given.
1400 * ``$cwd`` is now an additional substitution variable for the ``mailman.cfg``
1401   file's ``[paths.*]`` sections.  A new ``[paths.here]`` section is added,
1402   which puts the ``var_dir`` in ``$cwd``.  It is made the default layout.
1404 Documentation
1405 -------------
1406 * Improve the documentation describing how to run Alembic to add new schema
1407   migrations.  Given by Abhilash Raj.
1409 REST
1410 ----
1411 * **Backward incompatible change**: The JSON representation for pending
1412   mailing list subscription hold now no longer includes the ``password``
1413   key.  Also, the ``address`` key has been renamed ``email`` for consistent
1414   terminology and other usage.
1415 * You can now view the contents of, inject messages into, and delete messages
1416   from the various queue directories via the ``<api>/queues`` resource.
1417 * You can now DELETE an address.  If the address is linked to a user, the
1418   user is not delete, it is just unlinked.
1419 * A new API is provided to support non-production testing infrastructures,
1420   allowing a client to cull all orphaned UIDs via ``DELETE`` on
1421   ``<api>/reserved/uids/orphans``.  Note that *no guarantees* of API
1422   stability will ever be made for resources under ``reserved``.
1423   (LP: #1420083)
1424 * Domains can now optionally be created with owners; domain owners can be
1425   added after the fact; domain owners can be deleted.  Also, users now have
1426   an ``is_server_owner`` flag as part of their representation, which defaults
1427   to False, and can be PUT and PATCH'd.  Given by Abhilash Raj, with fixes
1428   and refinements by Barry Warsaw.  (LP: #1423756)
1431 3.0 beta 5 -- "Carve Away The Stone"
1432 ====================================
1433 (2014-12-29)
1435 Bugs
1436 ----
1437 * Fixed Unicode errors in the digest runner and when sending messages to the
1438   site owner as a fallback.  Given by Aurélien Bompard.  (LP: #1130957).
1439 * Fixed Unicode errors when a message being added to the digest has non-ascii
1440   characters in its payload, but no Content-Type header defining a charset.
1441   Given by Aurélien Bompard.  (LP: #1170347)
1442 * Fixed messages without a `text/plain` part crashing the `Approved` rule.
1443   Given by Aurélien Bompard.  (LP: #1158721)
1444 * Fixed getting non-ASCII filenames from RFC 2231 i18n'd messages.  Given by
1445   Aurélien Bompard.  (LP: #1060951)
1446 * Fixed `AttributeError` on MIME digest messages.  Given by Aurélien Bompard.
1447   (LP: #1130696)
1449 Commands
1450 --------
1451 * The `mailman conf` command no longer takes the `-t/--sort` option; the
1452   output is always sorted.
1454 Configuration
1455 -------------
1456 * The ``[database]migrations_path`` setting is removed.
1458 Database
1459 --------
1460 * The ORM layer, previously implemented with Storm, has been replaced by
1461   SQLAlchemy, thanks to the fantastic work by Abhilash Raj and Aurélien
1462   Bompard.  Alembic is now used for all database schema migrations.
1463 * The new logger `mailman.database` logs any errors at the database layer.
1465 Development
1466 -----------
1467 * Python 3.4 is now the minimum requirement.
1468 * You no longer have to create a virtual environment separately when running
1469   the test suite.  Just use `tox`.
1470 * You no longer have to edit `src/mailman/testing/testing.cfg` to run the
1471   test suite against PostgreSQL.  See `src/mailman/docs/START.rst` for
1472   details.
1474 Interfaces
1475 ----------
1476 * The RFC 2369 headers added to outgoing messages are now added in sorted
1477   order.
1478 * Several changes to the internal API:
1480   - `IListManager.mailing_lists` is guaranteed to be sorted in List-ID order.
1481   - `IDomains.mailing_lists` is guaranteed to be sorted in List-ID order.
1482   - Iteration over domains via the `IDomainManager` is guaranteed to be sorted
1483     by `IDomain.mail_host` order.
1484   - `ITemporaryDatabase` interface and all implementations are removed.
1486 REST
1487 ----
1488 * The Falcon Framework has replaced restish as the REST layer.  This is an
1489   internal change only.
1490 * The JSON representation `http_etag` key uses an algorithm that is
1491   insensitive to Python's dictionary sort order.
1492 * The address resource now has an additional '/user' sub-resource which can
1493   be used to GET the address's linked user if there is one.  This
1494   sub-resource also supports POST to link an unlinked address (with an
1495   optional 'auto_create' flag), and PUT to link the address to a different
1496   user.  It also supports DELETE to unlink the address.  (LP: #1312884)
1497   Given by Aurélien Bompard based on work by Nicolas Karageuzian.
1498 * The ``/3.0/system`` path is deprecated; use ``/3.0/system/versions`` to get
1499   the system version information.
1500 * You can access the system configuration via the resource path
1501   ``/3.0/system/configuration/<section>``.  This returns a dictionary with
1502   the keys being the section's variables and the values being their value
1503   from ``mailman.cfg`` as verbatim strings.  You can get a list of all
1504   section names via ``/3.0/system/configuration`` which returns a dictionary
1505   containing the ``http_etag`` and the section names as a sorted list under
1506   the ``sections`` key.  The system configuration resource is read-only.
1507 * Member resource JSON now include the ``member_id`` as a separate key.
1510 3.0 beta 4 -- "Time and Motion"
1511 ===============================
1512 (2014-04-22)
1514 Development
1515 -----------
1516 * Mailman 3 no longer uses ``zc.buildout`` and tests are now run by the
1517   ``nose2`` test runner.  See ``src/mailman/docs/START.rst`` for details on
1518   how to build Mailman and run the test suite.  Also, use ``-P`` to select a
1519   test pattern and ``-E`` to enable stderr debugging in runners.
1520 * Use the ``enum34`` package instead of ``flufl.enum``.
1521 * Use ``setuptools`` instead of ``distribute``, since the latter is defunct.
1523 REST
1524 ----
1525 * Add ``reply_to_address`` and ``first_strip_reply_to`` as writable
1526   attributes of a mailing list's configuration.  (LP: #1157881)
1527 * Support pagination of some large collections (lists, users, members).
1528   [Florian Fuchs]  (LP: #1156529)
1529 * Expose ``hide_address`` to the ``.../preferences`` REST API.
1530   [Sneha Priscilla.]  (LP: #1203519)
1531 * Mailing lists can now individually enable or disable any archiver available
1532   site-wide.  [Joanna Skrzeszewska]  (LP: #1158040)
1533 * Addresses can be added to existing users, including display names, via the
1534   REST API.  [Florian Fuchs]
1535 * Fixed a crash in the REST server when searching for nonmembers via
1536   ``/find`` which we've never seen before, because those members only have an
1537   address record, not a user record.  This requires a small change in the API
1538   where the JSON response's ``address`` key now contains the URL to the
1539   address resource, the new ``email`` key contains the email address as a
1540   string, and the ``user`` key is optional.
1542 Commands
1543 --------
1544 * `mailman conf` now has a `-t/--sort` flag which sorts the output by section
1545   and then key.  [Karl-Aksel Puulmann and David Soto] (LP: 1162492)
1546 * Greatly improve the fidelity of the Mailman 2.1 list importer functionality
1547   (i.e. ``mailman import21``).  [Aurélien Bompard].
1549 Configuration
1550 -------------
1551 * Add support for the Exim 4 MTA.  [Stephen Turnbull]
1552 * When creating the initial file system layout in ``var``, e.g. via
1553   ``bin/mailman info``, add an ``var/etc/mailman.cfg`` file if one does not
1554   already exist.  Also, when initializing the system, look for that file as
1555   the configuration file, just after ``./mailman.cfg`` and before
1556   ``~/.mailman.cfg``.  (LP: #1157861)
1558 Database
1559 --------
1560 * The `bounceevent` table now uses list-ids to cross-reference the mailing
1561   list, to match other tables.  Similarly for the `IBounceEvent` interface.
1562 * Added a `listarchiver` table to support list-specific archivers.
1564 Bugs
1565 ----
1566 * Non-queue runners should not create ``var/queue`` subdirectories.
1567   [Sandesh Kumar Agrawal] (LP: #1095422)
1568 * Creation of lists with upper case names should be coerced to lower case.
1569   (LP: #1117176)
1570 * Fix REST server crash on `mailman reopen` due to no interception of
1571   signals.  (LP: #1184376)
1572 * Add `subject_prefix` to the `IMailingList` interface, and clarify the
1573   docstring for `display_name`.  (LP: #1181498)
1574 * Fix importation from MM2.1 to MM3 of the archive policy.
1575   [Aurélien Bompard] (LP: #1227658)
1576 * Fix non-member moderation rule to prefer a member sender if both members
1577   and non-members are in the message's sender list.  [Aurélien Bompard]
1578   (LP: #1291452)
1579 * Fix IntegrityError (against PostgreSQL) when deleting a list with content
1580   filters.  [Aurélien Bompard]  (LP: #1117174)
1581 * Fix test isolation bug in ``languages.rst``.
1582   [Piotr Kasprzyk] (LP: #1308769)
1585 3.0 beta 3 -- "Here Again"
1586 ==========================
1587 (2012-12-31)
1589 Compatibility
1590 -------------
1591 * Python 2.7 is now required.  Python 2.6 is no longer officially supported.
1592   The code base is now also `python2.7 -3` clean, although there are still
1593   some warnings in 3rd party dependencies.  (LP: #1073506)
1595 REST
1596 ----
1597 * **API change**: The JSON representation for held messages no longer
1598   includes the `data` key.  The values in this dictionary are flatted into
1599   the top-level JSON representation.  The `key` key is remove since it's
1600   redundant.  Use `message_id` for held messages, and `address` for held
1601   subscriptions/unsubscriptions.  The following `_mod_*` keys are inserted
1602   without the `_mod_` prefix:
1604   - `_mod_subject` -> `subject`
1605   - `_mod_hold_date` -> `hold_date`
1606   - `_mod_reason` -> `reason`
1607   - `_mod_sender` -> `sender`
1608   - `_mod_message_id` -> `message_id`
1610 * List styles are supported through the REST API.  Get the list of available
1611   styles (by name) via `.../lists/styles`.  Create a list in a specific style
1612   by using POST data `style_name=<style>`.  (LP: #975692)
1613 * Allow the getting/setting of IMailingList.subject_prefix via the REST API
1614   (given by Terri Oda).  (LP: #1062893)
1615 * Expose a REST API for membership change (subscriptions and unsubscriptions)
1616   moderation.  (LP: #1090753)
1617 * Add list_id to JSON representation for a mailing list (given by Jimmy
1618   Bergman).
1619 * The canonical resource for a mailing list (and thus its self_link) is now
1620   the URL with the list-id.  To reference a mailing list, the list-id url is
1621   preferred, but for backward compatibility, the posting address is still
1622   accepted.
1623 * You can now PUT and PATCH on user resources to change the user's display
1624   name or password.  For passwords, you pass in the clear text password and
1625   Mailman will hash it before storing.
1626 * You can now verify and unverify an email address through the REST API.
1627   POST to .../addresses/<email>/verify and .../addresses/<email>/unverify
1628   respectively.  The POST data is ignored.  It is not an error to verify or
1629   unverify an address more than once, but verifying an already verified
1630   address does not change its `.verified_on` date.  (LP: #1054730)
1631 * Deleting a user through the REST API also deletes all the user's linked
1632   addresses and memberships.  (LP: #1074374)
1633 * A user's password can be verified by POSTing to .../user/<id>/login.  The
1634   data must contain a single parameter `cleartext_password` and if this
1635   matches, a 204 (No Content) will be returned, otherwise a 403 (Forbidden)
1636   is returned.  (LP: #1065447)
1638 Configuration
1639 -------------
1640 * `[passlib]path` configuration variable renamed to `[passlib]configuration`.
1641 * Postfix-specific configurations in the `[mta]` section are moved to a
1642   separate file, named by the `[mta]configuration` variable.
1643 * In the new `postfix.cfg` file, `postfix_map_cmd` is renamed to
1644   `postmap_command`.
1645 * The default list style is renamed to `legacy-default` and a new
1646   `legacy-announce` style is added.  This is similar to the `legacy-default`
1647   except set up for announce-only lists.
1649 Database
1650 --------
1651 * The `ban` table now uses list-ids to cross-reference the mailing list,
1652   since these cannot change even if the mailing list is moved or renamed.
1653 * The following columns were unused and have been removed:
1655   - `mailinglist.new_member_options`
1656   - `mailinglist.send_reminders`
1657   - `mailinglist.subscribe_policy`
1658   - `mailinglist.unsubscribe_policy`
1659   - `mailinglist.subscribe_auto_approval`
1660   - `mailinglist.private_roster`
1661   - `mailinglist.admin_member_chunksize`
1663 Interfaces
1664 ----------
1665 * The `IBanManager` is no longer a global utility.  Instead, you adapt an
1666   `IMailingList` to an `IBanManager` to manage the bans for a specific
1667   mailing list.  To manage the global bans, adapt ``None``.
1669 Commands
1670 --------
1671 * `bin/mailman aliases` loses the `--output`, `--format`, and `--simple`
1672   arguments, and adds a `--directory` argument.  This is necessary to support
1673   the Postfix `relay_domains` support.
1674 * `bin/mailman start` was passing the wrong relative path to its runner
1675   subprocesses when -C was given.  (LP: #982551)
1676 * `bin/runner` command has been simplified and its command line options
1677   reduced.  Now, only one `-r/--runner` option may be provided and the
1678   round-robin feature has been removed.
1680 Other
1681 -----
1682 * Added support for Postfix `relay_domains` setting for better virtual domain
1683   support.  [Jimmy Bergman].
1684 * Two new events are triggered on membership changes: `SubscriptionEvent`
1685   when a new member joins a mailing list, and an `UnsubscriptionEvent` when a
1686   member leaves a mailing list.  (LP: #1047286)
1687 * Improve the --help text for the `start`, `stop`, `restart`, and `reopen`
1688   subcommands.  (LP: #1035033)
1690 Bugs
1691 ----
1692 * Fixed `send_goodbye_message()`.  (LP: #1091321)
1693 * Fixed REST server crash on `reopen` command.  Identification and test
1694   provided by Aurélien Bompard.  (LP: #1184376)
1697 3.0 beta 2 -- "Freeze"
1698 ======================
1699 (2012-09-05)
1701 Architecture
1702 ------------
1703 * The link between members and the mailing lists they are subscribed to, is
1704   now via the RFC 2369 `list_id` instead of the fqdn listname (i.e. posting
1705   address).  This is because while the posting address can change if the
1706   mailing list is moved to a new server, the list id is fixed.
1707   (LP: #1024509)
1709   - IListManager.get_by_list_id() added.
1710   - IListManager.list_ids added.
1711   - IMailingList.list_id added.
1712   - Several internal APIs that accepted fqdn list names now require list ids,
1713     e.g. ISubscriptionService.join() and .find_members().
1714   - IMember.list_id attribute added; .mailing_list is now an alias that
1715     retrieves and returns the IMailingList.
1717 * `passlib`_ is now used for all password hashing instead of flufl.password.
1718   The default hash is `sha512_crypt`.  (LP: #1015758)
1719 * Internally, all datetimes are kept in the UTC timezone, however because of
1720   LP: #280708, they are stored in the database in naive format.
1721 * `received_time` is now added to the message metadata by the LMTP runner
1722   instead of by `Switchboard.enqueue()`.  This latter no longer depends on
1723   `received_time` in the metadata.
1724 * The `ArchiveRunner` no longer acquires a lock before it calls the
1725   individual archiver implementations, since not all of them need a lock.  If
1726   they do, the implementations must acquire said lock themselves.
1727 * The `news` runner and queue has been renamed to the more accurate `nntp`.
1728   The runner has also been ported to Mailman 3 (LP: #967409).  Beta testers
1729   can safely remove `$var_dir/queue/news`.
1730 * A mailing list's *moderator password* is no longer stored in the clear; it
1731   is hashed with the currently selected scheme.
1732 * An `AddressVerificationEvent` is triggered when an `IAddress` is verified
1733   or unverified.  (LP: #975698)
1734 * A `PasswordChangeEvent` is triggered when an `IUser`'s password changes.
1735   (LP: #975700)
1736 * When a queue runner gets an exception in its _dispose() method, a
1737   `RunnerCrashEvent` is triggered, which contains references to the queue
1738   runner, mailing list, message, metadata, and exception.  Interested parties
1739   can subscribe to that `zope.event` for notification.
1740 * Events renamed and moved:
1741   * `mailman.chains.accept.AcceptNotification`
1742   * `mailman.chains.base.ChainNotification`
1743   * `mailman.chains.discard.DiscardNotification`
1744   * `mailman.chains.hold.HoldNotification`
1745   * `mailman.chains.owner.OwnerNotification`
1746   * `mailman.chains.reject.RejectNotification`
1747   changed to (respectively):
1748   * `mailman.interfaces.chains.AcceptEvent`
1749   * `mailman.interfaces.chains.ChainEvent`
1750   * `mailman.interfaces.chains.DiscardEvent`
1751   * `mailman.interfaces.chains.HoldEvent`
1752   * `mailman.interfaces.chains.AcceptOwnerEvent`
1753   * `mailman.interfaces.chains.RejectEvent`
1754 * A `ConfigurationUpdatedEvent` is triggered when the system-wide global
1755   configuration stack is pushed or popped.
1756 * The policy for archiving has now been collapsed into a single enum, called
1757   ArchivePolicy.  This describes the three states of never archive, archive
1758   privately, and archive_publicly. (LP: #967238)
1760 Database
1761 --------
1762 * Schema migrations (LP: #971013)
1764   - mailinglist.include_list_post_header -> allow_list_posts
1765   - mailinglist.news_prefix_subject_too  -> nntp_prefix_subject_too
1766   - mailinglist.news_moderation          -> newsgroup_moderation
1767   - mailinglist.archive and mailinglist.archive_private have been collapsed
1768     into archive_policy.
1769   - mailinglist.nntp_host has been removed.
1770   - mailinglist.generic_nonmember_action has been removed (LP: #975696)
1772 * Schema migrations (LP: #1024509)
1773   - member.mailing_list -> list_id
1774 * The PostgreSQL port of the schema accidentally added a moderation_callback
1775   column to the mailinglist table.  Since this is unused in Mailman, it was
1776   simply commented out of the base schema for PostgreSQL.
1778 REST
1779 ----
1780 * Expose `archive_policy` in the REST API.  Contributed by Alexander
1781   Sulfrian.  (LP: #1039129)
1783 Configuration
1784 -------------
1785 * New configuration variables `clobber_date` and `clobber_skew` supported in
1786   every `[archiver.<name>]` section.  These are used to determine under what
1787   circumstances a message destined for a specific archiver should have its
1788   `Date:` header clobbered.  (LP: #963612)
1789 * With the switch to `passlib`_, `[passwords]password_scheme` has been
1790   removed.  Instead use `[passwords]path` to specify where to find the
1791   `passlib.cfg` file.  See the comments in `schema.cfg` for details.
1792 * Configuration schema variable changes:
1793   * [nntp]username -> [nntp]user
1794   * [nntp]port (added)
1795 * Header check specifications in the `mailman.cfg` file have changed quite
1796   bit.  The previous `[spam.header.foo]` sections have been removed.
1797   Instead, there's a new `[antispam]` section that contains a `header_checks`
1798   variable.  This variable takes multiple lines of `Header: regexp` values,
1799   one per line.  There is also a new `jump_chain` variable which names the
1800   chain to jump to should any of the header checks (including the
1801   list-specific, and programmatically added ones) match.
1803 Documentation
1804 -------------
1805 * Some additional documentation on related components such as Postorius and
1806   hyperkitty have been added, given by Stephen J Turnbull.
1808 Bug fixes
1809 ---------
1810 * Fixed the RFC 1153 digest footer to be compliant.  (LP: #887610)
1811 * Fixed a UnicodeError with non-ascii message bodies in the `approved` rule,
1812   given by Mark Sapiro. (LP: #949924)
1813 * Fixed a typo when returning the configuration file's header match checks.
1814   (LP: #953497)
1815 * List-Post should be NO when posting is not allowed. (LP: #987563)
1816 * Non-unicode values in msgdata broke pending requests. (LP: #1031391)
1817 * Show devmode in `bin/mailman info` output. (LP: #1035028)
1818 * Fix residual references to the old `IMailingList` archive variables.
1819   (LP: #1031393)
1821 .. _`passlib`: https://passlib.readthedocs.io/en/stable/index.html
1824 3.0 beta 1 -- "The Twilight Zone"
1825 =================================
1826 (2012-03-23)
1828 Architecture
1829 ------------
1830 * Schema migrations have been implemented.
1831 * Implement the style manager as a utility instead of an attribute hanging
1832   off the `mailman.config.config` object.
1833 * PostgreSQL support contributed by Stephen A. Goss. (LP: #860159)
1834 * Separate out the RFC 2369 header adding handler.
1835 * Dynamically calculate the `List-Id` header instead of storing it in the
1836   database.  This means it cannot be changed.
1837 * Major redesign of the template search system, fixing LP: #788309.  $var_dir
1838   is now used when search for all template overrides, site, domain, or
1839   mailing list.  The in-tree English templates are used only as a last
1840   fallback.
1841 * Support downloading templates by URI, including mailman:// URIs.  This is
1842   used in welcome and goodbye messages, as well as regular and digest headers
1843   and footers, and supports both language and mailing list specifications.
1844   E.g. mailman:///test@example.com/it/welcome.txt
1845 * $user_password is no longer supported as a placeholder in headers and
1846   footers.
1847 * Mailing lists get multiple chains and pipelines.  For example, normal
1848   postings go through the `posting_chain` while messages to owners to through
1849   `owners_chain`.  The default `built-in` chain is renamed to
1850   `default-posting-chain` while the `built-in` pipeline is renamed
1851   `default-posting-pipeline`.
1852 * The experimental `maildir` runner is removed.  Use LMTP.
1853 * The LMTP server now requires that the incoming message have a `Message-ID`,
1854   otherwise it rejects the message with a 550 error.  Also, the LMTP server
1855   adds the `X-Message-ID-Hash` header automatically.  The `inject` cli
1856   command will also add the `X-Message-ID-Hash` header, but it will craft a
1857   `Message-ID` header first if one is missing from the injected text.  Also,
1858   `inject` will always set the correct value for the `original_size`
1859   attribute on the message object, instead of trusting a possibly incorrect
1860   value if it's already set.  The individual `IArchiver` implementations no
1861   longer set the `X-Message-ID-Hash` header.
1862 * The Prototype archiver now stores its files in maildir format inside of
1863   `$var_dir/archives/prototype`, given by Toshio Kuratomi.
1864 * Improved "8 mile high" document distilled by Stephen J Turnbull from the
1865   Pycon 2012 Mailman 3 sprint.  Also improvements to the Sphinx build given
1866   by Andrea Crotti (LP: #954718).
1867 * Pipermail has been eradicated.
1868 * Configuration variable `[mailman]filtered_messages_are_preservable`
1869   controls whether messages which have their top-level `Content-Type`
1870   filtered out can be preserved in the `bad` queue by list owners.
1871 * Configuration section `[scrubber]` removed, as is the scrubber handler.
1872   This handler was essentially incompatible with Mailman 3 since it required
1873   coordination with Pipermail to store attachments on disk.
1875 Database
1876 --------
1877 * Schema changes:
1878   - welcome_msg      -> welcome_message_uri
1879   - goodbye_msg      -> goodbye_message_uri
1880   - send_welcome_msg -> send_welcome_message
1881   - send_goodbye_msg -> send_goodbye_message
1882   - msg_header       -> header_uri
1883   - msg_footer       -> footer_uri
1884   - digest_header    -> digest_header_uri
1885   - digest_footer    -> digest_footer_uri
1886   - start_chain      -> posting_chain
1887   - pipeline         -> posting_pipeline
1888   - real_name        -> display_name (mailinglist, user, address)
1889 * Schema additions:
1890   - mailinglist.filter_action
1891   - mailinglist.owner_chain
1892   - mailinglist.owner_pipeline
1894 REST
1895 ----
1896 * Held messages can now be moderated through the REST API.  Mailing list
1897   resources now accept a `held` path component.  GETing this returns all held
1898   messages for the mailing list.  POSTing to a specific request id under this
1899   url can dispose of the message using `Action` enums.
1900 * Mailing list resources now have a `member_count` attribute which gives the
1901   number of subscribed members.  Given by Toshio Kuratomi.
1903 Interfaces
1904 ----------
1905 * Add property `IUserManager.members` to return all `IMembers` in the system.
1906 * Add property `IListmanager.name_components` which returns 2-tuples for
1907   every mailing list as (list_name, mail_host).
1908 * Remove previously deprecated `IListManager.get_mailing_lists()`.
1909 * `IMailTransportAgentAliases` now explicitly accepts duck-typed arguments.
1910 * `IRequests` interface is removed.  Now just use adaptation from
1911   `IListRequests` directly (which takes an `IMailingList` object).
1912 * `handle_message()` now allows for `Action.hold` which is synonymous with
1913   `Action.defer` (since the message is already being held).
1914 * `IListRequests.get_request()` now takes an optional `request_type`
1915   argument to narrow the search for the given request.
1916 * New `ITemplateLoader` utility.
1917 * `ILanguageManager.add()` returns the `ILanguage` object just created.
1918 * `IMailinglist.decorators` removed; it was unused
1919 * `IMailingList.real_name` -> `IMailingList.display_name`
1920 * `IUser.real_name` -> `IUser.display_name`
1921 * `IAddress.real_name` -> `IAddress.display_name`
1922 * Add property `IRoster.member_count`.
1924 Commands
1925 --------
1926 * IPython support in `bin/mailman shell` contributed by Andrea Crotti.
1927   (LP: #949926).
1928 * The `mailman.cfg` configuration file will now automatically be detected if
1929   it exists in an `etc` directory which is a sibling of argv0.
1930 * `bin/mailman shell` is an alias for `withlist`.
1931 * The `confirm` email command now properly handles `Re:`-like prefixes, even
1932   if they contain non-ASCII characters.  (LP: #685261)
1933 * The `join` email command no longer accepts an `address=` argument.  Its
1934   `digest=` argument now accepts the following values: `no` (for regular
1935   delivery), `mime`, or `plain`.
1936 * Added a `help` email command.
1937 * A welcome message is sent when the user confirms their subscription via
1938   email.
1939 * Global ``-C`` option now accepts an absolute path to the configuration
1940   file.  Given by Andrea Crotti.  (LP: #953707)
1942 Bug fixes
1943 ---------
1944 * Subscription disabled probe warning notification messages are now sent
1945   without a `Precedence:` header.  Given by Mark Sapiro. (LP: #808821)
1946 * Fixed KeyError in retry runner, contributed by Stephen A. Goss.
1947   (LP: #872391)
1948 * Fixed bogus use of `bounce_processing` attribute (should have been
1949   `process_bounces`, with thanks to Vincent Fretin.  (LP: #876774)
1950 * Fix `test_moderation` for timezones east of UTC+0000, given by blacktav.
1951   (LP: #890675)
1954 3.0 alpha 8 -- "Where's My Thing?"
1955 ==================================
1956 (2011-09-23)
1958 Architecture
1959 ------------
1960 * Factor out bounce detection to `flufl.bounce`.
1961 * Unrecognized bounces can now also be forwarded to the site owner.
1962 * mailman.qrunner log is renamed to mailman.runner
1963 * master-qrunner.lck -> master.lck
1964 * master-qrunner.pid -> master.pid
1965 * Four new events are created, and notifications are sent during mailing list
1966   lifecycle changes:
1967   - ListCreatingEvent - sent before the mailing list is created
1968   - ListCreatedEvent  - sent after the mailing list is created
1969   - ListDeletingEvent - sent before the mailing list is deleted
1970   - ListDeletedEvent  - sent after the mailing list is deleted
1971 * Four new events are created, and notifications are sent during domain
1972   lifecycle changes:
1973   - DomainCreatingEvent - sent before the domain is created
1974   - DomainCreatedEvent  - sent after the domain is created
1975   - DomainDeletingEvent - sent before the domain is deleted
1976   - DomainDeletedEvent  - sent after the domain is deleted
1977 * Using the above events, when a domain is deleted, associated mailing lists
1978   are deleted.  (LP: #837526)
1979 * IDomain.email_host -> .mail_host (LP: #831660)
1980 * User and Member ids are now proper UUIDs.
1981 * Improved the way enums are stored in the database, so that they are more
1982   explicitly expressed in the code, and more database efficient.
1984 REST
1985 ----
1986 * Preferences for addresses, users, and members can be accessed, changed, and
1987   deleted through the REST interface.  Hierarchical, combined preferences for
1988   members, and system preferences can be read through the REST interface.
1989   (LP: #821438)
1990 * The IMailingList attribute ``host_name`` has been renamed to ``mail_host``
1991   for consistency.  This changes the REST API for mailing list
1992   resources. (LP: #787599)
1993 * New REST resource http://.../members/find can be POSTed to in order to find
1994   member records.  Optional arguments are `subscriber` (email address to
1995   search for), `fqdn_listname`, and `role` (i.e. MemberRole).  (LP: #799612)
1996 * You can now query or change a member's `delivery_mode` attribute through
1997   the REST API (LP: #833132).  Given by Stephen A. Goss.
1998 * New REST resource http://.../<domain>/lists can be GETed in order to find
1999   all the mailing lists in a specific domain (LP: #829765).  Given by
2000   Stephen A. Goss.
2001 * Fixed /lists/<fqdn_listname>/<role>/<email> (LP: #825570)
2002 * Remove role plurals from /lists/<fqdn_listname/rosters/<role>
2003 * Fixed incorrect error code for /members/<bogus> (LP: #821020).  Given by
2004   Stephen A. Goss.
2005 * DELETE users via the REST API.  (LP: #820660)
2006 * Moderators and owners can be added via REST (LP: #834130).  Given by
2007   Stephen A. Goss.
2008 * Getting the roster or configuration of a nonexistent list did not give a
2009   404 error (LP: #837676).  Given by Stephen A. Goss.
2010 * PATCHing an invalid attribute on a member did not give a 400 error
2011   (LP: #833376).  Given by Stephen A. Goss.
2012 * Getting the memberships for a non-existent address did not give a 404 error
2013   (LP: #848103).  Given by Stephen A. Goss.
2015 Commands
2016 --------
2017 * `bin/qrunner` is renamed to `bin/runner`.
2018 * `bin/mailman aliases` gains `-f` and `-s` options.
2019 * `bin/mailman create` no longer allows a list to be created with bogus owner
2020   addresses.  (LP: #778687)
2021 * `bin/mailman start --force` option is fixed.  (LP: #869317)
2023 Documentation
2024 -------------
2025 * Update the COPYING file to contain the GPLv3.  (LP: #790994)
2026 * Major terminology change: ban the terms "queue runners" and "qrunners" since
2027   not all runners manage queue directories.  Just call them "runners".  Also,
2028   the master is now just called "the master runner".
2030 Testing
2031 -------
2032 * New configuration variable in [devmode] section, called `wait` which sets
2033   the timeout value used in the test suite for starting up subprocesses.
2034 * Handle SIGTERM in the REST server so that the test suite always shuts down
2035   correctly.  (LP: #770328)
2037 Other bugs and changes
2038 ----------------------
2039 * Moderating a message with Action.accept now sends the message. (LP: #827697)
2040 * Fix AttributeError triggered by i18n call in autorespond_to_sender()
2041   (LP: #827060)
2042 * Local timezone in X-Mailman-Approved-At caused test failure. (LP: #832404)
2043 * InvalidEmailAddressError no longer repr()'s its value.
2044 * Rewrote a test for compatibility between Python 2.6 and 2.7. (LP: #833208)
2045 * Fixed Postfix alias file generation when more than one mailing list
2046   exists.  (LP: #874929).  Given by Vincent Fretin.
2049 3.0 alpha 7 -- "Mission"
2050 ========================
2051 (2011-04-29)
2053 Architecture
2054 ------------
2055 * Significant updates to the subscription model.  Members can now subscribe
2056   with a preferred address, and changes to that will be immediately reflected
2057   in mailing list subscriptions.  Users who subscribe with an explicit
2058   address can easily change to a different address, as long as that address
2059   is verified.  (LP: #643949)
2060 * IUsers and IMembers are now assigned a unique, random, immutable id.
2061 * IUsers now have created_on and .preferred_address properties.
2062 * IMembers now have a .user attribute for easy access to the subscribed user.
2063 * When created with add_member(), passwords are always stored encrypted.
2064 * In all interfaces, "email" refers to the textual email address while
2065   "address" refers to the `IAddress` object.
2066 * mailman.chains.base.Chain no longer self registers.
2067 * New member and nonmember moderation rules and chains.  This effectively
2068   ports moderation rules from Mailman 2 and replaces attributes such as
2069   member_moderation_action, default_member_moderation, and
2070   generic_nonmember_action.  Now, nonmembers exist as subscriptions on a
2071   mailing list and members have a moderation_action attribute which describes
2072   the disposition for postings from that address.
2073 * Member.is_moderated was removed because of the above change.
2074 * default_member_action and default_nonmember_action were added to mailing
2075   lists.
2076 * All sender addresses are registered (unverified) with the user manager by
2077   the incoming queue runner.  This way, nonmember moderation rules will
2078   always have an IAddress that they can subscribe to the list (as
2079   MemberRole.nonmember).
2080 * Support for SMTP AUTH added via smtp_user and smtp_pass configuration
2081   variables in the [mta] section.  (LP: #490044)
2082 * IEmailValidator interface for pluggable validation of email addresses.
2083 * .subscribe() is moved from the IAddress to the IMailingList
2084 * IAddresses get their registered_on attribute set when the object is created.
2086 Configuration
2087 -------------
2088 * [devmode] section gets a new 'testing' variable.
2089 * Added password_scheme and password_length settings  for defining the
2090   default password encryption scheme.
2091 * creator_pw_file and site_pw_file are removed.
2093 Commands
2094 --------
2095 * 'bin/mailman start' does a better job of producing an error when Mailman is
2096   already running.
2097 * 'bin/mailman status' added for providing command line status on the master
2098   queue runner watcher process.
2099 * 'bin/mailman info' now prints the REST root url and credentials.
2100 * mmsitepass removed; there is no more site password.
2102 REST
2103 ----
2104 * Add Basic Auth support for REST API security.  (Jimmy Bergman)
2105 * Include the fqdn_listname and email address in the member JSON
2106   representation.
2107 * Added reply_goes_to_list, send_welcome_msg, welcome_msg,
2108   default_member_moderation to the mailing list's writable attributes in the
2109   REST service.  (Jimmy Bergman)
2110 * Expose the new membership model to the REST API.  Canonical member resource
2111   URLs are now much shorter and live in their own top-level namespace instead
2112   of within the mailing list's namespace.
2113 * /addresses/<email>/memberships gets all the memberships for a given email
2114   address.
2115 * /users is a new top-level URL under which user information can be
2116   accessed.  Posting to this creates new users.
2117 * Users can subscribe to mailing lists through the REST API.
2118 * Domains can be deleted via the REST API.
2119 * PUT and PATCH to a list configuration now returns a 204 (No Content).
2121 Build
2122 -----
2123 * Support Python 2.7. (LP: #667472)
2124 * Disable site-packages in buildout.cfg because of LP: #659231.
2125 * Don't include eggs/ or parts/ in the source tarball. (LP: #656946)
2126 * flufl.lock is now required instead of locknix.
2128 Bugs fixed
2129 ----------
2130 * Typo in scan_message(). (LP: #645897)
2131 * Typo in add_member().  (LP: #710182) (Florian Fuchs)
2132 * Re-enable bounce detectors. (LP: #756943)
2133 * Clean up many pyflakes problems; ditching pylint.
2136 3.0 alpha 6 -- "Cut to the Chase"
2137 =================================
2138 (2010-09-20)
2140 Commands
2141 --------
2142 * The functionality of 'bin/list_members' has been moved to
2143   'bin/mailman members'.
2144 * 'bin/mailman info' -v/--verbose output displays the file system
2145   layout paths Mailman is currently configured to use.
2147 Configuration
2148 -------------
2149 * You can now configure the paths Mailman uses for queue files, lock files,
2150   data files, etc. via the configuration file.  Define a file system 'layout'
2151   and then select that layout in the [mailman] section.  Default layouts
2152   include 'local' for putting everything in /var/tmp/mailman, 'dev' for local
2153   development, and 'fhs' for Filesystem Hierarchy Standard 2.3 (LP #490144).
2154 * Queue file directories now live in $var_dir/queues.
2156 REST
2157 ----
2158 * lazr.restful has been replaced by restish as the REST publishing technology
2159   used by Mailman.
2160 * New REST API for getting all the members of a roster for a specific mailing
2161   list.
2162 * New REST API for getting and setting a mailing list's configuration.  GET
2163   and PUT are supported to retrieve the current configuration, and set all
2164   the list's writable attributes in one request.  PATCH is supported to
2165   partially update a mailing list's configuration.  Individual options can be
2166   set and retrieved by using subpaths.
2167 * Subscribing an already subscribed member via REST now returns a 409 HTTP
2168   error.  LP: #552917
2169 * Fixed a bug when deleting a list via the REST API.  LP: #601899
2171 Architecture
2172 ------------
2173 * X-BeenThere header is removed.
2174 * Mailman no longer touches the Sender or Errors-To headers.
2175 * Chain actions can now fire Zope events in their _process()
2176   implementations.
2177 * Environment variable $MAILMAN_VAR_DIR can be used to control the var/
2178   directory for Mailman's runtime files.  New environment variable
2179   $MAILMAN_UNDER_MASTER_CONTROL is used instead of the qrunner's --subproc/-s
2180   option.
2182 Miscellaneous
2183 -------------
2184 * Allow X-Approved and X-Approve headers, equivalent to Approved and
2185   Approve. LP: #557750
2186 * Various test failure fixes.  LP: #543618, LP: #544477
2187 * List-Post header is retained in MIME digest messages.  LP: #526143
2188 * Importing from a Mailman 2.1.x list is partially supported.
2191 3.0 alpha 5 -- "Distant Early Warning"
2192 ======================================
2193 (2010-01-18)
2195 REST
2196 ----
2197 * Add REST API for subscription services.  You can now:
2199   - list all members in all mailing lists
2200   - subscribe (and possibly register) an address to a mailing list
2201   - unsubscribe an address from mailing list
2203 Commands
2204 --------
2205 * 'bin/dumpdb' is now 'bin/mailman qfile'
2206 * 'bin/unshunt' is now 'bin/mailman unshunt'
2207 * Mailman now properly handles the '-join', '-leave', and '-confirm' email
2208   commands and sub-addresses.  '-subscribe' and '-unsubscribe' are aliases
2209   for '-join' and '-leave' respectively.
2211 Configuration
2212 -------------
2213 * devmode settings now live in their own [devmode] section.
2214 * Mailman now searches for a configuration file using this search order.  The
2215   first file that exists is used.
2217   - -C config command line argument
2218   - $MAILMAN_CONFIG_FILE environment variable
2219   - ./mailman.cfg
2220   - ~/.mailman.cfg
2221   - /etc/mailman.cfg
2224 3.0 alpha 4 -- "Vital Signs"
2225 ============================
2226 (2009-11-28)
2228 Commands
2229 --------
2230 * 'bin/inject' is now 'bin/mailman inject', with some changes
2231 * 'bin/mailmanctl' is now 'bin/mailman start|stop|reopen|restart'
2232 * 'bin/mailman version' is added (output same as 'bin/mailman --version')
2233 * 'bin/mailman members' command line arguments have changed.  It also
2234   now ignores blank lines and lines that start with #.  It also no longer
2235   quits when it sees an address that's already subscribed.
2236 * 'bin/withlist' is now 'bin/mailman withlist', and its command line
2237   arguments have changed.
2238 * 'bin/mailman lists' command line arguments have changed.
2239 * 'bin/genaliases' is now 'bin/mailman aliases'
2241 Architecture
2242 ------------
2243 * A near complete rewrite of the low-level SMTP delivery machinery.  This
2244   greatly improves readability, testability, reuse and extensibility.  Almost
2245   all the old functionality has been retained.  The smtp_direct.py handler is
2246   gone.
2247 * Refactor model objects into the mailman.model subpackage.
2248 * Refactor most of the i18n infrastructure into a separate flufl.i18n package.
2249 * Switch from setuptools to distribute.
2250 * Remove the dependency on setuptools_bzr
2251 * Do not create the .mo files during setup.
2253 Configuration
2254 -------------
2255 * All log files now have a '.log' suffix by default.
2256 * The substitution placeholders in the verp_format configuration variable
2257   have been renamed.
2258 * Add a devmode configuration variable that changes some basic behavior.
2259   Most importantly, it allows you to set a low-level SMTP recipient for all
2260   mail for testing purposes.  See also devmode_recipient.
2263 3.0 alpha 3 -- "Working Man"
2264 ============================
2265 (2009-08-21)
2267 Configuration
2268 -------------
2269 * Configuration is now done through lazr.config.  Defaults.py is
2270   dead.  lazr.config files are essentially hierarchical ini files.
2271 * Domains are now stored in the database instead of in the configuration file.
2272 * pre- and post- initialization hooks are now available to plugins.  Specify
2273   additional hooks to run in the configuration file.
2274 * Add the environment variable $MAILMAN_CONFIG_FILE which overrides the -C
2275   command line option.
2276 * Make LMTP more compliant with Postfix docs (Patrick Koetter)
2277 * Added a NullMTA for mail servers like Exim which just work automatically.
2279 Architecture
2280 ------------
2281 * 'bin/mailman' is a new super-command for managing Mailman from the command
2282   line.  Some older bin scripts have been converted, with more to come.
2283 * Mailman now has an administrative REST interface which can be used to get
2284   information from and manage Mailman remotely.
2285 * Back port of Mailman 2.1's limit on .bak file restoration.  After 3
2286   restores, the file is moved to the bad queue, with a .psv extension. (Mark
2287   Sapiro)
2288 * Digest creation is moved into a new queue runner so it doesn't block main
2289   message processing.
2291 Other changes
2292 -------------
2293 * bin/make_instance is no longer necessary, and removed
2294 * The debug log is turned up to info by default to reduce log file spam.
2296 Building and installation
2297 -------------------------
2298 * All doc tests can now be turned into documentation, via Sphinx.  Just run
2299   bin/docs after bin/buildout.
2302 3.0 alpha 2 -- "Grand Designs"
2303 ==============================
2304 (03-Jan-2009)
2306 Licensing
2307 ---------
2309 * Mailman 3 is now licensed under the GPLv3.
2311 Bug fixes
2312 ---------
2314 * Changed bin/arch to attempt to open the mbox before wiping the old
2315   archive. Launchpad bug #280418.
2317 * Added digest.mbox and pending.pck to the 'list' files checked by
2318   check_perms. Launchpad bug #284802.
2320 Architecture
2321 ------------
2323 * Converted to using zope.testing as the test infrastructure.  Use bin/test
2324   now to run the full test suite.
2325   <https://pypi.org/project/zope.testing/3.7.1/>
2326 * Partially converted to using lazr.config as the new configuration
2327   regime.  Not everything has been converted yet, so some manual editing
2328   of mailman/Defaults.py is required.  This will be rectified in future
2329   versions.  <https://launchpad.net/lazr.config>
2330 * All web-related stuff is moved to its own directory, effectively moving
2331   it out of the way for now.
2332 * The email command infrastructure has been reworked to play more nicely
2333   with the plug-in architecture.  Not all commands have yet been
2334   converted.
2336 Other changes
2337 -------------
2339 * The LMTP server now properly calculates the message's original size.
2340 * For command line scripts, -C names the configuration file to use.  For
2341   convenient testing, if -C is not given, then the environment variable
2342   MAILMAN_CONFIG_FILE is consulted.
2343 * Support added for a local MHonArc archiver, as well as archiving
2344   automatically in the remote Mail-Archive.com service.
2345 * The permalink proposal for supporting RFC 5064 has been adopted.
2346 * Mailing lists no longer have a .web_page_url attribute; this is taken from
2347   the mailing list's domain's base_url attribute.
2348 * Incoming MTA selection is now taken from the config file instead of
2349   plugins.  An MTA for Postfix+LMTP is added.  bin/genaliases works again.
2350 * If a message has no Message-ID, the stock archivers will return None for
2351   the permalink now instead of raising an assertion.
2352 * IArchiver no longer has an is_enabled property; this is taken from the
2353   configuration file now.
2355 Installation
2356 ------------
2358 * Python 2.6 is the minimal requirement.
2359 * Converted to using zc.buildout as the build infrastructure.  See
2360   docs/ALPHA.txt for details.
2361   <https://pypi.org/project/zc.buildout/1.1.1/>
2364 3.0 alpha 1 -- "Leave That Thing Alone"
2365 =======================================
2366 (08-Apr-2008)
2368 User visible changes
2369 --------------------
2371 * So called 'new style' subject prefixing is the default now, and the only
2372   option.  When a list's subject prefix is added, it's always done so before
2373   any Re: tag, not after.  E.g. '[My List] Re: The subject'.
2374 * RFC 2369 headers List-Subscribe and List-Unsubscribe now use the preferred
2375   -join and -leave addresses instead of the -request address with a subject
2376   value.
2378 Configuration
2379 -------------
2381 * There is no more separate configure; make; make install step. Mailman 3.0
2382   is a setuptools package.
2383 * Mailman can now be configured via a 'mailman.cfg' file which lives in
2384   $VAR_PREFIX/etc.  This is used to separate the configuration from the
2385   source directory.  Alternative configuration files can be specified via
2386   -C/--config for most command line scripts.  mailman.cfg contains Python
2387   code.  mm_cfg.py is no more.  You do not need to import Defaults.py in
2388   etc/mailman.cfg.  You should still consult Defaults.py for the list of site
2389   configuration variables available to you.
2391   See the etc/mailman.cfg.sample file.
2392 * PUBLIC_ARCHIVE_URL and DEFAULT_SUBJECT_PREFIX now takes $-string
2393   substitutions instead of %-string substitutions.  See documentation in
2394   Defaults.py.in for details.
2395 * Message headers and footers now only accept $-string substitutions;
2396   %-strings are no longer supported.  The substitution variable
2397   '_internal_name' has been removed; use $list_name or $real_name
2398   instead.  The substitution variable $fqdn_listname has been added.
2399   DEFAULT_MSG_FOOTER in Defaults.py.in has been updated accordingly.
2400 * The KNOWN_SPAMMERS global variable is replaced with HEADER_MATCHES.  The
2401   mailing list's header_filter_rules variable is replaced with header_matches
2402   which has the same semantics as HEADER_MATCHES, but is list-specific.
2403 * DEFAULT_MAIL_COMMANDS_MAX_LINES -> EMAIL_COMMANDS_MAX_LINES
2404 * All SMTP_LOG_* templates use $-strings and all consistently write the
2405   Message-ID as the first item in the log entry.
2406 * DELIVERY_MODULE now names a handler, not a module (yes, this is a
2407   misnomer, but it will likely change again before the final release).
2409 Architecture
2410 ------------
2412 * Internally, all strings are Unicodes.
2413 * Implementation of a chain-of-rules based approach for deciding whether a
2414   message should initially be accepted, held for approval, rejected/bounced,
2415   or discarded.  This replaces most of the disposition handlers in the
2416   pipeline.  The IncomingRunner now only processes message through the rule
2417   chains, and once accepted, places the message in a new queue processed by
2418   the PipelineRunner.
2419 * Substantially reworked the entire queue runner process management,
2420   including mailmanctl, a new master script, and the qrunners.  This should
2421   be much more robust and reliable now.
2422 * The Storm ORM is used for data storage, with the SQLite backend as the
2423   default relational database.
2424 * Zope interfaces are used to describe the major components.
2425 * Users are now stored in a unified database, and shared across all mailing
2426   lists.
2427 * Mailman's web interface is now WSGI compliant.  WSGI is a Python standard
2428   (PEP 333) allowing web applications to be (more) easily integrated with any
2429   number of existing Python web application frameworks.  For more information
2430   see:
2432   https://wsgi.readthedocs.io/en/latest/
2433   https://www.python.org/dev/peps/pep-0333/
2435   Mailman can still be run as a traditional CGI program of course.
2436 * Mailman now provides an LMTP server for more efficient integration with
2437   supporting mail servers (e.g. Postfix, Sendmail).  The Local Mail Transport
2438   Protocol is defined in RFC 2033:
2440   http://www.faqs.org/rfcs/rfc2033.html
2441 * Virtual domains are now fully supported in that mailing lists of the same
2442   name can exist in more than one domain.  This is accomplished by renaming
2443   the lists/ and archives/ subdirectories after the list's posting address.
2444   For example, data for list foo in example.com and list foo in example.org
2445   will be stored in lists/foo@example.com and lists/foo@example.org.
2447   For Postfix or manual MTA users, you will need to regenerate your mail
2448   aliases.  Use bin/genaliases.
2450   VIRTUAL_HOST_OVERVIEW has been removed, effectively Mailman now operates
2451   as if it were always enabled.  If your site has more than one domain,
2452   you must configure all domains by using add_domain() in your
2453   etc/mailman.cfg flie (see below -- add_virtual() has been removed).
2454 * If you had customizations based on Site.py, you will need to re-implement
2455   them.  Site.py has been removed.
2456 * The site list is no more.  You can remove your 'mailman' site list unless
2457   you want to retain it for other purposes, but it is no longer used (or
2458   required) by Mailman.  You should set NO_REPLY_ADDRESS to an address that
2459   throws away replies, and you should set SITE_OWNER_ADDRESS to an email
2460   address that reaches the person ultimately responsible for the Mailman
2461   installation.  The MAILMAN_SITE_LIST variable has been removed.
2462 * qrunners no longer restart on SIGINT; SIGUSR1 is used for that now.
2464 Internationalization Big Changes
2465 --------------------------------
2467 * Translators should work only on messages/<lang>/LC_MESSAGES/mailman.po.
2468   Templates files are generated from mailman.po during the build process.
2470 New Features
2471 ------------
2473 * Confirmed member change of address is logged in the 'subscribe' log, and if
2474   admin_notify_mchanges is true, a notice is sent to the list owner using a
2475   new adminaddrchgack.txt template.
2476 * There is a new list attribute 'subscribe_auto_approval' which is a list of
2477   email addresses and regular expressions matching email addresses whose
2478   subscriptions are exempt from admin approval. RFE 403066.
2480 Command line scripts
2481 --------------------
2483 * Most scripts have grown a -C/--config flag to allow you to specify a
2484   different configuration file.  Without this, the default etc/mailman.cfg
2485   file will be used.
2486 * the -V/--virtual-host-overview switch in list_lists has been removed, while
2487   -d/--domain and -f/--full have been added.
2488 * bin/newlist is renamed bin/create_list and bin/rmlist is renamed
2489   bin/remove_list.  Both take fully-qualified list names now (i.e. the list's
2490   posting address), but also accept short names, in which case the default
2491   domain is used.  newlist's -u/--urlhost and -e/--emailhost switches have
2492   been removed.  The domain that the list is being added to must already
2493   exist.
2494 * Backport the ability to specify additional footer interpolation variables
2495   by the message metadata 'decoration-data' key.
2497 Bug fixes and other patches
2498 ---------------------------
2500 * Removal of DomainKey/DKIM signatures is now controlled by Defaults.py
2501   mm_cfg.py variable REMOVE_DKIM_HEADERS (default = No).
2502 * Queue runner processing is improved to log and preserve for analysis in the
2503   shunt queue certain bad queue entries that were previously logged but lost.
2504   Also, entries are preserved when an attempt to shunt throws an exception
2505   (1656289).
2506 * The processing of Topics regular expressions has changed. Previously the
2507   Topics regexp was compiled in verbose mode but not documented as such which
2508   caused some confusion.  Also, the documentation indicated that topic
2509   keywords could be entered one per line, but these entries were not handled
2510   properly.  Topics regexps are now compiled in non-verbose mode and multi-
2511   line entries are 'ored'.  Existing Topics regexps will be converted when
2512   the list is updated so they will continue to work.
2513 * The List-Help, List-Subscribe, and List-Unsubscribe headers were
2514   incorrectly suppressed in messages that Mailman sends directly to users.
2515 * The 'adminapproved' metadata key is renamed 'moderator_approved'.