imap_path_decode(): err: do not "savestrbuf(,buflen * 2)"
[s-mailx.git] / NEWS
bloba1c08e8d8a40f2fccaefdc187fc4daebaaae35be
1 S - n a i l  N e w s
2 ====================
4 In the following numbers in [] reference either the commit SHA1 hash or
5 the name of a topic branch which relate to the NEWS entry;
6 Likewise, numbers after an at-sign @ are mdocmx(7) manual anchor
7 references which allow directly jumping to the given anchor.
8 Likewise, but numbers after a number sign # refer to the web manual
9 (courtesy of grohtml the manuals diverged in the meanwhile).
10 Commits can be browsed by appending the commit hash to
11   https://git.sdaoden.eu/cgit/s-nail.git/commit/?id=
13 The complete changelog of commits in between two versions can be
14 inspected by using the git(1) `log' command as shown below, where "OLD"
15 and "NEW" are the two versions to be compared.
17   # All commits:
18   $ git log --reverse --topo-order --abbrev-commit OLD..NEW
19   # Only topic branch headers (--no-merges for content commits only):
20   $ git log --oneline --reverse --topo-order --merges OLD..NEW
21   # Same, but truly accessible:
22   $ git log --oneline --reverse --topo-order --merges --parents OLD..NEW |
23     while read c1 c2 c3 c4 c5 c6; do
24       printf "%-24s: \$ git log --oneline --no-merges ${c1} ^${c2}\n" "${c6}";
25     done
27 v14.8.13 ("Cyrustrupidae"), 2016-10-19
28 --------------------------------------
30 We are happy to present you an Entomologic sensation, which
31 counteracts the decline of life that can be seen all around us.
32 Inspection of environments that mankind hasn't seen since ancient
33 times reveiled a sofar undiscovered species of dung beetle: the
34 Cyrustrupidae.
36 Thanks to Stephen Isard, Ralph Corderoy, Jürgen (Juergen) Daubert,
37 Lyndon Nerenberg and David Levine
38 We welcome Lyndon Nerenberg and David Levine in THANKS.
40 Apologies to Jürgen Daubert (false spelling of name in commit message).
42   S-nail will become S-mailx after v14.9, and all project resources
43   will move to www.sdaoden.eu with v14.9; only the ML remains hosted
44   at Sourceforge.net as of this writing.
45   We thank Sourceforge.net for hosting this project so many years!
47 NOTES, ChangeLog (packager-affine)
48 ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
50 - We now support IMAP internationalized names, to be "simulated" via the
51   new user command `imapcodec'@135|#_135:
53     ?0[tmail ]? imapc enc Trübe/Wölkchen
54      in: Trübe/Wölkchen (16 bytes)
55     out: Tr&APw-be/W&APY-lkchen (22 bytes)
56     ?0[tmail ]? imapcodec decode Tr&APw-be/W&APY-lkchen
57      in: Tr&APw-be/W&APY-lkchen (22 bytes)
58     out: Trübe/Wölkchen (16 bytes)
59     ?0[tmail ]? copy 1 +Trübe/Wölkchen
60     "imap://user1@localhost/Trübe/Wölkchen" [New file] 6850 bytes
62   Those who were used to get around the missing support by using
63   readily-encoded names have to update their resources because passing
64   in such a name will result in re-encoding.  [Quite a lot, see below]
66 - The special handling of *folder*@382|#376 for IMAP boxes has been
67   deprecated after introduction of the new *inbox*@396|#_396 variable,
68   which will henceforth be regulary used for expansions of "%"
69   filenames.  If it is set to the empty string then _only_ that
70   special-casing of *folder* is bypassed, and the usual $MAIL /
71   compile-time mailspool search is applied. [c220e90,a324bf3]
72   (Stephen Isard, Jürgen Daubert)
74 - Cyrus IMAP servers with their dot hierarchy delimiter should now be
75   supported.  The variable *imap-delim*@393|#_393 (and [-USER]@HOST
76   variants) will be used to normalize if set, otherwise the first seen
77   possible delimiter is used. [a65afca,9e23878,21568f8]
78   (Stephen Isard, Jürgen Daubert)
80     ?0[tmail ]? Fi+Trübe.............Wölkchen
81     IMAP error: Mailbox doesn't exist: Trübe.Wölkchen (0.000 + 0.000 secs).
82     #ERR#?1[tmail +Trübe.Wölkchen]? set imap-delim-user1@localhost=/.
83   Oh.  Mailbox changed.  Not before v15, sorry.
84     ?0[tmail +Trübe.Wölkchen]? Fi+Trübe.............Wölkchen
85     "+Trübe/Wölkchen": 1 message [Read only]
86     ?0[tmail +Trübe.Wölkchen]? unset imap-delim-user1@localhost
87     ?0[tmail +Trübe.Wölkchen]? Fi+Trübe/.............Wölkchen
88     "+Trübe/Wölkchen": 1 message [Read only]
90 git(1) shortlog (edited)
91 ^^^^^^^^^^^^^^^^^^^^^^^^
93   44087f3 `z': add ^: goes to first screen; fix max calc for 0 modulos
94   1657626 Simplify *folder* (implicit trail solidus) (Stephen Isard, Ralph
95           Corderoy)
96   7a09af6 `write'++: !interactive: urlxenc() attachment paths (Ralph Corderoy)..
98 If non-interactive batch mode would be commonly in use i would claim
99 this to be a security fix, but not yet..  If messages are `write'n out
100 in non-interactive mode then it is now ensured that attachments end in
101 the current directory, that they don't overwrite yet existing files, and
102 that shell pipes won't be executed (after the now applied name
103 conversion the pipe command ends up as a normal filename).
105   c220e90 Add *inbox* (Stephen Isard, and Jürgen Daubert)..
106   a65afca Add *imap-delim{,-{{,USER@}HOST}}* (Stephen Isard, Jürgen Daubert)
107   8f0f225 IMAP: [a65afca] (Add *imap-delim{,-{{,USER@}HOST}}*) for real now
109 All as above.
111   ba4f26f n_utf32_to_utf8(): fix upper limit (should be 0x10FFFF)
112   dfea333 page_or_print(): never use $PAGER unless startup complete
113   49fb63f `write'++: !interactive:.. But now, really (Lyndon Nerenberg, David
114           Levine)..
116 As above.
118   fcd376f THANKS: David Levine and Lyndon Nerenberg
119   57c4ee3 cmd_tab.h: allow history for `unset', `unsetenv' (i.e.: tweak
120           [ec81a41])
121   9e23878 *imap-delim* if not set, use first delim user gave
122   a324bf3 *inbox*: if empty, only bypass *folder* to $MAIL or builtin default
123   202b1a6 Add `urlcodec', obsolete `url{en,de}code'
124   21568f8 *imap-delim*: aeh, just fix this even for mailbox==NULL
125   830f948 IMAP: add support for international mailbox names..
126   d015c46 IMAP: fix and tweak previous [830f948]
127   583a5bd IMAP cache: tweak previous two, i have forgotten an imap_path_decode()
128           call
129   2feab02 imap_path_decode(): better approach for [6121ff9]
130   36f06cc imap_path_decode(): fix corner case; `imapcodec': makeprint() when
131           decoding
132   b3803d5 `urlcodec': makeprint() when decoding
133   35506b0 imap_path_encode(): sigh.  Finally: do not simply include & in shifted
134           walk
135   f146b54 imap_path_{en,de}code(): fix iconv_open() to/from charset order
137 v14.8.12 ("Bubas"), 2016-10-05  (v14.8.11 as of 2016-10-03 broken)
138 ------------------------------------------------------------------
140 A cumulated bugfix release.
141 It also brings in some corrections to no-brainers of the past.
143 Thanks to Antonio Radici, Stephen Isard and Predrag Punosevac.
144 We welcome Antonio Radici and Predrag Punosevac in THANKS.
146 Apologies to Stephen Isard, and John Dodson.
148   S-nail will become S-mailx after v14.9, and all project resources
149   will move to www.sdaoden.eu with v14.9; only the ML remains hosted
150   at Sourceforge.net as of this writing.
151   We thank Sourceforge.net for hosting this project so many years!
153 NOTES, ChangeLog (packager-affine)
154 ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
156 - The repository layout has been changed / extended!
157   Please see README on interest.
159 git(1) shortlog (edited)
160 ^^^^^^^^^^^^^^^^^^^^^^^^
162   f01291d extract_date_from_from_(): dig more invalid MBOXes (Antonio Radici)..
163   98050a7 THANKS: Antonio Radici
165 freedesktop.org obfuscates MBOX From_ lines, and S-nail was much too
166 strict for quite some time.  This strict behaviour was introduced as
167 part of the fixes which finally allowed roundtripping messages in
168 between different mailbox types, but it didn't really work out.
170 In the future we only warn if we see invalid MBOX files, and will print
171 the invalid lines with *debug* or *verbose* set, but anyway accept what
172 we get.
174   096809e popen.c:_file_save(): FIX false cherry-pick [41250b1] for IMAP..
176 v14.8.10 couldn't do "copy * IMAP-SPEC" due to this.
178   788aad0 url_parse(): better take better care for path parts (Stephen Isard)..
179   fb32f8f IMAP: honour readonly via -R, not only via `File' (Stephen Isard)
181 Please see below.
183   bd6090d sendout.c: fix HAVE_DEBUG From_ quoting..
184   e716a9c Many: drop support for *mbox-rfc4155* - a no-brainer..
186 More on MBOX, as above.
188   603a3dd sendmp(), setfile(): FIX: ensure time_current is actualized
190 Oh!  Yes, there were actually two code paths which suffered a lot from
191 the "optimize date and time systemcalls" from years ago!  Now fixed. ._.
193   63e7ade is_head(): change compat argument to check_rfc4155..
195 More on MBOX, as above.
197   c5b40e4 okeys.h: regenerate (Apologies: Stephen Isard)
199 Sorry, Stephen!
201   3838ffd setptr(): tweak [63e7ade], log more invalid From_'s if verbose
203 More on MBOX, as above.
205   2eb6ca1 mime_types.c:_mt_by_filename(): basename() path (fix/tweak relative
206           paths)
207   b9599b0 make.rc, mk-conf.sh: WANT_DEVEL includes WANT_DEBUG, but not vice
208           versa
209   ec81a41 cmd_tab.h: allow history for `set', `setenv', `varshow'
211 Much better to see them in the `history'.
213   a715162 Add a RFC 6068 url_mailto_to_address() hack for List-Post:
215 We will now strip off any hfield additions after a "?", and we will
216 perform URL percent decoding before using the value given.
217 (Is only used for "automatic mailing-list detection".)
219   e774dfb imap.c: do not hard error out if FEDIT_SYSBOX|FEDIT_NEWMAIL
220   39a7571 FIX "," message specification (since [1c4b8c9], v14.8.4)..
222 Yes, you can say "f," again, and it should find the parent message.
224   171f111 FIX [44cec1f] (Fix "address" message specifications (John Dodson))..
226 Sorry, Mr. John Dodson of Australia.  They now really work as
227 standardized with our extensions, and there is nothing anyone can do
228 to prevent it.
230   256da01 *folder*: IMAP: add /INBOX when there is a trailing slash (Stephen
231           Isard)
232   2afd5c8 Previous, IMAP now for much better (Stephen Isard)
233   e5eb5fe Fix + expansion for IMAP, broken since [edb2dcd], 2013-06!!
234   ce40a87 imap.c: do not print update message on readonly boxes
235   52fcb7e Oops, restore proper *folder* behaviour for non-IMAP
236   111f80a FixFix IMAP "+" expansion and more (Predrag Punosevac)
238 More IMAP fixes.  Should really work now as good as never before.
240 v14.8.10 ("Anachalcos"), 2016-08-20
241 -----------------------------------
243 A cumulated bugfix release.
244 And because v14.9 still takes time.
246 Credits to trondd.
248 Apologies to Sergey and those members of the Roff community which would
249 like to see progress!
251   S-nail will become S-mailx after v14.9, and all project resources
252   will move to www.sdaoden.eu with v14.9; only the ML remains hosted
253   at Sourceforge.net as of this writing.
254   We thank Sourceforge.net for hosting this project so many years!
256 git(1) shortlog
257 ^^^^^^^^^^^^^^^
259 Yes, "quick and dirty" only for Anachalcos.
261   7f7bae1 Fix `z' (Tim)
263 Fixes page-wise movement if the argument is greater than 9.
265   43ad441 THANKS: update mail address of Tim (trondd)
266   8b85b96 Fix compiler warning of [7f7bae1] (Fix `z' (Tim))
267   6afff81 FIX possible intwrap caused delays (for mailboxes with size == 1)
268   530e81f FIX n_utf8_to_utf32() sequence length checks (since [558d8b8],
269           2015-03!)
270   78083c0 HTML filter: filter out some characters
271   407a705 Actively filter out U+00AD characters (Vincent Lefevre)..
272   e5591f2 THANKS: Vincent Lefevre
273   5c458cc FIX MBOX append (since ever (nail 11.16, 2004-11-18])!)..
275 This only fixes invalid non-empty MBOX mailboxes, so "FIX" is possibly
276 a bit overstated.
278   75982b9 bidi_info_needed(): no variation selectors etc. -- CText, where are
279           you!
280   e65db06 FIX n_verr(): cannot reuse va_list..
282 Only for error messages > ~2 KB, which we usually don't produce.
284   23e8697 Fix *quote-fold* (on GNU/Linux iswspace() does not return boolean!)
285   98cf903 FIX: really_rewind() for pre POSIX Issue 7
287 Hardly affects anyone, i had to look into old v5 FreeBSD: maybe.
289   41250b1 FIX: no O_APPEND for .bz2/.xz/*file-hook-load*!  Use lseek(2)!!..
291 This is the reason for this release, and applies to all C libraries
292 which optimize fseek(3) and do not adjust the file descriptor via
293 lseek(2) if the resulting offset is in the I/O buffer.
294 It seems to enable me to say
296     set file-hook-load-xz_pgp='gpg -d | xz -dc' \
297           file-hook-save-xz_pgp='xz -zc | gpg -e'
299 on a GNU/Linux system without ending up with corrupted boxes,
300 i.e., a complaining gpg(1) that says that says so.
302   224d858 popen.c:_file_save(): adjust partial [41250b1] cherry-pick
303   87c902a sendmp(): fix possible false insertion of colour reset seq.
305 v14.8.9 ("Dung Beetle"), 2016-06-21
306 -----------------------------------
308 A cumulated bugfix release.
310 Credits Ralph Corderoy.
311 Apologies, Dirk-Wilhelm Peters.
313   S-nail will become S-mailx after v14.9, and all project resources
314   will move to www.sdaoden.eu with v14.9; only the ML remains hosted
315   at Sourceforge.net as of this writing.
316   We thank Sourceforge.net for hosting this project so many years!
318 ChangeLog
319 ^^^^^^^^^
321 - *signature* and tail injections now work correctly even in combination
322   with -t. [d4237ac]  (Dirk-Wilhelm Peters)
324 - Fix faulty (by-one) buffer overflow calculation in the NCL line editor
325   that could sometimes be seen when using ^W for backward deleting
326   a word when using this at a freshly created rightmost columns.
327   Bug was introduced in [d33bd89] (tty.c, NCL: reduce realloc counts,
328   2013-08-23).  (Ralph Corderoy)
330 git(1) shortlog
331 ^^^^^^^^^^^^^^^
333 b0b974e mk-conf.sh: disable -b for tcc(1) [mob]
334 a415c58 makefile:_update-release: symlinks do not work with lighttpd, use hard
335         ones
336 2fefb1f collect(): fit ~? output in 25 lines (fixes [5dea8a4,4e61d5c] ;)
337 7c7c888 mime.types: oops, fix x-xz tbz->txz extension!
338 c40c206 collect(): hint for `~.' if *ignoreeof* is set, not ".": needs *dot*
339 d4237ac Fix *signature* / tail injection in conjunction with -t..
340 ef6a9c2 mk-conf.sh: pcc(1) as of CVS works without stack protectors!
341 d5cec10 FIX HTML filter: swallow lone ampersands in parameters (SIGH!)..
342 08eb902 FIX: avoid duplicate output for HTML filter..
343 524adf4 makeprint(): filter some iswprint()==true, but which really aren't..
344 552b2b8 `set': fix quoting when printing all variables
345 aa8df72 mk-conf.sh: fix DEVEL<->DEBUG interdependency; terminate printf(1)
346         args
347 f84b0cd mk-conf.sh: check for the needed environ(3)
348 b5af710 mk-conf.sh: fix [f84b0cd]: NULL needs stdio.h
349 fdcbf59 Again "improve" ~? listing
350 ba29651 FIX: cntrlchar() was broken since [4e49924] from 2012-10-15!!
351 08ab13f tty.c, NCL fix possible off-by-one (Ralph Corderoy)
352 815e99f makefile:_update-release: rm TODO in [timeline] _shipout release_ ball
354 v14.8.8 ("The Vulture 38"), 2016-03-26 (v14.8.7 as of 2016-03-25 broken)
355 ------------------------------------------------------------------------
357 A cumulated bugfix release.
359 Credits Gaetan Bisson, Sergey Matveev, Dirk-Wilhelm Peters, Allan McRae
360 and Ralph Corderoy.
361 All the mentioned persons deserve special thanks indeed.
363 We welcome Sergey Matveev, Allan McRae and Ralph Corderoy in THANKS.
365   S-nail will become S-mailx after v14.9, and all project resources
366   will move to www.sdaoden.eu with v14.9; only the ML remains hosted
367   at Sourceforge.net as of this writing.
368   We thank Sourceforge.net for hosting this project so many years!
370 NOTES, ChangeLog (packager-affine)
371 ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
373 - Thanks to Sergey Matveev the Maildir code is now compatible to *BSD.
374   Interested persons may read the commit log. [0c30b14] (Sergey Matveev)
376 - The (much to restricted) test target should now work if $SHELL is set
377   to something "nologin". [7876f3a]  (Gaetan Bisson)
379 - If *sendmail-no-default-arguments* is set we will NOT (!) terminate
380   MTA options with "--", assuming the user does.  This allows, e.g.,
381   very sick things like (ouch) [8b0bdbe]
383     set sendmail="/bin/ssh" \
384       sendmail-arguments="steffen@sdaoden.eu /usr/sbin/sendmail -t" \
385       sendmail-no-default-arguments \
386       sendmail-progname="ssh"
388 ChangeLog
389 ^^^^^^^^^
391 - The primitive builtin HTML filter should now correctly parse HTML
392   parameters.  It seems to become necessary ;) [e227a78,65df701]
394 - *signature* will now undergo MIME encoding. [fe209f7]
395   (Dirk-Wilhelm Peters)
397 - Operating systems without getaddrinfo(3) but only with gethostname(3)
398   should be able to resolve DNS (port numbers) correctly again.
399   [7dd3a71]  (Allan McRae)
401 - The builtin NCL no longer counts gabby history limits against the
402   given maximum persistent history size unless gabbiness is desired.
403   [76780e4,f06ccb6]
405 - The builtin NCL couldn't paste more than one line since October 2015.
406   [ff5d914]  (Ralph Corderoy)
408 ChangeLog (purely technical)
409 ^^^^^^^^^^^^^^^^^^^^^^^^^^^^
411 - WANT_READLINE environments should possibly have a better experience
412   hen interactively editing the attachment list. [ede2800]
413   (In general interactive situation has to improve a lot.)
415 - Fix a bit of weird buffer handling. [536d3a7,0f2cc31,e9a5c22]
416   (Ralph Corderoy)
418 - Fix the fixed buffer handling which broke v14.8.7. [3e4831a]
419   (Gaetan Bisson)
421 v14.8.6 ("Hen Harrier II"), 2015-12-28
422 --------------------------------------
424 A cumulated bugfix release.
426 Credits Hilko Bengen, Salvatore Bonaccorso, Martin Sebor,
427 Aharon Robbins and Philip Guenther.
429 We welcome all credited persons in THANKS.
431 NOTES, ChangeLog (packager-affine)
432 ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
434 - WANT_AMALGAMATION dependency tracking has been fixed.
435   [0ed139d,8c126a9]
437 - "INSTALL": clarification: "make" OR "make install", NOT "[make &&]
438   make install".  More to come in v14.9.  Also INSTALL now says that the
439   default configuration includes all non-experimental features, whereas
440   the otherwise identical CONFIG=MAXIMAL does include them.
441   (Hilko Bengen)
443 - SENDMAIL will now fallback to /usr/sbin/sendmail if we don't find any
444   executable sendmail(1).  We had some similar issue on ArchLinux, but
445   i failed to deal with the no-sendmail-available case.  sendmail(1) is
446   expected in /usr/sbin on *BSD and according to Debian Policy 11.6.
447   [0e09d5e]  (Salvatore Bonaccorso)
449 - SYSCONFRC no longer includes SYSCONFDIR.  I.e., S-nail now does
450     load(SYSCONFDIR "/" SYSCONFRC);
451   instead of
452     load(SYSCONFRC);
453   It seems only CRUX-Linux is affected, and i've sent a patch. [807f64e]
455 - We now support the TinyCCompiler. [topic/tcc]
457 - And -- ouch! -- fix S-nail on Solaris, again.  It was broken since
458   [3e863c6] (2015-06-23) since necessary linker flags had been
459   overwritten. [fd40d5a,6fe5448]
460   (We also deal with NAME_MAX being the minimum possible now, see below.)
462 ChangeLog
463 ^^^^^^^^^
465 - When `Lreply'ing to multiple messages and using the `~:' tilde command
466   the argument list of the `Lreply' itself would have been overwritten,
467   resulting in crashs. [9f5c403 (+ 1162af5,5f08362)]
469 - Temporarily forbid `mbox' but in a system mailbox.  I hope v14.9 can
470   perform the action gracefully. [781ee34]
472 - On systems with "unsigned char" "char"s S-nail was broken for about
473   two and a half year since an E(nd)O(f)F(ile) condition would never
474   have been satisfied, resulting endless loops.  Detected by the Debian
475   package build bot who hung endlessly when running "$ make test".
476   [f43e04e]
478 - Fixes to false signal handler restoration, partially false forever.
479   [0948199,364bc48]
481 - Fix crashes in the error path of Zopen().  If a de-/compressor fails
482   Heirloom mailx would crash, and S-nail would have crashed in the debug
483   path and print "Alert: Invalid file pointer" in optimized code.  Since
484   S-nail allows *file-hook-{load,save}-EXTENSION* the situation is much
485   worse, however. [8e7f0f4]
487 - Don't crash in `varedit' when $EDITOR doesn't start up. [5a5350b]
489 - The build system now sorts source files in order to honour
490   <https://reproducible-builds.org/>. [a939517]
492 - The build script has seen improvements.  The (mysterious) hangs in VMs
493   are gone now that i have switched configuration evaluation to awk(1)
494   thanks to a suggestion by Aharon Robbins.  In fact doing "$ make
495   CC=tcc devel" now takes the same time all-in-all that the mentioned
496   evalution took alone. [fa2e248]  (Aharon Robbins)
498   This is true even if we know do a lot more of run tests instead of
499   plain link tests for native environment detection since the GNU
500   C library monster uses empty ENOSYS stubs for system calls it doesn't
501   provide.  This is the reason why the Debian kFreeBSD S-nail package
502   doesn't work out by now.  We are not aware of booting different
503   kernels with different feature sets than what we detected upon compile
504   time, though.  I don't think we ever will. [3ee2d4c]
506 ChangeLog (purely technical)
507 ^^^^^^^^^^^^^^^^^^^^^^^^^^^^
509 - Dotlock file locking now ignores lock file creation failures on
510   readonly filesystems.  Since the mailbox will be degraded to read-only
511   no dotlock file is needed. [40785bc]
513   And that really hurts: [3517800]!  On Solaris NAME_MAX is set to the
514   minimum that POSIX allows (14), and we were not really prepared for
515   that.  I.e., the lock for /var/mail/sdaoden would be
516   /var/mail/sdaoden.lock, we require at least one more byte for safe
517   lock file creation and yet included the terminating NUL in the
518   calculation, and whoops, dotlocking failed because of ENAMETOOLONG!
519   So do use pathconf(2) _exclusively_ if that succeeds to give an
520   answer.  And we still have room for improvements that i as a C++
521   programmer with speedy dynamic Str objects would never thought i have
522   to deal with.
524 - Fix pathconf(2) usage. [31ce3e1]  (Not wrong: Martin Sebor)
526 - First step to use the new *at() series of system-calls if available,
527   inspired by (Philip Guenther). [topic/time]
529 v14.8.5 ("Hen Harrier"), 2015-09-05
530 -----------------------------------
532 Credits John Dodson, Claudio Cappelli.
534 We welcome Claudio Cappelli in THANKS.
536 NOTES, ChangeLog (packager-affine)
537 ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
539 - I've forgotten to add obsoletion warning messages in v14.8.4, so
540   running with enabled -d/*debug* -vv/2x*verbose* may be useful.
541   Sorry! [b3e34db]
543 - A series of bug FIXes (which caused the "Hen Harrier" in the end):
545   . v14.8.4 bug: macro content will be added to the history. [28672e5]
547   . Fallout of massive not-yet-dead style and control flow change series
548     in February 2014, I.: the close-on-exec bit of temporary file
549     descriptors wasn't set. [8f58404]
551   . Fallout of massive not-yet-dead style and control flow change series
552     in February 2014, II.: temporary files were always created in the
553     current directory.  Aloha, heh. [edc12c8]
555   . v14.8.4 bug: when `resend'ing messages a crash would happen when
556     generating the Message-Id: (control flow messed up when hastily
557     implementing extended -t parsing). [9e63ae6]
558     (Hello, Bob Tennent: i finally have added at least a simple `resend'
559     test.  Don't your worry.)
561   . v14.8.4 bug: plugged a file descriptor leak in the dotlock code (one
562     side of the control pipe was leaked upon success; there you see how
563     large ulimit(3) limits are by default today). [ed5c8cf]
565 - When using -t and a template message recipients given on the command
566   line will now be joined into the message instead of being discarded.
567   [9eb4cbf]
569 ChangeLog
570 ^^^^^^^^^
572 - The `set' command will now mark out assembled variables if *debug* or
573   2x*verbose* is set. [2b6e64a]
575 - Added *smime-cipher* @433 option (i.e., generic variant of
576   *smime-cipher-USER@HOST*). [58804ea]
578 - Messages will now _only_ be saved in *DEAD* if *save* is set (POSIX).
579   [3fefac9]
581 - The (pretty useless for now) `pipe' command will now also print the
582   overall message info (it printed MIME part infos already). [e0a8196]
584 - NAIL_FILENAME_GENERATED is now nothing but a random string. [36097df]
586 - *debug* now implies no*record* and no*save*. [ca9f512]
588 - After almost three years i've finally heard what John Dodson said and
589   changed/restored behaviour of plain "address" message specifications
590   to reflect the original intent (and a bit POSIX) so we now have
591     A case-insensitive “any substring matches” search against the
592     ‘From:’ header, which will match addresses (too) even if
593     showname[339] is set [things are different if *allnet* is set]
594   [44cec1f]  (John Dodson)
596 - ..and therefore we need the possibility to somehow perform "exact
597   boundary" matches: for this i've extended the "@" message
598   specification with a header-name "~" prefix and header abbreviations:
599     ‘f’, ‘t’, ‘c’, ‘b’ and ‘s’ will match ‘From’, ‘To’, ‘Cc’, ‘Bcc’ and
600     ‘Subject’, respectively and case-insensitively.
601   And:
602     This message specification performs full text comparison, but even
603     with regular expression support it is almost impossible to write a
604     search expression that savely matches only a specific address
605     domain.  To request that the content of the header is treated as a
606     list of addresses, and to strip those down to the plain email
607     address which the search expression is to be matched against, pre‐
608     fix the header name (abbreviation) with a tilde ‘~’:
609       '@~f@@a\.safe\.domain\.match$'
610   [50c2816]
612 - New option: *sendmail-no-default-arguments* @426 [d983036]
613   (Claudio Cappelli)
615 - Do no longer make a difference in "no mail for user" and "missing
616   system mailbox".  The latter caused yet an annoying error message even
617   with *emptystart*. [7abff87]
619 - New command `source_if' @187 is like `source' but don't fails if the
620   file cannot be loaded.  That is to say, we do not yet support
621   "-f FILE@ tests nor `test -f FILE` shell commands for `if', sigh.
622   [893bd5f]
624 ChangeLog (purely technical)
625 ^^^^^^^^^^^^^^^^^^^^^^^^^^^^
627 - Unless Gunnar Ritter is directly affected the fourth clause of the BSD
628   copyright has been dropped, as has been done for NetBSD Mail.
629   [b9ea247]
631 - Quoted-printable encoding will avoid printing a soft newline if only
632   a single character is about to follow. [6b31542]
634 - The configuration script now shows what it is doing at the beginning,
635   to overcome those hangs that can be seen especially in VMs. [4c29cea]
637 - The configuration will do an automatic "make clean" when the
638   configuration had been updated. [9706734]
640 - We no longer generate a MIME message unless that is necessary.  I.e.,
641   a plain 7-bit (US-ASCII) message without attachments send from
642   a system daemon is a plain RFC 822/2822/5322 message and doesn't
643   require any MIME header. [824257a]
645 - To avoid that DNS resolver becomes unusable due to ^C interruption.
646   Also fixes a possible leak in non-getaddrinfo(3) codepath (old boxes).
647   [767897a]
649 v14.8.4 ("Nameless bird (shot by Hemingway)", 2015-08-04
650 --------------------------------------------------------
652 Thanks for Jérémie Courrèges-Anglas for beating me to it.
654 NOTES, ChangeLog (packager-affine)
655 ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
657 - Added support for the (BSD-licensed) idnkit[1] IDNA library which is
658   now in the base system of DragonFly BSD.  We still only support
659   encoding, though.  (And assume the hostname is in locale encoding.)
660   [cbded82,22ac479]
662     [1] <https://www.nic.ad.jp/ja/idn/idnkit/download/>
664 - I have rewritten the privilege-separated dotlock helper program,
665   because among others a SETGID one is of no use in todays world.
666   So it is now SETUID to the new PRIVSEP_USER.
668   . WANT_PRIVSEP and PRIVSEP_GROUP have been dropped.
670   . New option: WANT_DOTLOCK, by default enabled.
671     It is henceforth possible to strip any dotlock code off S-nail.
672     So either S-nail has complete dotlock support, including the
673     privilege-separated dotlock helper, or none at all.
675   . New variable: PRIVSEP_USER, by default "root".
676     It must be a privileged user that can be used to implement the new
677     strategy: we create the dotlock file and then fchown(2) it to the
678     UID and GID of the mailbox that we created it for.  Like this the
679     owner of the mailbox (remember %USER, $USER, -u USER ..) will be
680     capable to remove the lock file herself.  Or himself.
682   . No dotlocking was performed for reading, only for writing.  I've
683     changed this.  We also didn't perform any (file) locking at all when
684     updating non system-mailboxes, which i have changed, too.
686   . Fixed horrific bug: on systems without realpath(3), e.g., Solaris 9,
687     S-nail would not resolve symbolic links on the mailbox to lock,
688     potentially creating the lock file in the wrong directory.
690   . We now compare the inode/device/etc. of the mailbox file with the
691     information we collected a lot earlier from the open mailbox file
692     descriptor, and bail if they are not identical, to reduce attach
693     surface.
695   . The privsep helper now re-checks that it is capable to read (or
696     read/write) the mailbox it is creating a dotlock for, to reduce the
697     chance of being misused (by itself).  I.e., it does so before
698     raising its privileges, say.
700   [d5ec3cb,b29e2c8]
702 - The predefined CONFIG=urations have been changed a bit and now
703   "require" more options than they did before.
705 - Renamed WANT_ALL_SSL_ALGORITHMS to WANT_SSL_ALL_ALGORITHMS.
706   That was a no-brainer, default of "yes" remains, but it now can also
707   be "require"d. [910849e]
709 - The GitLab project repository URL has been changed and now is
710   <https://gitlab.com/sdaoden/s-nail.git> (leave off ".git" for browsing
711   purposes).
713 ChangeLog
714 ^^^^^^^^^
716 - It has become possible to fixate the input character set of
717   attachments from the command line (without going over ~@):
718   when the -a @39 option cannot access(2) the file to be attached it
719   searches the filename for an equals-sign "=" and splits into filename
720   and character set shall it find one.  A character set defined like
721   this is "fixated" and therefore no character set conversion occurs.
723     $ echo body |
724     ./s-nail -d -s subject du@auch \
725       -aversion.h -aversion.h=KoI8-r -aversion.h=LaTin1 -aversion.h
727   >>> Content-Type: text/x-chdr; charset=US-ASCII
728   >>> Content-Type: text/x-chdr; charset=KoI8-r
729   >>> Content-Type: text/x-chdr; charset=LaTin1
730   >>> Content-Type: text/x-chdr; charset=US-ASCII
732   [1f07d9e,804e561]
734 - In *debug* mode the content of the message that would have been sent
735   is printed on standard error not only in *smtp*, but also MTA mode.
736   E.g., as in the example above. [c106f35]
738 - S/MIME oops: S-nail yet didn't test for the "application/pkcs7-mime"
739   MIME type at all, but only for "/x-pkcs7-mime" (pre-standardized
740   variant), so that S/MIME messages generated by more modern MUAs (e.g.
741   Alpine) wouldn't have been understood!
742   And we do now use that MIME type ourself, as standardized by RFC
743   5751.  However, we are still stupid and don't handle a signed message
744   inside a multipart/mixed message, neither do we support fully
745   encrypted messages (nothing but rfc822 member) etc. [10c2b16]
747 - *smime-cipher-USER@HOST* @431 values changed to versions without
748   hyphen, as that is what OpenSSL uses: e.g., AES256 not AES-256; the
749   latter versions are no longer documented and will be dropped with
750   v15.0. [f2c6eec]
752 - New variable *smime-sign-message-digest* [-USER@HOST] @437 can be used
753   to define the message digest for S/MIME signing.  RFC 5751 mandates
754   a default of SHA1, by default available are also SHA256, SHA512,
755   SHA384 and SHA224, MD5 may be available, dependent on OpenSSL.
756   With WANT_SSL_ALL_ALGORITHMS more digests may be available. [2f6dac3]
758 - Using NAIL_FILENAME_GENERATED was prevented since some time since it
759   ended up longer than NAME_MAX (ENAMETOOLONG). [3bcbbfc,f632b5b]
761 - Heavily rewritten manual section "Signed and encrypted messages with
762   S/MIME" @35, giving a ready-to-go example for CAcert.org.
764 - Nicer output for `help' @126 / `?' @74 when given an argument:
765   if that is a command ghost we search for the expansion and do print
766   the (further expansion and) help for that if possible [cea8c20]:
768     ?0[]? ?save
769     save: Append <message-list> to <file>
770     ?0[]? ?s
771     s (save): Append <message-list> to <file>
772     ?0[]? gh s s
773     ?0[]? ?s
774     s -> s (save): Append <message-list> to <file>
776 - No longer allowing recursive commands in macros to avoid that the
777   following can crash us (check can be bypassed):
779       ? define ouch {
780         echo ouch
781         reply 2
782       }
783       ? reply
784       ~:call ouch
786   This is a pity because "? call ouch" does no longer cause a reply,
787   but the real healing will take time.
788   Also the `source' command is now actively disabled during macro
789   evaluation -- this only works(/ed) by accidence and anyway non-
790   synchronously (the `source'd file will be loaded after the macro
791   evaluation has finished).  The real healing for this is heavy stuff
792   and will remove a smart and fantastic idea from before 1979, but it
793   won't work out with macro support (see commit message for more upon
794   interest). [5461a30]
796 - And `source' will be actively forbidden in compose mode, too.  It
797   never worked the way it should. [abd388c]
799 - Did -t @60 ever work for real?  Now it does.
800   Even better it now "supports" some more header fields (References:,
801   In-Reply-To:, Message-ID:, and Mail-Followup-To:, but the latter will
802   be subject of a nice followup content massage) -- S-nail can
803   henceforth be used for git(1)s send-email command.
804   We also improved the interdependency of -t (with[out] From:, Sender:),
805   -r, *from* and *sender*, but i don't say it is perfect yet.
806   [6842f12,631d402,a86ca2d]
808 - Completely reworked *expandaddr* @373 handling, and you can now define
809   *exactly* what you want, e.g., "fail,-all,+addr,+file" will only allow
810   mail address or file recipients and hard error out otherwise.
811   Note that in order to make that work "restrict" has been changed to be
812   effectively "restrict,-all,+name,+addr", which matters in, e.g.,
813   "fail,-all,+file,restrict" which therefore truly is "restrict,fail"!
815   Even in conjunction with -t you should now see proper (-d / *debug*,
816   -v / *verbose*) messages for *expandaddr* caused address stripping,
817   or, with "fail", hard errors. [8668be3]
819 ChangeLog (purely technical)
820 ^^^^^^^^^^^^^^^^^^^^^^^^^^^^
822 - We again allow Message-Id:s to start with a leading slash, as in
823   "/p/forge/site-support/10.../...". [143372a]
825 - We now support multiline values in make.rc: to do so, escape the
826   newlines with a backslash "\", e.g. [621cbed,9cf4e7b]
828     MAILSPOOL=`\
829        if [ -d /var/spool/mail ]; then \
830           echo /var/spool/mail;\
831        else \
832           echo /var/mail;\
833        fi`
835 - Lowered the memory pressure caused by malicious spam messages that
836   place hundreds of references into the References: header body.
837   And we don't use alloca(3) no more for such things, in order to lower
838   stack usage. [1c4b8c9,47a1a5c]
840 v14.8.3 ("Startled chicken"), 2015-07-05
841 ----------------------------------------
843 Credits go to Martin Neitzel!
845 NOTES, ChangeLog (packager-affine)
846 ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
848 - Prefilling INCS and LIBS is finally honoured by the build system, just
849   as documented. [9a34822]
851 - In place of "packager-install" "doinstall" will also do.
853 - New `make.rc' option: WANT_ERRORS, by default enabled.
854   Will enable the new command `errors' @105 (#_105) and an error message
855   queue ring: error messages will no longer get lost but duplicated into
856   the queue, to be displayed in interactive mode via `errors'.  This is
857   a finite ring which rotates oldest messages if it full.
858   [topic/errors]
860 - S-nail no longer offers hooks for group identity switching: it no
861   longer makes sense to install it SETGID to a mail group (shall anyone
862   has done so). [ac42d24]
864 - New `make.rc' option: WANT_PRIVSEP, by default enabled.
865   The dotlock'ing has been completely rewritten (see `make.rc' for
866   a longer explanation of traditional Unix mailspool locking, please).
868   In order to be able to create lock files in *any* SETGID mailspool
869   directory in which user system mailboxes may reside S-nail now ships
870   with a privilege-separated mini dotlock program (source in
871   `privsep.c'), which will be installed in the new also LIBEXECDIR (as
872   YOUR_MUA_NAME-privsep) SETGID to the group given by the also new
873   PRIVSEP_GROUP (default "mail").
875   This dotlock program will be used whenever a mailbox has to be
876   dotlocked which is owned by group that is not the group of the user
877   who is running S-nail, assuming that the file in question resides in
878   a SETGID mailspool directory.
880   The new variable *dotlock-ignore-error* @294 (#_294) now controls
881   wether it is a failure if creation of a dotlock file is not possible.
882   This variable is by default enabled if WANT_PRIVSEP is false.
883   [topic/dotlock]
885 ChangeLog
886 ^^^^^^^^^
888 - Fix file locking, which was broken since v14.8. [7f8ebc0]
889   (Martin Neitzel)
891 - -e now works with given boxes; -e is mutual exclusive with -H and -L;
892   and then any of -e, -H and -L causes the mailbox opened in readonly
893   mode. [3bb05a2, 2cf15c1]
895 - In *debug* mode no process will be started for a set *smtp*, but
896   instead the message will be directly generated (on the error channel).
897   Also GSS-API authentication will no longer be performed even with
898   enabled debug, oops. [3333d71]
900 ChangeLog (purely technical)
901 ^^^^^^^^^^^^^^^^^^^^^^^^^^^^
903 - A readonly IMAP box is opened via EXAMINE not SELECT. [2d5259c]
905 - snprintf(3) and vsnprintf(3) are now required preconditions. [c58c7e9]
907 v14.8.2 ("Wandering albatross"), 2015-06-17
908 -------------------------------------------
910 Many thanks Bob Tennent, for reporting and testing!
912 NOTES, ChangeLog (packager-affine)
913 ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
915 - Configuration will now find clock_gettime(2) in -lrt and
916   gettimeofday(2) as such on Linux. [47c9ea7,5e248d2,df7d77f]
917   (Bob Tennent)
919 - MANDIR now defaults to ${PREFIX}/share/man (not ${PREFIX}/man)
920   [6371740]
922 ChangeLog
923 ^^^^^^^^^
925 -  Added missing condition clause in `if' expression parsing
926    [74c7cac,5da6d4d]:
928     ?0[ +mbox]? if $du @@ hey
929     ?0[ +mbox]? endif
930     -->
931     ?0[ +mbox]? if $du @@ hey
932     `if' conditional: unrecognized condition -- near "du"
933        Expression: $du @@ hey
934        Left to parse: $du @@ hey
935     ?1[ +mbox]? endif
937 - Ooops, fix pipe-TYPE/SUBTYPE @403 with value "@" (a.k.a. treat as
938   plain text and display "as is"): i've broken that once i've introduced
939   the extended type markers for the `mimetype' command.  Must have been
940   a Freudian error, sorry! [ea655de]
942 - Fix a bug introduced in nail 9.29, 2001-12-10: a temporary buffer is
943   closed with fclose() even though it is a registered file that instead
944   needs to be closed via Fclose().  This effectively results in
945   a double-fclose(3) of the underlaying file descriptor once the
946   registered files are cleaned up next, which happens either after
947   signal interruption and, since [65e0510] as of 2015-05-21, whenever
948   the command loop ticks. [97fcb97]  (Bob Tennent)
950 v14.8.1 ("Tristan albatross"), 2015-06-11
951 -----------------------------------------
953 Kudos!
954 Ypnose, Tarqi Kazan, Dagobert Michelsen and OpenCSW.org, Gianluca
955 Ramunno, Bob Tennent.
957 We welcome Dagobert Michelsen in THANKS.
959 NOTES, ChangeLog (packager-affine)
960 ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
962 $ In all the following noticable changes to the release candidate are
963 $ marked with a $ in the first column
965 - We have been ported to Sun Solaris!
966   Thanks to Dagobert Michelsen for giving me an account on OpenCSW.org!
968 - The build system will now really find strip(1). [54e91c4]
970 - WANT_TERMCAP fix: we simply passed tputs(3) a pointer to putchar(3)
971   though that may be a macro etc. [cc65bc3]
973 - The following variables can be used to overwrite utilities needed
974   during configuration and build:
976     MAKE=, STRIP=, awk=, cat=, chmod=, cp=, cmp=, cksum=, grep=, mkdir=,
977     mv=, tee=, rm=, sed=, tr=
979   Note that rm(1), sed(1) and tr(1) are needed before `make.rc' is read.
980   Fix: these will now also affect "make test".
982 - WANT_AUTOCC now no longer sets compiler flags as of experience, but
983   compiles a test program to actually detect wether the compiler will
984   swallow the flag.  This increases configuration time quite a bit.
985   Users who really did use "make devel" possibly want to use "make
986   CONFIG=DEVEL" followed by "make build" now.
987   Note we now also test for -fPIE as well as relro,now,noexecstack.
989 - WANT_SPAM_SPAMD is now decoupled from WANT_SOCKETS. [d247d86]
991 - The configuration now also detects any changes on PATH, C_INCLUDE_PATH
992   and LD_LIBRARY. [1038028]
994 ChangeLog
995 ^^^^^^^^^
997 - Fixed importing of SHELL/LISTER/PAGER variables from the program
998   environment. [940c7f1]  (Ypnose)
1000 - Moved -X @64 command line option handling before attachment
1001   evaluation, so that, e.g., `mimetype's registered via it will already
1002   be seen when classifying attachments. [5d9742f]
1004 - Honour *asksign* @274 again, even if *askatend* @270 or *bsdcompat* @281
1005   are not set.  This also changes *askattach* @271 as we'll only ask for
1006   addition of attachments if there are none yet. [e054d6a]  (Tarqi Kazan)
1008 - Support OpenSSL 1.1.0 and above: it obsoletes the more-than-a-decade
1009   old SSLv23_client_method() in favour of a new TLS_client_method()
1010   (instead of using some "magical" constant like, say, "SSL_METHOD_ANY",
1011   but who am i). [c35b567]
1013 - Generic file (mailbox) load and save hooks have been introduced:
1014   *file-hook-(load|save)-EXTENSION* @374,@375, e.g.:
1016     set file-hook-load-xy='echo >&2 XY-LOAD; gzip -cd' \
1017         file-hook-save-xy='echo >&2 XY-SAVE; gzip -c' \
1018         record=+null-sent.xy
1020   One could think about using all-encrypted mailboxes, or the like.
1021   Note that before v15.0 these variables may not be changed while
1022   a mailbox handled by these hooks is open. [b4c2c37]  (Tarqi Kazan)
1024 - When DNS resolving fails we now print error messages.
1025   And then, if it fails because of an unknown service (protocol), we
1026   check for the protocol and retry shall we have a well-known port
1027   number builtin (smtp, submission, smtps, pop3, pop3s, imap, imaps).
1028   [5f52370, (3f189f9)]  It is not wrong to credit (Gianluca Ramunno)
1030 - One may now force treatment of addresses as files with the new "./"
1031   or "/" prefixes -- until now it wasn't possible to address files if
1032   the addressee includes an at sign, now "./me@here.com" will do, just
1033   as will "/me@here.com". [2cf5890,0da473f]  (Bob Tennent)
1035 - Fix *record-resent* @329, which never made it to *record* @414 since
1036   [a11935b], but instead save the message in a file named after the
1037   addressee! [a82af9f]  (Bob Tennent)
1039 - Fixed signal handler uninstallation in sopen() (DNS lookup and socket
1040   creation): v14.8.0 could be forced in endless loop after failed DNS
1041   lookups due to this. [3cca23b]
1043 - Fixed possible double-free (causing a crash) after failed SSL
1044   certificate verification (*ssl-verify*=strict etc.) with OpenSSL
1045   versions that support SSL_CONF_CTX (1.0.2+). [c691726]
1047 - Assorted changes:
1049   . The builtin HTML filter will now silently discard carriage-return
1050     characters (looks better in e.g. less(1)). [cf4d800]
1051   . When reopening the same box we now recognize if changes had been
1052     written, forcing a reread of the box in order to display the actual
1053     real content. [7dfbd38,0835212,a15dfed]
1054   . `netrc' output changed, so that the output could (in theory) be fed
1055     back into S-nail again in order to gain the same settings. [a9a2722]
1056   . *pop3-keepalive* @410 gained (@USER)?-HOST forms [69cae68]
1057   . *imap-keepalive* @387 gained (@USER)?-HOST forms [9a8c929]
1058   . Do not use the builtin random generator if we find a suitable one in
1059     the host environment. [0e01aeb,6bcb430,fc846c6]  (Bob Tennent)
1060   . The builtin HTML filter will now also expand entities in parameter
1061     names. [8d16dc0]
1062 $ . *crt* will now only be checked when attached to a terminal device;
1063 $   and no*crt* will now be honoured. [2508c32]
1065 ChangeLog (purely technical)
1066 ^^^^^^^^^^^^^^^^^^^^^^^^^^^^
1068 - Solaris port resulted in a lot of changesets for the build system.
1069 - I didn't use git(1) rebasing and the [crawl] branch but only [master].
1070   And see where that ended: S-nail would have 10000 fossil commits!
1071 - Plugged some memory leaks.
1073 v14.8.0 ("Albatros"), 2015-04-30
1074 --------------------------------
1076 Puuuh!
1077 I'm glad and happy to announce "Albatros" after about seven months of
1078 development.  Development that brought many new features, bugfixes,
1079 technical overhauling and behaviour tweaking.  Shall you ever have been
1080 interested in BSD Mail or its deriviatives you might want to give it
1081 a try.
1083 "Albatros" is indeed the first version of the codebase as such that
1084 should allow IMAP->Maildir->MBOX->Maildir->IMAP message roundtripping
1085 without causing possible message splitting due to faulty From_
1086 detection / encoding.  It also generates compliant MIME parameters.
1088 Note there are incompatible changes, documented below.  And it is also
1089 advisable to try out existing configurations with enabled *debug* and/or
1090 *verbose* (-d, -vv) in order to check for "obsoletion" warnings.
1091 (Here "obsolete" would refer to v15, of course.)
1093 Credits and Thanks go to Ypnose, Jérémie Courrèges-Anglas, Josef Jurek,
1094 Gavin Troy, Rich Salz, Martin Brandenburg, Bob Tennent, Dominic Meskys
1095 and Peter Bray.
1097 We welcome Jérémie Courrèges-Anglas, Josef Jurek, Rich Salz,
1098 Dominic Meskys, Peter Bray, Dirk-Wilhelm Peters and Martin Brandenburg
1099 in THANKS.
1100 Apologies to Dirk-Wilhelm Peters and Martin Brandenburg whom i had
1101 forgotten to add to THANKS at first glance once i've added this file; it
1102 was nothing but an oversight.
1104 I also say «Thank you» to GitLab.com – i've mirrored the S-nail git(1)
1105 repository (alongside others) to this free service.
1107 Credits finally also have to go to Coverity.com [1] which helped to find
1108 some bugs; the claim of a 0.00 defect density after a Friday 13th test
1109 must have been an error from their side, though, as well as that the
1110 page [1] still remains at a test with a defect density of 0.01, since
1111 i've posted yet another run that must have ended with 0.00.  (Note the
1112 codebase was tested without IMAP code, i.e. my _next_ developer branch.)
1114   [1] https://scan.coverity.com/projects/444
1116 NOTES, ChangeLog (packager-affine)
1117 ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
1119 $ In all the following noticable changes to the release candidate are
1120 $ marked with a $ in the first column
1122 + Crawling along the path of CVE [topic/cve-2014-7844.2]: to enable MTA
1123   arguments after -- the new *expandargv* @372 must be set.  More below.
1125 + Even more crawling along the path of the CVE i decided to replace the
1126   wordexp(3) based shell word expansion mechanism with an entirely new,
1127   internally implemented restricted one, but complete mitigation will
1128   take time.  This has consequences in respect to backslash escaping in
1129   file names (shall you ever have used such a filename with S-nail and
1130   its predecessors, of course, and only ...).
1131   Please see [topic/fexpand.2] below.
1133 + A new member for the *attrlist* @351 variable (for unsure spam status).
1134   Since a user setting with a false length will be ignored yet causes an
1135   error message this is a backward incompatible change. [topic/spam.2]
1137 - New make.rc option: WANT_ALL_SSL_ALGORITHMS (enabled).
1138   See make.rc and *smime-cipher-USER@host* @427 below. [topic/ssl.1]
1140 - The make.rc option WANT_IPV6 is gone; we use the respective standard
1141   library facilities automatically whenever possible. [999e79a]
1143 - New make.rc option: WANT_TERMCAP (disabled).
1144   See *term-ca-mode* @345 below.  [topic/termcap]
1146 - The make.rc option WANT_SPAM has been dropped.  Instead we have (see
1147   [topic/spam.2] below for more):
1149   . WANT_SPAM_SPAMC (default off):
1150     Rather identical to the former WANT_SPAM (interaction with spamc(1)
1151     from spamassassin(1)), but internally improved.
1152   . WANT_SPAM_SPAMD (default off):
1153     Direct interaction with spamd(1) from spamassassin(1) via a local
1154     unix(4) domain socket.
1155   . WANT_SPAM_FILTER (default on):
1156     Freely configurable hook programs, e.g., bogofilter(1).
1158 - It turned out that the manual wasn't mandb(1) compatible. [f5ab838]
1160 - New make.rc option: WANT_FILTER_HTML_TAGSOUP (enabled).
1161   S-nail now ships with a very primitive HTML-to-text converter.
1162   It'll be used for HTML parts automatically if no pipe handler is
1163   installed (and the builtin mime.types haven't been changed).
1164   This works because of the new TYPEMARKER extension to mime.types(5) as
1165   documented for [topic/mime.types.2] below.
1166   (It is quite experimental but i think it rocks except it can be fooled
1167   since it doesn't know about double quoted strings, e.g., <a href=""
1168   onmouseover='javascript:alert("> This is plain text you see, oops");'>.
1169 $ Yet it is ment for displaying HTML mails, and it works really well.
1170 $ It doesn't support non-standard type="quote" attributes nor even-more
1171 $ non-standard CSS classes "gmail_quote" or whatever it's name was --
1172 $ these are used in the wild to generate automatic mail quoting, which
1173 $ has resulted in an immense amount of top-posting; but maybe there will
1174 $ be a S-nail v14.8.1 which will implement those, to ease the pain.
1175   [topic/html-tagsoup]
1177 $- List output of `alias' @78, `ghost' @123 and `shortcut' @181
1178 $ uses a new syntax that should (in theory) make it possible to feed
1179 $ the output back into S-nail. [2913df3]
1180 $ Ditto `set' @178 unless *bsdcompat* or *bsdset* are set. [373cc8a]
1182 $- *keep* @308 will also affect secondary mailboxes (because *emptybox*
1183 $ has been obsoleted, see below). [5fa5f8b]
1185 $- New make.rc option: WANT_FORCED_STACKPROT (enabled with WANT_DEVEL or
1186 $ WANT_DEBUG).
1187 $ In conjunction with WANT_AUTOCC this will trigger stack protectors
1188 $ if the detected compiler does support them.  (Before they were only
1189 $ enabled if WANT_DEBUG was set, automatically.)
1191 + v14.8 is the last release with IMAP support, which has been removed
1192   from the developer's [crawl] branch for quite some time already.
1193   He really hopes he can affort to readd support sometime after v15.0.
1195 ChangeLog
1196 ^^^^^^^^^
1198 - S-nail now knows about named booleans (e.g., `localopts' @133 or
1199   interactive approval prompts can now be given any of 1/yes/true/on or
1200   0/no/false/off, case-insensitively; note this is true for the make.rc
1201 $ system, too) and so-called "quad" options (either normal boolean or
1202 $ "ask-BOOLEAN", which, in interactive context, will be prompted with
1203 $ default values; the default value is chosen in non-interactive mode).
1204 $ (on/off support not in the RC.)
1205   [topic/xify]
1207 - The `if' @128 combo:
1209   . gained <, >, <= and >= tests;
1210     ==, !=, <, <=, >=, > will try to convert their arguments to numbers
1211     and perform their test numerically, if possible, [143d409]
1212   . `if' supports boolean (as above) arguments, [topic/ifpimp]
1213   . `if 1'+ return value fixed, [topic/ifpimp]
1214   . `if'+: on syntax error, NOOP anything 'till `endif', [topic/ifpimp]
1215   . `if'+ now support bracket groups, AND-OR lists and unary ! (not),
1216     note that the separating spaces are required: [topic/ifpimp]
1218       if [ [ true ] && [ [ $debug ] || [ $verbose ] ] ]
1219         echo Noisy, noisy
1220       endif
1221       if true && $debug || $verbose
1222         echo Left associativity, as is known from the shell
1223       endif
1224       if ! ! true && ! [ ! $debug && ! $verbose ]
1225         echo Unary operator support
1226       endif
1228   . `if'+ now support new case-insensitive (ASCII) substring operators
1229     =@ and !@: [topic/ifpimp]
1231       if $features =@ "regex"
1232         if $TERM =~ "^xterm.*"
1233           echo ..in an X terminal
1234         endif
1235       endif
1237 $ . `if'+: the three argument forms can now be given variables also on
1238 $   the right hand side: [topic/ifpimp]
1240 $     set xtest='^xterm.*'
1241 $     if $TERM =~ $xtest
1242 $       echo Variables as right hand value
1243 $     endif
1245 - `unalias' @198 learned that * means "all aliases".
1246   Fixed: faulty list-head relinking caused "dead" aliases (since ever)
1247   [topic/names]
1249 - `unshortcut' @219 learned that * means "all shortcuts".
1250   `shortcut' @181 in turn can now define multiple shortcuts in one go
1251   [topic/names]:
1253     ?0[ /var/mail/steffen]? sho you 'any one' me 'no "one"'
1254     ?0[ /var/mail/steffen]? sho
1255     shortcut me "no \"one\""
1256     shortcut you "any one"
1257     ?0[ /var/mail/steffen]? unsho*
1258     ?0[ /var/mail/steffen]? sho
1259     ?0[ /var/mail/steffen]?
1261 - S-nail learned how to deal with mailing-lists in respect to
1262   Mail-Followup-To headers etc. (manual: "Mailing lists" @21):
1264   . new commands `(un)?ml(list|subscribe)' to let S-nail decide which
1265     addresses are mailing-lists, [topic/names]
1266   . *headline* learned %T format to display message recipient flags:
1267     "L" for a mailing-list, "S" for a subscribed one, [topic/names]
1268   . new variable *followup-to-honour*, [topic/mft]
1269   . new variable *reply-to-honour*, [topic/mft]
1270   . new command `Lreply', forcing a list-only `reply' if possible.
1271     When `Lreply'ing to messages which seem to originate from
1272     mailing-lists (contain a "List-Post:" header), then S-nail will
1273     treat the list address as a known mailing list (as via `mlist').
1275     (It is advisable to try out several different combinations of non-/
1276     subscribed mailing-lists in conjunction with `reply', `Reply' and
1277     `Lreply' with *debug* set in order to get used to how S-nail will
1278     modify the address lists; the results should be quite logical
1279     though.) [topic/mft]
1280   . For convenience `reply' and `Lreply' can now be used to reply to
1281     multiple messages in one go (each message will still be handled by
1282     itself, we simply start over internally). [topic/mft]
1284 - `unset' @217 no longer "fails" for unset variables, but only prints
1285   a message in *debug* or *verbose* mode.  This changes traditional,
1286   decade-old behaviour, but shells don't even say something in (*debug*
1287   or) *verbose* mode, and it really simplifies things. [topic/okeys-attr]
1289 - SSL/TLS changes: [topic/ssl.1]
1291   . new variables: *ssl-cert-HOST* @451, *ssl-key-HOST* @456,
1292     *ssl-method-HOST* @457, *ssl-verify-HOST* @461,
1293   . *ssl-v2-allow* has been dropped,
1294   . *ssl-verify* @461 and *smime-cipher-USER@HOST* @427 use
1295     case-insensitive matching for value checks,
1296   . new variable-chain: *ssl-protocol* @458 (the introduction of which
1297     obsoletes *ssl-method* @457, see below),
1298   . new variants of *ssl-cipher-list* @452: *ssl-cipher-list-USER@HOST*,
1299     *ssl-cipher-list-HOST*,
1300   . new variable: *ssl-config-file* @453,
1301   . *smime-cipher-USER@HOST* @427 dropped builtin support for the
1302     obsolete RC2-40 and RC2-64 ciphers -- use the make.rc option
1303     WANT_ALL_SSL_ALGORITHMS to readd support,
1304   . with SSL_CONF_CTX support (OpenSSL v1.0.2+) the values of the
1305     following variables (and variants) will be parsed by OpenSSL instead
1306     of S-nail, offering more user and packager flexibility:
1307     *ssl-cert* @451, *ssl-cipher-list* @452, *ssl-key* @456,
1308     *ssl-protocol* @458.
1310     E.g., shall a new OpenSSL ship with TLS v1.3 S-nail doesn't need to
1311     be adjusted in order to support TLS v1.3, all there is to do is that
1312     the user has to adjust her *ssl-protocol* setting.
1313     This is at least the theory. :)
1314     And maybe OpenSSL (will) offer(s) symbolic constants like "NEWEST"
1315     or "SAFEST".
1317 - Folder hooks have been extended:
1319   . if there was no *folder-hook-FULLNAME* @376 we'll try
1320     *folder-hook-+NAME* if the mailbox NAME resides in *folder*, e.g.,
1321     the author has "folder-hook-+sent=MACRO" and all his *record*
1322     variables are "record=+sent", therefore MACRO can be shared in
1323     between all accounts with a single hook definition. [a5a4d89]
1324   . `localopts' @133 can now be used in folder hooks: the covered
1325     settings will be reverted once the folder is left again.
1326 $   (I know for sure someone asked for this long ago, directly after
1327 $   `localopts' came up first, but i couldn't find the corresponding
1328 $   message.  Sorry!) [2c67091]
1330 - More security control à la CVE 2014-7844, possibly for the first time
1331   enabling safe usage of S-nail via CGI: [topic/cve-2014-7844.2]
1333   . fixed *sendmail-arguments* @420 parsing:
1334     *sendmail-arguments*='-F "Dubi Da"' will now result in <"-F" "Dubi
1335     Da"> not <"-F" ""Dubi Da"">,
1336   . new command line argument "-." @67 forcefully terminates options
1337     and enters send mode.  I.e., using this option avoids possible
1338     misinterpretation of the following arguments.
1340     This operation is usually reserved for --, but since S-nail passes
1341     anything after -- to the MTA (but read on) i had to invent something
1342 $   else.  Also, -. forcefully enters send mode, which -- couldn't have
1343 $   been overloaded to do.
1344   . New variable: *expandargv* @372: in equal spirit to *expandaddr* @371
1345     this one is required in order to pass arguments after -- to the MTA.
1346     If set to "fail" existence of such arguments is a hard error,
1347     "restrict" likewise except in interactive mode or in conjunction
1348     with the -~ or -# options.
1349   . *expandaddr* @371: new special value "fail" causes presence of
1350     extended recipient addresses to be treated as a hard error.
1351 $   In fact this is now interpreted as a comma separated list and may
1352 $   also include the string "noalias", disallowing non-network-addresses
1353 $   in the remaining (non-"extended") recipient addresses -- note this
1354 $   applies to system global aliases only, not to those of `alias'
1355 $   (except for their content, of course); "noalias" is a hard error in
1356 $   combination with "fail".
1358 - `unaccount' @197 and `undefine' @201 learned that * means "all
1359   accounts" and "all macros", respectively. [4c09114]
1361 - Spam handling has been rewritten completely, revealing a very old
1362   misbehaviour in nail's subprocess handling (malloc in signal handler).
1363   Please reread the manual section "Handling spam" @37 for more.
1364   The motivation was also that bogofilter(1), sylfilter(1) etc. can
1365   export their databases, so should the author ever find time to
1366   implement spam handling in C like his predecessor it will be possible
1367   to continue to use those databases: [topic/spam.2]
1369   . *headline* @380 format %$ has been fixed,
1370   . when working on multiple messages the operation is cancelled if an
1371     error occurs,
1372   . new variables: *spam-interface* @436 chooses the, well, ...
1373     This one has extensive documentation.  Plus the interface dependent
1374     *spamc-command* @438, *spamc-arguments* @439, *spamc-user* @440,
1375     *spamd-socket* @441, *spamd-user* @442,
1376     *spamfilter-ham* @443, *spamfilter-noham* @444,
1377     *spamfilter-nospam* @445, *spamfilter-rate* @446,
1378     *spamfilter-spam* @447 and *spamfilter-rate-spamscore* @448.
1379   . The *attrlist* @351 variable gained a new slot for an unsure-spam
1380     status (default character is ~).
1381     Messages with that flag can be specified via the :S colon modifier.
1383 - Fix: even though -# @66 implies *sendwait* @335 a user should have the
1384   option to turn *sendwait* off again. [4274bed]
1386 - Completely reworked mime.types(5) handling, note the backward
1387   incompatible drop of `mimetypes': [topic/mime.types.2]
1389   . dropped the `mimetypes' command,
1390   . new commands: `mimetype' @138 and `unmimetype' @209,
1391   . *encoding* @369 is now parsed case-insensitively,
1392   . *mime-counter-evidence* @390 gained new bit 3 to indicate the desire
1393     to forcefully overwrite MIME types if we think we know it better,
1394   . *mimetypes-load-control* @391 gained an extension that can be used to
1395     load more and specific files, which in addition may make use of
1396     a new non-portable S-nail-specific TYPEMARKER extension.  The manual
1397     section "The mime.types files" @32 has been rewritten accordingly.
1398     (In short: mime.types(5) lines can be prefixed by @, @h@ or @H@, for
1399     plain text, builtin HTML filter (plain text fallback), ditto
1400     (without fallback).)
1401 $ . The builtin MIME types now make a lot of use of the @ and @h@
1402 $   TYPEMARKER extensions, so that you possibly can get rid of a lot of
1403 $   pipe-TYPE/SUBTYPE=@ plain-text type hooks, shall you have used them.
1405 - Support for RFC 2231 has been added.  This means that S-nail generates
1406   truly MIME compliant messages and no longer requires help from other
1407   MUAs!  In fact MIME parameter handling has been rewritten completely.
1408   [topic/rfc2231]
1410 - On the long run shell word expansion (via wordexp(3)) will be replaced
1411   by a new, restricted (and thus (hopefully) safer), internally
1412   implemented path expansion mechanism that only supports ~/ -> HOMEDIR
1413   and $SHELLVAR / ${SHELLVAR}.
1414   Since the original expansion is *so* hardwired that'll take time, for
1415   now it is used for attachments only, but here all through the way.
1417   But where it is used already it has consequences regarding backslash
1418   escaping; to improve user experience a bit `~@' @239 will display the
1419   escaped filename so that users only have to hit ENTER to accept paths:
1420   e.g., "diet\ is \curd.txt" will show up as "diet\\ is \\curd.txt".
1421   And, e.g., the test script does the following for RFC 2231 (excerpt):
1423     MAILRC=/dev/null "${SNAIL}" ${ARGS} -Snodot \
1424       -a "ma'ger.txt" -a "mä'ger.txt" \
1425       -a 'diet\\\ is\ \\curd.txt' -a diet \"is\" curd.txt \
1426                                          ^      ^ NOTE: 0x00A0, NBSP
1427       -a ✆✆✆✆✆✆✆✆✆✆✆✆✆✆✆✆✆✆✆✆✆✆✆✆.txt
1429   The introduction of the manual section "COMMANDS" @5 has been updated
1430   accordingly.  Also see -a @39.  [topic/fexpand.2]
1432 - Assorted changes:
1434   . Multiple crash-causing bugs regarding `source' @185, also if used
1435     via `~:source', have been fixed. [aafb688,6979c73,4c6dfc2]
1436   . The NAILRC environment variable is no longer supported. [104c254]
1437   . The *Replyall* variable has been dropped as it was only an alias
1438     for the POSIX standard *flipr* @296 variable. [topic/mft]
1439   . New variables: *version*, *version-(major|minor|update)*,
1440     *features*. [topic/okeys-attr]
1441   . `varedit' @224 can be used to create variables. [topic/okeys-attr]
1442   . New variable: *charset-unknown-8bit* @357. [9b672f6]
1443   . *smtp-auth* @434 now defaults to "plain" (if *v15-compat* is set).
1444     (Josef Jurek, Gavin Troy) [dcbb31a]
1445   . All obsoleted: *autothread*, `thread' and `unthread'.
1446     Use *autosort*=thread, `sort thread' etc. instead. [ef16f43]
1447   . *showlast* @336 should have gained meaning. [4213d52]  (Gavin Troy)
1448   . If the -r @57 option is given a full name specification (rather
1449     than only an address), pass the MTA the respective address parts
1450     via -F and -f. [dd90c14]
1451 $   Also try to pass -F _and_ -f if an empty argument was given to -r
1452 $   but *from* @378 (or, say, "From:") includes a full name. [5f68921]
1453   . New variable: *term-ca-mode* @345 (for WANT_TERMCAP).  In
1454     interactive mode S-nail can now be forced to use ti and te termcap
1455     entries; in conjunction with a PAGER that does too ... [topic/termcap]
1456   . `ghost' @123 gained a new mode and tweaks (see manual). [8a49b12]
1457   . -r @57 option: fixed -h output and manual. [9a1a303]
1458     (Martin Brandenburg)
1459   . With *debug* or 2x *verbose* command lines (including those read
1460     from files) are now traced. [06042c4]  (Bob Tennent)
1461   . NAIL_TMPDIR (new) and TMPDIR environment variables are now
1462     (guaranteed to be) set in pipe hooks. [a1cfb02]
1463   . "Subject:" Re: trimming: MIME decoding is now performed. [ede7c7d]
1464   . New variants of *pop3-bulk-load* @320: *-[USER@]HOST*. [5f5ae10]
1465   . *crt*=0 @366 now really works. [22f1477]
1466   . Maildir code now uses string relaxation which drastically reduced
1467     memory usage for large mailboxes. [d1c945f]
1468     And for the first time it performs real memory cleanup. [e549110]
1469   . Improved error message on MTA exec failure.  (Dominic Meskys)
1470   . Fix: "setenv noVAR" would have set noVAR. [3c1f886]
1471   . When `setenv' is used to set any of HOME, USER, TMPDIR it'll be
1472     reflected by our internal variables.  (Still hacky as special code
1473     is needed to do so; also "set HOME=x" shadows HOME for "varshow
1474     HOME" instead of being rejected.  Future cleanup work.) [3f03b80]
1475   . Colon modifiers can now be joined, as in "f :uas". [8b6c259]
1476 $ . Maildir code did faulty From_ line detection, resulting in any
1477 $   non-quoted "From " line to start a new message (e.g., when doing
1478 $   things like "copy * MAILDIR" we could have f...ed up completely).
1479 $   Seems to have been added with Heirloom mailx 11.6 ([faf4b65],
1480 $   2004-09-07).  Neither goes credit to Jacob Gelbman nor to Robin
1481 $   Stjerndorff for messages to nail-devel@ on 2015-01-21 and
1482 $   2015-02-20, respectively.  :-)) [ae539c9]
1483 $ . *emptybox* has been obsoleted.  *keep* @308 will also affect
1484 $   secondary mailboxes, and then both only deal with local regular
1485 $   MBOXes anyway, not to e.g., maildir files nor IMAP boxes. [d747c0a]
1486 $ . `unghost' @207 learned that * has to drop all ghosts. [34a92a5]
1487 $ . NAIL_TMPDIR (new) and TMPDIR environment variables are now
1488 $   (guaranteed to be) set for *agent-shell-lookup* @350. [5c3d7b5]
1489 $ . Things like "copy * MAILDIR" from within an IMAP (or POP3?) mailbox
1490 $   to a Maildir mailbox should now work again. [d747c0a]
1491 $ . IMAP code did faulty From_ line detection, resulting in some
1492 $   non-quoted "From " line to start a new message (e.g., when doing
1493 $   things like "copy * MAILDIR" we could have f...ed up completely).
1494 $   Present in Heirloom mailx since ever ([^b4ad9f2]). [66e3c93]
1495 $ . New variable: *mbox-rfc4155* @312: because of all the bugs in From_
1496 $   quoting etc., err, no.  "Albatros" will last.  I've just touched
1497 $   a lot of stuff regarding MBOX writing: From_ quoting (which may
1498 $   happen whenever we save already existent data in a MBOX, shall
1499 $   the original generator not have taken appropriate steps to ensure
1500 $   "false" From_ lines can't happen (S-nail does)) is now definitely
1501 $   POSIX compliant, meaning that we may quote much too much lines.
1502 $   So set *mbox-rfc4155* and we generate RFC 4155 compliant MBOX files,
1503 $   possibly leaving behind backward POSIX-only software. [70ba3ef]
1504 $ . New command line option: "-X cmd" @64 will execute "cmd" right
1505 $   before normal operation starts.  The only option to execute commands
1506 $   in non-interactive mode when reading of resource files has been
1507 $   actively suppressed.  This is an experimental feature. [d202869]
1509 ChangeLog (purely technical)
1510 ^^^^^^^^^^^^^^^^^^^^^^^^^^^^
1512 . Improved output flushing, avoidance of printing of useless
1513   output (especially smoothens *editalong*). [topic/stdout-fflush]
1514 . String relaxation is now everywhere (but IMAP), the builtin buffer
1515   sizes were reduced to 1/3.
1516 . Again a manual review.  The manual now supports mdocmx(7).
1517 . Using builtin ARC4 pseudo-random for random generation.
1518 . Better signal handling here and there.
1519 . Fixed most "unpluggable memory leaks" by plugging them via chains of
1520   signal handlers and longjmps.  Terrible.  But no more leaks.
1521 . A lot of this and that.  (Really.)
1522 $. Slightly more tolerance for faulty Base64 encoding in message text
1523 $ parts.  No real healing possible today, but requires v15.0 environment.
1524 $ This, however, only affects invalid data that, e.g., OpenSSL doesn't
1525 $ even give any output for! [54137fd,4d59cca]
1527 I didn't make it to improved message selection.
1528 And i also can't seem to find the necessary peace of mind to do a real
1529 review with this codebase, it's always that i start off doing something
1530 non-reviewish; but i'll see the day (what i hope).
1532 NEWS entries for the S-nail releases before v14.8.0 have been cut off
1533 before release v14.8.5 and can be found in the git(1) repository:
1535   v14.8.0 - v14.8.12: $ git show v14.8.12:NEWS
1536   v13     - v14.8.5 : $ git show v14.8.5:NEWS
1537   9.0     - 12.5    : $ git show heirloom:ChangeLog
1539 Also accessible via the following URL, just replace X.Y.Z accordingly:
1540   https://git.sdaoden.eu/cgit/s-nail.git/tree/NEWS?h=vX.Y.Y
1541 For even older releases you need to look into the [timeline] branch, but
1542 no changelog has been administrated for them.
1544 # s-ts-mode