make-release.inc: fix substr, that was too long
[s-mailx.git] / NEWS
blob5f6d8f78ccccd8b6da7219cb662f6c8c590f3179
1 S - n a i l / S - m a i l x  N e w s
2 ====================================
4   mdocmx(7) anchors are denoted by a number-sign #: typing
5   "^A ANCHOR" while reading the man(1)ual in a capable less(1)
6   will scroll to the manual's Point-Of-Interest, and pointing
7   a web- browser to the "#ANCHOR" of the online manual works.
9 v14.9.1 ("Crested tit"), 2017-07-31
10 -----------------------------------
12 This is a bugfix release but which ships some improvements, too.
14 Credits, in order of commit appearance: Felix Fontein, Paul Vojta,
15 Ralph Corderoy, Christos Zoulas.
17 We welcome Christos Zoulas in THANKS.
19 Apologies to Viktor Szépe for the false spelling of his name in
20 the v14.9.0 announcement.
22 ChangeLog
23 ^^^^^^^^^
25 - In compose mode the MLE allows empty lines again.
27 - We no longer require a writable $HOME#?.  Due to false code
28   flow (but but but: with correct comment) a non-writable $HOME
29   entry in /etc/password (i.e., from getpwuid(3)) would lead to
30   a crash.  (Felix Fontain; Ralph Corderoy)
32 - Two faulty string operations slipped into the IMAP code,
33   resulting in a crash and a "is-same-host" test that would fail
34   for IMAPS connections like `save'#244 or `copy'#147 because of an
35   implicit IMAP protocol for the target of those operations (thus
36   IMAP != IMAPS).  (Paul Vojta)
38 - The MLE tab-expansion will now automatically append a "/" if
39   there is only one possible expansion and that is a directory,
40   saving the user one <TAB>.  (Christos Zoulas)
42 - New `~I'#307 command escape is like `~i'#308 but does not append
43   a newline.
45 - `localopts'#197 gained an optional second argument.
46   It is now possible to specify that any macro `call'#133ed
47   will have localopts enabled, and it is possible to fixate the
48   setting so that it cannot be reverted.
50 - *@*#331 should now act completely compatible to the sh(1)ell,
51   thus obsoleting my hysteric warnings in the v14.9.0 announcement.
53 - The `Lreply'#198, `reply'#232, `Reply'#231 series as well as
54   `mail'#200 now manage the error status *!*#325.
55   I.e., there are now errors like *^ERR*#327-DESTADDRREQ,
56   ^ERR-NODATA, ^ERR-PERM and similar.  It is not perfect yet,
57   because $DEAD#559 may have been written (with *save*#483) or not,
58   for example.
60   `Lreply' and `reply' have been rewritten rather completely
61   indeed.  They join Reply-To: and Mail-Followup-To: dependent on
62   the context (i.e., *reply-to-honour*#481, *followup-to-honour*#391,
63   see "Mailing lists"#10 for the picture), and if they did, use
64   this list as the receivers exclusively.  It now honours
65   *receivers-in-cc*#? even for such addressees.  (And now i wonder
66   whether i should have credited Paul Vojta for that.)
68   Also `Lreply' would have crashed for mails with Reply-To: but
69   without *reply-to-honour*#481 set.  We now have a test.
71 git(1) shortlog (edited)
72 ^^^^^^^^^^^^^^^^^^^^^^^^
74 670aabb6 a_amv_var_check_vips(): FIX code to match comment (Felix Fontein)..
75 3dcdaa83 THANKS: Felix Fontein
76 3745e002 FIX [81d7f4d8] (IMAP: try (hard) to reinstantiate..) (Paul Vojta)
77 33b2834f FIX [81d7f4d8] (IMAP: try (hard) to reinstantiate..) (Paul Vojta)..
78 1cc0d3de Allow non-writable $HOME (Felix Fontain, Ralph Corderoy)
79 32e5c7c2 MLE: KHT: auto-append / for directories at once (Christos Zoulas)
80 e2bb54b7 THANKS: Christos Zoulas
82 v14.9.0 ("Long-tailed tit"), 2017-07-16
83 ---------------------------------------
85 This is a major feature release which took about ~22 months (24
86 less two) of development to complete, and which imposed massive
87 changes under the hood, but also quite a lot of user visible
88 changes, including some **backward incompatibilities**.
89 As usual, "s-nail -d" will show obsoletion warnings.
91 We gain noticeable improvements regarding scriptability and its
92 reliability, but also for interactive use cases, especially
93 notable to users is our completely new M(ailx)L(ine)E(ditor) that
94 supports rather real tabulator expansion and program-mode-context-
95 sensitive key bindings.
97 We now support macros with arguments, which can be `shift'ed,
98 a `return' status can be used, and a `vexpr' multiplexer offers
99 some arithmetic and string operations.  `commandalias'es are
100 recursive, further command modifier prefixes, like `ignerr', give
101 a hand that we otherwise could not offer.  In compose-mode the new
102 `~^' command escape allows some message and attachment access, and
103 can be used, e.g., to implement things like custom headers, and
104 has been especially designed for scripted access via the new
105 *on-compose-splice* and *on-compose-splice-shell* hooks.
107 S-nail will move (more or less) backward-incompatibly to sh(1)ell
108 compatible argument quoting (documented in "COMMANDS"), and an
109 increasing number of commands do support this already: new ones
110 exclusively, some old ones have either been switched (like
111 `localopts'), others -- noticeably `set' -- can be switched to the
112 new syntax with a `wysh' command modifier prefix.  E.g.:
114   ? define __xv {
115     # Be careful to choose sh(1)ell-style on _entire_ line!
116      localopts yes; wysh set verbose; ignerr eval "${@}"; return $?
117     }
118   ? commandalias call echo boo-boo
119   ? commandalias xv call __xv
120   ? xv list
121   ? commandalias xv '\'call __xv
122   ? xv list
124 Calling the latter `xv' for `list' will give more detailed command
125 information, including which kind of argument is used.
127 I have not managed to implement the three features i have started
128 this development cycle for, these are thus subject to further
129 development, just like wysh for message-list argument commands to
130 support, e.g., negation, wysh for `if' and consorts, the --
131 terminator to finally overcome the ridiculous requirement to quote
132 entire shell commands filenames for commands like `pipe.
133 And and and.
135 Credits, in order of commit appearance: Antonio Radici,
136 Aharon Robbins, Mike Frysinger, Predrag Punosevac, Michael Convey,
137 Hariskar, Rudolf Sykora, Martin Neitzel, Gavin Troy,
138 Salvatore Bonaccorso, Todd C. Miller, Sergey Matveev, Robert Elz,
139 Mantas Mikulėnas, Respiranto, Jens Schleusener, Walter Alejandro
140 Iglesias, Ralph Corderoy, David Levine, Lyndon Nerenberg,
141 Thomas Dickey, Afan, Justin Ellingwood, Ingo Schwarze,
142 Viktor Szépe, Gaetan Bisson, Juan RP, William Yodlowsky,
143 Hilko Bengen, Matthew Dillon, Colin Watson, Donald Mugnai,
144 Stephen Isard, Jürgen Daubert, Sven Neuhaus, trondd, Ismael Bouya,
145 Felipe Gasper, Paul Eggert, Dr. Werner Fink, Ken Hornstein,
146 Noel Chiappa, Random832, Doug McIlroy, Baptiste Daroussin,
147 Riccardo Ductor, Pietro Cerutti, Jörg Schilling, rain1, Xin LI.
149 We welcome Antonio Radici, Mike Frysinger, Predrag Punosevac,
150 Michael Convey, Rudolf Sykora, Todd C. Miller, Robert Elz,
151 Jens Schleusener, Walter Alejandro Iglesias, Thomas Dickey, Afan,
152 Justin Ellingwood, Viktor Szépe, Juan RP, Matthew Dillon,
153 Colin Watson, Donald Mugnai, Sven Neuhaus, Ismael Bouya,
154 Felipe Gasper, Paul Eggert, Dr. Werner Fink, Ken Hornstein,
155 Noel Chiappa, Random832, Doug McIlroy, Baptiste Daroussin,
156 Riccardo Ductor, Pietro Cerutti, Jörg Schilling, rain1, and
157 Xin LI in THANKS.
159 Apologies: Sergey Matveev.
160 Members of the Roff community which await progress.
162 NOTES, ChangeLog (packager-affine)
163 ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
165 * This release brings some backward incompatibilities, outlined
166   in the following.  Most users will not be affected, and we have
167   added a lot of compatibility cruft, but that will vanish in v15.
168   "$ s-nail -v"!
170 * The configuration and build system has changed.
171   Packagers have received updated package files.
173   o Anything which was WANT_xy before is now OPT_xy, and
174     compiled-in paths and values, like PREFIX or PAGER, have
175     gained a VAL_ prefix (thus VAL_PREFIX and VAL_PAGER).
177     This is _not_ true for non-persistent or environmental values,
178     e.g., DESTDIR, CC, etc., and also not for the overwritable
179     program variables during configuration, e.g., $awk.
181   o SENDMAIL -> VAL_MTA, SENDMAIL_PROGNAME -> VAL_MTA_ARGV0,
182     MAILSPOOL -> VAL_MAIL.
183     And NAIL -> VAL_MAILX, though this is still a lie.
185   o The make system now needs config..build..install or
186     all..install or tangerine (config..build..test..install).
187     Some constants which some experts may want to fine-tune have
188     been moved to config.h.  Usual adjustments+doc via make.rc.
190   o The `build' phase can be parallelized by setting the $MAKEJOBS
191     environment variable, e.g., "make MAKEJOBS=-j4 build".
192     Note this variable is not tracked in the configuration.
193     (Gaetan Bisson)
195   o Unless DESTDIR is set an uninstallation script will be
196     installed along with the rest (see INSTALL file for more).
198   o Set the new OPT_CROSS_BUILD to avoid feature runtime tests,
199     only compile- and link-availability will be tested.  (Juan RP)
201   o VERBOSE is implemented straight, but must be given at
202     configuration time in order to become honoured.
203     (William Yodlowsky)
205   o ADDCFLAGS / ADDLDFLAGS -> EXTRA_CFLAGS / EXTRA_LDFLAGS.
207   o The LD_LIBRARY_PATH etc. building processes will skip any path
208     which contains the string "fakeroot".  (Hilko Bengen)
210   o We honour a set $SOURCE_DATE_EPOCH#578 environment variable to
211     an extend that allows reproducible tests, which is why the
212     repository gained a [test-out] branch with some expected plain
213     text outputs.  (reproducible-builds.org; Colin Watson)
215     The new *log-prefix*#417 variable aids in improving the
216     reproducibility of error messages.
218   o These are upward compatible changes.
220 * "make OPENSSL_API_COMPAT=0x10100000 all" should work.
222 * Internal and environment variables are now explicitly _defined_
223   and _tracked_ after variable handling has been rewritten
224   completely.  Notes:
226   o This means that, e.g., "$ password=NOT_SECRET s-nail" will
227     **NOT** work no more, since *password*#450 is an internal
228     variable!
230   o But if you do, e.g., "? set TMPDIR=~/tmp", then this will
231     also be reflected in the program environment (it is an
232     environment variable) and thus affect child processes.
234   o Therefore we no longer have `setenv' and `unsetenv'.
236   o To integrate any other environment variable transparently
237     into our variable management, the new command `environ'#169
238     needs to be used, e.g., "? environ set NEWVAR=value" or
239     "? environ link EXISTINGVAR".
241 - -H#62 and -L#65 have been decoupled:
242    it used to be -e#59 -L#65 instead!
244 - *NAIL_{HEAD,TAIL}* have been obsoleted in favour of
245   *message-inject-head*#425 and *message-inject-tail*#426.
247   *NAIL_HIST{FILE,SIZE}* have been obsoleted in favour of
248   *history-file*#399 and *history-size*#402.
250   *NAIL_EXTRA_RC* has been obsoleted in favour of
251   *mailx-extra-rc*#420.
253   *batch-exit-on-error* has been obsoleted by *errexit*#380, which
254   works just like the POSIX sh(1)ell "set -e" construct; the
255   `ignerr'#110 command modifier (`-' for command escapes in compose
256   mode, and see below) can be used to ignore command errors even
257   then.  (This will remain even if we at some later time will
258   support at least some of the sh(1) constructs which "swallow"
259   failures with set -e.)
261   *bsdannounce* is obsolete, the feature is integrated in
262   *header*#396 as this is much more useful.  (This is however also
263   dependent upon the also new but well-known $POSIXLY_CORRECT#576
264   <> *posix*#465, but that is just how it is; these affect more
265   behaviour, and increasing.)
267 - Colour support has been changed backward in- and upward (from
268   user interface side) compatibly, see the manual section
269   "Coloured display"#17.
271   + New commands: `colour'#142 and `uncolour'#143.
272     You can define context-sensitive, terminal-capability-
273     sensitive settings, e.g.:
275       if terminal && [ "$features" =% +colour ]
276         colour iso  view-header ft=bold,fg=magenta,bg=cyan
277         colour 256  view-header ft=bold,fg=208,bg=230 subject,from
278         colour mono view-header ft=bold
279         colour mono view-header ft=bold,ft=reverse subject,from
280       endif
282   + The variable *colour-pager*#366 defines whether colour and font
283     attribute sequences should be generated when viewing something
284     in $PAGER#574.
286   + Set the variable *colour-disable*#365 to turn colour off
287     without affecting established settings.
289   + It is deduced via termcap(5) (see below) whether the terminal
290     supports colors, e.g., "$ s-nail -Stermcap=Co#256".
291     This is also true if we don't have termcap support.
293   + Support for 256-colour terminals. (Gavin Troy)
295 - `source'#259 series support shell pipes if the last character
296    of the "filename" ends with a vertical bar |, e.g.,
298       ? source 'gpg -qd ~/.s-nailrc-private.gpg |'
300 - Shell pipes are also supported as targets for `move'#210,
301   `copy'#147 etc., yet unfortunately not with via a sh(1)ell token
302   parser, so that the target still has to be a single argument.
304       ? copy . '| cat; echo huhu'
306 - Support for custom headers via the new `~^'#323 compose-mode
307   command escape and in addition, or alternatively, with the
308   internal variable *customhdr*#370, which also can be covered by
309   `localopts'#197.  (Sergey Matveev)
311   + Support of $ORGANIZATION has been dropped.
313   + Command escape `~e'#302 supports _any_ header.
315   + Command escape `~^'#323 supports _any_ header.
317 - New -:#51 command line option can be used to more easily select
318   which startup files should be loaded, e.g., -:/ loads none.
319   (Robert Elz)
321 - `account'#122s and *folder-hook*#387s now have `localopts'#197
322    enabled by default.
324 - A first simple form of compose-mode hooks has been implemented:
325   *on-compose-enter*#443, *on-compose-leave*#444 and
326   *on-compose-cleanup*#442 can be set to macros which get invoked
327   at appropriate times.
328   For the `resend'#236 series there is *on-resend-enter*#448 and
329   *on-resend-cleanup*#447: this is very likely to change once
330   true message access is possible even in this mode.
332   An even more powerful mechanism is available via the also new
333   *on-compose-splice*#445 and *on-compose-splice-shell*#446 hooks.
334   These are executed in child processes and communicate with the
335   parent via their standard input and output, and therefore can
336   do anything and act as if they were the user.
338   `localopts'#197 are enabled and cannot be disabled (and extend
339   until the message is sent).
340   (Jens Schleusener, Rudolf Sykora)
342     ? set on-compose-splice=ocs
343     ? define ocs {
344       read ver
345       echo Splice protocol version is $ver
346       echo '~^header list'
347       read hl; vput vexpr es substring "${hl}" 0 1
348       if [ "$es" != 2 ]
349         echoerr 'Failed to read header list, bailing out'
350         echo '~x'
351       elif [ "$hl" @i!% ' cc' ]
352         echo '~^header insert cc Diet is your <mirr.or>'
353         read es; vput vexpr es substr "${es}" 0 1
354         if [ "$es" != 2 ]
355           echoerr 'Failed to insert Cc:, bailing out'; echo '~x'
356         end
357       end
358     }
360 - "The .netrc file"#36
362   + gained support for comments.
363     (Walter Alejandro Iglesias, Ralph Corderoy)
365   + `netrc'#213 now has a "load" subcommand.
367   + the new *netrc-pipe*#438 obsoletes OPT_AGENT and
368     *agent-shell-lookup*, and can be used to load an encrypted
369     .netrc file, e.g.:
371       ? set netrc-lookup netrc-pipe='gpg -qd ~/.netrc.gpg'
373     I.e., this is in usual .netrc syntax and thus possibly much
374     nicer than saying "? source 'gpg -qd ~/.credentials.gpg |'".
376 - termcap(5) / terminfo(5) support has been changed backward in-
377   and upward (from user interface side) compatibly, please read
378   "On terminal control and line editor"#16.
380   + OPT_TERMCAP is by default enabled.
381     The new, by default enabled, configuration option
382     OPT_TERMCAP_VIA_TERMINFO can be used to (try to) use
383     terminfo(5) instead.
385   + The variable *termcap*#541 can be used to freely define or
386     override terminal capabilities, and *termcap-disable*#543 will
387     disable interaction with the chosen library, leaving only
388     *termcap* in charge.
390     To use the so-called ca-mode on supporting terminals,
391     effectively turning S-nail into a fullscreen application,
392     *termcap-ca-mode*#542 must be set.
394   + The built-in line editor has been rather completely rewritten
395     to be the Mailx-Line-Editor (OPT_MLE, default yes), and
396     supports wide glyphs (if possible), infinite line lengths
397     (2 GB) and more.  Tabulator expansion is no longer an option
398     (but needs fnmatch(3)).
400   + Optionally (OPT_KEY_BINDINGS, default yes) it has become
401     possible to freely define key bindings for the MLE via the new
402     `bind'#131 and `unbind'#132 commands.  These key bindings can
403     make use of termcap(5) and/or terminfo(5) names.  The MLE will
404     install a set of default bindings (unless there is a set
405     *line-editor-no-defaults*#416), more so with OPT_TERMCAP,
406     i.e., try "? bind*".
408     Sufficient support provided, one can now, e.g., type "p " and
409     then collect the message numbers to type, scrolling forward
410     and backward via key-bindings, without loosing the line
411     content, then commit the final line.
413   + OPT_EDITLINE and OPT_READLINE support have been dropped.
414     The new MLE should not miss anything.  Does it?
415     Tip: in an UTF-8 locale try "? !touch /tmp/hall{,öchen}" and
416     then autocomplete that: once, then ^Q, and again.
418 - `source'#259 can be used in `call'#133ed macros.
419   What sounds so innocent replaced an entire machinery and got rid
420   of a brilliant idea of Kurt Shoens from the 70s, but which never
421   worked with Nail/Heirloom extensions, namely macros, and in the
422   right order.
423   Accompanying this -X#79 can (dig multiline arguments and can) be
424   used to define macros and run them etc.  Should work:
426     $ s-nail -X'define x {' -Xversion -Xx -X'}' -X'call x'
427     $ s-nail -X'source \' -X'"echo version|"' -Xx
429   Macros can be `undefine'#152d from within themselves, and re-
430   `define'#151d.  It is still not possible to define macros
431   from within macros, and/or have inner macros, not to talk
432   about local scoping or anything more sophisticated such.
434 - -u#76 / $LOGNAME#567 ($USER) handling has been redefined,
435   and "-u USER" is now exactly the same as "-f %USER", and
436   $LOGNAME (and $USER) is actively set to the active user.  (Afan)
438   $LOGNAME#567 is POSIX standardized and henceforth used and
439   preferred over $USER, which came from BSD.  (Todd C. Miller)
441 - In the future (at least non-message-list) argument handling will
442   be changed backward-incompatibly to be sh(1)ell compatible (and
443   thus POSIX standardized), see "Shell-style argument quoting"#23.
444   New commands use it already today (`bind'#131, `colour'#142,
445   `headerpick'#188), some others (most importantly, `set'#247) can
446   be forced to do so via the new `wysh'#112 command prefix, as in:
448     ? wysh set message-inject-tail=$'\n--steffen'
449     ? bind base $'\cA,\x61' 'echo control-A and small a'
451 - We now actively manage *umask*#548: 0077 by default, but an
452   empty string will use the setting that is active upon startup.
453   Just like changes to (known) environment variables, this setting
454   will also be inherited by any child process.
455   (Walter Alejandro Iglesias)
457 - Anything SENDMAIL / *sendmail*-ish has been renamed to *mta*#433,
458   *mta-arguments*#434, *mta-no-default-arguments*#435 and
459   *mta-argv0*#436.
461   The reason is that in v15 we won't even have *smtp*: it is just
462   another form of MTA, and thus obsolete by itself.
463   Note that *mta-arguments* is now parsed via the shell-token
464   parser, so the following ends up exactly as desired.
466     ? set mta-arguments='-t -X "/tmp/my log"'
468   For now we support a hack that understands a file:// URL in
469   *mta*, too, but that is also the default if there is no protocol.
470   E.g.: "? set mta=smtp://a:b@xy.z"
472 - The "spamd" *spam-interface*#514 is obsolete.  I haven't tested
473   it since my main machine died, it is error prone since it assumes
474   internals of the spamassassin wire protocol, and there never was
475   a speed improvement over "spamc".  (However it could react upon
476   the "is-spam" state of a message, which "spamc" doesn't allow.)
478 - The new *inbox*#410 variable will henceforth be looked up when
479   searching for a primary system mailbox (as in "? File %"),
480   followed by the usual $MAIL#568 and compile-time defined local
481   mailspool search.  (Stephen Isard, Jürgen Daubert)
483 - The semantic of -a#53 and `~@'#296 have been changed, and both
484   commands now use the same syntax:
486     -a file[=input-charset[#output-charset]]
488 - New "failinvaddr" keyword for *expandaddr*#382.
490 - We finally "can" the so-called (by myself) "Dr. Problem" (a bit):
491   (Dr. Werner Fink)
493     $ </dev/null s-nail -d:/ -sTrödler 'Dr. D. Iet <z@a.k>' 2>&1 |\
494       grep To:
495     s-nail: >>> To: "Dr. D. Iet" <z@a.k>
497   This can be done via the new `addrcodec'#124, too, note this
498   supports multiple modes (and the `vput'#111 command modifier):
500     $ echo 'addrcodec e Dr. Diet <to@fu.soj> Curd' | s-nail -#:/
501     "Dr. Diet Curd" <to@fu.soj>
503 - All commands with the string "codec" in their name use different
504   argument quoting, namely none at all, please read
505   "Raw data arguments for codec commands"#24.
506   This means that `urlcodec'#276 (and `imapcodec'#606) has
507   slightly changed semantics.
508   And, while here: there is a new `shcodec'#249, too.
510 - We gained "Command modifiers"#20: `\'#109 (avoid expansion of
511   `commandalias'#144es), `vput'#111 (store result in variable),
512   `ignerr'#110  (ignore an error of the following command, even
513   if the new *errexit*#380 is set), `wysh'#112 (use shell-style
514   arguments).
516     $ echo 'vput cwd resvar;echo $resvar' | s-nail -#:/
517     /home/steffen/src/nail.git
519   And the usual sh(1) stuff: `return'#242, `shift'#253, `eval'#171,
520   plus a `xcall'#285 stack-avoidance optimization (to be used in
521   place of a `call'#133 which would be the last called command).
522   And an "expr(1) like thing", yet simple, `vexpr'#281.
524     $ echo 'vexpr + 1 2' | s-nail -#:/
525     00000000 00000000 00000000 00000000 00000000 00000000 00000000 00000011
526     03 | 0x3 | 3
527     $ echo 'vput vexpr resvar + 1 2;echo $resvar' | s-nail -#:/
528     3
530   We actually start walking (*?*#324, *^*#326).
532     ? vput vexpr res regex 'bananarama' 'Bana(.+)' '\$1\$0'
533     ? echo $?/$^ERRNAME :$res:
534     1/NODATA ::
535     ? vput vexpr res iregex 'bananarama' '(.+)rama' '\$1\$0'
536     ? echo $?/$^ERRNAME :$res:
537     0/NONE :bananabananarama:
539   The command `vpospar'#282 can be used to manage the stack of
540   positional parameters, i.e., much like "set --".
541   It also offers the possibility to save and restore the stack to
542   and from variables.  Etc.
544   Btw., to contact the maintainer (make.rc variables
545   VAL_CONTACT_WEB and VAL_CONTACT_MAIL):
547     ? echo $contact-web; eval mail $contact-mail
549 - `if'#194 no longer performs automatic number conversion, we
550   use the explicit -lt, -gt etc. syntax of the sh(1).
551   Note: `if' will change to be almost identical to sh(1) if(1),
552   so please ensure proper test bracketing, even if it is less
553   convenient.
555   Moreover, the default string comparison mode has changed to
556   case-sensitive, just like in the shell.  This is because in the
557   future this crux with trigger characters will vanish and `if'
558   etc. will simply slurp in already expanded shell tokens, it will
559   act like the shell in that respect.  We have modifiers, though,
560   yet only "@i" for case-insensitivity, also for regex matches:
562     LC_ALL=C
563     i=`LC_ALL=C.utf8 s-nail -:/ -# -X '
564        \define cset_test {
565           \if [ "${ttycharset}" @i=% utf ]
566              \echo $LC_ALL
567              \xit 0
568           \end
569           \if [ "${#}" -gt 0 ]
570              \wysh set LC_ALL=${1}
571              \shift
572              \eval xcall cset_test "${@}"
573           \end
574           \xit 1
575        }
576        \call cset_test C.UTF-8 POSIX.utf8 POSIX.UTF-8 \
577           en_EN.utf8 en_EN.UTF-8 en_US.utf8 en_US.UTF-8
578    '`
579    [ $? -eq 0 ] && UTF8_LOCALE=$i
581   Please note the `eval' in 'eval xcall cset_test "${@}".  This is
582   a difference of S-nail/mailx and the sh(1)ell that will remain,
583   as documented in "COMMANDS"#19: whereas the shell implements
584   a language and performs standardized expansions on the line
585   until finally the command is called, S-nail will decide the type
586   of command line parsing dependent on the seen command, and will
587   then perform a single expansion.  Therefore "${@}" will expand
588   to multiple arguments if $# is greater 0, but it will expand to
589   the empty string otherwise, which is not furtherly expanded away
590   since it is meaningless like it is in the shell: therefore $#
591   will be 1 (the empty string) not 0.
593 - Using an explicit proto:// prefix should get you the desired
594   thing apart of *newfolders*#439, e.g.:
596     ? File maildir:///tmp/x.mdir
597     ? copy * file:///tmp/x.mbox
599 - New variable *record-files*#476 can be set to extend the meaning
600   of *record*#475.  *record-resent*#477 was there already.
602 - New variable *ifs*#406 acts a bit like the sh(1)ell's $IFS for,
603   e.g., the new `read'#227 command.
605   There is a `readctl'#228 command which can be used to manage
606   the active channel used by `read'#227.
608 - The `~' alias for `call'#133 is gone.
610 - `mimetype'#202 only allows specification of a single type per
611   call, on the other hand no need to quote that.
613 - `mimeview'#206 must now be used explicitly to look at any
614   non-text MIME part, for normal display etc. purposes we only
615   support "copiousoutput"#593 MIME handlers.
617 - New *socks-proxy*#513 can be used to proxy all network traffic
618   over a SOCKS5 proxy.  (Gaetan Bisson)
620 ChangeLog
621 ^^^^^^^^^
623 - The manual has seen another major overhaul, all the variables
624   are now documented in a single, sorted list, and many
625   clarifications should have been added.  I hope it has become
626   a better read.
627   (Predrag Punosevac, Michael Convey, Hariskar, Rudolf Sykora,
628   Respiranto, Thomas Dickey, Donald Mugnai)
630 - To support RFC 1524 a.k.a. .mailcap files (see below) many
631   "trigger"-characters have been added for *pipe-TYPE/SUBTYPE*#452,
632   which may (rarely) affect existing values.
633   The .mailcap support itself is not yet implemented.
635 - *mime-counter-evidence*#430 gained bit 4 (perform proper in-depth
636   content inspection as necessary; set to 0xE for all bits).
637   (Aharon Robbins)
639 - Maildir paths are now created recursively as necessary.
640   (Justin Ellingwood)
642 - -M#66 and -m#67 options have been added to enforce a special
643   send mode that will flag standard input / the given file with
644   the specified / detected MIME 'Content-Type:'.  This can be used
645   to directly send, e.g., HTML log output.
646   (Viktor Szépe, Ralph Corderoy)
648 - Disallow symlinks on writable files.  Note this requires
649   O_NOFOLLOW support for the operating-system-call open(2), but
650   which has been standardized a long time ago.
651   (Matthew Dillon)
653 - `retain'#241, `ignore'#195 etc. now differentiate in between
654   From (the From: header) and From_ (the MBOX ident).
656   In fact we now have a new `headerpick'#188 command which
657   is a multiplexer for all retain and ignore lists used, call it
658   without arguments to see the current setting(s).
659   In v15 only `headerpick' and the standard-imposed wrappers
660   `retain' and `ignore' will remain, all other wrappers will
661   vanish.  Regular expressions can now be used if available:
663     ? headerpick
664       headerpick type retain blahblahblah cc date from \
665         mail-followup-to message-id openpgp reply-to subject to \
666         user-agent
667       #headerpick type ignore currently covers no fields
668       #headerpick save retain currently covers no fields
669       headerpick save ignore '^Original-.*$' '^X-.*$' '^DKIM.*$'
670       headerpick forward retain cc date from list-id \
671         mail-followup-to openpgp reply-to subject to
672       #headerpick forward ignore currently covers no fields
674 - `top'#268 has been rewritten completely, `Top'#267 is new.
675   It uses a built-in set of retain/ignore headers, but it is
676   possible to register a custom set via `headerpick'#188.
677   Also, *toplines*#544 has been extended a bit and the new
678   *topsqueeze*#545 variable may pimp your `top' experience.
680     ? headerpick top retain add subject
681     ? top
682     [-- Message  1 -- 87 lines, 4791 bytes --]:
683     Subject: Re: I can't dist to myself
685     I wrote:
686         3.22. bounce_delivered
688 - `features' has been dropped, `version'#280 extended.
690 - The *prompt*#467 handling has changed: we lost the capability to
691   expand \?, \@ and \$, instead new "private" variables *?*#324,
692   *account*#335, *mailbox-resolved*#419 and
693   *mailbox-display*#418 have been introduced, and the prompt
694   is completely shell expanded (thus twice with `wysh' or in v15),
695   as if dollar-single-quote quoted.  We do support the reverse-
696   solidus escaped bracket notation for embedding characters which
697   should not be counted when calculating the width of the prompt.
698   The `colour'#142 command has a slot for the prompt colour.
699   We gained *prompt2*#468 as a second level prompt.
701     ? var prompt
702     wysh set \
703       prompt='?\${?}!\${!}[\${account}#\${mailbox-display}]? '
705 - The filename "-" can be used as a receiver, e.g.,
707     $ echo Hey,\ you | s-nail -:/ -Sexpandaddr -sUB -
709 - The -s#74 command line option, the `~s'#315 command escape
710   as well as the corresponding slots of `~^'#323 will actively
711   strip [\r\n] from their value (Debian #419840).
713 - New `read'#227 and `echoerr'#162 commands, mostly for
714   *on-compose-splice*#445.
715   But also `echon'#163 and `echoerrn'#164, which do not write
716   a trailing newline.
718 - New variable *r-option-implicit*#473 may be helpful to those
719   who regulary need the functionality of the -r#72 command
720   line option.  (Felipe Gasper, Martin Neitzel)
722 - By using new "pseudo-URLs" one can automatize the use of S/MIME
723   keys / (certificates / intermediate include certificates) with
724   passwords.  E.g., to drive bob@exam.ple, set
725   *smime-sign-cert-bob@exam.ple* to the private key / certificate
726   pair as usual, the password lookup will then be performed for
727   bob@exam.ple.smime-cert-key, bob@exam.ple.smime-cert-cert and
728   bob@exam.ple.smime-include-certs.
729   Like this the password can be stored in an encrypted .netrc file
730   when *netrc-lookup*#437 and *netrc-pipe*#438 are set, or it may
731   be stored in an encrypted resource file that has been loaded via
732   `source'#259 as a simple *password*#450 variable.
734   Note that the prompting that happens as a last resort of
735   password lookup will still interfere with a possibly running
736   $PAGER#574 instance, dependent on the setting of *crt*#369, of
737   course.  Proper job control handling and recognizing that we are
738   running $PAGER when doing that prompt is a TODO for v15.  Sorry.
740 - Some commands, like `set'#247, `help'#191, `list'#196,
741   `mlist'#204 etc., now react upon the setting of *verbose*#551
742   and(/or) *debug*#373.
744 - `write'#284 uses iconv(3) as appropriate.
746 - *mbox-rfc4155*#422 has first been dropped, and was then
747   reintroduced with different semantics.  Because, it can be
748   helpful if a messed up MBOX is read, in which case we henceforth
749   will warn you and point you to this:
751     ? define mboxfix {
752       \localopts yes; \wysh set mbox-rfc4155;\
753         \wysh File "${1}"; \eval copy * "${2}"
754     }
755     ? call mboxfix /tmp/bad.mbox /tmp/good.mbox
757   P.S.  Here you see how weird the current thing still is, in v15:
759     ? define mboxfix {
760       localopts yes; set mbox-rfc4155; File "${1}"; copy * -- "${2}"
761     }
763   And also in v15 we will not apply (proper) so-called MBOXO
764   quoting, but instead (simply MIME) re-encode mail messages.
766 - `call_if'#134 is new and, different to "? ignerr call", silent
767   and not messing with the return status.
769 - The new *smime-ca-flags*#499 and *ssl-ca-flags*#527 can be used
770   to fine-tune X509_STORE_set_flags(3) a.k.a the X509 CA
771   certificate verification.
773     ? set ssl-ca-flags=partial-chain
774     ? wysh set smime-ca-flags="${ssl-ca-flags}"
776   Also, *ssl-curves*#532 for TLSv1.3.
778 - Socket connections use TLS S(erver)N(ame)I(ndication) as
779   appropriate (RFC 7817).
781 - `alternates'#127 checks arguments and supports `vput'#111.
782   It by default no longer replaces but appends alternates, unless
783   *posix*#465 mode is active.  There is a new `unalternates'#128
784   command to remove alternates.
786 - A new `charsetalias'#137 command.  (Pietro Cerutti, mutt#3925)
788 - New commands `filetype'#175 and `unfiletype'#176: in the future
789   we will no longer know any builtin filetypes, in fact we already
790   simulate .gz etc. via the new mechanism as necessary:
792     ? filetype \
793        bz2 'bzip2 -dc' 'bzip2 -zc' \
794        gpg 'gpg -d' 'gpg -e' \
795        gz 'gzip -dc' 'gzip -c' \
796        xz 'xz -dc' 'xz -zc' \
797        zst 'zstd -dc' 'zstd -19 -zc' \
798        zst.pgp 'gpg -d | zstd -dc' 'zstd -19 -zc | gpg -e'
800 - `~<'#294 now offers a "- [HERE-delimiter]" mode for pasting etc.
801   (Ralph Corderoy)
803 - `exit'#172 and `quit'#226 take an optional exit status.
804   (That is not fixated yet, though.)
806 - We have a useful -h / --help output.  (Doug McIlroy)
808 - *encoding* obsoleted in favour of new *mime-encoding*#431, which
809   now defaults to base64.
811 - *allnet*#337 now works (broken since nail 10.00, 2002-09-29).
813 git(1) shortlog (abbreviated)
814 '''''''''''''''''''''''''''''
816 f01291d extract_date_from_from_(): dig more invalid MBOXes (Antonio Radici)..
817 df8768b Add *mime-counter-evidence* bit 4 (Aharon Robbins)..
818 d3fe980 Ftmp(): drop "mode" argument (not wrong: Mike Frysinger)..
819 86159db nail.1: we support searching, really (Predrag Punosevac)
820 5b61a08 nail.1: talk about address lists (again) (Michael Convey)..
821 0eeffc4 nail.1: try improve states / MBOX etc. relation (Michael Convey)
822 43ea039 nail.1: what is an environment variable (Michael Convey)
823 13e0804 nail.1: fix typo (Hariskar (archlinux Wiki))
824 03d6af5 nail.1: more on sortability (Rudolf Sykora)..
825 4da9043 Not "binary", but "boolean" variables! (Predrag Punosevac)..
826 c85f56d Support :d specifier for at least `from' (Martin Neitzel)..
827 b12e1ed Be more friendly when composing mails (Martin Neitzel)..
828 b50eac0 nail.1: use display/show not type/print (Michael Convey)..
829 6feafaf Add `search' alias for `from' (Predrag Punosevac)
830 a4e2612 Support 256-colour terminals (Gavin Troy)
831 8655aff Error framework: print UAGENT prefix (ident in pipes; Salvatore
832         Bonaccorso)
833 e96baaa Introduce $LOGNAME, the POSIX equivalent of $USER (Todd C. Miller)
834 76e6364 Add `customhdr' (Sergey Matveev)..
835 ad58c91 Support *customhdr*, too (Sergey Matveev)..
836 6322e0a Support _any_ user header via ~e (Sergey Matveev)..
837 5d52578 Add -: command line option (Robert Elz)..
838 53b5f07 README: use git(1) --single-branch (Mantas Mikulėnas)
839 420131f Fix mispelling: can|to be send->sent (Respiranto (archlinux Wiki))
840 d6902e1 Add *on-compose-{enter,leave}* hooks (Jens Schleusener, Rudolf
841         Sykora)..
842 abf2e5d .netrc: support comments (Walter Alejandro Iglesias, Ralph Corderoy)..
843 37e0c26 nail.1: .netrc comma separator was in original Berknet parser! (Ralph
844         Corderoy)
845 40522c3 nail.1: use -v option to cat(1) if available (Thomas Dickey)
846 d8f7cd7 (BWDIC!) Redefine -u / $LOGNAME / $USER (Afan)..
847 e337e00 Support expansions in $MAIL!; more on `account's (Afan)..
848 d596d74 Compare *newfolders* case-insensitively (Justin Ellingwood)..
849 57744f9 Redefine *folder* / getfold->folder_query() / *HOME* (Justin
850         Ellingwood)..
851 3c57c83 n_path_mkdir(): create recursively as necessary (Justin Ellingwood)
852 0bbe981 nail.1: fix spelling errors as by igor(1) (Ingo Schwarze)
853 f1a775b Add -M and -m options (Viktor Szépe, Ralph Corderoy)..
854 1bd8e48 Add *umask*, and set actively (Walter Alejandro Iglesias)..
855 6b1cd93 Now with *umask*, just drop fchmod(2)++ calls (Walter Alejandro
856         Iglesias)
857 ba22166 Change make targets; add $MAILJOBS; don't track $DESTDIR (Gaetan
858         Bisson)..
859 cd244b1 Add WANT_CROSS_BUILD make.rc option (Juan RP)..
860 95141f6 Tweak VERBOSE handling (William Yodlowsky)..
861 d74a18a mk-conf.sh:path_check(): skip any "fakeroot" path (Hilko Bengen)
862 10990e4 Add n_O_NOFOLLOW, disallow symlinks for writable files (Matthew
863         Dillon)..
864 df4954c Add $SOURCE_DATE_EPOCH (reproducible-builds.org; Colin Watson)
865 dc92f2c savedeadletter()->sendout.c; tweak POSIX compliance (Ralph Corderoy)
866 20f3cd2 nail.1: more explicit `set' references instead of saying 'Set' (Donald
867         Mugnai)..
868 2d53b46 url_parse(): better take better care for path parts (Stephen Isard)..
869 21f0eaa mk-conf.sh: find terminfo on Sun (Thomas Dickey)..
870 e4ddaa8 Change n_iconv*() protos, add enum n_iconv_flags (Ralph Corderoy)..
871 1587069 FIX [44cec1f] (Fix "address" message specifications (John Dodson))..
872 e40e181 nail.1, nail.rc: set *sendwait* by default (Ralph Corderoy)
873 7adcf99 `write'++: !interactive: urlxenc() attachment paths (Ralph Corderoy)..
874 b14aae7 `write'++: !interactive:.. But now, really (Lyndon Nerenberg, David
875         Levine)..
876 5270bf1 Simplify *folder* (implicit trail solidus) (Stephen Isard, Ralph
877         Corderoy)
878 a638bcf Add *typescript-mode*, set it for -# (Ralph Corderoy, Martin
879         Neitzel)..
880 053e19f Add *inbox* (Stephen Isard, and Jürgen Daubert)..
881 20e3240 Add OPT_ALWAYS_UNICODE_LOCALE (Predrag Punosevac)..
882 14b5a3a Make combinetime() overflow safe (Vincent Lefevre)..
883 7a657d9c cc-test.sh: add S/MIME disproofs via smime(1) (Sven Neuhaus)..
884 ae86c884 cmd1.c:__hprf(): compensate for add. bytes of UTF-8 seq.(s) (Martin
885         Neitzel)
886 975e6869 (BWDIC!) Only rm sysboxes, unless *posix* (Walter A. Iglesias,
887         trondd)..
888 81e33751 Throw away file_expand() (Ismael Bouya)..
889 5ae556f8 Add *r-option-implicit* (Felipe Gasper, Martin Neitzel)..
890 33709163 nail.1: some more words for *inbox*, and such sort (Stephen Isard)
891 88c19049 mk-release.inc: place OpenPGP signatures last (learned from Paul
892         Eggert)
893 0ede309c Rudely fix the RFC 5322 dot-atom, the "Dr. Problem" (Dr. Werner Fink)
894 f797c27e FIX privsep.c, yes, vulnerability (wapiflapi)..
895 f2699449 FIX privsep.c vulnerability, II (forgot hostname!) (wapiflapi)
896 303d46cd FIX [3d7835fc] aka `~^' attachments, especially Content-ID: (Ralph
897         Corderoy)
898 4ce4eb55 privsep.c: and just verify the box is also in CWD (wapiflapi)
899 25d9e6e2 Generate Content-ID: as applic. (Ralph Corderoy, Ken Hornstein, David
900         Levine)
901 6409c886 nail.1: clarify/FIX doc. of \cX (Noel Chiappa, Random832)..
902 5a1c023c nail.1: furtherly clarify doc. of \cX (Doug McIlroy)..
903 d33294c2 mk-release.inc: use %B for $DATE_MAN (Baptiste Daroussin)..
904 eafa9411 (BWDIC!) Defaults for *datefield{-markout-older}* (Debian #855582;
905         r.ductor)..
906 5ab93627 MLE: set FEXP_NOPROTO for mle-complete expansions (Ralph Corderoy)
907 ada72661 ~<: add "- [HERE-delimiter]" for pasting etc. (Ralph Corderoy)
908 d4d46c42 Add `charsetalias', and use it (Pietro Cerutti, mutt#3925)
909 65e2b75f Redefine VIP handling of variables (Ralph Corderoy)..
910 162cafb7 *mime-counter-evidence*, bit 4: allow "soft" controls (Jörg
911         Schilling)..
912 90861930 Readd removed fflush()/fseek() in between read and write..
913   [That should credit Jörg Schilling indeed]
914 aae47707 Tweak previous, and include O_CREAT in "a+" (Jörg Schilling)..
915 3e4441f8 a_main_usage(): new synopsis (Doug McIlroy)
916 8f61025b FIX icase hmaps (`charsetalias', `filetype', `mlist') (rain1)
917 2e6a811d a_termcap_init_var(): numerics not necessarily decimal (Thomas
918         Dickey)..
919 9d58267f config.h+: add n_PATH_DEVNULL, use it instead of hardcoding (Xin LI)
920 8075cf00 Support *socks-proxy* (SOCKS5) (Gaetan Bisson)
922 Appendix
923 ^^^^^^^^
925 The complete changelog of commits in between two versions OLD and
926 NEW can be inspected by using the git(1) `log' command:
928   $ git log --reverse --topo-order --abbrev-commit OLD..NEW
929   # Only topic branch headers (--no-merges for content commits only):
930   $ git log --oneline --reverse --topo-order --merges OLD..NEW
931   # Same, but truly accessible:
932   $ git log --oneline --reverse --topo-order --merges --parents OLD..NEW |
933     while read c1 c2 c3 c4 c5 c6; do
934       printf "%-24s: \$ git log --oneline --no-merges %s ^%s\n" \
935         "${c6}" "${c1}" "${c2}";
936     done
938 Entries for releases before v14.9.0 have been cut off and can be
939 found in the git(1) repository:
941   v14.8.0 - v14.8.16: $ git show v14.8.16:NEWS
942   v13     - v14.8.5 : $ git show v14.8.5:NEWS
943   9.0     - 12.5    : $ git show heirloom:ChangeLog
945 Also accessible via HTTPS?, just replace X.Y.Z accordingly:
947   https?://git.sdaoden.eu/cgit/s-nail.git/tree/NEWS?h=vX.Y.Y
949 For even older releases you need to look into the [timeline]
950 branch, but no changelog has been administrated for them.
952 # s-tm-mode