lisp/org-table.el: fix table alignment

ox: calculation separators don't produce row groups

* lisp/ox.el (org-export-table-has-header-p ,
  org-export-table-row-group, org-export-table-cell-borders,
  org-export-table-row-starts-rowgroup-p,
  org-export-table-row-ends-rowgroup-p): Ignore ruletype `csep' when
  dealing with row groups.

add new table rule "|~" and "|:" to org-element

* lisp/org-element.el (org-element-table-row-parser): Add another
  property :ruletype to distinguish between "|-", "|~" and "|:" table
  rules.
  (org-element-table-row-interpreter): Distinguish between "|-", "|~"
  and "|:" table rules.

add keymap C-c _ and C-c : for heading and separator insertion, respectively

* lisp/org-table.el (org-table-insert-line): Change function to
  take character as parameter.
* lisp/org-table.el (org-table-insert-hhline,
  org-table-insert-hcline): New functions to insert heading and
  calculation separator using `org-table-insert-line'.
* lisp/org.el (org-ctrl-c-underscore, org-ctrl-c-colon): Add function
  for defkey and document the keydef.

C-c ~ is already used for table.el conversion, maybe change this to
some other key and use C-c ~ for headers.

Allow headings inside tables without splicing them.

* lisp/org-html.el (org-format-org-table-html): recognize cross
  headings and produce appropriate hlines and formatting
* lisp/org-table.el (org-table-*): recognize cross headings
* lisp/org.el: add recognition of cross headings in regex

Cross headings are introduced via hlines that use "~" or ":" instead
of "-".  This patch is an incomplete implementation, most notably,
table (re-)alignment does not yet work.

ox-html: Small refactoring

* lisp/ox-html.el (org-html--build-pre/postamble): Prefer `and' over
  `when' for short Sexps where return value matters.

Merge branch 'maint'

ox-html: Do not generate empty validation link

* lisp/ox-html.el (org-html--build-pre/postamble): Do not generate
  empty validation link.

Reported-by: Nick Dokos <ndokos@gmail.com>
<http://lists.gnu.org/r/emacs-orgmode/2019-05/msg00153.html>

Merge branch 'maint'

org-manual: Small fixes

* doc/org-manual.org (Handling Links): Update variable
`org-id-link-to-org-use-id', which was changed in v7.9.2.

TINYCHANGE

Merge branch 'maint'

Ruby tests

Ruby tests have been failing for quite some time, here's my fix.

From 2f1bbaab939f6b6ceceb72862470e0576a8e2cba Mon Sep 17 00:00:00 2001
From: Achim Gratz <Stromeko@Stromeko.DE>
Date: Sun, 12 May 2019 13:14:04 +0200
Subject: [PATCH 1/1] test-ob-ruby.el: fix tests

* testing/lisp/test-ob-ruby.el: Output no longer contains a trailing
  newline, remove from the template to compare against.  Session must
  be named for the tests to actually work, also add some extra code to
  ascertain that the code after the output statement has actually run
  in the session.

ox-latex: Allow labels in matrices

* lisp/ox-latex.el (org-latex--label): Add "eq:" prefix for matrices.
(org-latex-link): Properly refer to matrices.
(org-latex--wrap-latex-matrices): Inherit name from first table.
(org-latex-matrices): Insert label within "equation" environment.

Reported-by: edgar@openmail.cc
<http://lists.gnu.org/r/emacs-orgmode/2019-05/msg00095.html>

ox: Resolve fuzzy links pointing to pseudo-elements

* lisp/ox.el (org-export-resolve-fuzzy-link): Look for name also in
  pseudo-elements.

Use `org-flag-subtree' instead of `outline-hide-subtree'

* lisp/org-agenda.el (org-agenda-show-1):
* lisp/org-archive.el (org-archive-to-archive-sibling):
* lisp/org-crypt.el (org-encrypt-entry):
* lisp/org-feed.el (org-feed-update):
* lisp/org.el (org-set-visibility-according-to-property):
(org-move-subtree-down):
(org-paste-subtree):
(org-yank-generic):
* testing/lisp/test-org-inlinetask.el (test-org-inlinetask/folding-directly-consecutive-tasks/1): Use `org-flag-subtree' instead of `outline-hide-subtree'.

`outline-hide-subtree' leaves overlays on top of white spaces,
particularly at the end of the buffer. `org-flag-subtree' does not.

Merge branch 'maint'

manual: Update ADS link abbreviation example

* doc/org-manual.org (Link Abbreviations): Change URL.

Reported-by: Alain Kalker <a.c.kalker@gmail.com>
<http://lists.gnu.org/r/emacs-orgmode/2019-05/msg00083.html>

TINYCHANGE

Merge branch 'maint'

Fix fast tag selection affecting wrong line

* lisp/org.el (org-fast-tag-selection): Wrap `save-window-excursion'
with `save-excursion'.

In the case when the tags are changed remotely from the agenda, and
the affected buffer is already visible in another window, the tag
change was applied to the currently visible line in the target buffer,
not the headline in the agenda.

Merge branch 'maint'

org-manual: Delete reference to removed function

* doc/org-manual.org (Inserting deadlines or schedules): Remove
  reference to `org-mark-entry-for-agenda-action`.

Reported-by: Christian Heinrich <com-orgmode@gladbachcity.de>
<http://lists.gnu.org/r/emacs-orgmode/2019-05/msg00060.html>

Merge branch 'maint'

Fix docstring

* lisp/org.el (org-timestamp-change): Fix docstring.

Reported-by: Tim Landscheidt <tim@tim-landscheidt.de>
<http://lists.gnu.org/r/emacs-orgmode/2019-05/msg00047.html>

ORG-NEWS: Mention new variable org-attach-commands

Merge branch 'maint'

org-macro: Exit early when looking for keywords

* lisp/org-macro.el (org-macro--find-keyword-value): Change signature.
* testing/lisp/test-org-macro.el (test-org-macro/keyword): Remove
  a test.

Collect buffer-specific built-in macros in setup files

* lisp/org-macro.el (org-macro--set-template): New function.
(org-macro--collect-macros): Also collect "author", "email", "title"
and "date" macros.
(org-macro-initialize-templates): Do not collect previous macros here,
when it is too late.
(org-macro--find-date): New function.
* testing/lisp/test-org-macro.el (test-org/macro-replace-all): Remove
  test, since we cannot guarantee anymore that user-defined macros can
  take precedence over built-in ones.

Reported-by: emsenn <emsenn@emsenn.net>
<http://lists.gnu.org/r/emacs-orgmode/2019-04/msg00234.html>

Merge branch 'maint'

Fix strike-through fontification on heading

* lisp/org.el (org-do-emphasis-faces): Fix face priority.

org-attach: Make dispatcher commands customizable

* lisp/org-attach.el (org-attach-commands): New custom variable.
(org-attach): Use the above variable.

ob-core: Fix :dir when :mkdirp is not defined

* lisp/ob-core.el (org-babel-execute-src-block): Fix behaviour of
  ":dir path" when ":mkdirp" is not defined.
* testing/lisp/test-ob.el (test-ob-core/dir-mkdirp): Add a test case.

TINYCHANGE

Merge branch 'maint'

org-manual: Fix typo

* doc/org-manual.org (Footnotes): Fix typo.

org-manual: Add missing description for Beamer export

* doc/org-manual.org (Beamer Export): Add missing description.

org-table: Fix `org-table-map-tables'

* lisp/org-table.el (org-table-map-tables): Apply function at the
  beginning of the table, not at the first affiliated keyword, if any.

Reported-by: Kaushal Modi <kaushal.modi@gmail.com>
<http://lists.gnu.org/r/emacs-orgmode/2019-04/msg00167.html>

Document the LATEX_ATTR :scale parameter in ORG-NEWS

* etc/ORG-NEWS: document the new builtin LaTeX exporters' LATEX_ATTR
  :scale parameter

ox-latex: Support a :scale parameter

* lisp/ox-latex.el (org-latex-image-default-scale): Nev variable.
(org-latex--inline-image): Handle new :scale parameter.
* doc/org-manual.org (Images in LaTeX export): document the new :scale

Introduce a :scale #+ATTR_LATEX parameter, as well as a "" default
value for it.  When present, it overrides :width and :height
parameters (as it does for ODT export and in ox-pandoc exporters).

Implementation: uses \scalebox for tikz/pgf images, "scale=" parameter
of \includegraphics in other cases.

Update stale link-related library names

* contrib/lisp/org-bibtex-extras.el: Update for rename of org-bibtex
to ol-bibtex.
* lisp/ox-icalendar.el: Update for rename of org-bbdb to ol-bbdb.

Reported-by: Jonas Bernoulli <jonas@bernoul.li>
<https://lists.gnu.org/archive/html/emacs-orgmode/2019-04/msg00143.html>

ORG-NEWS: Mention parameter :dbconnection for org-babel-execute:sql

Merge branch 'maint'

org-manual: Minor fixes

* doc/org-manual.org (Motion): Fix the names of the four functions
  bound to C-c C-n, C-c C-p, C-c C-f, and C-c C-b.

ob-sql: Silence byte-compiler

ob-sql: Option to reference connections in `sql-connection-alist'

* lisp/ob-sql.el (org-babel-find-db-connection-param): New function.

Provide a new param called :dbconnection, that can be used to
reference connections defined in `sql-connection-alist', a custom
variable defined in sql.el.

TINYCHANGE

Merge branch 'maint'

Backport commit 7ddd08bd3 from Emacs

* lisp/org-table.el (org-table-range-regexp):
Omit or rewrite useless repetitions that risk being very slow in
the backtracking regexp engine in Emacs.

Omit/rewrite useless regexp repetitions
7ddd08bd3ebc48998062a7d29274cf080256a48f
Paul Eggert
Fri Apr 12 19:43:41 2019 -0700

Merge branch 'maint'

org-table: Prevent expanding columns upon applying formulas

* lisp/org-table.el (org-table-recalculate): Prevent expanding columns
  upon applying formulas.
* testing/lisp/test-org-table.el (test-org-table/shrunk-columns): Add
  test.

Reported-by: Nick Dokos <ndokos@gmail.com>
<http://lists.gnu.org/r/emacs-orgmode/2019-04/msg00079.html>

org-table: Fix harmless code typo

* lisp/org-table.el (org-table-recalculate): Fix harmless code typo.

ol: Fix `org-previous-link' skipping links

* lisp/ol.el (org-next-link): Do not skip links when searching
  backwards.

Reported-by: stardiviner <numbchild@gmail.com>
<http://lists.gnu.org/r/emacs-orgmode/2019-04/msg00022.html>

ol-notmuch: Make distinct link types for search view and tree view

* contrib/lisp/ol-notmuch.el (org-notmuch-search-open-function): Deprecate.
(org-notmuch-tree-store-link): New function.
(org-notmuch-tree-open): New function.
"notmuch-tree": Set new "notmuch-tree" parameters with the above functions.

Merge branch 'maint'

org-capture: Do not break planning when capturing items

* lisp/org-capture.el (org-capture-place-item): When there is no list
  to augment, insert new list after planning info and properties
  drawers.
* testing/lisp/test-org-capture.el (test-org-capture/item): Add tests.

Reported-by: Allen Li <darkfeline@felesatra.moe>
<http://lists.gnu.org/r/emacs-orgmode/2019-04/msg00060.html>

org-eldoc: Fix error on shell source blocks

* contrib/lisp/org-eldoc.el (org-eldoc-get-mode-local-documentation-function):
  Handle `org-src-lang-modes' correctly.

org-src: New `org-src-get-lang-mode' function

* lisp/org-src.el (org-src-get-lang-mode): New function.
(org-src--get-lang-mode): Rename to `org-src-get-lang-mode'.
(org-src-font-lock-fontify-block):
(org-edit-latex-environment):
(org-edit-export-block):
(org-edit-src-code):
(org-edit-inline-src-code): Use new function.

Merge branch 'maint'

Merge branch 'maint' of code.orgmode.org:bzg/org-mode into maint

org-drill: Fix void function error

* contrib/lisp/org-drill.el (org-drill--compute-cloze-keywords):
(org-drill-get-item-data): Tiny refactoring to not use `copy-list'.

lignes

ol: Fix `org-next-link' in an item tag

* lisp/ol.el (org-next-link): Fix `org-next-link' in an item tag.
* testing/lisp/test-ol.el (test-ol/next-link): Add test.

ol-notmuch: Allow capturing from tree view

* contrib/lisp/ol-notmuch.el (org-notmuch-store-link): Allow capturing
  from tree view.

Reported-by: Pierre Neidhardt <mail@ambrevar.xyz>
<http://lists.gnu.org/r/emacs-orgmode/2019-03/msg00235.html>

Merge branch 'maint'

Backport commit f9ff60e0d from Emacs

* lisp/org-eshell.el (org-eshell-open):
* lisp/org.el (org-deadline-time-hour-regexp)
(org-scheduled-time-hour-regexp):
Avoid attempts to chain ranges, as this can be confusing.
For example, instead of [0-9-_.], use [0-9_.-].

Improve regexp advice again, and unchain ranges
f9ff60e0d7288e30cdbd1e43225059f1374441f1
Paul Eggert
Tue Apr 2 15:01:34 2019 -0700

ORG-NEWS: Use less conservative link update function

Merge branch 'maint'

org-capture: Fix capture on empty entries

* lisp/org-capture.el (org-capture-fill-template): Prevent raising an
  error when template is an empty entry.
* testing/lisp/test-org-capture.el (test-org-caputre/entry): Add test.

Reported-by: Roland Everaert <reveatwork@gmail.com>
<http://lists.gnu.org/r/emacs-orgmode/2019-04/msg00019.html>

org.el: Bump version number

Merge branch 'maint'

org-manual: Fix typo

* doc/org-manual.org (Agenda Views): Fix count.

Merge branch 'maint'

Backport commit e14c0d748 from Emacs

* lisp/org-datetree.el (org-datetree--find-create):
* lisp/org-pcomplete.el (org-thing-at-point):
Fix regular expression and similar syntax.

More minor regex cleanup
e14c0d748efe35afc653151ff18c4dd93dcc456e
Paul Eggert
Tue Mar 19 18:47:53 2019 -0700

Backport commit bc2a93d5b from Emacs

* lisp/org.el (org-increase-number-at-point)
(org-fill-line-break-nobreak-p):
Fix regular expression typos.

Fix more regular expression typos
bc2a93d5b7c3d749b31927452e31b32bdb1b9108
Paul Eggert
Mon Mar 18 17:02:29 2019 -0700

Fix last commit

* lisp/org.el (org-dynamic-block-define): Fix match.

Fix multiple calls to `org-dynamic-block-alist'.

* lisp/org.el (org-dynamic-block-define): Update entry instead of
  piling up entries of the same type.

Turn `org-dynamic-block-alist' into a defvar

* lisp/org.el (org-dynamic-block-alist): Make it a defvar.  Update docstring.

Merge branch 'maint'

org-colview: Fix out of range error when hscroll is greater than header

* lisp/org-colview.el (org-columns-hscroll-title): Fix out of range
  error when hscroll is greater than header.

Merge branch 'maint'

ob-core: Add edit-prep in org-babel-make-language-alias

Nicolas Goaziou <mail@nicolasgoaziou.fr> writes:
> Could you provide a commit message for your patch?

* lisp/ob-core.el (org-babel-make-language-alias): Add edit-prep to
  the list of defalias'ed functions.

Merge branch 'master' of code.orgmode.org:bzg/org-mode

org-agenda: Add org-agenda-breadcrumbs-separator

* lisp/org-agenda.el (org-agenda-breadcrumbs-separator): New variable.
(org-agenda-format-item): Use org-agenda-breadcrumbs-separator
* etc/ORG-NEWS (New variable: ~org-agenda-breadcrumbs-separator~): New variable.

Merge branch 'agenda-subtree-kill-with-subtree-feedback'

org-agenda: Show the candidate for the kill

* lisp/org-agenda.el (org-agenda-kill): Display the subtree candidate
  for the kill with confirmation question.

Complete ORG-NEWS entry about new link syntax

Factor out setup for doc

* doc/doc-setup.org: New file.
* doc/org-guide.org:
* doc/org-manual.org: Use new file.

org-manual: Various fixes

* doc/org-manual.org (Activation):
(Formula syntax for Calc):
* doc/org-manual.org (External Links): Fix link.
(TODO dependencies):
(Closing items):
(Breaking Down Tasks into Subtasks):
(Deadlines and Scheduling): Use "marked as done" instead of "marked
DONE".
(Filtering/limiting agenda items): Fix typo.
(Creating Footnotes): Rewrite description.  Remove useless paragraph.
(Headings and sectioning structure):
(A Texinfo example): Fix link.
(Summary of In-Buffer Settings): Use "marked as done" instead of
"marked DONE".
(Packages that Org cooperates with):
(Footnotes): Fix link.

Add org-guide.org to the build process

Ignore orgguide spawns

* .gitignore: Ignore orgguide spawns.

Generate compact guide from an Org file

* doc/orgguide.texi:
* doc/doclicense.texi:
* doc/docstyle.texi: Delete files.
* doc/org-guide.org: New file.

org-habit:  C-u K in agenda toggles display all/today habits

* lisp/org-habit.el (org-habit-toggle-display-in-agenda): New command.

org-agenda: Test if span makes sense

* lisp/org-agenda.el (org-agenda-list): Raise an error if span is
  negative.

Recent behavior was to create an agenda for one day.

Merge branch 'maint'

Backport commit 8832cc5f9 from Emacs

* lisp/ob-abc.el (org-babel-expand-body:abc, org-babel-execute:abc):
* lisp/ob-forth.el (org-babel-forth-session-execute):
Add backslash in regexp for correctness.
* lisp/org-list.el (org-plain-list-ordered-item-terminator):
Add backslash in doc comment so that it appears as intended.

Fix some ineffective backslashes in string literals
8832cc5f91a420db6bea65f381a3fb3597eb7523
Mattias Engdegård
Sat Mar 16 11:38:58 2019 -0700

Backport commit 3739d51ef from Emacs

* lisp/org-agenda.el (org-agenda):
* lisp/org-clock.el (org-clock-out, org-clock-display):
* lisp/org.el (org-refile):
Don’t trust arbitrary strings to not contain "%" or "`" in
(message (concat STRING1 STRING2 ...)).

Be safer about "%" in message formats
3739d51ef3b935b30e40ba4534fe362bc685865f
Paul Eggert
Thu Mar 7 09:05:56 2019 -0800

Backport commit 3c94c7bc0 and db9c924d3 from Emacs

* lisp/ob-core.el (org-babel-string-read):
* lisp/org-agenda.el:
(org-agenda-add-entry-to-org-agenda-diary-file):
* lisp/org-element.el (org-element-keyword-parser):
* lisp/org-list.el (org-list-indent-item-generic):
* lisp/org-mhe.el (org-mhe-get-message-folder-from-index):
* lisp/org-mobile.el (org-mobile-apply):
* lisp/org-mouse.el (org-mouse-context-menu):
* lisp/org-plot.el (org-plot/gnuplot):
* lisp/org-protocol.el (org-protocol-flatten-greedy):
* lisp/org-table.el (org-table-copy-down)
(org-table-formula-make-cmp-string)
(org-table-get-stored-formulas, org-table-recalculate)
(org-table-edit-formulas):
* lisp/org.el (org-translate-link-from-planner)
(org-fill-line-break-nobreak-p):
* lisp/ox-ascii.el (org-ascii-item):
* lisp/ox-latex.el (org-latex-clean-invalid-line-breaks):
* lisp/ox.el (org-export-expand-include-keyword):
Fix regular-expression infelicities and typos.

Fix regular-expression glitches and typos
3c94c7bc02fcacb4a101188dddb0c44d53444178
Paul Eggert
Mon Mar 4 18:00:58 2019 -0800

More regexp corrections and tweaks
db9c924d3d53f46846ad8fd74a5d08f4586a520e
Paul Eggert
Fri Mar 8 09:09:40 2019 -0800

Note(km): These two commits are ported together because, with respect
to Org files, db9c924d3 is a fix of an error from 3c94c7bc0.

org-manual: Clarification for results header argument

* doc/org-manual.org (Results of Evaluation): Work around ambiguity
  between "format" and "handling" class.  Fix typography.

Fix `org-offer-links-in-entry'

* lisp/org.el (org-offer-links-in-entry): Fix match groups.

Reported-by: Bernt Hansen <bernt@norang.ca>
<http://lists.gnu.org/r/emacs-orgmode/2019-03/msg00192.html>

org-manual: Small fixes

* doc/org-manual.org (Emphasis and Monospace): Differentiate Org from
  Org mode.
(Images): Remove useless @noindent command.
(Export Settings): Use proper markup for CLOCK syntax.  Differentiate
DONE tasks from done tasks.
(Include Files): Clarify that <C-c '> does not allow to navigate back
from an included file.
(ASCII export commands): Fix FINDEX entry
(Triggering Publication): Fix keybindings.
(Editing Source Code): Turn major-mode into major mode.

Fix link fontification

* lisp/org.el (org-activate-links): Stop at paragraph boundaries.

ol: Remove unnecessary declared functions

Merge branch 'master' of code.orgmode.org:bzg/org-mode

org-manual: Small fixes

* doc/org-manual.org (Plain Lists): Use =DONE= for specific DONE keyword.
(Timestamps): Fix node name.  Replace "sepx" with "expression", as in
the Elisp manual.
(Deadlines and Scheduling): Replace "sepx" with "expression", as in
the Elisp manual.
(Repeated tasks): Use "entry as done" instead of "entry DONE", since
DONE is not the only DONE keyword possible.
(Clocking commands): Use appropriate markup for "CLOCK" keyword.
(Capture templates): Remove unnecessary @noindent.
(Refile and Copy): Move `org-copy' binding below.
(Agenda Files): Use real library name: Iswitchb.
(The Agenda Dispatcher): Use :sep attribute.
(Calendar/Diary integration): Replace "sepx" with "expression", as in
the Elisp manual.
(The global TODO list): Update node change.
(Matching tags and properties): Fix markup for tags.
(Change display): Use "marked as done" instead of "marked DONE".
(Storing searches): Remove unnecessary @noindent command.  Prefer
present tense over future.
(Footnotes): Use "marked as done" instead of "marked DONE". Replace
"sepx" with "expression".  Apply node name change.