tg-export: add subject [...] handling modes
[topgit/pro.git] / README
blob2a68cb21549241cf4efa1e763b381b8d61372c95
1 =========================================
2 TopGit -- A different patch queue manager
3 =========================================
6 DESCRIPTION
7 -----------
9 TopGit aims to make handling of large amounts of interdependent topic
10 branches easier. In fact, it is designed especially for the case where
11 you maintain a queue of third-party patches on top of another (perhaps
12 Git-controlled) project and want to easily organize, maintain and submit
13 them -- TopGit achieves that by keeping a separate topic branch for each
14 patch and providing some tools to maintain the branches.
16 See also:
18         :REQUIREMENTS_:     Installation requirements
19         :SYNOPSIS_:         Command line example session
20         :USAGE_:            Command line details
21         :`NO UNDO`_:        Where's the undo!!!
22         :CONVENTIONS_:      Suggestions for organizing your TopGit branches
23         :`EXTRA SETTINGS`_: Various possible "topgit.*" config settings
24         :ALIASES_:          Git-like TopGit command aliases
25         :NAVIGATION_:       Getting around with "next" and "prev"
26         :GLOSSARY_:         All the TopGit vocabulary in one place
27         :TECHNICAL_:        How it works behind the scenes
28         :`TESTING TOPGIT`_: How to run the TopGit test suite
31 REQUIREMENTS
32 ------------
34 TopGit is a collection of POSIX shell scripts so a POSIX-compliant shell is
35 required along with some standard POSIX-compliant utilities (e.g. sed, awk,
36 cat, etc.).  Git version 1.8.5 or later is also required.
38 To use TopGit with linked working trees (the ``git worktree add`` command),
39 at least Git version 2.5.0 (obviously, since that's when the ``git worktree``
40 command first appeared) is needed in which case linked working trees are then
41 fully supported for use with TopGit.
43 The scripts need to be preprocessed and installed.  The Makefile that does
44 this requires a POSIX make utility (using "``make``" and "``make install``")
45 and some version of ``perl`` in the ``PATH`` somewhere (the ``perl`` binary
46 is needed for correct help text file generation prior to the actual install).
48 Once installed, TopGit uses only POSIX-compliant utilities (except that it
49 also requires, obviously, Git).
51 Running the tests (see `TESTING TOPGIT`_) has the same requirements as for
52 installation (i.e. POSIX plus Perl).
54 It is possible to use the DESTDIR functionality to install TopGit to a
55 staging area on one machine, archive that and then unarchive it on another
56 machine to perform an install (provided the build prefix and other options are
57 compatible with the final installed location).
60 INSTALLATION
61 ------------
63 See the file ``INSTALL``.
66 GIT REPOSITORY
67 --------------
69 The TopGit git repository can be found at <http://repo.or.cz/topgit/pro>.
72 RATIONALE
73 ---------
75 Why not use something like StGIT or Guilt or ``rebase -i`` for maintaining
76 your patch queue?  The advantage of these tools is their simplicity;
77 they work with patch *series* and defer to the reflog facility for
78 version control of patches (reordering of patches is not
79 version-controlled at all).  But there are several disadvantages -- for
80 one, these tools (especially StGIT) do not actually fit well with plain
81 Git at all: it is basically impossible to take advantage of the index
82 effectively when using StGIT.  But more importantly, these tools
83 horribly fail in the face of a distributed environment.
85 TopGit has been designed around three main tenets:
87         (i) TopGit is as thin a layer on top of Git as possible.  You
88         still maintain your index and commit using Git; TopGit will only
89         automate a few indispensable tasks.
91         (ii) TopGit is anxious about *keeping* your history.  It will
92         never rewrite your history, and all metadata is also tracked
93         by Git, smoothly and non-obnoxiously.  It is good to have a
94         *single* point when the history is cleaned up, and that is at
95         the point of inclusion in the upstream project; locally, you
96         can see how your patch has evolved and easily return to older
97         versions.
99         (iii) TopGit is specifically designed to work in a
100         distributed environment.  You can have several instances of
101         TopGit-aware repositories and smoothly keep them all
102         up-to-date and transfer your changes between them.
104 As mentioned above, the main intended use-case for TopGit is tracking
105 third-party patches, where each patch is effectively a single topic
106 branch.  In order to flexibly accommodate even complex scenarios when
107 you track many patches where many are independent but some depend on
108 others, TopGit ignores the ancient Quilt heritage of patch series and
109 instead allows the patches to freely form graphs (DAGs just like Git
110 history itself, only "one level higher").  For now, you have to manually
111 specify which patches the current one depends on, but TopGit might help
112 you with that in the future in a darcs-like fashion.
114 A glossary_ plug: The union (i.e. merge) of patch dependencies is called
115 a *base* of the patch (topic branch).
117 Of course, TopGit is perhaps not the right tool for you:
119         (i) TopGit is not complicated, but StGIT et al. are somewhat
120         simpler, conceptually.  If you just want to make a linear
121         purely-local patch queue, deferring to StGIT instead might
122         make more sense.
124         (ii) When using TopGit, your history can get a little hairy
125         over time, especially with all the merges rippling through.
126         ;-)
129 SYNOPSIS
130 --------
134         ## Create and evolve a topic branch
135         $ tg create t/gitweb/pathinfo-action
136         tg: Automatically marking dependency on master
137         tg: Creating t/gitweb/pathinfo-action base from master...
138         $ ..hack..
139         $ git commit
140         $ ..fix a mistake..
141         $ git commit
143         ## Create another topic branch on top of the former one
144         $ tg create t/gitweb/nifty-links
145         tg: Automatically marking dependency on t/gitweb/pathinfo-action
146         tg: Creating t/gitweb/nifty-links base from t/gitweb/pathinfo-action...
147         $ ..hack..
148         $ git commit
150         ## Create another topic branch on top of master and submit
151         ## the resulting patch upstream
152         $ tg create t/revlist/author-fixed master
153         tg: Creating t/revlist/author-fixed base from master...
154         $ ..hack..
155         $ git commit
156         $ tg patch -m
157         tg: Sent t/revlist/author-fixed
158         From: pasky@suse.cz
159         To: git@vger.kernel.org
160         Cc: gitster@pobox.com
161         Subject: [PATCH] Fix broken revlist --author when --fixed-string
163         ## Create another topic branch depending on two others non-trivially
164         $ tg create t/whatever t/revlist/author-fixed t/gitweb/nifty-links
165         tg: Creating t/whatever base from t/revlist/author-fixed...
166         tg: Merging t/whatever base with t/gitweb/nifty-links...
167         Merge failed!
168         tg: Please commit merge resolution and call: tg update --continue
169         tg: It is also safe to abort this operation using `git reset --hard`
170         tg: but please remember you are on the base branch now;
171         tg: you will want to switch to a different branch.
172         $ ..resolve..
173         $ git commit
174         $ tg update --continue
175         $ ..hack..
176         $ git commit
178         ## Update a single topic branch and propagate the changes to
179         ## a different one
180         $ git checkout t/gitweb/nifty-links
181         $ ..hack..
182         $ git commit
183         $ git checkout t/whatever
184         $ tg info
185         Topic Branch: t/whatever (1 commit)
186         Subject: [PATCH] Whatever patch
187         Base: 3f47ebc1
188         Depends: t/revlist/author-fixed t/gitweb/nifty-links
189         Needs update from:
190                 t/gitweb/nifty-links (1 commit)
191         $ tg update
192         tg: Updating base with t/gitweb/nifty-links changes...
193         Merge failed!
194         tg: Please commit merge resolution and call `tg update --continue`
195         tg: (use `tg status` to see more options)
196         $ ..resolve..
197         $ git commit
198         $ tg update --continue
199         tg: Updating t/whatever against new base...
200         Merge failed!
201         tg: Please commit merge resolution and call `tg update --continue`
202         tg: (use `tg status` to see more options)
203         $ ..resolve..
204         $ git commit
205         $ tg update --continue
207         ## Update a single topic branch and propagate the changes
208         ## further through the dependency chain
209         $ git checkout t/gitweb/pathinfo-action
210         $ ..hack..
211         $ git commit
212         $ git checkout t/whatever
213         $ tg info
214         Topic Branch: t/whatever (1/2 commits)
215         Subject: [PATCH] Whatever patch
216         Base: 0ab2c9b3
217         Depends: t/revlist/author-fixed t/gitweb/nifty-links
218         Needs update from:
219                 t/gitweb/pathinfo-action (<= t/gitweb/nifty-links) (1 commit)
220         $ tg update
221         tg: Recursing to t/gitweb/nifty-links...
222         [t/gitweb/nifty-links] tg: Updating base with t/gitweb/pathinfo-action changes...
223         Merge failed!
224         [t/gitweb/nifty-links] tg: Please commit merge resolution and call `tg update --continue`
225         [t/gitweb/nifty-links] tg: (use `tg status` to see more options)
226         $ ..resolve..
227         $ git commit
228         $ tg update --continue
229         [t/gitweb/nifty-links] tg: Updating t/gitweb/nifty-links against new base...
230         Merge failed!
231         [t/gitweb/nifty-links] tg: Please commit merge resolution and call `tg update --continue`
232         [t/gitweb/nifty-links] tg: (use `tg status` to see more options)
233         $ ..resolve..
234         $ git commit
235         $ tg update --continue
236         tg: Updating base with t/gitweb/nifty-links changes...
237         tg: Updating t/whatever against new base...
239         ## Clone a TopGit-controlled repository
240         $ git clone URL repo
241         $ cd repo
242         $ tg remote --populate origin
243         ...
244         $ git fetch
245         $ tg update
247         ## Add a TopGit remote to a repository and push to it
248         $ git remote add foo URL
249         $ tg remote foo
250         $ tg push -r foo
252         ## Update from a non-default TopGit remote
253         $ git fetch foo
254         $ tg -r foo summary
255         $ tg -r foo update
258 CONVENTIONS
259 -----------
261 When using TopGit there are several common conventions used when working with
262 TopGit branches.  None of them are enforced, they are only suggestions.
264 There are three typical uses for a TopGit branch:
266     1. [PATCH]
267        Normal TopGit branches that represent a single patch.  These are known
268        as "patch" TopGit branches.
269     2. [BASE]
270        Empty TopGit branches with no dependencies (an empty ``.topdeps`` file)
271        that represent a base upon which other "normal" TopGit branches depend.
272        These are known as "base" TopGit branches (not to be confused with
273        the refs/top-bases/... refs).
274     3. [STAGE]
275        Empty TopGit branches that serve as a staging area to bring together
276        several other TopGit branches into one place so they can be used/tested
277        all together.  These are known as "stage" TopGit branches.
279 An "empty" TopGit branch is one that does not have any changes of its own --
280 it may still have dependencies though ("stage" branches do, "base" branches do
281 not).  The ``tg summary`` output shows empty branches with a ``0`` in the
282 listing.  Normal "patch" branches that have not been annihilated, "base" and
283 "stage" branches fall into this category.  (Annihilated branches are normally
284 omitted from the ``tg summary`` output but can be shown if given explicitly as
285 an argument to the ``tg summary`` command.  However, the message line will be
286 incorrect since an annihilated branch has no ``.topmsg`` file of its own.)
288 A "patch" branch name typically starts with ``t/`` whereas "base" and "stage"
289 branch names often do not.
291 A "base" branch is created by using the ``--base`` option of ``tg create``
292 (aka ``--no-deps``) which will automatically suggest a "[BASE]" message prefix
293 rather than "[PATCH]".  A "stage" branch is created like a normal patch branch
294 except that the only changes that will ever be made to it are typically to
295 add/remove dependencies.  Its subject prefix must be manually changed to
296 "[STAGE]" to reflect its purpose.
298 Since both "base" and "stage" branches typically only have a use for the
299 "Subject:" line from their ``.topmsg`` file, they are quite easily created
300 using the ``--topmsg`` option of ``tg create``.
302 Use of "stage" and "base" branches is completely optional.  However, without
303 use of a "stage" branch it will be difficult to test multiple independent
304 patches together all at once.  A "base" branch is merely a convenience that
305 provides more explicit control over when a common base for a set of patches
306 gets updated as well as providing a branch that shows in ``tg summary`` output
307 and participates in ``tg remote --populate`` setup.
309 Occasionally the functionality of a "base" branch is needed but it may not
310 be possible to add any `.topdeps` or `.topmsg` files to the desired branch
311 (perhaps it's externally controlled).  `BARE BRANCHES`_ can be used in this
312 case, but while TopGit allows them it deliberately does not provide assistance
313 in setting them up.
315 Another advantage to using a "stage" branch is that if a new "patch" branch
316 is created remotely and that new branch is added to a pre-existing "stage"
317 branch on the remote then when the local version of the "stage" branch is
318 updated (after fetching remote updates of course), that new dependency will
319 be merged into the local "stage" branch and the local version of the new remote
320 "patch" branch will be automatically set up at "tg update" time.
322 When using the ``tg tag`` command to create tags that record the current state
323 of one or more TopGit branches, the tags are often created with a name that
324 starts with ``t/``.
326 One last thing, you have enabled ``git rerere`` haven't you?
329 NO UNDO
330 -------
332 Beware, there is no "undo" after running a ``tg update``!
334 Well, that's not entirely correct.  Since ``tg update`` never discards commits
335 an "undo" operation is technically feasible provided the old values of all the
336 refs that were affected by the ``tg update`` operation can be determined and
337 then they are simply changed back to their previous values.
339 In practice though, it can be extremely tedious and error prone looking through
340 log information to try and determine what the correct previous values were.
341 Although, since TopGit tries to make sure reflogs are enabled for top-bases
342 refs, using Git's ``@{date}`` notation on all the refs dumped out by a
343 ``tg tag --refs foo``, where "foo" is the branch that was updated whose update
344 needs to be undone, may work.
346 Alternatively, ``tg tag --stash`` can be used prior to the update and then
347 ``tg revert`` used after the update to restore the previous state.  This
348 assumes, of course, that you remember to run ``tg tag --stash`` first.
350 The ``tg update`` command understands a ``--stash`` option that tells it to
351 automatically run ``tg tag --stash`` before it starts making changes (if
352 everything is up-to-date it won't run the stash command at all).
354 The ``--stash`` option is the default nowadays when running ``tg update``,
355 add the ``--no-stash`` option to turn it off.
357 There is a preference for this.  Setting the config value ``topgit.autostash``
358 to ``false`` will implicitly add the ``--no-stash`` option to any ``tg update``
359 command unless an explicit ``--stash`` option is given.
361 If you are likely to ever want to undo a ``tg update``, setting
362 ``topgit.autostash`` to ``false`` is highly discouraged!
364 Note that the tags saved by ``tg tag --stash`` are stored in the
365 ``refs/tgstash`` ref and its reflog.  Unfortunately, while Git is happy to
366 maintain the reflog (once it's been enabled which ``tg tag`` guarantees for
367 ``refs/tgstash``), Git is unable to view an annotated/signed tag's reflog!
368 Instead Git dereferences the tag and shows the wrong thing.  Use the
369 ``tg tag -g`` command to view the ``refs/tgstash`` reflog instead.
372 EXTRA SETTINGS
373 --------------
375 TopGit supports various config settings:
377         :`tg create`_:          ``format.signoff`` template Signed-off-by line
378         :ALIASES_:              ``topgit.alias.*`` for Git-like command aliases
379         :`tg update`_:          ``topgit.autostash`` automatic stash control
380         :`tg create`_:          ``topgit.bcc`` default "Bcc:" value for create
381         :`tg create`_:          ``topgit.cc`` default "Cc:" value for create
382         :`tg patch`_:           ``topgit.from`` "From:" fixups by ``tg patch``
383         :`REMOTE HANDLING`_:    ``topgit.remote`` TopGit's default remote
384         :SEQUESTRATION_:        ``topgit.sequester`` for sequestration control
385         :`tg update`_:          ``topgit.setAutoUpdate`` => ``rerere.autoUpdate``
386         :`tg export`_:          ``topgit.subjectMode`` export [...] tag removal
387         :`tg create`_:          ``topgit.subjectPrefix`` "[$prefix PATCH] foo"
388         :`tg create`_:          ``topgit.to`` default "To:" value for create
389         :`tg migrate-bases`_:   ``topgit.top-bases`` for refs bases location
392 ALIASES
393 -------
395 These work exactly like Git's aliases except they are stored under
396 ``topgit.alias.*`` instead.  See the ``git help config`` output under
397 the ``alias.*`` section for details.  Do note that while alias nesting is
398 explicitly permitted, a maximum nesting depth of 10 is enforced to help
399 detect accidental aliasing loops and keep them from wedging the machine.
401 For example, to create an ``lc`` alias for the ``tg log --compact`` command
402 this command may be used:
406         git config --global topgit.alias.lc "log --compact"
408 To make it specific to a particular repository just omit the ``--global``
409 option from the command.
412 NAVIGATION
413 ----------
414 From Previous to Next
415 ~~~~~~~~~~~~~~~~~~~~~
417 For this section, consider the following patch series, to be applied
418 in numerical order as shown:
422         0001-F_first-patch.diff
423         0002-G_second-builds-on-F.diff
424         0003-H_third-builds-on-G.diff
425         0004-I_fourth-builds-on-H.diff
426         0005-J_fifth-builds-on-I.diff
427         0006-K_sixth-builds-on-J.diff
428         0007-L_last-patch-needs-K.diff
430 If these were applied to some commit in a Git repository, say commit "A"
431 then a history that looks like this would be created:
435         A---F---G---H---I---J---K---L
437 Where the parent of commit "F" is "A" and so on to where the parent of
438 commit "L" is commit "K".
440 If that commit history, from A through L, was then imported into TopGit, one
441 TopGit branch would be created corresponding to each of the commits F
442 through L.  This way, for example, if the fourth patch in the series
443 (``0004-I_...diff``) needs work, the TopGit branch corresponding to its patch
444 can be checked out and changes made and then a new version of its patch
445 created (using ``tg patch``) without disturbing the other patches in the series
446 and when ``tg update`` is run, the patches that "follow" the fourth patch
447 (i.e. 5, 6 and 7) will have their corresponding TopGit branches automatically
448 updated to take into account the changes made to the fourth patch.
450 Okay, enough with the review of TopGit systemology
451 ``````````````````````````````````````````````````
453 Imagine then that you are working on the fourth patch (i.e. you have its
454 branch checked out into the working tree) and you want to move to the following
455 patch in the series because you have a nit to pick with it too.
457 If you can't remember the exact name you might have to fumble around or, you
458 can display the name of the following or "next" patch's branch with the, you
459 guessed it, ``tg next`` command.  Think of "next" as the "next" logical patch
460 in the series or the next following patch.  If the patches are numbered as in
461 the list above, "next" corresponds to the "+1" (plus one) patch.
463 You might have already guessed there's a corresponding ``tg prev`` command
464 which displays the "-1" (minus one) patch.  If these commands (``tg next``
465 and ``tg prev``) are not given a branch name to start at they start at the
466 patch corresponding to the current ``HEAD``.
468 Displaying, however, is not so helpful as actually going there.  That's where
469 the ``tg checkout`` command comes in.  ``tg checkout next`` does a
470 ``git checkout`` of the ``tg next`` branch and, not surprisingly,
471 ``tg checkout prev`` does a ``git checkout`` of the ``tg prev`` branch.  For
472 the lazy a single ``n`` or ``p`` can be used with ``tg checkout`` instead of
473 typing out the entire ``next`` or ``prev``.  Or, for the anal, ``previous``
474 will also be accepted for ``prev``.
476 Referring to the A...L commit graph shown above, I is the parent of J and,
477 conversely, J is the child of I.  (Git only explicitly records the child to
478 parent links, in other words a "child" points to zero or more "parents", but
479 parents are completely clueless about their own children.)
481 For historical reasons, the ``tg checkout`` command accepts ``child`` as a
482 synonym for ``next`` and ``parent`` as a synonym for ``prev``.  However, this
483 terminology can be confusing since Git has "parent" links but ``tg checkout``
484 is referring to the TopGit DAG, not Git's.  Best to just avoid using ``child``
485 or ``parent`` to talk about navigating the TopGit DAG and reserve them
486 strictly for discussing the Git DAG.
488 There may be more than one
489 ``````````````````````````
491 In a simple linear history as shown above there's always only one "next" or
492 "prev" patch.  However, TopGit does not restrict one to only a linear
493 history (although that can make patch exports just a bushel of fun).
495 Suffice it to say that there is always a single linearized ordering for any
496 TopGit patch series since it's always a DAG (Directed Acyclic Graph), but it
497 may not be immediately obvious to the casual observer what that is.
499 The ``tg checkout`` command will display a list to choose from if ``next``
500 or ``prev`` would be ambiguous.
502 Use the ``tg info/checkout --series`` command
503 `````````````````````````````````````````````
505 To see the full, linearized, list of patches with their summary displayed in
506 order from first to last patch in the series, just run the ``tg info --series``
507 command.  It takes the name of any patch in the series automatically using
508 ``HEAD`` if none is given.  It even provides a nice "YOU ARE HERE" mark in
509 the output list helpful to those who have been absent for a time engaging in
510 otherwise distracting activities and need to be reminded where they are.
512 Using ``tg checkout --series`` can take you there (picking from a list) if
513 you've forgotten the way back to wherever you're supposed to be.
515 Don't get pushy, there's just one more thing
516 ````````````````````````````````````````````
518 For historical reasons, ``tg checkout`` with no arguments whatsoever behaves
519 like ``tg checkout next``.  For the same historical reasons, ``tg checkout ..``
520 behaves like ``tg checkout prev`` (think of ``..`` as the "parent" directory
521 and since "parent" means "prev" in this context it will then make sense).
523 Now, for that one more thing.  Consider that you have a pristine "upstream"
524 tarball, repository, source dump or otherwise obtained set of unmodified
525 source files that need to be patched.  View them like so:
529         +-------------------------------+
530         | Unmodified "upstream" source  |
531         | files represented with "A"    |
532         +-------------------------------+
534 Now, add the first patch, 0001, to them and view the result like so:
538         +--------------------------+----+
539         | Patch 0001 represented by "F" |
540         +-------------------------------+
541         | Unmodified "upstream" source  |
542         | files represented with "A"    |
543         +-------------------------------+
545 Not stopping there, "push" patches 2, 3 and 4 onto the stack as well like so:
549         +--------------------------+----+
550         | Patch 0004 represented by "I" |
551         +--------------------------+----+
552         | Patch 0003 represented by "H" |
553         +--------------------------+----+
554         | Patch 0002 represented by "G" |
555         +--------------------------+----+
556         | Patch 0001 represented by "F" |
557         +-------------------------------+
558         | Unmodified "upstream" source  |
559         | files represented with "A"    |
560         +-------------------------------+
562 In other words, to go to the "next" patch in the series it needs to be "push"ed
563 onto the stack.  ``tg checkout`` accepts ``push`` as an alias for ``next``.
565 Similarly to go to the "previous" patch in the series the current one needs
566 to be "pop"ped off the stack.  ``tg checkout`` accepts ``pop`` as an alias
567 for ``prev``.
569 Unfortunately for these aliases, in Git terminology a "push" has quite a
570 different meaning and the ``tg push`` command does something quite different
571 from ``tg checkout push``.  Then there's the matter of using a single letter
572 abbreviation for the lazy -- ``p`` would mean what exactly?
574 ``tg checkout`` continues to accept the ``push`` and ``pop`` aliases for
575 ``next`` and ``prev`` respectively,  but it's best to avoid them since
576 ``push`` has an alternate meaning everywhere else in TopGit and Git and that
577 leaves ``pop`` all alone in the dark.
580 SEQUESTRATION
581 -------------
583 No, this is not a section about budget nonsense.  ;)
585 TopGit keeps its metadata in ``.topdeps`` and ``.topmsg`` files.  In an effort
586 to facilitate cherry-picking and other Git activities on the patch changes
587 themselves while ignoring the TopGit metadata, TopGit attempts to keep all
588 changes to ``.topdeps`` and ``.topmsg`` files limited to commits that do NOT
589 contain changes to any other files.
591 This is a departure from previous TopGit versions that made no such effort.
593 Primarily this affects ``tg create`` and ``tg import`` (which makes use of
594 ``tg create``) as ``tg create`` will commit the initial versions of
595 ``.topdeps`` and ``.topmsg`` for a new TopGit-controlled branch in their own
596 commit instead of mixing them in with changes to other files.
598 The ``pre-commit`` hook will also attempt to separate out any ``.topdeps`` and
599 ``.topmsg`` changes from commits that include changes to other files.
601 It is possible to defeat these checks without much effort (``pre-commit`` hooks
602 can easily be bypassed, ``tg create`` has a ``--no-commit`` option, many Git
603 commands simply do not run the ``pre-commit`` hook, etc.).
605 If you really, really, really, really want to change the default back to the
606 old behavior of previous TopGit versions where no such sequestration took
607 place, then set the ``topgit.sequester`` config variable explicitly to the
608 value ``false``.  But this is not recommended.
611 AMENDING AND REBASING AND UPDATE-REF'ING
612 ----------------------------------------
614 In a word, "don't".
616 It is okay to manually update a top-bases/... ref when a) it has no depedencies
617 (i.e. it was created with the ``tg create`` ``--base`` option) and b) the
618 old top-bases/... ref value can be fast-forwarded to the new top-bases/...
619 value OR the new value contains ALL of the changes in the old value through
620 some other mechanism (perhaps they were cherry-picked or otherwise applied to
621 the new top-bases/... ref).  The same rules apply to non-TopGit-controlled
622 dependencies.  Use the ``tg update --base <branch> <new-ref>`` command to
623 safely make such an update while making it easy to set the merge commit
624 message at the same time.
626 Ignoring this rule and proceeding anyway with a non-fast-forward update to a
627 top-bases/... ref will result in changes present in the new value being merged
628 into the branch (at ``tg update`` time) as expected (possibly with conflicts),
629 but any changes that were contained in the old version of the top-bases/... ref
630 which have been dropped (i.e. are NOT contained in the new version of the
631 top-bases/... ref) will continue to be present in the branch!  To get rid of
632 the dropped commits, one or more "revert" commits will have to be manually
633 applied to the tip of the new top-bases/... value (which will then be merged
634 into the branch at next ``tg update`` time).
636 The only time it's safe to amend, rebase, filter or otherwise rewrite commits
637 contained in a TopGit controlled branch or non-TopGit branch is when those
638 commits are NOT reachable via any other ref!
640 Furthermore, while it is safe to rewrite merge commits (provided they meet the
641 same conditions) the merge commits themselves and the branches they are merging
642 in must be preserved during the rewrite and that can be rather tricky to get
643 right so it's not recommended.
645 For example, if, while working on a TopGit-controlled branch ``foo``, a bad
646 typo is noticed, it's okay to ammend/rebase to fix that provided neither
647 ``tg update`` nor ``tg create`` has already been used to cause some other ref
648 to be able to reach the commit with the typo.
650 If an amend or rerwite is done anyway even though the commit with the typo is
651 reachable from some other ref, the typo won't really be removed.  What will
652 happen instead is that the new version without the typo will ultimately be
653 merged into the other ref(s) (at ``tg update`` time) likely causing a conflict
654 that will have to be manually resolved and the commit with the typo will
655 continue to be reachable from those other refs!
657 Instead just make a new commit to fix the typo.  The end result will end up
658 being the same but without the merge conflicts.
660 See also the discussion in the `NO UNDO`_ section.
663 BARE BRANCHES
664 -------------
666 A "TopGit bare branch" (or just "bare branch" for short), refers to a TopGit
667 branch that has neither a ``.topdeps`` nor a ``.topmsg`` file stored in it.
668 And it's neither a new, still-empty empty branch nor an annihilated branch.
670 Such branches are not recommended but are reluctantly accomodated.
672 There are three situtations in which TopGit may encounter a TopGit branch
673 that has neither a ``.topdeps`` nor a ``.topmsg`` file.
675         1. Branch creation with ``--no-commit``
676                 Before the initial commit is made, the branch will still be
677                 pointing to the same commit as its "top-bases" ref.  Branches
678                 in this condition (where the branch and top-bases ref point to
679                 the same commit) show up as having "No commits" in listings.
681         2. Annihilated branches
682                 A branch is annihilated by making a new commit on the branch
683                 that makes its tree identical to the tree of its corresponding
684                 top-bases ref.  Although the trees will be the same, the
685                 commits will be different and annihilated branches are
686                 distinguished from "No commits" branches in this way.
687                 Annihilated branches are generally invisible and do not show up
688                 in listings or other status displays.  Intentionally so.
690         3. Bare branches
691                 Any TopGit branch with neither a ``.topdeps`` file nor a
692                 ``.topmsg`` file whose branch and top-bases trees differ falls
693                 into this category.  TopGit will not create such a branch
694                 itself nor does it provide any commands to do so.
696 Whenever possible, a TopGit "[BASE]" branch should be preferred to using a
697 "bare branch" because a) it can never be mistaken for an annihilated branch,
698 b) it has a nice subject attached (via its ``.topmsg`` file) that shows
699 up in listings and c) exactly when and which updates are taken can be planned.
701 Nevertheless, situations may arise where it's useful to have TopGit treat a
702 branch as a "TopGit branch" so that it fully participates in all update
703 activities (such as updating local branches based on their remote branches),
704 but it's not feasible to turn it into a real "TopGit branch" as it comes from
705 an external source and rather than controlling exactly when and what updates
706 are picked up from it by TopGit (the precise use case of a "[BASE]" branch),
707 all updates that appear on it are to be assimilated as soon as they occur.
709 For this reason, TopGit will accomodate such "bare branches" but it will not
710 create (nor provide the means to create) them itself.
712 In order to create a "bare branch" all that's required is to create the
713 necessary top-bases ref.  The choice of commit for the top-bases ref will
714 affect the output of the "files", "log" and "patch" commands most directly
715 (but all commands will be affected).
717 To work properly as a "bare branch", the commit the "bare branch"'s base points
718 to should be contained within the branch, be a different commit than the branch
719 tip itself and have a different tree than the branch tip.  Simply setting the
720 base to the parent commit of the "bare branch" will usually work, but should
721 that commit at the tip of the "bare branch" end up getting reverted as the next
722 commit, the trees would match and it would appear to be an annihilated branch
723 rather than a "bare branch".  That is one of the reasons these branches are not
724 recommended in the first place.
726 Setting the base to the root commit of the branch is more reliable and may
727 be accomplished like so for a local branch named "mybranch":
731         git update-ref $(tg --top-bases)/mybranch \
732           $(git rev-list --first-parent --max-parents=0 mybranch) ""
734 Typically though it's more likely a remote bare branch will be needed.  For
735 a remote named "origin" and a remote branch name of "vendor" this will do it:
739         git update-ref $(tg --top-bases -r origin)/vendor \
740           $(git rev-list --first-parent --max-parents=0 origin/vendor) ""
742 Such "bare branches" are not likely ever to receive any more direct support in
743 TopGit than acknowleging they can be useful in some situations and tolerating
744 their existence by functioning properly with them even to the point of the
745 ``pre-commit`` hook tacitly allowing continued commits on such branches without
746 complaints about missing ``.topdeps`` and ``.topmsg`` files.
748 Note, however, that creating a regular TopGit branch that has no changes of its
749 own with the "bare branch" as its single dependency provides a means to supply
750 some kind of documentation if all other uses of the "bare branch" depend on
751 this "wrapper" branch instead of directly on the "bare branch".
754 SPEED AND CACHING
755 -----------------
757 TopGit needs to check many things to determine whether a TopGit branch is
758 up-to-date or not.  This can involve a LOT of git commands for a complex
759 dependency tree.  In order to speed things up, TopGit keeps a cache of results
760 in a ``tg-cache`` subdirectory in the ``.git`` directory.
762 Results are tagged with the original hash values used to get that result so
763 that items which have not been changed return their results quickly and items
764 which have been changed compute their new result and cache it for future use.
766 The ``.git/tg-cache`` directory may be removed at any time and the cache will
767 simply be recreated in an on-demand fashion as needed, at some speed penalty,
768 until it's fully rebuilt.
770 To force the cache to be fully pre-loaded, run the ``tg summary`` command
771 without any arguments.  Otherwise, normal day-to-day TopGit operations should
772 keep it more-or-less up-to-date.
774 While each TopGit command is running, it uses a temporary subdirectory also
775 located in the ``.git`` directory.  These directories are named
776 ``tg-tmp.XXXXXX`` where the ``XXXXXX`` part will be random letters and digits.
778 These temporary directories should always be removed automatically after each
779 TopGit command finishes running.  As long as you are not in a subshell as a
780 result of a TopGit command stopping and waiting for a manual merge resolution,
781 it's safe to remove any of these directories that may have somehow accidentally
782 been left behind as a result of some failure that occurred while running a
783 TopGit command (provided, of course, it's not actually being used by a TopGit
784 command currently running in another terminal window or by another user on the
785 same repository).
788 USAGE
789 -----
790 ``tg [global options] <subcommand> [<subcommand option/argument>...]``
792 Global options:
794         ``[-C <dir>]... [-r <remote> | -u] [-c <name>=<val>]... [--[no-]pager]``
796         -C <dir>        Change directory to <dir> before doing anything more
797         -r <remote>     Pretend ``topgit.remote`` is set to <remote>
798         -u              Pretend ``topgit.remote`` is not set
799         -c <name=val>   Pass config option to git, may be repeated
800         --no-pager      Disable use of any pager (by both TopGit and Git)
801         --pager         Enable use of a pager (aka ``-p``)
802         --top-bases     Show full ``top-bases`` ref prefix and exit
803         --exec-path     Show path to subcommand scripts location and exit
804         --help          Show brief usage help and exit (aka ``-h``)
806 The ``tg`` tool has several subcommands:
808         :`tg annihilate`_:    Mark a TopGit-controlled branch as defunct
809         :`tg base`_:          Show base commit for one or more TopGit branches
810         :`tg checkout`_:      Shortcut for git checkout with name matching
811         :`tg contains`_:      Which TopGit-controlled branch contains the commit
812         :`tg create`_:        Create a new TopGit-controlled branch
813         :`tg delete`_:        Delete a TopGit-controlled branch cleanly
814         :`tg depend`_:        Add a new dependency to a TopGit-controlled branch
815         :`tg export`_:        Export TopGit branch patches to files or a branch
816         :`tg files`_:         Show files changed by a TopGit branch
817         :`tg help`_:          Show TopGit help optionally using a browser
818         :`tg import`_:        Import commit(s) to separate TopGit branches
819         :`tg info`_:          Show status information about a TopGit branch
820         :`tg log`_:           Run git log limiting revisions to a TopGit branch
821         :`tg mail`_:          Shortcut for git send-email with ``tg patch`` output
822         :`tg migrate-bases`_: Transition top-bases to new location
823         :`tg next`_:          Show branches directly depending on a TopGit branch
824         :`tg patch`_:         Generate a patch file for a TopGit branch
825         :`tg prev`_:          Show non-annihilated TopGit dependencies for a branch
826         :`tg push`_:          Run git push on TopGit branch(es) and depedencies
827         :`tg rebase`_:        Auto continue git rebase if rerere resolves conflicts
828         :`tg remote`_:        Set up remote for fetching/pushing TopGit branches
829         :`tg revert`_:        Revert ref(s) to a state stored in a ``tg tag``
830         :`tg status`_:        Show current TopGit status (e.g. in-progress update)
831         :`tg summary`_:       Show various information about TopGit branches
832         :`tg tag`_:           Create tag that records current TopGit branch state
833         :`tg update`_:        Update TopGit branch(es) with respect to dependencies
835 tg help
836 ~~~~~~~
837         Our sophisticated integrated help facility.  Mostly duplicates
838         what is below::
840          # to list commands:
841          $ tg help
842          # to get help for a particular command:
843          $ tg help <command>
844          # to get help for a particular command in a browser window:
845          $ tg help -w <command>
846          # to get help on TopGit itself
847          $ tg help tg
848          # to get help on TopGit itself in a browser
849          $ tg help -w tg
851 tg status
852 ~~~~~~~~~
853         Our sophisticated status facility.  Similar to Git's status command
854         but shows any in-progress update that's awaiting a merge resolution
855         or any other on-going TopGit activity (such as a branch creation).
857         With a single ``--verbose`` (or ``-v``) option include a short status
858         display for any dirty (but not untracked) files.  This also causes all
859         non file status lines to be prefixed with "## ".
861         With two (or more) ``--verbose`` (or ``-v``) options, additionally
862         show full symbolic ref names and unabbreviated hash values.
864         With the ``--exit-code`` option the exit code will be non-zero if any
865         TopGit or Git operation is currently in progress or the working
866         tree is unclean.
868 tg create
869 ~~~~~~~~~
870         Create a new TopGit-controlled topic branch of the given name
871         (required argument) and switch to it.  If no dependencies are
872         specified (by extra arguments passed after the first one), the
873         current branch is assumed to be the only dependency.
875         By default ``tg create`` opens an editor on the new ``.topmsg`` file
876         and then commits the new ``.topmsg`` and ``.topdeps`` files
877         automatically with a suitable default commit message.
879         The commit message can be changed with the ``-m`` (or ``--message``) or
880         ``-F`` (or ``--file``) option.  The automatic commit can be suppressed
881         by using the ``--no-ccmmit`` (or ``-n``) option.  Running the editor on
882         the new ``.topmsg`` file can be suppressed by using ```--no-edit``
883         (which does *NOT* suppress the automatic commit unless ``--no-commit``
884         is also given) or by providing an explicit value for the new
885         ``.topmsg`` file using the ``--topmsg`` or ``--topmsg-file`` option.
886         In any case the ``.topmsg`` content will be automatically reformated to
887         have a ``Subject:`` header line if needed.
889         If the ``format.signoff`` config variable (see ``git help config``)
890         has been set to true then the ``Signed-off-by:`` header line added to
891         the end of the initial version of the ``.topmsg`` file will be
892         uncommented by default.  Otherwise it will still be there but will be
893         commented out and will be automatically stripped if no action is taken
894         to remove the comment character.
896         If more than one dependency is listed an automatic ``tg update`` runs
897         after the branch has been created to merge in the additional
898         dependencies and bring the branch up-to-date.  This can be suppressed
899         with the ``--no-commit`` option (which also suppresses the initial
900         commit) or the ``--no-update`` option (which allows the initial commit
901         while suppressing only the update operation portion).
903         Previous versions of TopGit behaved as though both the ``--no-edit``
904         and ``--no-commit`` options were always given on the command line.
906         The default behavior has been changed to promote a separation between
907         commits that modify ``.topmsg`` and/or ``.topdeps`` and commits that
908         modify other files.  This facilitates cleaner cherry picking and other
909         patch maintenance activities.
911         You should edit the patch description (contained in the ``.topmsg``
912         file) as appropriate.  It will already contain some prefilled bits.
913         You can set the ``topgit.to``, ``topgit.cc`` and ``topgit.bcc``
914         git configuration variables (see ``man git-config``) in order to
915         have ``tg create`` add these headers with the given default values
916         to ``.topmsg`` before invoking the editor.  If the configuration
917         variable ``topgit.subjectPrefix`` is set its value will be inserted
918         *between* the initial ``[`` and the word ``PATCH`` in the subject
919         line (with a space added before the word ``PATCH`` of course).
921         The main task of ``tg create`` is to set up the topic branch base
922         from the dependencies.  This may fail due to merge conflicts if more
923         than one dependency is given.   In that case, after you commit the
924         conflict resolution, you should call ``tg update --continue`` to
925         finish merging the dependencies into the new topic branch base.
927         With the ``--base`` (aka ``--no-deps``) option at most one dependency
928         may be listed which may be any valid committish (instead of just
929         refs/heads/...) and the newly created TopGit-controlled branch will
930         have an empty ``.topdeps`` file.  This may be desirable in order to
931         create a TopGit-controlled branch that has no changes of its own and
932         serves merely to mark the common dependency that all other
933         TopGit-controlled branches in some set of TopGit-controlled branches
934         depend on.  A plain, non-TopGit-controlled branch can be used for the
935         same purpose, but the advantage of a TopGit-controlled branch with no
936         dependencies is that it will be pushed with ``tg push``, it will show
937         up in the ``tg summary`` and ``tg info`` output with the subject from
938         its ``.topmsg`` file thereby documenting what it's for and finally it
939         can be set up with ``tg create -r`` and/or ``tg remote --populate`` to
940         facilitate sharing.
942         For example, ``tg create --base release v2.1`` will create a TopGit-
943         controlled ``release`` branch based off the ``v2.1`` tag that can then
944         be used as a base for creation of other TopGit-controlled branches.
945         Then when the time comes to move the base for an entire set of changes
946         up to ``v2.2`` the command ``tg update --base release v2.2`` can be
947         used followed by ``tg update --all``.
949         Using ``--base`` it's also possible to use ``tg create`` on an
950         unborn branch (omit the dependency name or specify ``HEAD``).  The
951         unborn branch itself can be made into the new TopGit branch (rather
952         than being born empty and then having the new TopGit branch based off
953         that) by specifying ``HEAD`` as the new branch's name (which is
954         probably what you normally want to do in this case anyway so you can
955         just run ``tg create --base HEAD`` to accomplish that).
957         In an alternative use case, if ``-r <branch>`` is given instead of a
958         dependency list, the topic branch is created based on the given
959         remote branch.  With just ``-r`` the remote branch name is assumed
960         to be the same as the local topic branch being created.  Since no
961         new commits are created in this mode (only two refs will be updated)
962         the editor will never be run for this use case.  Note that no other
963         options may be combined with ``-r``.
965         The ``--quiet`` (or ``-q``) option suppresses most informational
966         messages.
968 tg delete
969 ~~~~~~~~~
970         Remove a TopGit-controlled topic branch of the given name
971         (required argument). Normally, this command will remove only an
972         empty branch (base == head) without dependents; use ``-f`` to
973         remove a non-empty branch or a branch that is depended upon by
974         another branch.
976         The ``-f`` option is also useful to force removal of a branch's
977         base, if you used ``git branch -D B`` to remove branch B, and then
978         certain TopGit commands complain, because the base of branch B
979         is still there.
981         Normally ``tg delete`` will refuse to delete the current branch.
982         However, giving ``-f`` twice (or more) will force it to do so but it
983         will first detach your HEAD.
985         IMPORTANT: Currently, this command will *NOT* remove the branch
986         from the dependency list in other branches. You need to take
987         care of this *manually*.  This is even more complicated in
988         combination with ``-f`` -- in that case, you need to manually
989         unmerge the removed branch's changes from the branches depending
990         on it.
992         The same ``--stash`` and ``--no-stash`` options are accepted with
993         the same exact semantics as for `tg update`_.
995         See also ``tg annihilate``.
997         | TODO: ``-a`` to delete all empty branches, depfix, revert
999 tg annihilate
1000 ~~~~~~~~~~~~~
1001         Make a commit on the current or given TopGit-controlled topic
1002         branch that makes it equal to its base, including the presence or
1003         absence of .topmsg and .topdeps.  Annihilated branches are not
1004         displayed by ``tg summary``, so they effectively get out of your
1005         way.  However, the branch still exists, and ``tg push`` will
1006         push it (except if given the ``-a`` option).  This way, you can
1007         communicate that the branch is no longer wanted.
1009         When annihilating a branch that has dependents (i.e. branches
1010         that depend on it), those dependents have the dependencies of
1011         the branch being annihilated added to them if they do not already
1012         have them as dependencies.  Essentially the DAG is repaired to
1013         skip over the annihilated branch.
1015         Normally, this command will remove only an empty branch
1016         (base == head, except for changes to the .top* files); use
1017         ``-f`` to annihilate a non-empty branch.
1019         After completing the annihilation itself, normally ``tg update``
1020         is run on any modified dependents.  Use the ``--no-update`` option
1021         to suppress running ``tg update``.
1023         The same ``--stash`` and ``--no-stash`` options are accepted with
1024         the same exact semantics as for `tg update`_.
1026 tg depend
1027 ~~~~~~~~~
1028         Change the dependencies of a TopGit-controlled topic branch.
1029         This should have several subcommands, but only ``add`` is
1030         supported right now.
1032         The ``add`` subcommand takes an argument naming a topic branch to
1033         be added, adds it to ``.topdeps``, performs a commit and then
1034         updates your topic branch accordingly.  If you want to do other
1035         things related to the dependency addition, like adjusting
1036         ``.topmsg``, use the option ``--no-commit``.  Adding the
1037         ``--no-update`` (or ``--no-commit``) option will suppress the
1038         ``tg update`` normally performed after committing the change.
1040         It is safe to run ``tg depend add`` in a dirty worktree, but the
1041         normally performed ``tg update`` will be suppressed in that case
1042         (even if neither ``--no-update`` nor ``--no-commit`` is given).
1044         You have enabled ``git rerere`` haven't you?
1046         | TODO: Subcommand for removing dependencies, obviously
1048 tg files
1049 ~~~~~~~~
1050         List files changed by the current or specified topic branch.
1052         Options:
1053           -i            list files based on index instead of branch
1054           -w            list files based on working tree instead of branch
1056 tg info
1057 ~~~~~~~
1058         Show summary information about the current or specified topic
1059         branch.
1061         Numbers in parenthesis after a branch name such as "(11/3 commits)"
1062         indicate how many commits on the branch (11) and how many of those
1063         are non-merge commits (3).
1065         With ``--verbose`` (or ``-v``) include a list of dependents (i.e. other
1066         branches that depend on this one).  Another ``--verbose`` annotates
1067         them with "[needs merge]" if the current tip of branch for which info
1068         is being shown has not yet been merged into the base of the dependent.
1070         Alternatively, if ``--heads`` is used then which of the independent
1071         TopGit branch heads (as output by ``tg summary --topgit-heads``)
1072         logically contains the specified commit (which may be any committish --
1073         defaults to ``HEAD`` if not given).  Zero or more results will be
1074         output.  Note that "logically" means with regard to the TopGit
1075         dependency relationships as established by the ``.topdeps`` file(s).
1076         It's the answer that would be given when all the TopGit branches are
1077         up-to-date (even though they need not be to use this option) and the
1078         ``git branch --contains`` command is run and the output then filtered
1079         to only those branches that appear in ``tg summary --topgit-heads``.
1080         This computation may require several seconds on complex repositories.
1082         If ``--leaves`` is used then the unique list of leaves of the current
1083         or specified topic branch is shown as one fully-qualified ref per line.
1084         Duplicates are suppressed and a tag name will be used when appropriate.
1085         A "leaf" is any dependency that is either not a TopGit branch or is
1086         the base of a non-annihilated TopGit branch with no non-annihilated
1087         dependencies.
1089         The ``--deps`` option shows non-annihilated TopGit dependencies of the
1090         specified branch (default is ``HEAD``).  (It can also be spelled out
1091         as ``--dependencies`` for the pedantically inclined.)
1093         The ``--dependents`` option shows non-annihilated TopGit dependents
1094         (i.e. branches that depend on the specified branch).  The default
1095         branch to operate on is again ``HEAD``.
1097         A linearized patch series can only be automatically created for a
1098         TopGit topic branch (including its recursive dependencies) when exactly
1099         one line is output by ``tg info --leaves <topic-branch>``.
1101         With ``--series`` the list of TopGit branches in the order they would
1102         be linearized into a patch series is shown along with the description
1103         of each branch.  If branch name passed to ``tg info`` is not the last
1104         branch in the series a marker column will be provided to quickly
1105         locate it in the list.  This same option can be used with `tg checkout`_.
1107         Some patches shown in the list may not actually end up introducing any
1108         changes if exported and be therefore end up being omitted.  The ``0``
1109         indicator in ``tg summary`` output can help to identify some of these.
1111         The patches shown in the series in the order they are shown form the
1112         basis for the ``tg next`` and ``tg prev`` operations with the first
1113         patch shown being considered the first and so on up to the last.
1115 tg patch
1116 ~~~~~~~~
1117         Generate a patch from the current or specified topic branch.
1118         This means that the diff between the topic branch base and head
1119         (latest commit) is shown, appended to the description found in
1120         the ``.topmsg`` file.
1122         The patch is simply dumped to stdout.  In the future, ``tg patch``
1123         will be able to automatically send the patches by mail or save
1124         them to files. (TODO)
1126         Options:
1127           -i            base patch generation on index instead of branch
1128           -w            base patch generation on working tree instead of branch
1129           --binary      pass --binary to ``git diff-tree`` to enable generation
1130                         of binary patches
1131           --quiet       be quiet (aka ``-q``) about missing and unfixed From:
1132           --from        make sure patch has a From: line, if not add one
1133           --from=<a>    <a> or Signed-off-by value or ident value; ``git am``
1134                         really gets unhappy with patches missing From: lines;
1135                         will NOT replace an existing non-empty From: header
1136           --no-from     leave all From: lines alone, missing or not (default)
1137           --diff-opt    options after the branch name (and an optional ``--``)
1138                         are passed directly to ``git diff-tree``
1140         In order to pass a sole explicit ``-w`` through to ``git diff-tree`` it
1141         must be separated from the ``tg`` options by an explicit ``--``.
1142         Or it can be spelled as ``--ignore-all-space`` to distinguuish it from
1143         ``tg``'s ``-w`` option.
1145         If the config variable ``topgit.from`` is set to a boolean it can be
1146         used to enable or disable the ``--from`` option by default.  If it's
1147         set to the special value ``quiet`` the ``--quiet`` option is enabled
1148         and From: lines are left alone by default.  Any other non-empty value
1149         is taken as a default ``--from=<value>`` option.  The ``--no-from``
1150         option will temporarily disable use of the config value.
1152         If additional non-``tg`` options are passed through to
1153         ``git diff-tree`` (other than ``--binary`` which is fully supported)
1154         the resulting ``tg patch`` output may not be appliable.
1156 tg mail
1157 ~~~~~~~
1158         Send a patch from the current or specified topic branch as
1159         email(s).
1161         Takes the patch given on the command line and emails it out.
1162         Destination addresses such as To, Cc and Bcc are taken from the
1163         patch header.
1165         Since it actually boils down to ``git send-email``, please refer
1166         to the documentation for that for details on how to setup email
1167         for git.  You can pass arbitrary options to this command through
1168         the ``-s`` parameter, but you must double-quote everything.  The
1169         ``-r`` parameter with a msgid can be used to generate in-reply-to
1170         and reference headers to an earlier mail.
1172         WARNING: be careful when using this command.  It easily sends
1173         out several mails.  You might want to run::
1175                 git config sendemail.confirm always
1177         to let ``git send-email`` ask for confirmation before sending any
1178         mail.
1180         Options:
1181           -i            base patch generation on index instead of branch
1182           -w            base patch generation on working tree instead of branch
1184         | TODO: ``tg mail patchfile`` to mail an already exported patch
1185         | TODO: mailing patch series
1186         | TODO: specifying additional options and addresses on command line
1188 tg remote
1189 ~~~~~~~~~
1190         Register the given remote as TopGit-controlled. This will create
1191         the namespace for the remote branch bases and teach ``git fetch``
1192         to operate on them. However, from TopGit 0.8 onwards you need to
1193         use ``tg push``, or ``git push --mirror``, for pushing
1194         TopGit-controlled branches.
1196         ``tg remote`` takes an optional remote name argument, and an
1197         optional ``--populate`` switch.  Use ``--populate`` for your
1198         origin-style remotes: it will seed the local topic branch system
1199         based on the remote topic branches.  ``--populate`` will also make
1200         ``tg remote`` automatically fetch the remote, and ``tg update`` look
1201         at branches of this remote for updates by default.
1203         Using ``--populate`` with a remote name causes the ``topgit.remote``
1204         git configuration variable to be set to the given remote name.
1206 tg summary
1207 ~~~~~~~~~~
1208         Show overview of all TopGit-tracked topic branches and their
1209         up-to-date status.  With a branch name limit output to that branch.
1210         Using ``--deps-only`` or ``--rdeps`` changes the default from all
1211         branches to just the current ``HEAD`` branch but using ``--all`` as
1212         the branch name will show results for all branches instead of ``HEAD``.
1214                 ``>``
1215                         marks the current topic branch
1217                 ``0``
1218                         indicates that it introduces no changes of its own
1220                 ``l``/``r``
1221                         indicates respectively whether it is local-only
1222                         or has a remote mate
1224                 ``L``/``R``
1225                         indicates respectively if it is ahead or out-of-date
1226                         with respect to its remote mate
1228                 ``D``
1229                         indicates that it is out-of-date with respect to its
1230                         dependencies
1232                 ``!``
1233                         indicates that it has missing dependencies [even if
1234                         they are recursive ones]
1236                 ``B``
1237                         indicates that it is out-of-date with respect to
1238                         its base
1240                 ``*``
1241                         indicates it is ahead of (and needs to be merged into)
1242                         at least one of its dependents -- only computed when
1243                         showing all branches or using the (possibly implied)
1244                         ``--with-deps`` option.
1246         This can take a longish time to accurately determine all the
1247         relevant information about each branch; you can pass ``-t`` (or ``-l``
1248         or ``--list``) to get just a terse list of topic branch names quickly.
1249         Also adding ``--verbose`` (or ``-v``) includes the subjects too.
1250         Adding a second ``--verbose`` includes annihilated branches as well.
1252         Passing ``--heads`` shows independent topic branch names and when
1253         combined with ``--rdeps`` behaves as though ``--rdeps`` were run with
1254         the output of ``--heads``.
1256         The ``--heads-independent`` option works just like ``--heads`` except
1257         that it computes the heads using ``git merge-base --independent``
1258         rather than examining the TopGit ``.topdeps`` relationships.  If the
1259         TopGit branches are all up-to-date (as shown in ``tg summary``) then
1260         both ``--heads`` and ``--heads-independent`` should compute the same
1261         list of heads (unless some overlapping TopGit branches have been
1262         manually created).  If not all the TopGit branches are up-to-date then
1263         the ``--heads-independent`` results may have extra items in it, but
1264         occasionally that's what's needed; usually it's the wrong answer.
1265         (Note that ``--topgit-heads`` is accepted as an alias for ``--heads``
1266         as well.)
1268         Using ``--heads-only`` behaves as though the output of ``--heads`` was
1269         passed as the list of branches along with ``--without-deps``.
1271         Alternatively, you can pass ``--graphviz`` to get a dot-suitable output
1272         for drawing a dependency graph between the topic branches.
1274         You can also use the ``--sort`` option to sort the branches using
1275         a topological sort.  This is especially useful if each
1276         TopGit-tracked topic branch depends on a single parent branch,
1277         since it will then print the branches in the dependency order.
1278         In more complex scenarios, a text graph view would be much more
1279         useful, but that has not yet been implemented.
1281         The ``--deps`` option outputs dependency information between
1282         branches in a machine-readable format.  Feed this to ``tsort`` to
1283         get the output from --sort.
1285         The ``--deps-only`` option outputs a sorted list of the unique branch
1286         names given on the command line plus all of their recursive
1287         dependencies (subject to ``--exclude`` of course).  When
1288         ``--deps-only`` is given the default is to just display information for
1289         ``HEAD``, but that can be changed by using ``--all`` as the branch
1290         name.  Each branch name will appear only once in the output no matter
1291         how many times it's visited while tracing the dependency graph or how
1292         many branch names are given on the command line to process.
1294         The ``--rdeps`` option outputs dependency information in an indented
1295         text format that clearly shows all the dependencies and their
1296         relationships to one another.  When ``--rdeps`` is given the default is
1297         to just display information for ``HEAD``, but that can be changed by
1298         using ``--all`` as the branch name or by adding the ``--heads`` option.
1299         Note that ``tg summary --rdeps --heads`` can be particularly helpful in
1300         seeing all the TopGit-controlled branches in the repository and their
1301         relationships to one another.
1303         Note that ``--rdeps`` has two flavors.  The first (and default) is
1304         ``--rdeps-once`` which only shows the dependencies of a branch when
1305         it's first visited.  For example, if D depends on several other
1306         branches perhaps recursively and both branch A and B depend on D, then
1307         whichever of A or B is shown first will show the entire dependency
1308         chain for D underneath it and the other one will just show a line for
1309         D itself with a "^" appended to indicate that the rest of the deps for
1310         D can be found above.  This can make the output a bit more compact
1311         without actually losing any information which is why it's the default.
1312         However, using the ``--rdeps-full`` variant will repeat the full
1313         dependency chain every time it's encountered.
1315         Adding ``--with-deps`` replaces the given list of branches (which will
1316         default to ``HEAD`` if none are given) with the result of running
1317         ``tg summary --deps-only --tgish`` on the list of branches.  This can
1318         be helpful in limiting ``tg summary`` output to only the list of given
1319         branches and their dependencies when many TopGit-controlled branches
1320         are present in the repository.  Use ``--without-deps`` to switch back
1321         to the old behavior.
1323         The ``--with-related`` option extends (and therefore implies)
1324         ``--with-deps``.  First the list of branches (which will default to
1325         ``HEAD`` if none are given) is replaced with the result of running
1326         ``tg summary --heads`` (aka ``--topgit-heads``) and the result is then
1327         processed as though it had been specified using ``--with-deps``.
1329         When it would be allowed, ``--with-deps`` is now the default.  But,
1330         if in addition, exactly one branch is specified (either explicitly
1331         or implicitly) and it's spelled *exactly* as ``HEAD`` or ``@`` then
1332         the default ``--with-deps`` will be promoted to a default
1333         ``--with-related`` instead.  Since duplicate branches are removed
1334         before processing, explicitly listing ``@`` twice provides an easy way
1335         to defeat this automatic promotion and ask for ``--with-deps`` on the
1336         ``HEAD`` symbolic ref with minimal typing when ``--with-related`` isn't
1337         really wanted and typing the full ``--with-deps`` option is too hard.
1339         With ``--exclude branch``, branch can be excluded from the output
1340         meaning it will be skipped and its name will be omitted from any
1341         dependency output.  The ``--exclude`` option may be repeated to omit
1342         more than one branch from the output.  Limiting the output to a single
1343         branch that has been excluded will result in no output at all.
1345         The ``--tgish-only`` option behaves as though any non-TopGit-controlled
1346         dependencies encountered during processing had been listed after an
1347         ``--exclude`` option.
1349         Note that the branch name can be specified as ``HEAD`` or ``@`` as a
1350         shortcut for the TopGit-controlled branch that ``HEAD`` is a
1351         symbolic ref to.  The ``tg summary @`` and ``tg summary @ @`` commands
1352         can be quite useful.
1354         Options:
1355           -i            Use TopGit metadata from the index instead of the branch
1356           -w            Use TopGit metadata from the working tree instead of the branch
1358 tg contains
1359 ~~~~~~~~~~~
1360         Search all TopGit-controlled branches (and optionally their remotes)
1361         to find which TopGit-controlled branch contains the specified commit.
1363         This is more than just basic branch containment as provided for by the
1364         ``git branch --contains`` command.  While the shown branch name(s)
1365         will, indeed, be one (or more) of those output by the
1366         ``git branch --contains`` command, the result(s) will exclude any
1367         TopGit-controlled branches from the result(s) that have one (or more)
1368         of their TopGit dependencies (either direct or indirect) appearing in
1369         the ``git branch --contains`` output.
1371         Normally the result will be only the one, single TopGit-controlled
1372         branch for which the specified committish appears in the ``tg log``
1373         output for that branch (unless the committish lies outside the
1374         TopGit-controlled portion of the DAG and ``--no-strict`` was used).
1376         Unless ``--annihilated-okay`` (or ``--ann`` or ``--annihilated``) is
1377         used then annihilated branches will be immediately removed from the
1378         ``git branch --contains`` output before doing anything else.  This
1379         means a committish that was originally located in a now-annihilated
1380         branch will show up in whatever branch picked up the annihilated
1381         branch's changes (if there is one).  This is usually the correct
1382         answer, but occasionally it's not; hence this option.  If this option
1383         is used together with ``--verbose`` then annihilated branches will
1384         be shown as "[:annihilated:]".
1386         In other words, if a ``tg patch`` is generated for the found branch
1387         (assuming one was found and a subsequent commit in the same branch
1388         didn't then revert or otherwise back out the change), then that patch
1389         will include the changes introduced by the specified committish
1390         (unless, of course, that committish is outside the TopGit-controlled
1391         portion of the DAG and ``--no-strict`` was given).
1393         This can be very helpful when, for example, a bug is discovered and
1394         then after using ``git bisect`` (or some other tool) to find the
1395         offending commit it's time to commit the fix.  But because the
1396         TopGit merging history can be quite complicated and maybe the one
1397         doing the fix wasn't the bug's author (or the author's memory is just
1398         going), it can sometimes be rather tedious to figure out which
1399         TopGit branch the fix belongs in.  The ``tg contains`` command can
1400         quickly tell you the answer to that question.
1402         With the ``--remotes`` (or ``-r``) option a TopGit-controlled remote
1403         branch name may be reported as the result but only if there is no
1404         non-remote branch containing the committish (this can only happen
1405         if at least one of the TopGit-controlled local branches are not yet
1406         up-to-date with their remotes).
1408         With the ``--verbose`` option show which TopGit DAG head(s) (one or
1409         more of the TopGit-controlled branch names output by
1410         ``tg summary --heads``) have the result as a dependency (either direct
1411         or indirect).  Using this option will noticeably increase running time.
1413         With the default ``--strict`` option, results for which the base of the
1414         TopGit-controlled branch contains the committish will be suppressed.
1415         For example, if the committish was deep-down in the master branch
1416         history somewhere far outside of the TopGit-controlled portion of
1417         the DAG, with ``--no-strict``, whatever TopGit-controlled branch(es)
1418         first picked up history containing that committish will be shown.
1419         While this is a useful result it's usually not the desired result
1420         which is why it's not the default.
1422         To summarize, even with ``--remotes``, remote results are only shown
1423         if there are no non-remote results.  Without ``--no-strict`` (because
1424         ``--strict`` is the default) results outside the TopGit-controlled
1425         portion of the DAG are never shown and even with ``--no-strict`` they
1426         will only be shown if there are no ``--strict`` results.  Finally,
1427         the TopGit head info shown with ``--verbose`` only ever appears for
1428         local (i.e. not a remote branch) results.  Annihilated branches are
1429         never considered possible matches without ``--annihilated-okay``.
1431 tg checkout
1432 ~~~~~~~~~~~
1433         Switch to a topic branch.  You can use ``git checkout <branch>``
1434         to get the same effect, but this command helps you navigate
1435         the dependency graph, or allows you to match the topic branch
1436         name using a regular expression, so it can be more convenient.
1438         The ``--branch`` (or ``-b`` or ``--branch=<name>``) option changes
1439         the default starting point from ``HEAD`` to the specified branch.
1441         For the "next" and "previous" commands, the ``<steps>`` value may
1442         be ``--all`` (or ``-a``) to take "As many steps As possible" or
1443         "step ALL the way" or "ALL steps at once" (or make something better
1444         up yourself).
1446         The following subcommands are available:
1448             ``tg checkout next [<steps>]``
1449                                 Check out a branch that directly
1450                                 depends on your current branch.
1451                                 Move ``<steps>`` (default 1) step(s) in
1452                                 the "next" direction (AKA ``n``).
1454             ``tg checkout prev [<steps>]``
1455                                 Check out a branch that this branch
1456                                 directly depends on.  Move ``<steps>``
1457                                 (default 1) step(s) in the "previous"
1458                                 direction (AKA ``p`` or ``previous``).
1460             ``tg checkout [goto] [--] <pattern>``
1461                                 Check out a topic branch that
1462                                 matches ``<pattern>``.  ``<pattern>``
1463                                 is used as a grep ERE pattern to filter
1464                                 all the topic branches.  Both ``goto`` and
1465                                 ``--`` may be omitted provided ``<pattern>``
1466                                 is not ``-a``, ``--all``, ``-h``, ``--help``,
1467                                 ``goto``, ``--``, ``n``, ``next``, ``push``,
1468                                 ``child``, ``p``, ``prev``, ``previous``,
1469                                 ``pop``, ``parent`` or ``..``.
1471             ``tg checkout [goto] [--] --series[=<head>]``
1472                                 Check out a topic branch that belongs to
1473                                 the current (or ``<head>``) patch series.
1474                                 A list with descriptions (``tg info --series``)
1475                                 will be shown to choose from if more than one.
1477             ``tg checkout push [<steps>]``
1478                                 An alias for ``next``.
1480             ``tg checkout child [<steps>]``
1481                                 Deprecated alias for ``next``.
1483             ``tg checkout``
1484                                 Semi-deprecated alias for ``next``.
1486             ``tg checkout pop [<steps>]``
1487                                 An alias for ``prev``.
1489             ``tg checkout parent [<steps>]``
1490                                 Deprecated alias for ``prev``.
1492             ``tg checkout .. [<steps>]``
1493                                 Semi-deprecated alias for ``prev``.
1495         If any of the above commands can find more than one possible
1496         branch to switch to, you will be presented with the matches
1497         and asked to select one of them.
1499         If the ``--ignore-other-worktrees`` (or ``--iow``) option is given and
1500         the current Git version is at least 2.5.0 then the full
1501         ``--ignore-other-worktrees`` option will be passed along to the
1502         ``git checkout`` command when it's run (otherwise the option will be
1503         silently ignored and not passed to Git as it would cause an error).
1505         The ``--force`` (or ``-f``) option, when given, gets passed through to
1506         the ``git checkout`` command.
1508         The ``--merge`` (or ``-m``) option, when given, gets passed through to
1509         the ``git checkout`` command.
1511         The ``--quiet`` (or ``-q``) option, when given, gets passed through to
1512         the ``git checkout`` command.
1514         The ``<pattern>`` of ``tg checkout goto`` is optional.  If you don't
1515         supply it, all the available topic branches are listed and you
1516         can select one of them.
1518         Normally, the ``next`` and ``prev`` commands moves one step in
1519         the dependency graph of the topic branches.  The ``-a`` option
1520         causes them (and their aliases) to move as far as possible.
1521         That is, ``tg checkout next -a`` moves to a topic branch that
1522         depends (directly or indirectly) on the current branch and
1523         that no other branch depends on.  ``tg checkout prev -a``
1524         moves to a topic branch that the current topic branch
1525         depends on (directly or indirectly).  If there is more than
1526         one possibility, you will be prompted for your selection.
1528         See also NAVIGATION_.
1530 tg export
1531 ~~~~~~~~~
1532         Export a tidied-up history of the current topic branch and its
1533         dependencies, suitable for feeding upstream.  Each topic branch
1534         corresponds to a single commit or patch in the cleaned up
1535         history (corresponding basically exactly to ``tg patch`` output
1536         for the topic branch).
1538         The command has three possible outputs now -- either a Git branch
1539         with the collapsed history, a Git branch with a linearized
1540         history, or a quilt series in new directory.
1542         In the case where you are producing collapsed history in a new
1543         branch, you can use this collapsed structure either for
1544         providing a pull source for upstream, or for further
1545         linearization e.g. for creation of a quilt series using git log::
1547                 git log --pretty=email -p --topo-order origin..exported
1549         To better understand the function of ``tg export``, consider this
1550         dependency structure::
1552          origin/master - t/foo/blue - t/foo/red - master
1553                       `- t/bar/good <,----------'
1554                       `- t/baz      ------------'
1556         (where each of the branches may have a hefty history). Then::
1558          master$ tg export for-linus
1560         will create this commit structure on the branch ``for-linus``::
1562          origin/master - t/foo/blue -. merge - t/foo/red -.. merge - master
1563                       `- t/bar/good <,-------------------'/
1564                       `- t/baz      ---------------------'
1566         In this mode, ``tg export`` works on the current topic branch, and
1567         can be called either without an option (in that case,
1568         ``--collapse`` is assumed), or with the ``--collapse`` option, and
1569         with one mandatory argument: the name of the branch where the
1570         exported result will be stored.
1572         Both the ``--collapse`` and ``--linearize`` modes also accept a
1573         ``-s <mode>`` option to specify subject handling behavior for the
1574         freshly created commits.  There are five possible modes:
1576                 :keep:          Like ``git mailinfo -k``
1577                 :mailinfo:      Like ``git mailinfo``
1578                 :patch:         Remove first ``[PATCH*]`` if any
1579                 :topgit:        Remove first [PATCH*], [BASE], [ROOT] or [STAGE]
1580                 :trim:          Trim runs of spaces/tabs to a single space
1582         The ``topgit`` (aka ``tg``) mode is the default (quelle surprise) and
1583         like the ``patch`` mode will only strip the first square brackets tag
1584         (if there is one) provided it's a TopGit-known tag (the ``patch``
1585         variation will only strip a PATCH tag but still just the first one).
1586         With ``trim`` (aka ``ws``) internal runs of spaces/tabs are converted
1587         to a single space, but no square brackets tags are removed.  The ``ws``
1588         mode should generally be preferred instead of using ``keep`` mode.
1589         All modes always remove leading/trailing spaces and tabs and if the
1590         ``topgit.subjectPrefix`` value (see `tg create`_) has been set both the
1591         ``topgit`` and ``patch`` modes will match tags with that prefix too.
1593         Setting the config variable ``topgit.subjectMode`` to one of the mode
1594         values shown above will change the default to that mode.
1596         When using the linearize mode::
1598          master$ tg export --linearize for-linus
1600         you get a linear history respecting the dependencies of your
1601         patches in a new branch ``for-linus``.  The result should be more
1602         or less the same as using quilt mode and then reimporting it
1603         into a Git branch.  (More or less because the topological order
1604         can usually be extended in more than one way into a total order,
1605         and the two methods may choose different ones.)  The result
1606         might be more appropriate for merging upstream, as it contains
1607         fewer merges.
1609         Note that you might get conflicts during linearization because
1610         the patches are reordered to get a linear history.  If linearization
1611         would produce conflicts then using ``--quilt`` will also likely result
1612         in conflicts when the exported quilt series is applied.  Since the
1613         ``--quilt`` mode simply runs a series of ``tg patch`` commands to
1614         generate the patches in the exported quilt series and those patches
1615         will end up being applied linearly, the same conflicts that would be
1616         produced by the ``--linearize`` option will then occur at that time.
1618         To avoid conflicts produced by ``--linearize`` (or by applying the
1619         ``--quilt`` output), use the default ``--collapse`` mode and then use
1620         ``tg rebase`` (or ``git rebase -m`` directly) on the collapsed branch
1621         (with a suitable <upstream>) followed by ``git format-patch`` on the
1622         rebased result to produce a conflict-free patch set.  A suitable
1623         upstream may be determined with the ``tg info --leaves`` command (if
1624         it outputs more than one line, linearization will be problematic).
1626         You have enabled ``git rerere`` haven't you?
1628         When using the quilt mode::
1630          master$ tg export --quilt for-linus
1632         would create the following directory ``for-linus``::
1634          for-linus/t/foo/blue.diff
1635          for-linus/t/foo/red.diff
1636          for-linus/t/bar/good.diff
1637          for-linus/t/baz.diff
1638          for-linus/series:
1639                 t/foo/blue.diff -p1
1640                 t/bar/good.diff -p1
1641                 t/foo/red.diff -p1
1642                 t/baz.diff -p1
1644         With ``--quilt``, you can also pass the ``-b`` parameter followed
1645         by a comma-separated explicit list of branches to export, or
1646         the ``--all`` parameter (which can be shortened to ``-a``) to
1647         export them all.  The ``--binary`` option enables producing Git
1648         binary patches.  These options are currently only supported
1649         with ``--quilt``.
1651         In ``--quilt`` mode the patches are named like the originating
1652         topgit branch.  So usually they end up in subdirectories of the
1653         output directory.  With the ``--flatten`` option the names are
1654         mangled so that they end up directly in the output dir (slashes
1655         are replaced with underscores).  With the ``--strip[=N]`` option
1656         the first ``N`` subdirectories (all if no ``N`` is given) get
1657         stripped off.  Names are always ``--strip``'d before being
1658         ``--flatten``'d.  With the option ``--numbered`` (which implies
1659         ``--flatten``) the patch names get a number as prefix to allow
1660         getting the order without consulting the series file, which
1661         eases sending out the patches.
1663         | TODO: Make stripping of non-essential headers configurable
1664         | TODO: ``--mbox`` option to export instead as an mbox file
1665         | TODO: support ``--all`` option in other modes of operation
1666         | TODO: For quilt exporting, export the linearized history created in
1667                 a temporary branch--this would allow producing conflict-less
1668                 series
1670 tg import
1671 ~~~~~~~~~
1672         Import commits within the given revision range(s) into TopGit,
1673         creating one topic branch per commit. The dependencies are set
1674         up to form a linear sequence starting on your current branch --
1675         or a branch specified by the ``-d`` parameter, if present.
1677         The branch names are auto-guessed from the commit messages and
1678         prefixed by ``t/`` by default; use ``-p <prefix>`` to specify an
1679         alternative prefix (even an empty one).
1681         Each "<range>" must be of the form <rev1>..<rev2> where either
1682         <rev1> or <rev2> can be omitted to mean HEAD.  Additionally the
1683         shortcut <rev>^! (see ``git help revisions``) is permitted as a
1684         "<range>" to select the single commit <rev> but only if the
1685         commit <rev> has *exactly* one parent.  This is really just a
1686         shortcut for <rev>^..<rev> but somewhat safer since it will fail
1687         if <rev> has other than one parent.
1689         Alternatively, you can use the ``-s NAME`` parameter to specify
1690         the name of the target branch; the command will then take one
1691         more argument describing a *single* commit to import (which may
1692         have any number of parents).
1694 tg update
1695 ~~~~~~~~~
1696         Update the current, specified or all topic branches with respect
1697         to changes in the branches they depend on and remote branches.
1698         This is performed in two phases -- first, changes within the
1699         dependencies are merged to the base, then the base is merged
1700         into the topic branch.  The output will guide you on what to do
1701         next in case of conflicts.
1703         You have enabled ``git rerere`` haven't you?
1705         The ``--[no-]auto[-update]`` options together with the
1706         ``topgit.setAutoUpdate`` config item control whether or not TopGit
1707         will automatically temporarily set ``rerere.autoUpdate`` to true while
1708         running ``tg update``.  The default is true.  Note that this does not
1709         enable Git's ``rerere`` feature, it merely makes it automatically stage
1710         any previously resolved conflicts.  The ``rerere.enabled`` setting must
1711         still be separately enabled (i.e. set to ``true``) for the ``rerere``
1712         feature to do anything at all.
1714         Using ``--auto[-update]`` makes ``tg update`` always temporarily set
1715         ``rerere.autoUpdate`` to ``true`` while running ``tg update``.  The
1716         ``--no-auto[-update]`` option prevents ``tg update`` from changing the
1717         ``rerere.autoUpdate`` setting, but if ``rerere.autoUpdate`` has already
1718         been enabled in a config file, ``tg update`` never disables it even
1719         with ``--no-auto``.  If ``topgit.setAutoUpdate`` is unset or set to
1720         ``true`` then ``tg update`` implicitly does ``--auto``, otherwise it
1721         does ``--no-auto``.  An explicit command line ``--[no-]auto[-update]``
1722         option causes the ``topgit.setAutoUpdate`` setting to be ignored.
1724         When both ``rerere.enabled`` and ``rerere.autoUpdate`` are set to true
1725         then ``tg update`` will be able to automatically continue an update
1726         whenever ``git rerere`` resolves all the conflicts during a merge.
1727         This can be such a huge time saver.  That's why the default is to have
1728         TopGit automatically set ``rerere.autoUpdate`` to true while
1729         ``tg update`` is running (but remember, unless ``rerere.enabled`` has
1730         been set to ``true`` it won't make any difference).
1732         When ``-a`` (or ``--all``) is specified, updates all topic branches
1733         matched by ``<pattern>``'s (see ``git-for-each-ref(1)`` for details),
1734         or all if no ``<pattern>`` is given.  Any topic branches with missing
1735         dependencies will be skipped entirely unless ``--skip-missing`` is
1736         specified.
1738         When ``--skip-missing`` is specified, an attempt is made to update topic
1739         branches with missing dependencies by skipping only the dependencies
1740         that are missing.  Caveat utilitor.
1742         When ``--stash`` is specified (or the ``topgit.autostash`` config
1743         value is set to ``true``), a ref stash will be automatically created
1744         just before beginning updates if any are needed.  The ``--no-stash``
1745         option may be used to disable a ``topgit.autostash=true`` setting.
1746         See the ``tg tag`` ``--stash`` option for details.
1748         After the update, if a single topic branch was specified, it is
1749         left as the current one; if ``-a`` was specified, it returns to
1750         the branch which was current at the beginning.
1752         If your dependencies are not up-to-date, ``tg update`` will first
1753         recurse into them and update them.
1755         If a remote branch update brings in dependencies on branches
1756         that are not yet instantiated locally, you can either bring in
1757         all the new branches from the remote using ``tg remote
1758         --populate``, or only pick out the missing ones using ``tg create
1759         -r`` (``tg summary`` will point out branches with incomplete
1760         dependencies by showing an ``!`` next to them).  TopGit will attempt to
1761         instantiate just the missing ones automatically for you, if possible,
1762         when ``tg update`` merges in the new dependencies from the remote.
1764         Using the alternative ``--base`` mode, ``tg update`` will update
1765         the base of a specified ``[BASE]`` branch (which is a branch created
1766         by ``tg create`` using the ``--base`` option) to the specified
1767         committish (the second argument) and then immediately merge that into
1768         the branch itself using the specified message for the merge commit.
1769         If no message is specified on the command line, an editor will open.
1770         Unless ``--force`` is used the new value for the base must contain
1771         the old value (i.e. be a fast-forward update).  This is for safety.
1773         This mode makes updates to ``[BASE]`` branches quick and easy.
1775         | TODO: ``tg update -a -c`` to autoremove (clean) up-to-date branches
1777 tg push
1778 ~~~~~~~
1779         If ``-a`` or ``--all`` was specified, pushes all non-annihilated
1780         TopGit-controlled topic branches, to a remote repository.
1781         Otherwise, pushes the specified topic branches -- or the
1782         current branch, if you don't specify which.  By default, the
1783         remote gets all the dependencies (both TopGit-controlled and
1784         non-TopGit-controlled) and bases pushed to it too.  If
1785         ``--tgish-only`` was specified, only TopGit-controlled
1786         dependencies will be pushed, and if ``--no-deps`` was specified,
1787         no dependencies at all will be pushed.
1789         The ``--dry-run`` and ``--force`` options are passed directly to
1790         ``git push`` if given.
1792         The remote may be specified with the ``-r`` option. If no remote
1793         was specified, the configured default TopGit remote will be
1794         used.
1796 tg base
1797 ~~~~~~~
1798         Prints the base commit of each of the named topic branches, or
1799         the current branch if no branches are named.  Prints an error
1800         message and exits with exit code 1 if the named branch is not
1801         a TopGit branch.
1803 tg log
1804 ~~~~~~
1805         Prints the git log of the named topgit branch -- or the current
1806         branch, if you don't specify a name.
1808         This is really just a convenient shortcut for:
1810             ``git log --first-parent --no-merges $(tg base <name>)..<name>``
1812         where ``<name>`` is the name of the TopGit topic branch (or omitted
1813         for the current branch).
1815         However, if ``<name>`` is a ``[BASE]`` branch the ``--no-merges``
1816         option is omitted.
1818         If ``--compact`` is used then ``git log-compact`` will be used instead
1819         of ``git log``.  The ``--command=<git-alias>`` option can be used to
1820         replace "log" with any non-whitespace-containing command alias name,
1821         ``--compact`` is just a shortcut for ``--command=log-compact``.  The
1822         ``git-log-compact`` tool may be found on its project page located at:
1824             https://mackyle.github.io/git-log-compact
1826         Note that the ``--compact`` or ``--command=`` option must be used
1827         before any ``--`` or ``git log`` options to be recognized.
1829         NOTE: if you have merged changes from a different repository, this
1830         command might not list all interesting commits.
1832 tg tag
1833 ~~~~~~
1834         Creates a TopGit annotated/signed tag or lists the reflog of one.
1836         A TopGit annotated tag records the current state of one or more TopGit
1837         branches and their dependencies and may be used to revert to the tagged
1838         state at any point in the future.
1840         When reflogs are enabled (the default in a non-bare repository) and
1841         combined with the ``--force`` option a single tag name may be used as a
1842         sort of TopGit branch state stash.  The special branch name ``--all``
1843         may be used to tag the state of all current TopGit branches to
1844         facilitate this function and has the side-effect of suppressing the
1845         out-of-date check allowing out-of-date branches to be included.
1847         As a special feature, ``--stash`` may be used as the tag name in which
1848         case ``--all`` is implied if no branch name is listed (instead of the
1849         normal default of ``HEAD``), ``--force`` and ``--no-edit`` (use
1850         ``--edit`` to change that) are automatically activated and the tag will
1851         be saved to ``refs/tgstash`` instead of ``refs/tags/<tagname>``.
1852         The ``--stash`` tag name may also be used with the ``-g``/``--reflog``
1853         option.
1855         The mostly undocumented option ``--allow-outdated`` will bypass the
1856         out-of-date check and is implied when ``--stash`` or ``--all`` is used.
1858         A TopGit annotated/signed tag is simply a Git annotated/signed tag with
1859         a "TOPGIT REFS" section appended to the end of the tag message (and
1860         preceding the signature for signed tags).  PEM-style begin and end
1861         lines surround one line per ref where the format of each line is
1862         full-hash SP ref-name.  A line will be included for each branch given
1863         on the command line and each ref they depend on either directly or
1864         indirectly.
1866         If more than one TopGit branch is given on the command line, a new
1867         commit will be created that has an empty tree and all of the given
1868         TopGit branches as parents and that commit will be tagged.  If a single
1869         TopGit branch is given, then it will be tagged.  If the ``--tree``
1870         option is used then it will be used instead of an empty tree (a new
1871         commit will be created if necessary to guarantee the specified tree is
1872         what's in the commit the newly created tag refers to).  The argument to
1873         the ``--tree`` option may be any valid treeish.
1875         If exactly one of the branches to be tagged is prefixed with a tilde
1876         (``~``) it will be made the first parent of a consolidation commit if
1877         it is not already the sole commit needing to be tagged.  If ``--tree``
1878         is NOT used, its tree will also be used instead of the empty tree for
1879         any new consolidation commit if one is created.  Note that if
1880         ``--tree`` is given explicitly it's tree is always used but that does
1881         not in any way affect the choice of first parent.  Beware that the
1882         ``~`` may need to be quoted to prevent the shell from misinterpreting
1883         it into something else.
1885         All the options for creating a tag serve the same purpose as their Git
1886         equivalents except for two.  The ``--refs`` option suppresses tag
1887         creation entirely and emits the "TOPGIT REFS" section that would have
1888         been included with the tag.  If the ``--no-edit`` option is given and
1889         no message is supplied (via the ``-m`` or ``-F`` option) then the
1890         default message created by TopGit will be used without running the
1891         editor.
1893         With ``-g`` or ``--reflog`` show the reflog for a tag.  With the
1894         ``--reflog-message`` option the message from the reflog is shown.
1895         With the ``--commit-message`` option the first line of the tag's
1896         message (if the object is a tag) or the commit message (if the object
1897         is a commit) falling back to the reflog message for tree and blob
1898         objects is shown.  The default is ``--reflog-message`` unless the
1899         ``--stash`` (``refs/tgstash``) is being shown in which case the default
1900         is then ``--commit-message``.  Just add either option explicitly to
1901         override the default.
1903         When showing reflogs, non-tag entries are annotated with their type
1904         unless ``--no-type`` is given.
1906         TopGit tags are created with a reflog if core.logallrefupdates is
1907         enabled (the default for non-bare repositories).  Unfortunately Git
1908         is incapable of showing an annotated/signed tag's reflog
1909         (using git log -g) as it will first resolve the tag before checking to
1910         see if it has a reflog.  Git can, however, show reflogs for lightweight
1911         tags (using git log -g) just fine but that's not helpful here.  Use
1912         ``tg tag`` with the ``-g`` or ``--reflog`` option to see the reflog for
1913         an actual tag object.  This also works on non-TopGit annotated/signed
1914         tags as well provided they have a reflog.
1916         The number of entries shown may be limited with the ``-n`` option.  If
1917         the tagname is omitted then ``--stash`` is assumed.
1919         The ``--delete`` option is a convenience option that runs the
1920         ``git update-ref -d`` command on the specified tag removing it and its
1921         reflog (if it has one).
1923         The ``--clear`` option clears all but the most recent (the ``@{0}``)
1924         reflog entries from the reflog for the specified tag.  It's equivalent
1925         to dropping all the higher numbered reflog entries.
1927         The ``--drop`` option drops the specified reflog entry and requires the
1928         given tagname to have an ``@{n}`` suffix where ``n`` is the reflog
1929         entry number to be dropped.   This is really just a convenience option
1930         that runs the appropriate ``git reflog delete`` command.
1932         Note that when combined with ``tg revert``, a tag created by ``tg tag``
1933         can be used to transfer TopGit branches.  Simply create the tag, push
1934         it somewhere and then have the recipient run ``tg revert`` to recreate
1935         the TopGit branches.  This may be helpful in situations where it's not
1936         feasible to push all the refs corresponding to the TopGit-controlled
1937         branches and their top-bases.
1939 tg rebase
1940 ~~~~~~~~~
1941         Provides a ``git rebase`` rerere auto continue function.  It may be
1942         used as a drop-in replacement front-end for ``git rebase -m`` that
1943         automatically continues the rebase when ``git rerere`` information is
1944         sufficient to resolve all conflicts.
1946         You have enabled ``git rerere`` haven't you?
1948         If the ``-m`` or ``--merge`` option is not present then ``tg rebase``
1949         will complain and not do anything.
1951         When ``git rerere`` is enabled, previously resolved conflicts are
1952         remembered and can be automatically staged (see ``rerere.autoUpdate``).
1954         However, even with auto staging, ``git rebase`` still stops and
1955         requires an explicit ``git rebase --continue`` to keep going.
1957         In the case where ``git rebase -m`` is being used to flatten history
1958         (such as after a ``tg export --collapse`` prior to a
1959         ``git format-patch``), there's a good chance all conflicts have already
1960         been resolved during normal merge maintenance operations so there's no
1961         reason ``git rebase`` could not automatically continue, but there's no
1962         option to make it do so.
1964         The ``tg rebase`` command provides a ``git rebase --auto-continue``
1965         function.
1967         All the same rebase options can be used (they are simply passed through
1968         to Git unchanged).  However, the ``rerere.autoUpdate`` option is
1969         automatically temporarily enabled while running ``git rebase`` and
1970         should ``git rebase`` stop asking one to resolve and continue, but all
1971         conflicts have already been resolved and staged using rerere
1972         information, then ``git rebase --continue`` will be automatically run.
1974 tg revert
1975 ~~~~~~~~~
1976         Provides the ability to revert one or more TopGit branches and their
1977         dependencies to a previous state contained within a tag created using
1978         the ``tg tag`` command.  In addition to the actual revert mode
1979         operation a list mode operation is also provided to examine a tag's ref
1980         contents.
1982         The default mode (``-l`` or ``--list``) shows the state of one or more
1983         of the refs/branches stored in the tag data.  When no refs are given on
1984         the command line, all refs in the tag data are shown.  With the special
1985         ref name ``--heads`` then the indepedent heads contained in the tag
1986         data are shown.  The ``--deps`` option shows the specified refs and all
1987         of their dependencies in a single list with no duplicates.  The
1988         ``--rdeps`` option shows a display similar to ``tg summary --rdeps``
1989         for each ref or all TopGit heads if no ref is given on the command
1990         line.  The standard ``--no-short``, ``--short=n`` etc. options may be
1991         used to override the default ``--short`` output.  With ``--hash`` (or
1992         ``--hash-only``) show only the hash in ``--list`` mode in which case
1993         the default is ``--no-short``.   The ``--hash`` option can be used much
1994         like the ``git rev-parse --verify`` command to extract a specific hash
1995         value out of a TopGit tag.
1997         Note that unlike `tg summary`_, here ``--heads`` actually does mean the
1998         ``git merge-base --independent`` heads of the stored refs from the tag
1999         data.  To see only the independent TopGit topic branch heads stored in
2000         the tag data use the ``--topgit-heads`` option instead.  The default
2001         for the ``--rdeps`` option is ``--topgit-heads`` but ``--heads`` can
2002         be given explicitly to change that.  (Note that ``--heads-independent``
2003         is accepted as an alias for ``--heads`` as well.)
2005         The revert mode has three submodes, dry-run mode (``-n`` or
2006         ``--dry-run``), force mode (``-f`` or ``--force``) and interactive mode
2007         (``-i`` or ``--interactive``).  If ``--dry-run`` (or ``-n``) is given
2008         no ref updates will actually be performed but what would have been
2009         updated is shown instead.  If ``--interactive`` (or ``-i``) is given
2010         then the editor is invoked on an instruction sheet allowing manual
2011         selection of the refs to be updated before proceeding.  Since revert is
2012         potentially a destructive operation, at least one of the submodes must
2013         be specified explicitly.  If no refs are listed on the command line
2014         then all refs in the tag data are reverted.  Otherwise the listed refs
2015         and all of their dependencies (unless ``--no-deps`` is given) are
2016         reverted.  Unless ``--no-stash`` is given a new stash will be created
2017         using ``tg tag --stash`` (except, of course, in dry-run mode) just
2018         before actually performing the updates to facilitate recovery from
2019         accidents.
2021         Both modes accept fully-qualified (i.e. starts with ``refs/``) ref
2022         names as well as unqualified names (which will be assumed to be located
2023         under ``refs/heads/``).  In revert mode a tgish ref will always have
2024         both its ``refs/heads/`` and ``refs/top-bases/`` values included no
2025         matter how it's listed unless ``--no-deps`` is given and the ref is
2026         fully qualified (i.e. starts with ``refs/``) or one or the other of its
2027         values was removed from the instruction sheet in interactive mode.  In
2028         list mode a tgish ref will always have both its ``refs/heads/`` and
2029         ``refs/top-bases/`` values included only when using the ``--deps`` or
2030         ``--rdeps`` options.
2032         The ``--tgish-only`` option excludes non-tgish refs (i.e. refs that do
2033         not have a ``refs/heads/<name>``, ``refs/top-bases/<name>`` pair).
2035         The ``--exclude`` option (which can be repeated) excludes specific
2036         refs.  If the name given to ``--exclude`` is not fully-qualified (i.e.
2037         starts with ``refs/``) then it will exclude both members of a tgish ref
2038         pair.
2040         The ``--quiet`` (or ``-q``) option may be used in revert mode to
2041         suppress non-dry-run ref change status messages.
2043         The special tag name ``--stash`` (as well as with ``@{n}`` suffixes)
2044         can be used to refer to ``refs/tgstash``.
2046         The ``tg revert`` command supports tags of tags that contains TopGit
2047         refs.  So, for example, if you do this::
2049                 tg tag newtag --all
2050                 git tag -f -a -m "tag the tag" newtag newtag
2052         Then ``newtag`` will be a tag of a tag containing a ``TOPGIT REFS``
2053         section.  ``tg revert`` knows how to dereference the outermost
2054         tag to get to the next (and the next etc.) tag to find the
2055         ``TOPGIT REFS`` section so after the above sequence, the tag ``newtag``
2056         can still be used successfully with ``tg revert``.
2058         NOTE:  If HEAD points to a ref that is updated by a revert operation
2059         then NO WARNING whatsoever will be issued, but the index and working
2060         tree will always be left completely untouched (and the reflog for
2061         the pointed-to ref can always be used to find the previous value).
2063 tg prev
2064 ~~~~~~~
2065         Output the "previous" branch(es) in the patch series containing the
2066         current or named branch.  The "previous" branch(es) being one step
2067         away by default.
2069         Options:
2070           -i            show dependencies based on index instead of branch
2071           -w            show dependencies based on working tree instead of branch
2072           -n <steps>    take ``<steps>`` "previous" steps (default 1)
2073           --all         take as many "previous" steps as possible (aka ``-a``)
2074           --verbose     show containing series name(s) (aka ``-v``)
2076         The ``-n`` option may also be given as ``--count`` or ``--count=<n>``.
2078         To list all dependencies of a branch see the ``--deps`` option of
2079         the `tg info`_ command.
2081         See also NAVIGATION_ for full details on "previous" steps.
2083 tg next
2084 ~~~~~~~
2085         Output tne "next" branch(es) in the patch series containing the current
2086         or named branch.  The "next" branch(es) being one step away by default.
2088         Options:
2089           -i            show dependencies based on index instead of branch
2090           -w            show dependencies based on working tree instead of branch
2091           -n <steps>    take ``<steps>`` "next" steps (default 1)
2092           --all         take as many "next" steps as possible (aka ``-a``)
2093           --verbose     show containing series name(s) (aka ``-v``)
2095         The ``-n`` option may also be given as ``--count`` or ``--count=<n>``.
2097         To list all dependents of a branch see the ``--dependents`` option of
2098         the `tg info`_ command.
2100         See also NAVIGATION_ for full details on "next" steps.
2102 tg migrate-bases
2103 ~~~~~~~~~~~~~~~~
2104         Transition top-bases from old location to new location.
2106         Beginning with TopGit release 0.19.4, TopGit has the ability to store
2107         the top-bases refs in either the old ``ref/top-bases/...`` location or
2108         the new ``refs/heads/{top-bases}/...`` location.  Starting with TopGit
2109         release 0.20.0, the default is the new location.
2111         By storing the top-bases under heads, Git is less likely to complain
2112         when manipulating them, hosting providers are more likely to provide
2113         access to them and Git prevents them from pointing at anything other
2114         than a commit object.  All in all a win for everyone.
2116         TopGit attempts to automatically detect whether the new or old location
2117         is being used for the top-bases and just do the right thing.  However,
2118         by explicitly setting the config value ``topgit.top-bases`` to either
2119         ``refs`` for the old location or ``heads`` for the new location the
2120         auto-detection can be bypassed.  If no top-bases refs are present in
2121         the repository the default prior to TopGit release 0.20.0 is to use the
2122         old location but starting with TopGit release 0.20.0 the default is to
2123         use the new location.
2125         The ``tg migrate-bases`` command may be used to migrate top-bases refs
2126         from the old location to the new location (or, by using the
2127         undocumented ``--reverse`` option, vice versa).
2129         With few exceptions (``tg create -r`` and ``tg revert``), all top-bases
2130         refs (both local *and* remote refs) are expected to be stored in the
2131         same location (either new or old).  A repository's current location for
2132         storing top-bases refs may be shown with the ``tg --top-bases`` command.
2134 TODO: tg rename
2135 ~~~~~~~~~~~~~~~
2137 IMPLEMENTATION
2138 --------------
2140 TopGit stores all the topic branches in the regular ``refs/heads/``
2141 namespace (so we recommend distinguishing them with the ``t/`` prefix).
2142 Apart from that, TopGit also maintains a set of auxiliary refs in
2143 ``refs/top-*``.  Currently, only ``refs/top-bases/`` is used, containing the
2144 current *base* of the given topic branch -- this is basically a merge of
2145 all the branches the topic branch depends on; it is updated during ``tg
2146 update`` and then merged to the topic branch, and it is the base of a
2147 patch generated from the topic branch by ``tg patch``.
2149 All the metadata is tracked within the source tree and history of the
2150 topic branch itself, in ``.top*`` files; these files are kept isolated
2151 within the topic branches during TopGit-controlled merges and are of
2152 course omitted during ``tg patch``.  The state of these files in base
2153 commits is undefined; look at them only in the topic branches
2154 themselves.  Currently, two files are defined:
2156         ``.topmsg``:
2157             Contains the description of the topic branch in a
2158             mail-like format, plus the author information, whatever
2159             Cc headers you choose or the post-three-dashes message.
2160             When mailing out your patch, basically only a few extra
2161             mail headers are inserted and then the patch itself is
2162             appended.  Thus, as your patches evolve, you can record
2163             nuances like whether the particular patch should have
2164             To-list / Cc-maintainer or vice-versa and similar
2165             nuances, if your project is into that.  ``From`` is
2166             prefilled from your current ``GIT_AUTHOR_IDENT``; other
2167             headers can be prefilled from various optional
2168             ``topgit.*`` git config options.
2170         ``.topdeps``:
2171             Contains the one-per-line list of branches this branch
2172             depends on, pre-seeded by ``tg create``. A (continuously
2173             updated) merge of these branches will be the *base* of
2174             your topic branch.
2176 IMPORTANT: DO NOT EDIT ``.topdeps`` MANUALLY!!! If you do so, you need to
2177 know exactly what you are doing, since this file must stay in sync with
2178 the Git history information, otherwise very bad things will happen.
2180 TopGit also automagically installs a bunch of custom commit-related
2181 hooks that will verify whether you are committing the ``.top*`` files in a
2182 sane state. It will add the hooks to separate files within the ``hooks/``
2183 subdirectory, and merely insert calls to them to the appropriate hooks
2184 and make them executable (but will make sure the original hook's code is
2185 not called if the hook was not executable beforehand).
2187 Another automagically installed piece is a ``.git/info/attributes``
2188 specifier for an ``ours`` merge strategy for the files ``.topmsg`` and
2189 ``.topdeps``, and the (intuitive) ``ours`` merge strategy definition in
2190 ``.git/config``.
2193 REMOTE HANDLING
2194 ---------------
2196 There are two remaining issues with accessing topic branches in remote
2197 repositories:
2199         (i) Referring to remote topic branches from your local repository
2200         (ii) Developing some of the remote topic branches locally
2202 There are two somewhat contradictory design considerations here:
2204         (a) Hacking on multiple independent TopGit remotes in a single
2205             repository
2206         (b) Having a self-contained topic system in local refs space
2208 To us, (a) does not appear to be very convincing, while (b) is quite
2209 desirable for ``git-log topic`` etc. working, and increased conceptual
2210 simplicity.
2212 Thus, we choose to instantiate all the topic branches of given remote
2213 locally; this is performed by ``tg remote --populate``. ``tg update``
2214 will also check if a branch can be updated from its corresponding remote
2215 branch.  The logic needs to be somewhat involved if we are to "do the
2216 right thing".  First, we update the base, handling the remote branch as
2217 if it was the first dependency; thus, conflict resolutions made in the
2218 remote branch will be carried over to our local base automagically.
2219 Then, the base is merged into the remote branch and the result is merged
2220 to the local branch -- again, to carry over remote conflict resolutions.
2221 In the future, this order might be adjustable on a per-update basis, in
2222 case local changes happen to be diverging more than the remote ones.
2223 (See the details in `The Update Process`_ for more in depth coverage.)
2225 All commands by default refer to the remote that ``tg remote --populate``
2226 was called on the last time (stored in the ``topgit.remote`` git
2227 configuration variable). You can manually run any command with a
2228 different base remote by passing ``-r REMOTE`` *before* the subcommand
2229 name or passing ``-u`` *before* the subcommand to run without one.
2232 TESTING TOPGIT
2233 --------------
2235 Running the TopGit test suite only requires POSIX compatibile utilities (just
2236 a POSIX compatibile ``make`` will do) AND a ``perl`` binary.
2238 It is *not* necessary to install TopGit in order to run the TopGit test suite.
2240 To run the TopGit test suite, simply execute this from the top-level of a
2241 TopGit checkout or expanded release tarball:
2245         make test
2247 Yup, that's it.  But you're probably thinking, "Why have a whole section just
2248 to say 'run make test'?"  Am I right?
2250 The simple ``make test`` command produces a lot of output and while it is
2251 summarized at the end there's a better way.
2253 Do you have the ``prove`` utility available?  You need ``perl`` to run the
2254 tests and ``prove`` comes with ``perl`` so you almost cerainly do.
2256 Try running the tests like so:
2260         make DEFAULT_TEST_TARGET=prove test
2263 (For reference, the default value of ``DEFAULT_TEST_TARGET`` is ``test`` which
2264 can be used to override a setting that's been altered using the instructions
2265 shown later on below.)
2267 If that works (you can interrupt it with ``Ctrl-C``), try this next:
2271         make DEFAULT_TEST_TARGET=prove TESTLIB_PROVE_OPTS="-j 4 --timer" test
2273 If that one works (again, you can interrupt it with ``Ctrl-C``) that may end
2274 up being the keeper for running the tests.
2276 However, if you don't have ``prove`` for some reason even though you do have
2277 ``perl``, there's still an alternative for briefer output.  Try this:
2281         make TESTLIB_TEST_OPTS=-q test
2283 Much of the normal testing output will be suppressed and there's still a
2284 summary at the end.  If you're stuck with this version but your make supports
2285 parallel operation (the ``-j`` *<n>*) option, then you might try this:
2289         make -j 4 TESTLIB_TEST_OPTS=-q test
2291 If your make *does* support the parallel ``-j`` option but still seems to be
2292 only running one test at a time try it like this instead:
2296         make TESTLIB_MAKE_OPTS="-j 4" TESTLIB_TEST_OPTS=-q test
2298 The difference is that ``make -j 4`` relies on make to properly pass down the
2299 parallel job option all the way down to the sub-make that runs the individual
2300 tests when not using prove.  Putting the options in ``TESTLIB_MAKE_OPTS``
2301 passes them directly to that (and only that) particular invocation of make.
2303 The final bit of advice for running the tests is that any of those ``make``
2304 variable settings can be enabled by default in a top-level ``config.mak`` file.
2306 For example, to make the ``prove -j 4 --timer`` (my personal favorite) the
2307 default when running the tests, add these lines (creating the file if it does
2308 not already exist) to the ``config.mak`` file located in the top-level of the
2309 TopGit checkout (or expanded release tarball):
2313         # config.mak file
2314         # comments are allowed (if preceded by '#')
2315         # so are blank lines
2317         DEFAULT_TEST_TARGET = prove
2318         TESTLIB_PROVE_OPTS = -j 4 --timer
2319         #TESTLIB_TEST_OPTS = --color # force colorized test output
2321 Now simply doing ``make test`` will use those options by default.
2323 There is copious documentation on the testing library and other options in
2324 the various ``README`` files located in the ``t`` subdirectory.  The
2325 ``Makefile.mak`` file in the ``t`` subdirectory contains plenty of comments
2326 about possible makefile variable settings as well.
2330 TECHNICAL
2331 ---------
2333 A familiarity with the terms in the GLOSSARY_ is helpful for understanding the
2334 content of this sections.  See also the IMPLEMENTATION_ section.
2336 The Update Process
2337 ~~~~~~~~~~~~~~~~~~
2339 When a branch is "updated" using the ``tg update`` command the following steps
2340 are taken:
2342         1) The branch and all of its dependencies (and theirs recursively)
2343            are checked to see which ones are *out-of-date*.  See glossary_.
2345         2) Each of the branch's direct dependencies (i.e. they are listed in
2346            the branch's ``.topdeps`` file) which is out of date is updated
2347            before proceeding (yup, this is a recursive process).
2349         3) Each of the branch's direct dependencies (i.e. they are listed in
2350            the branch's ``.topdes`` file) that was updated in the previous
2351            step is now merged into the branch's corresponding base.  If a
2352            remote is involved, and the branch's corresponding base does NOT
2353            contain the remote branch's corresponding base that remote base is
2354            also merged into the branch's base at this time as well (it will be
2355            the first item merged into the branch's base).
2357         4) If the branch has a corresponding remote branch and the branch
2358            does not already contain it, it's merged into the branch's base
2359            (which was possibly already updated in step (3) to contain the
2360            remote branch's base but not the remote branch itself) on a detached
2361            HEAD.  Yup, this step can be a bit confusing and no, the updated
2362            base from step (3) has not yet been merged into the branch itself
2363            yet either.  If there is no remote branch this step does not apply.
2364            Using a detached HEAD allows the remote branch to be merged into the
2365            contents of the base without actually perturbing the base's ref.
2367         5) If there is a remote branch present then use the result of step (4)
2368            otherwise use the branch's base and merge that into the branch
2369            itself.
2371 That's it!  Simple, right? ;)
2373 Unless the auto stash option has been disabled (see `no undo`_, `tg update`_
2374 and `tg tag`_), a copy of all the old refs values will be stashed away
2375 immediately after step (1) before starting step (2), but only if anything is
2376 actually found to be out-of-date.
2378 Merge Strategies
2379 ~~~~~~~~~~~~~~~~
2381 The ``tg update`` command regularly performs merges while executing an update
2382 operation.  In order to speed things up, it attempts to do in-index merges
2383 where possible.  It accomplishes this by using a separate, temporary index
2384 file and the ``git read-tree -m --aggressive`` command possibly assisted by
2385 the ``git merge-index`` and ``git merge-file`` commands.  This combination may
2386 be repeated more than once to perform an octopus in-index merge.  If this
2387 fails, the files are checked out and a normal ``git merge`` three-way merge is
2388 performed (possily multiple times).  If the normal ``git merge`` fails then
2389 user intervention is required to resolve the merge conflict(s) and continue.
2391 Since the ``tg annihilate``, ``tg create`` and ``tg depend add`` commands may
2392 end up running the ``tg update`` machinery behind the scenes to complete their
2393 operation they may also result in any of these merge strategies being used.
2395 In addition to the normal Git merge strategies (if the in-index merging fails),
2396 there are four possible TopGit merge strategies that may be shown.  Since they
2397 all involve use of the ``git read-tree -m --aggressive`` command they are all
2398 variations of a "trivial aggressive" merge.  The "trivial" part because all of
2399 the merges done by ``git read-tree -m`` are described as "trivial" and the
2400 "aggressive" part because the ``--aggressive`` option is always used.
2402         1) "trivial aggressive"
2403                 Only two heads were involved and all merging was completed by
2404                 the ``git read-tree -m --aggressive`` command.
2406         2) "trivial aggressive automatic"
2407                 Only two heads were involved but after the
2408                 ``git read-tree -m --aggressive`` command completed there were
2409                 still unresolved items and ``git merge-index`` had to be run
2410                 (using the ``tg index-merge-one-file`` driver) which ultimately
2411                 ran ``git merge-file`` at least once to perform a simple
2412                 automatic three-way merge.  Hence the "automatic" description
2413                 and the "Auto-merging ..." output line(s).
2415         3) "trivial aggressive octopus"
2416                 This is the same as a "trivial aggressive" merge except that
2417                 more than two heads were involved and after merging the first
2418                 two heads, the ``git read-tree -m --aggressive`` step was
2419                 repeated again on the result for each additional head.  All
2420                 merging was completed via multiple
2421                 ``git read-tree -m --aggressive`` commands only.
2422                 This beast is relatively rare in the wild.
2424         4) "trivial aggressive automatic octopus"
2425                 This is very similar to the "trivial aggressive octopus"
2426                 except that at least one of the ``git read-tree -m --aggressive``
2427                 commands left unresolved items that were handled the same way
2428                 as the "trivial aggressive automatic" strategy.  This species
2429                 is commonly seen in the wild.
2432 GLOSSARY
2433 --------
2435         .topmsg
2436                 Version-controlled file stored at the root level of each
2437                 TopGit branch that contains the patch header for a TopGit
2438                 branch.  See also IMPLEMENTATION_;
2440         .topdeps
2441                 Version-controlled file stored at the root level of each
2442                 TopGit branch that lists the branch's dependencies one per
2443                 line omitting the leading ``refs/heads/`` part.  See also
2444                 IMPLEMENTATION_;
2446         branch containment
2447                 Given two Git commit identifiers (e.g. hashes) C1 and C2,
2448                 commit C1 "contains" commit C2 if either they are the same
2449                 commit or C2 can be reached from C1 by following one or more
2450                 parent links from C1 (perhaps via one or more intermediate
2451                 commits along the way).  In other words, if C1 contains C2
2452                 then C2 is an ancestor of C1 or conversely C1 is a descendant
2453                 of C2.  Since a TopGit branch name is also the name of a Git
2454                 branch (something located under the ``refs/heads`` Git
2455                 namespace) and similarly for a TopGit base, they can both be
2456                 resolved to a Git commit identifier and then participate in
2457                 a branch containment test.  An easy mnemonic for this is
2458                 "children contain the genes of their parents."
2460         BRE pattern
2461                 A Basic Regular Expression (BRE) pattern.  These are older
2462                 style regular expressions but have the advantage that all
2463                 characters other than ``\``, ``.``, ``*`` and ``[``
2464                 automatically match themselves without need for backslash
2465                 quoting (well actually, ``^`` and ``$`` are special at the
2466                 beginning and end respectively but otherwise match themselves).
2468         contains
2469                 See branch containment.
2471         ERE pattern
2472                 An Extended Regular Expression (ERE) pattern.  These are newer
2473                 style regular expressions where all the regular expression
2474                 "operator" characters "operate" when NOT preceded by a
2475                 backslash and are turned into normal characters with a ``\``.
2476                 The backreference atom, however, may not work, but ``?``, ``+``
2477                 and ``|`` "operators" do; unlike BREs.
2479         TopGit
2480                 Excellent system for managing a history of changes to one
2481                 or more possibly interrelated patches.
2483         TopGit branch
2484                 A Git branch that has an associated TopGit base.  Conceptually
2485                 it represents a single patch that is the difference between
2486                 the associated TopGit base and the TopGit branch.  In other
2487                 words ``git diff-tree <TopGit base> <TopGit branch>`` except
2488                 that any ``.topdeps`` and/or ``.topmsg`` files are excluded
2489                 from the result and the contents of the ``.topmsg`` file from
2490                 the TopGit branch is prefixed to the result.
2492         TopGit bare branch
2493                 A Git branch whose tree does NOT contain any `.topdeps` or
2494                 `.topmsg` entries at the top-level of the tree.  It *does*
2495                 always have an associated "TopGit base" ref (otherwise it would
2496                 not be a "TopGit" branch).  See also `BARE BRANCHES`_.
2498         bare branch
2499                 In TopGit context, "bare branch" almost always refers to a
2500                 "TopGit bare branch" and should be understood to mean such even
2501                 if the leading "TopGit" has been left off.
2503         TopGit base
2504                 A Git branch that records the base upon which a TopGit branch's
2505                 single conceptual "patch" is built.  The name of the Git branch
2506                 is derived from the TopGit branch name by stripping off the
2507                 leading ``refs/heads/`` and appending the correct prefix where
2508                 all TopGit bases are stored (typically either
2509                 ``refs/top-bases/`` or ``refs/heads/{top-bases}/`` -- the
2510                 prefix for any given repository can be shown by using the
2511                 ``tg --top-bases`` command and updated using the
2512                 ``tg migrate-bases`` command).
2514                 All of a TopGit branch's dependencies are merged into the
2515                 corresponding TopGit base during a ``tg update`` of a branch.
2517         base
2518                 See TopGit base.
2520         TopGit ``[PATCH]`` branch
2521                 A TopGit branch whose subject starts with ``[PATCH]``.  By
2522                 convention these TopGit branches contain a single patch
2523                 (equivalent to a single patch file) and have at least one
2524                 dependency (i.e. their ``.topdeps`` files are never empty).
2526         TopGit ``[BASE]`` branch
2527                 A TopGit branch whose subject starts with ``[BASE]``.  By
2528                 convention these TopGit branches do not actually contain
2529                 any changes and their ``.topdeps`` files are empty.  They
2530                 are used to control a base dependency that another set of
2531                 branches depends on.
2533         TopGit ``[STAGE]`` branch
2534                 A TopGit branch whose subject starts with ``[STAGE]``.  By
2535                 convention these TopGit branches do not actually contain any
2536                 changes of their own but do have one or (typically) more
2537                 dependencies in their ``.topdeps`` file.  These branches are
2538                 used to bring together one or (typically) more independent
2539                 TopGit ``[PATCH]`` branches into a single branch so that
2540                 testing and/or evaluation can be performed on the result.
2542         merge conflict
2543                 When merging two (or more) heads that touch the same lines in
2544                 the file but in different ways the result is a merge conflict
2545                 that requires manual intervention.  If a merge conflict occurs
2546                 with more than two heads (an octopus merge) it's generally
2547                 replaced by multiple three-way merges so that by the time a
2548                 user sees a merge conflict needing manual resolution, there
2549                 will be only two heads involved.
2551         merge strategy
2552                 A Git merge strategy (see the "MERGE STRATEGIES" section of
2553                 ``git help merge``) or one of the TopGit `merge strategies`_
2554                 used to merge two or more heads.
2556         TopGit merge strategy
2557                 See the `Merge Strategies`_ section above for details but
2558                 basically these are just in-index merges done using the
2559                 ``git read-tree -m --aggressive`` command one or more times
2560                 possibily assisted by the ``git merge-index`` and the
2561                 ``git merge-file`` commands.
2563         next branch
2564                 In TopGit context the "next" branch refers to the branch that
2565                 corresponds to the next (aka following) patch in an ordered
2566                 (aka linearized) list of patches created by exporting the
2567                 TopGit branches in patch application order.
2569         octopus merge
2570                 A merge involving more than two heads.  Note that if there are
2571                 less than three independent heads the resulting merge that
2572                 started out as an octopus will end up not actually being an
2573                 octopus after all.
2575         out-of-date branch
2576                 A TopGit branch is considered to be "out-of-date" when ANY of
2577                 the following are true:
2579                         a) The TopGit branch does NOT contain its
2580                            corresponding base.
2582                         b) The TopGit branch does NOT contain its
2583                            corresponding remote branch (there may not be
2584                            a remote branch in which case this does not apply)
2586                         c) The TopGit branch's base does NOT contain its
2587                            corresponding remote branch's base (there may not be
2588                            a remote branch in which case this does not apply)
2590                         d) Any of the TopGit branches listed in the branch's
2591                            ``.topdeps`` file are NOT contained by the branch.
2592                            (See "branch containment" above.)
2594                         e) Any of the TopGit branches listed in the branch's
2595                            ``.topdeps`` file are out-of-date.
2597                 Note that if a remote branch is present and is NOT out-of-date
2598                 then it will contain its own base and (c) is mostly redundant.
2600         previous branch
2601                 In TopGit context the "previous" (or "prev") branch refers to
2602                 the branch that corresponds to the previous (aka preceding)
2603                 patch in an ordered (aka linearized) list of patches created by
2604                 exporting the TopGit branches in patch application order.
2606         remote TopGit branch
2607                 A Git branch with the same branch name as a TopGit branch
2608                 but living under ``refs/remotes/<some remote>/`` instead
2609                 of just ``refs/heads/``.
2611         remote TopGit base
2612                 The TopGit base branch corresponding to a remote TopGit branch,
2613                 which lives under ``refs/remotes/`` somewhere (depending on
2614                 what the output of ``tg --top-bases`` is for that remote).
2616         three-way merge
2617                 A three-way merge takes a common base and two heads (call them
2618                 A and B) and creates a new file that is the common base plus
2619                 all of the changes made between the common base and head A
2620                 *AND* all of the changes made between the common base and
2621                 head B.  The technique used to accomplish this is called a
2622                 "merge strategy".
2625 REFERENCES
2626 ----------
2628 The following references are useful to understand the development of
2629 topgit and its subcommands.
2631 * tg depend:
2632   http://public-inbox.org/git/36ca99e90904091034m4d4d31dct78acb333612e678@mail.gmail.com/T/#u
2635 THIRD-PARTY SOFTWARE
2636 --------------------
2638 The following software understands TopGit branches:
2640 * `magit <http://magit.github.io/>`_ -- a git mode for emacs
2642 IMPORTANT: Magit requires its topgit mode to be enabled first, as
2643 described in its documentation, in the "Activating extensions"
2644 subsection.  If this is not done, it will not push TopGit branches
2645 correctly, so it's important to enable it even if you plan to mostly use
2646 TopGit from the command line.