t6030: don't create unused file
[git/raj.git] / Documentation / git-filter-branch.txt
blob5876598852f7b883241d8f9e4efc359b8aab3089
1 git-filter-branch(1)
2 ====================
4 NAME
5 ----
6 git-filter-branch - Rewrite branches
8 SYNOPSIS
9 --------
10 [verse]
11 'git filter-branch' [--setup <command>] [--subdirectory-filter <directory>]
12         [--env-filter <command>] [--tree-filter <command>]
13         [--index-filter <command>] [--parent-filter <command>]
14         [--msg-filter <command>] [--commit-filter <command>]
15         [--tag-name-filter <command>] [--prune-empty]
16         [--original <namespace>] [-d <directory>] [-f | --force]
17         [--state-branch <branch>] [--] [<rev-list options>...]
19 WARNING
20 -------
21 'git filter-branch' has a plethora of pitfalls that can produce non-obvious
22 manglings of the intended history rewrite (and can leave you with little
23 time to investigate such problems since it has such abysmal performance).
24 These safety and performance issues cannot be backward compatibly fixed and
25 as such, its use is not recommended.  Please use an alternative history
26 filtering tool such as https://github.com/newren/git-filter-repo/[git
27 filter-repo].  If you still need to use 'git filter-branch', please
28 carefully read <<SAFETY>> (and <<PERFORMANCE>>) to learn about the land
29 mines of filter-branch, and then vigilantly avoid as many of the hazards
30 listed there as reasonably possible.
32 DESCRIPTION
33 -----------
34 Lets you rewrite Git revision history by rewriting the branches mentioned
35 in the <rev-list options>, applying custom filters on each revision.
36 Those filters can modify each tree (e.g. removing a file or running
37 a perl rewrite on all files) or information about each commit.
38 Otherwise, all information (including original commit times or merge
39 information) will be preserved.
41 The command will only rewrite the _positive_ refs mentioned in the
42 command line (e.g. if you pass 'a..b', only 'b' will be rewritten).
43 If you specify no filters, the commits will be recommitted without any
44 changes, which would normally have no effect.  Nevertheless, this may be
45 useful in the future for compensating for some Git bugs or such,
46 therefore such a usage is permitted.
48 *NOTE*: This command honors `.git/info/grafts` file and refs in
49 the `refs/replace/` namespace.
50 If you have any grafts or replacement refs defined, running this command
51 will make them permanent.
53 *WARNING*! The rewritten history will have different object names for all
54 the objects and will not converge with the original branch.  You will not
55 be able to easily push and distribute the rewritten branch on top of the
56 original branch.  Please do not use this command if you do not know the
57 full implications, and avoid using it anyway, if a simple single commit
58 would suffice to fix your problem.  (See the "RECOVERING FROM UPSTREAM
59 REBASE" section in linkgit:git-rebase[1] for further information about
60 rewriting published history.)
62 Always verify that the rewritten version is correct: The original refs,
63 if different from the rewritten ones, will be stored in the namespace
64 'refs/original/'.
66 Note that since this operation is very I/O expensive, it might
67 be a good idea to redirect the temporary directory off-disk with the
68 `-d` option, e.g. on tmpfs.  Reportedly the speedup is very noticeable.
71 Filters
72 ~~~~~~~
74 The filters are applied in the order as listed below.  The <command>
75 argument is always evaluated in the shell context using the 'eval' command
76 (with the notable exception of the commit filter, for technical reasons).
77 Prior to that, the `$GIT_COMMIT` environment variable will be set to contain
78 the id of the commit being rewritten.  Also, GIT_AUTHOR_NAME,
79 GIT_AUTHOR_EMAIL, GIT_AUTHOR_DATE, GIT_COMMITTER_NAME, GIT_COMMITTER_EMAIL,
80 and GIT_COMMITTER_DATE are taken from the current commit and exported to
81 the environment, in order to affect the author and committer identities of
82 the replacement commit created by linkgit:git-commit-tree[1] after the
83 filters have run.
85 If any evaluation of <command> returns a non-zero exit status, the whole
86 operation will be aborted.
88 A 'map' function is available that takes an "original sha1 id" argument
89 and outputs a "rewritten sha1 id" if the commit has been already
90 rewritten, and "original sha1 id" otherwise; the 'map' function can
91 return several ids on separate lines if your commit filter emitted
92 multiple commits.
95 OPTIONS
96 -------
98 --setup <command>::
99         This is not a real filter executed for each commit but a one
100         time setup just before the loop. Therefore no commit-specific
101         variables are defined yet.  Functions or variables defined here
102         can be used or modified in the following filter steps except
103         the commit filter, for technical reasons.
105 --subdirectory-filter <directory>::
106         Only look at the history which touches the given subdirectory.
107         The result will contain that directory (and only that) as its
108         project root. Implies <<Remap_to_ancestor>>.
110 --env-filter <command>::
111         This filter may be used if you only need to modify the environment
112         in which the commit will be performed.  Specifically, you might
113         want to rewrite the author/committer name/email/time environment
114         variables (see linkgit:git-commit-tree[1] for details).
116 --tree-filter <command>::
117         This is the filter for rewriting the tree and its contents.
118         The argument is evaluated in shell with the working
119         directory set to the root of the checked out tree.  The new tree
120         is then used as-is (new files are auto-added, disappeared files
121         are auto-removed - neither .gitignore files nor any other ignore
122         rules *HAVE ANY EFFECT*!).
124 --index-filter <command>::
125         This is the filter for rewriting the index.  It is similar to the
126         tree filter but does not check out the tree, which makes it much
127         faster.  Frequently used with `git rm --cached
128         --ignore-unmatch ...`, see EXAMPLES below.  For hairy
129         cases, see linkgit:git-update-index[1].
131 --parent-filter <command>::
132         This is the filter for rewriting the commit's parent list.
133         It will receive the parent string on stdin and shall output
134         the new parent string on stdout.  The parent string is in
135         the format described in linkgit:git-commit-tree[1]: empty for
136         the initial commit, "-p parent" for a normal commit and
137         "-p parent1 -p parent2 -p parent3 ..." for a merge commit.
139 --msg-filter <command>::
140         This is the filter for rewriting the commit messages.
141         The argument is evaluated in the shell with the original
142         commit message on standard input; its standard output is
143         used as the new commit message.
145 --commit-filter <command>::
146         This is the filter for performing the commit.
147         If this filter is specified, it will be called instead of the
148         'git commit-tree' command, with arguments of the form
149         "<TREE_ID> [(-p <PARENT_COMMIT_ID>)...]" and the log message on
150         stdin.  The commit id is expected on stdout.
152 As a special extension, the commit filter may emit multiple
153 commit ids; in that case, the rewritten children of the original commit will
154 have all of them as parents.
156 You can use the 'map' convenience function in this filter, and other
157 convenience functions, too.  For example, calling 'skip_commit "$@"'
158 will leave out the current commit (but not its changes! If you want
159 that, use 'git rebase' instead).
161 You can also use the `git_commit_non_empty_tree "$@"` instead of
162 `git commit-tree "$@"` if you don't wish to keep commits with a single parent
163 and that makes no change to the tree.
165 --tag-name-filter <command>::
166         This is the filter for rewriting tag names. When passed,
167         it will be called for every tag ref that points to a rewritten
168         object (or to a tag object which points to a rewritten object).
169         The original tag name is passed via standard input, and the new
170         tag name is expected on standard output.
172 The original tags are not deleted, but can be overwritten;
173 use "--tag-name-filter cat" to simply update the tags.  In this
174 case, be very careful and make sure you have the old tags
175 backed up in case the conversion has run afoul.
177 Nearly proper rewriting of tag objects is supported. If the tag has
178 a message attached, a new tag object will be created with the same message,
179 author, and timestamp. If the tag has a signature attached, the
180 signature will be stripped. It is by definition impossible to preserve
181 signatures. The reason this is "nearly" proper, is because ideally if
182 the tag did not change (points to the same object, has the same name, etc.)
183 it should retain any signature. That is not the case, signatures will always
184 be removed, buyer beware. There is also no support for changing the
185 author or timestamp (or the tag message for that matter). Tags which point
186 to other tags will be rewritten to point to the underlying commit.
188 --prune-empty::
189         Some filters will generate empty commits that leave the tree untouched.
190         This option instructs git-filter-branch to remove such commits if they
191         have exactly one or zero non-pruned parents; merge commits will
192         therefore remain intact.  This option cannot be used together with
193         `--commit-filter`, though the same effect can be achieved by using the
194         provided `git_commit_non_empty_tree` function in a commit filter.
196 --original <namespace>::
197         Use this option to set the namespace where the original commits
198         will be stored. The default value is 'refs/original'.
200 -d <directory>::
201         Use this option to set the path to the temporary directory used for
202         rewriting.  When applying a tree filter, the command needs to
203         temporarily check out the tree to some directory, which may consume
204         considerable space in case of large projects.  By default it
205         does this in the `.git-rewrite/` directory but you can override
206         that choice by this parameter.
208 -f::
209 --force::
210         'git filter-branch' refuses to start with an existing temporary
211         directory or when there are already refs starting with
212         'refs/original/', unless forced.
214 --state-branch <branch>::
215         This option will cause the mapping from old to new objects to
216         be loaded from named branch upon startup and saved as a new
217         commit to that branch upon exit, enabling incremental of large
218         trees. If '<branch>' does not exist it will be created.
220 <rev-list options>...::
221         Arguments for 'git rev-list'.  All positive refs included by
222         these options are rewritten.  You may also specify options
223         such as `--all`, but you must use `--` to separate them from
224         the 'git filter-branch' options. Implies <<Remap_to_ancestor>>.
227 [[Remap_to_ancestor]]
228 Remap to ancestor
229 ~~~~~~~~~~~~~~~~~
231 By using linkgit:git-rev-list[1] arguments, e.g., path limiters, you can limit the
232 set of revisions which get rewritten. However, positive refs on the command
233 line are distinguished: we don't let them be excluded by such limiters. For
234 this purpose, they are instead rewritten to point at the nearest ancestor that
235 was not excluded.
238 EXIT STATUS
239 -----------
241 On success, the exit status is `0`.  If the filter can't find any commits to
242 rewrite, the exit status is `2`.  On any other error, the exit status may be
243 any other non-zero value.
246 EXAMPLES
247 --------
249 Suppose you want to remove a file (containing confidential information
250 or copyright violation) from all commits:
252 -------------------------------------------------------
253 git filter-branch --tree-filter 'rm filename' HEAD
254 -------------------------------------------------------
256 However, if the file is absent from the tree of some commit,
257 a simple `rm filename` will fail for that tree and commit.
258 Thus you may instead want to use `rm -f filename` as the script.
260 Using `--index-filter` with 'git rm' yields a significantly faster
261 version.  Like with using `rm filename`, `git rm --cached filename`
262 will fail if the file is absent from the tree of a commit.  If you
263 want to "completely forget" a file, it does not matter when it entered
264 history, so we also add `--ignore-unmatch`:
266 --------------------------------------------------------------------------
267 git filter-branch --index-filter 'git rm --cached --ignore-unmatch filename' HEAD
268 --------------------------------------------------------------------------
270 Now, you will get the rewritten history saved in HEAD.
272 To rewrite the repository to look as if `foodir/` had been its project
273 root, and discard all other history:
275 -------------------------------------------------------
276 git filter-branch --subdirectory-filter foodir -- --all
277 -------------------------------------------------------
279 Thus you can, e.g., turn a library subdirectory into a repository of
280 its own.  Note the `--` that separates 'filter-branch' options from
281 revision options, and the `--all` to rewrite all branches and tags.
283 To set a commit (which typically is at the tip of another
284 history) to be the parent of the current initial commit, in
285 order to paste the other history behind the current history:
287 -------------------------------------------------------------------
288 git filter-branch --parent-filter 'sed "s/^\$/-p <graft-id>/"' HEAD
289 -------------------------------------------------------------------
291 (if the parent string is empty - which happens when we are dealing with
292 the initial commit - add graftcommit as a parent).  Note that this assumes
293 history with a single root (that is, no merge without common ancestors
294 happened).  If this is not the case, use:
296 --------------------------------------------------------------------------
297 git filter-branch --parent-filter \
298         'test $GIT_COMMIT = <commit-id> && echo "-p <graft-id>" || cat' HEAD
299 --------------------------------------------------------------------------
301 or even simpler:
303 -----------------------------------------------
304 git replace --graft $commit-id $graft-id
305 git filter-branch $graft-id..HEAD
306 -----------------------------------------------
308 To remove commits authored by "Darl McBribe" from the history:
310 ------------------------------------------------------------------------------
311 git filter-branch --commit-filter '
312         if [ "$GIT_AUTHOR_NAME" = "Darl McBribe" ];
313         then
314                 skip_commit "$@";
315         else
316                 git commit-tree "$@";
317         fi' HEAD
318 ------------------------------------------------------------------------------
320 The function 'skip_commit' is defined as follows:
322 --------------------------
323 skip_commit()
325         shift;
326         while [ -n "$1" ];
327         do
328                 shift;
329                 map "$1";
330                 shift;
331         done;
333 --------------------------
335 The shift magic first throws away the tree id and then the -p
336 parameters.  Note that this handles merges properly! In case Darl
337 committed a merge between P1 and P2, it will be propagated properly
338 and all children of the merge will become merge commits with P1,P2
339 as their parents instead of the merge commit.
341 *NOTE* the changes introduced by the commits, and which are not reverted
342 by subsequent commits, will still be in the rewritten branch. If you want
343 to throw out _changes_ together with the commits, you should use the
344 interactive mode of 'git rebase'.
346 You can rewrite the commit log messages using `--msg-filter`.  For
347 example, 'git svn-id' strings in a repository created by 'git svn' can
348 be removed this way:
350 -------------------------------------------------------
351 git filter-branch --msg-filter '
352         sed -e "/^git-svn-id:/d"
354 -------------------------------------------------------
356 If you need to add 'Acked-by' lines to, say, the last 10 commits (none
357 of which is a merge), use this command:
359 --------------------------------------------------------
360 git filter-branch --msg-filter '
361         cat &&
362         echo "Acked-by: Bugs Bunny <bunny@bugzilla.org>"
363 ' HEAD~10..HEAD
364 --------------------------------------------------------
366 The `--env-filter` option can be used to modify committer and/or author
367 identity.  For example, if you found out that your commits have the wrong
368 identity due to a misconfigured user.email, you can make a correction,
369 before publishing the project, like this:
371 --------------------------------------------------------
372 git filter-branch --env-filter '
373         if test "$GIT_AUTHOR_EMAIL" = "root@localhost"
374         then
375                 GIT_AUTHOR_EMAIL=john@example.com
376         fi
377         if test "$GIT_COMMITTER_EMAIL" = "root@localhost"
378         then
379                 GIT_COMMITTER_EMAIL=john@example.com
380         fi
381 ' -- --all
382 --------------------------------------------------------
384 To restrict rewriting to only part of the history, specify a revision
385 range in addition to the new branch name.  The new branch name will
386 point to the top-most revision that a 'git rev-list' of this range
387 will print.
389 Consider this history:
391 ------------------
392      D--E--F--G--H
393     /     /
394 A--B-----C
395 ------------------
397 To rewrite only commits D,E,F,G,H, but leave A, B and C alone, use:
399 --------------------------------
400 git filter-branch ... C..H
401 --------------------------------
403 To rewrite commits E,F,G,H, use one of these:
405 ----------------------------------------
406 git filter-branch ... C..H --not D
407 git filter-branch ... D..H --not C
408 ----------------------------------------
410 To move the whole tree into a subdirectory, or remove it from there:
412 ---------------------------------------------------------------
413 git filter-branch --index-filter \
414         'git ls-files -s | sed "s-\t\"*-&newsubdir/-" |
415                 GIT_INDEX_FILE=$GIT_INDEX_FILE.new \
416                         git update-index --index-info &&
417          mv "$GIT_INDEX_FILE.new" "$GIT_INDEX_FILE"' HEAD
418 ---------------------------------------------------------------
422 CHECKLIST FOR SHRINKING A REPOSITORY
423 ------------------------------------
425 git-filter-branch can be used to get rid of a subset of files,
426 usually with some combination of `--index-filter` and
427 `--subdirectory-filter`.  People expect the resulting repository to
428 be smaller than the original, but you need a few more steps to
429 actually make it smaller, because Git tries hard not to lose your
430 objects until you tell it to.  First make sure that:
432 * You really removed all variants of a filename, if a blob was moved
433   over its lifetime.  `git log --name-only --follow --all -- filename`
434   can help you find renames.
436 * You really filtered all refs: use `--tag-name-filter cat -- --all`
437   when calling git-filter-branch.
439 Then there are two ways to get a smaller repository.  A safer way is
440 to clone, that keeps your original intact.
442 * Clone it with `git clone file:///path/to/repo`.  The clone
443   will not have the removed objects.  See linkgit:git-clone[1].  (Note
444   that cloning with a plain path just hardlinks everything!)
446 If you really don't want to clone it, for whatever reasons, check the
447 following points instead (in this order).  This is a very destructive
448 approach, so *make a backup* or go back to cloning it.  You have been
449 warned.
451 * Remove the original refs backed up by git-filter-branch: say `git
452   for-each-ref --format="%(refname)" refs/original/ | xargs -n 1 git
453   update-ref -d`.
455 * Expire all reflogs with `git reflog expire --expire=now --all`.
457 * Garbage collect all unreferenced objects with `git gc --prune=now`
458   (or if your git-gc is not new enough to support arguments to
459   `--prune`, use `git repack -ad; git prune` instead).
461 [[PERFORMANCE]]
462 PERFORMANCE
463 -----------
465 The performance of git-filter-branch is glacially slow; its design makes it
466 impossible for a backward-compatible implementation to ever be fast:
468 * In editing files, git-filter-branch by design checks out each and
469 every commit as it existed in the original repo.  If your repo has 10\^5
470 files and 10\^5 commits, but each commit only modifies 5 files, then
471 git-filter-branch will make you do 10\^10 modifications, despite only
472 having (at most) 5*10^5 unique blobs.
474 * If you try and cheat and try to make git-filter-branch only work on
475 files modified in a commit, then two things happen
477   ** you run into problems with deletions whenever the user is simply
478      trying to rename files (because attempting to delete files that
479      don't exist looks like a no-op; it takes some chicanery to remap
480      deletes across file renames when the renames happen via arbitrary
481      user-provided shell)
483   ** even if you succeed at the map-deletes-for-renames chicanery, you
484      still technically violate backward compatibility because users are
485      allowed to filter files in ways that depend upon topology of
486      commits instead of filtering solely based on file contents or names
487      (though this has not been observed in the wild).
489 * Even if you don't need to edit files but only want to e.g. rename or
490 remove some and thus can avoid checking out each file (i.e. you can use
491 --index-filter), you still are passing shell snippets for your filters.
492 This means that for every commit, you have to have a prepared git repo
493 where those filters can be run.  That's a significant setup.
495 * Further, several additional files are created or updated per commit by
496 git-filter-branch.  Some of these are for supporting the convenience
497 functions provided by git-filter-branch (such as map()), while others
498 are for keeping track of internal state (but could have also been
499 accessed by user filters; one of git-filter-branch's regression tests
500 does so).  This essentially amounts to using the filesystem as an IPC
501 mechanism between git-filter-branch and the user-provided filters.
502 Disks tend to be a slow IPC mechanism, and writing these files also
503 effectively represents a forced synchronization point between separate
504 processes that we hit with every commit.
506 * The user-provided shell commands will likely involve a pipeline of
507 commands, resulting in the creation of many processes per commit.
508 Creating and running another process takes a widely varying amount of
509 time between operating systems, but on any platform it is very slow
510 relative to invoking a function.
512 * git-filter-branch itself is written in shell, which is kind of slow.
513 This is the one performance issue that could be backward-compatibly
514 fixed, but compared to the above problems that are intrinsic to the
515 design of git-filter-branch, the language of the tool itself is a
516 relatively minor issue.
518   ** Side note: Unfortunately, people tend to fixate on the
519      written-in-shell aspect and periodically ask if git-filter-branch
520      could be rewritten in another language to fix the performance
521      issues.  Not only does that ignore the bigger intrinsic problems
522      with the design, it'd help less than you'd expect: if
523      git-filter-branch itself were not shell, then the convenience
524      functions (map(), skip_commit(), etc) and the `--setup` argument
525      could no longer be executed once at the beginning of the program
526      but would instead need to be prepended to every user filter (and
527      thus re-executed with every commit).
529 The https://github.com/newren/git-filter-repo/[git filter-repo] tool is
530 an alternative to git-filter-branch which does not suffer from these
531 performance problems or the safety problems (mentioned below). For those
532 with existing tooling which relies upon git-filter-branch, 'git
533 repo-filter' also provides
534 https://github.com/newren/git-filter-repo/blob/master/contrib/filter-repo-demos/filter-lamely[filter-lamely],
535 a drop-in git-filter-branch replacement (with a few caveats).  While
536 filter-lamely suffers from all the same safety issues as
537 git-filter-branch, it at least ameloriates the performance issues a
538 little.
540 [[SAFETY]]
541 SAFETY
542 ------
544 git-filter-branch is riddled with gotchas resulting in various ways to
545 easily corrupt repos or end up with a mess worse than what you started
546 with:
548 * Someone can have a set of "working and tested filters" which they
549 document or provide to a coworker, who then runs them on a different OS
550 where the same commands are not working/tested (some examples in the
551 git-filter-branch manpage are also affected by this).  BSD vs. GNU
552 userland differences can really bite.  If lucky, error messages are
553 spewed.  But just as likely, the commands either don't do the filtering
554 requested, or silently corrupt by making some unwanted change.  The
555 unwanted change may only affect a few commits, so it's not necessarily
556 obvious either.  (The fact that problems won't necessarily be obvious
557 means they are likely to go unnoticed until the rewritten history is in
558 use for quite a while, at which point it's really hard to justify
559 another flag-day for another rewrite.)
561 * Filenames with spaces are often mishandled by shell snippets since
562 they cause problems for shell pipelines.  Not everyone is familiar with
563 find -print0, xargs -0, git-ls-files -z, etc.  Even people who are
564 familiar with these may assume such flags are not relevant because
565 someone else renamed any such files in their repo back before the person
566 doing the filtering joined the project.  And often, even those familiar
567 with handling arguments with spaces may not do so just because they
568 aren't in the mindset of thinking about everything that could possibly
569 go wrong.
571 * Non-ascii filenames can be silently removed despite being in a desired
572 directory.  Keeping only wanted paths is often done using pipelines like
573 `git ls-files | grep -v ^WANTED_DIR/ | xargs git rm`.  ls-files will
574 only quote filenames if needed, so folks may not notice that one of the
575 files didn't match the regex (at least not until it's much too late).
576 Yes, someone who knows about core.quotePath can avoid this (unless they
577 have other special characters like \t, \n, or "), and people who use
578 ls-files -z with something other than grep can avoid this, but that
579 doesn't mean they will.
581 * Similarly, when moving files around, one can find that filenames with
582 non-ascii or special characters end up in a different directory, one
583 that includes a double quote character.  (This is technically the same
584 issue as above with quoting, but perhaps an interesting different way
585 that it can and has manifested as a problem.)
587 * It's far too easy to accidentally mix up old and new history.  It's
588 still possible with any tool, but git-filter-branch almost invites it.
589 If lucky, the only downside is users getting frustrated that they don't
590 know how to shrink their repo and remove the old stuff.  If unlucky,
591 they merge old and new history and end up with multiple "copies" of each
592 commit, some of which have unwanted or sensitive files and others which
593 don't.  This comes about in multiple different ways:
595   ** the default to only doing a partial history rewrite ('--all' is not
596      the default and few examples show it)
598   ** the fact that there's no automatic post-run cleanup
600   ** the fact that --tag-name-filter (when used to rename tags) doesn't
601      remove the old tags but just adds new ones with the new name
603   ** the fact that little educational information is provided to inform
604      users of the ramifications of a rewrite and how to avoid mixing old
605      and new history.  For example, this man page discusses how users
606      need to understand that they need to rebase their changes for all
607      their branches on top of new history (or delete and reclone), but
608      that's only one of multiple concerns to consider.  See the
609      "DISCUSSION" section of the git filter-repo manual page for more
610      details.
612 * Annotated tags can be accidentally converted to lightweight tags, due
613 to either of two issues:
615   ** Someone can do a history rewrite, realize they messed up, restore
616      from the backups in refs/original/, and then redo their
617      git-filter-branch command.  (The backup in refs/original/ is not a
618      real backup; it dereferences tags first.)
620   ** Running git-filter-branch with either --tags or --all in your
621      <rev-list options>.  In order to retain annotated tags as
622      annotated, you must use --tag-name-filter (and must not have
623      restored from refs/original/ in a previously botched rewrite).
625 * Any commit messages that specify an encoding will become corrupted
626 by the rewrite; git-filter-branch ignores the encoding, takes the original
627 bytes, and feeds it to commit-tree without telling it the proper
628 encoding.  (This happens whether or not --msg-filter is used.)
630 * Commit messages (even if they are all UTF-8) by default become
631 corrupted due to not being updated -- any references to other commit
632 hashes in commit messages will now refer to no-longer-extant commits.
634 * There are no facilities for helping users find what unwanted crud they
635 should delete, which means they are much more likely to have incomplete
636 or partial cleanups that sometimes result in confusion and people
637 wasting time trying to understand.  (For example, folks tend to just
638 look for big files to delete instead of big directories or extensions,
639 and once they do so, then sometime later folks using the new repository
640 who are going through history will notice a build artifact directory
641 that has some files but not others, or a cache of dependencies
642 (node_modules or similar) which couldn't have ever been functional since
643 it's missing some files.)
645 * If --prune-empty isn't specified, then the filtering process can
646 create hoards of confusing empty commits
648 * If --prune-empty is specified, then intentionally placed empty
649 commits from before the filtering operation are also pruned instead of
650 just pruning commits that became empty due to filtering rules.
652 * If --prune empty is specified, sometimes empty commits are missed
653 and left around anyway (a somewhat rare bug, but it happens...)
655 * A minor issue, but users who have a goal to update all names and
656 emails in a repository may be led to --env-filter which will only update
657 authors and committers, missing taggers.
659 * If the user provides a --tag-name-filter that maps multiple tags to
660 the same name, no warning or error is provided; git-filter-branch simply
661 overwrites each tag in some undocumented pre-defined order resulting in
662 only one tag at the end.  (A git-filter-branch regression test requires
663 this surprising behavior.)
665 Also, the poor performance of git-filter-branch often leads to safety
666 issues:
668 * Coming up with the correct shell snippet to do the filtering you want
669 is sometimes difficult unless you're just doing a trivial modification
670 such as deleting a couple files.  Unfortunately, people often learn if
671 the snippet is right or wrong by trying it out, but the rightness or
672 wrongness can vary depending on special circumstances (spaces in
673 filenames, non-ascii filenames, funny author names or emails, invalid
674 timezones, presence of grafts or replace objects, etc.), meaning they
675 may have to wait a long time, hit an error, then restart.  The
676 performance of git-filter-branch is so bad that this cycle is painful,
677 reducing the time available to carefully re-check (to say nothing about
678 what it does to the patience of the person doing the rewrite even if
679 they do technically have more time available).  This problem is extra
680 compounded because errors from broken filters may not be shown for a
681 long time and/or get lost in a sea of output.  Even worse, broken
682 filters often just result in silent incorrect rewrites.
684 * To top it all off, even when users finally find working commands, they
685 naturally want to share them.  But they may be unaware that their repo
686 didn't have some special cases that someone else's does.  So, when
687 someone else with a different repository runs the same commands, they
688 get hit by the problems above.  Or, the user just runs commands that
689 really were vetted for special cases, but they run it on a different OS
690 where it doesn't work, as noted above.
694 Part of the linkgit:git[1] suite