Allow name sanitizer to be disabled with --no-auto-sanitize
[fast-export.git] / README.md
blob0a5673bdb4187aa6fdd831d090647f69cf4cdd78
1 hg-fast-export.(sh|py) - mercurial to git converter using git-fast-import
2 =========================================================================
4 Legal
5 -----
7 Most hg-* scripts are licensed under the [MIT license] and were written
8 by Rocco Rutte <pdmef@gmx.net> with hints and help from the git list and
9 \#mercurial on freenode. hg-reset.py is licensed under GPLv2 since it
10 copies some code from the mercurial sources.
12 The current maintainer is Frej Drejhammar <frej.drejhammar@gmail.com>.
14 [MIT license]: http://www.opensource.org/licenses/mit-license.php
16 Support
17 -------
19 If you have problems with hg-fast-export or have found a bug, please
20 create an issue at the [github issue tracker]. Before creating a new
21 issue, check that your problem has not already been addressed in an
22 already closed issue. Do not contact the maintainer directly unless
23 you want to report a security bug. That way the next person having the
24 same problem can benefit from the time spent solving the problem the
25 first time.
27 [github issue tracker]: https://github.com/frej/fast-export/issues
29 System Requirements
30 -------------------
32 This project depends on Python 2.7 and the Mercurial 4.6 package. If
33 Python is not installed, install it before proceeding. The Mercurial
34 package can be installed with `pip install mercurial`.
36 If you're on Windows, run the following commands in git bash (Git for
37 Windows).
39 Usage
40 -----
42 Using hg-fast-export is quite simple for a mercurial repository <repo>:
44 ```
45 mkdir repo-git # or whatever
46 cd repo-git
47 git init
48 hg-fast-export.sh -r <local-repo>
49 git checkout HEAD
50 ```
52 Please note that hg-fast-export does not automatically check out the
53 newly imported repository. You probably want to follow up the import
54 with a `git checkout`-command.
56 Incremental imports to track hg repos is supported, too.
58 Using hg-reset it is quite simple within a git repository that is
59 hg-fast-export'ed from mercurial:
61 ```
62 hg-reset.sh -R <revision>
63 ```
65 will give hints on which branches need adjustment for starting over
66 again.
68 When a mercurial repository does not use utf-8 for encoding author
69 strings and commit messages the `-e <encoding>` command line option
70 can be used to force fast-export to convert incoming meta data from
71 <encoding> to utf-8. This encoding option is also applied to file names.
73 In some locales Mercurial uses different encodings for commit messages
74 and file names. In that case, you can use `--fe <encoding>` command line
75 option which overrides the -e option for file names.
77 As mercurial appears to be much less picky about the syntax of the
78 author information than git, an author mapping file can be given to
79 hg-fast-export to fix up malformed author strings. The file is
80 specified using the -A option. The file should contain lines of the
81 form `"<key>"="<value>"`. Inside the key and value strings, all escape
82 sequences understood by the python `string_escape` encoding are
83 supported. (Versions of fast-export prior to v171002 had a different
84 syntax, the old syntax can be enabled by the flag
85 `--mappings-are-raw`.)
87 The example authors.map below will translate `User
88 <garbage<tab><user@example.com>` to `User <user@example.com>`.
90 ```
91 -- Start of authors.map --
92 "User <garbage\t<user@example.com>"="User <user@example.com>"
93 -- End of authors.map --
94 ```
96 Tag and Branch Naming
97 ---------------------
99 As Git and Mercurial have differ in what is a valid branch and tag
100 name the -B and -T options allow a mapping file to be specified to
101 rename branches and tags (respectively). The syntax of the mapping
102 file is the same as for the author mapping.
104 When the -B and -T flags are used, you will probably want to use the
105 -n flag to disable the built-in (broken in many cases) sanitizing of
106 branch/tag names. In the future -n will become the default, but in
107 order to not break existing incremental conversions, the default
108 remains with the old behavior.
110 Content filtering
111 -----------------
113 hg-fast-export supports filtering the content of exported files.
114 The filter is supplied to the --filter-contents option. hg-fast-export
115 runs the filter for each exported file, pipes its content to the filter's
116 standard input, and uses the filter's standard output in place
117 of the file's original content. The prototypical use of this feature
118 is to convert line endings in text files from CRLF to git's preferred LF:
121 -- Start of crlf-filter.sh --
122 #!/bin/sh
123 # $1 = pathname of exported file relative to the root of the repo
124 # $2 = Mercurial's hash of the file
125 # $3 = "1" if Mercurial reports the file as binary, otherwise "0"
127 if [ "$3" == "1" ]; then cat; else dos2unix; fi
128 -- End of crlf-filter.sh --
132 Plugins
133 -----------------
135 hg-fast-export supports plugins to manipulate the file data and commit
136 metadata. The plugins are enabled with the --plugin option. The value
137 of said option is a plugin name (by folder in the plugins directory),
138 and optionally, and equals-sign followed by an initialization string.
140 There is a readme accompanying each of the bundled plugins, with a
141 description of the usage. To create a new plugin, one must simply
142 add a new folder under the `plugins` directory, with the name of the
143 new plugin. Inside, there must be an `__init__.py` file, which contains
144 at a minimum:
147 def build_filter(args):
148     return Filter(args)
150 class Filter:
151     def __init__(self, args):
152         pass
153         #Or don't pass, if you want to do some init code here
156 Beyond the boilerplate initialization, you can see the two different
157 defined filter methods in the [dos2unix](./plugins/dos2unix) and
158 [branch_name_in_commit](./plugins/branch_name_in_commit) plugins.
161 commit_data = {'branch': branch, 'parents': parents, 'author': author, 'desc': desc}
163 def commit_message_filter(self,commit_data):
165 The `commit_message_filter` method is called for each commit, after parsing
166 from hg, but before outputting to git. The dictionary `commit_data` contains the
167 above attributes about the commit, and can be modified by any filter. The
168 values in the dictionary after filters have been run are used to create the git
169 commit.
172 file_data = {'filename':filename,'file_ctx':file_ctx,'d':d}
174 def file_data_filter(self,file_data):
176 The `file_data_filter` method is called for each file within each commit.
177 The dictionary `file_data` contains the above attributes about the file, and
178 can be modified by any filter. `file_ctx` is the filecontext from the
179 mercurial python library.  After all filters have been run, the values
180 are used to add the file to the git commit.
182 Submodules
183 ----------
184 See README-SUBMODULES.md for how to convert subrepositories into git
185 submodules.
187 Notes/Limitations
188 -----------------
190 hg-fast-export supports multiple branches but only named branches with
191 exactly one head each. Otherwise commits to the tip of these heads
192 within the branch will get flattened into merge commits.
194 As each git-fast-import run creates a new pack file, it may be
195 required to repack the repository quite often for incremental imports
196 (especially when importing a small number of changesets per
197 incremental import).
199 The way the hg API and remote access protocol is designed it is not
200 possible to use hg-fast-export on remote repositories
201 (http/ssh). First clone the repository, then convert it.
203 Design
204 ------
206 hg-fast-export.py was designed in a way that doesn't require a 2-pass
207 mechanism or any prior repository analysis: if just feeds what it
208 finds into git-fast-import. This also implies that it heavily relies
209 on strictly linear ordering of changesets from hg, i.e. its
210 append-only storage model so that changesets hg-fast-export already
211 saw never get modified.
213 Submitting Patches
214 ------------------
216 Please use the issue-tracker at github
217 https://github.com/frej/fast-export to report bugs and submit
218 patches.