Merge pull request #5 from living180/master

Make hg-fast-export work on Windows

Make hg-fast-export work on Windows

* use sys.stdout.write instead of print to avoid end-of-line issues
* use os.devnull instead of hard-coding /dev/null

Merge pull request #4 from aried3r/master

Fixed a bug related to sanitizing branch names.

Applied rule #7 of git-check-ref-format

Rule #7 of git-check-ref-format states "7. They cannot end with a dot
'.'." which was not yet implemented in fast-export. This commit fixes
this.

Update documentation: The tool is no longer called hg-fast-import

Mention the author map file in the readme

Add usage info for the --force option

Commits with no parent need a reset command.

This fixes a problem where a repository is imported incorrectly when there is a merge
between two branches with no common history.

Support the case where the author field has an empty email address, i.e. it is of the form 'name <>'.

Use hg methods to extract name and email when doing user fixup

hg-fast-export.sh should fail if git-fast-import fails

Previously, git-fast-import could fail, and exit with a non-zero status.
But the exit status of hg-fast-export.sh would not reflect this.

Support passing --force to git-fast-import

Remove \" from the user string before trying to extract name and email

Signed-off-by: Frej Drejhammar <frej.drejhammar@gmail.com>
Reported-by: Cole Robinson <crobinso@redhat.com>
Thank's to Cole Robinson for reporting the bug and providing a fix
which was adapted to this patch.

The original bug report:

I was recently converting a few mercurial repositories to git, and
noticed certain commits had their date reset to Jan 1 1970.

An example repo:

http://hg.fedorahosted.org/hg/virt-manager

An example commit:

http://hg.fedorahosted.org/hg/virt-manager/rev/41182500ddef

After some poking, it seems the culprit was that the "author:" was
surrounded by quotation marks

The "verifying branch" message is not very interesting

Particularly if the repo has hundreds of branches.

Simplify handling of parents of exported commit

The previous code did an awful lot of work to infer the parents of an
exported commit, incorporating information from many sources.  But
there were multiple bugs in this scheme, sometimes resulting in merge
commits with two parents pointing to the same commit object.

Instead, use a much more straightforward process of mapping the
parents stored in hg.

Maintain backwards compatibility for ui setup

Signed-off-by: Rocco Rutte <pdmef@gmx.net>

Update to work with mercurial ui refactorings

Signed-off-by: Rocco Rutte <pdmef@gmx.net>

hg-fast-export: Compare HG revisions when merging

hg-fast-export uses hg's branch order (from the log) when merging,
this is a problem. Consider the case:

HG repo A  has revisions 1-10. Repository B is cloned from that.
Subsequently, A adds revision 11, and B adds a different change which
also has revision 11. If B now pulls from A, A's rev11 will have the
number 12; if A then pulls from B, the reverse also holds. So the logs
are different even though they contain the exact same changes.

hg-fast-export will thus create different git repositories for A and B,
even though the contents are identical for all practical purposes.
In particular, the repos would be identical if A and B had used git from
the beginning.

To fix that, compare HG revisions instead of log positions.

hg-fast-export: Support branches without parents

Previously we fed the full revision only for the first one and deltas
for all following including branches being forked off. This doesn't work
with branches that are forked from revision 0. In case such a branch is
found, we now also feed the full revision.

Signed-off-by: Rocco Rutte <pdmef@gmx.net>

hg-fast-export: Point out that only local repos are supported

Signed-off-by: Frej Drejhammar <frej.drejhammar@gmail.com>

hg-fast-export: Update todo now that tag movement is supported

Signed-off-by: Rocco Rutte <pdmef@gmx.net>

Merge branch 'from-jmcmullan' into develop

Conflicts:
hg-fast-export.py

hg-fast-export: add option to track remote branches under a custom namespace

Add -o, --origin <name> to allow user to set a namespace used
when importing remote branches.

Signed-off-by: Fabrizio Chiarello <ponch@autistici.org>

hg export: Support tag movement

HG tag movement is now supported with this patch.

This patch creates a .git/hg2git-mapping file, which maps
HG revision numbers to HG hashes. Combined with the
.git/hg2git-marks file, which maps HG revisions to GIT hashes,
we can now reprocess all tags at the end of each hg export
operation.

hg2git: Update copyrights and maintainership information.

Signed-off-by: Rocco Rutte <pdmef@gmx.net>

hg-fast-export: Make default branch customizable

Add -M, --default-branch <branch_name> to allow user to set
the default branch where to pull into

Signed-off-by: Fabrizio Chiarello <ponch@autistici.org>

hg-fast-export: Catch up with mercurial crew API changes

Signed-off-by: Rocco Rutte <pdmef@gmx.net>

hg-fast-export.py: Use appropriate file mode for symlinks.

hg-fast-export: work still if git-commands are not in PATH

In git 1.6.0, most git tools with a dash in the name will no
longer be installed in $bindir.  This patch makes hg-fast-export
use the "git <command>" form so it will work even if "git" is
the only piece of git machinery in the user's PATH.

On the other hand, the "git <command>" form does not help for
sourcing a shell script (with ".").  So use the full path to
source "git-sh-setup".

Signed-off-by: Jonathan Nieder <jrnieder@uchicago.edu>

Revert "hg2git: Replaces space with "_" in branches name"

The get_branch() function's purpose is to detect whether a mercurial
branch name actually should be considered the default branch.

Sanitizing branch and tag names for git is done in sanitize_name().

Noted by Jonathan Nieder.

This reverts commit cdfdae36c8a73fb257eceff33b03d2f320bafc6b.

hg-fast-export.py: sanitize tildes (~) in branch names

In git-check-ref-format (1), there is the following rule for refnames:

3. It cannot have ASCII control character (i.e. bytes
   whose values are lower than \040, or \177 DEL), space,
   tilde ~, caret ^, colon :, question-mark ?, asterisk *,
   or open bracket [ anywhere;

and indeed, this rule is enforced by "git fast-import". hg-fast-export
already checked for all of the visible characters listed except for ~
and converted them to underscores. For some reason the tilde was
forgotten. This patch makes good on the omission.

Note that control characters are still left alone.

Signed-off-by: Jonathan Nieder <jrnieder@uchicago.edu>
Signed-off-by: Rocco Rutte <pdmef@gmx.net>

Clarify where 'HEAD' branch name comes from

Signed-off-by: Rocco Rutte <pdmef@gmx.net>

hg2git: Replaces space with "_" in branches name

Since space doesn't conform to GIT branches name standards,
it should be replaced or with another character.

Signed-off-by: Felipe Zimmerle <felipe.zimmerle@indt.org.br>
Signed-off-by: Rocco Rutte <pdmef@gmx.net>

hg-fast-export.py: Cache possibly sanitized branch names

...instead of doing it for every single commit.

Signed-off-by: Rocco Rutte <pdmef@gmx.net>

Merge branch 'fixes'

* fixes:
  hg-fast-import.py: Sanitize ref names
  hg-fast-export.py: Don't attempt to dump revs beyond tip with -m
  hg-fast-export.py: Minor tweaks/cleanup

hg-fast-import.py: Sanitize ref names

At least the opensolaris hg repo has tag names containing '*',
so sanitize all branch and tag names roughly according to the
specs for git-check-ref-format(1).

Signed-off-by: Rocco Rutte <pdmef@gmx.net>

hg-fast-export.py: Don't attempt to dump revs beyond tip with -m

Signed-off-by: Rocco Rutte <pdmef@gmx.net>

hg-fast-export.py: Minor tweaks/cleanup

Remove some unused variables, generalize dictionary-splitting and make
sure we don't sort filename lists twice (repo.status returns files
sorted already).

Signed-off-by: Rocco Rutte <pdmef@gmx.net>

Fix shell substitution typo

Signed-off-by: Rocco Rutte <pdmef@gmx.net>

hg-reset.py: Use mangle_key() for load_cache() as hg-fast-export.py does

Signed-off-by: Rocco Rutte <pdmef@gmx.net>

hg-fast-export.py: Rewrite merge logic

Merges were completely broken as they ended up with twice the same
parent in git. Still everything besides gitk seemed to work.

This because of 1) the incorrect assumption that a commit's parent is
the commit exported right before it and 2) some confusion with markes
being saved/loaded/used since git-fast-import doesn't allow for a ":0"
mark to map hg revision 1:1 to marks.

The merge "algorithm" now works like this:

1) If the commit's higher parent (highest hg rev), is not the last
commit exported for a particular branch, we issue a "from" command to
place it on top of it.

2) If the commit's lower parent exists, we issue a "merge" for it.

This is much simpler and seems to produce correct merges in git. And
while I'm at it, make output less confusing by prepending the target
branch name to each line.

The "twice the same parent" bug was discovered by Michele Ballabio on
the git list.

Signed-off-by: Rocco Rutte <pdmef@gmx.net>

hg2git.py: Allow consumers to modify keys of dicts returned by load_cache()

By default, the key is not changed. This will allow us for fixing up the
off-by-one issue with marks restored using load_cache().

Signed-off-by: Rocco Rutte <pdmef@gmx.net>

hg2git.py: Use git-rev-parse to get SHA1s instead of reading files below refs/ directly

This should now also properly support packed refs.

Signed-off-by: Rocco Rutte <pdmef@gmx.net>

hg2git.py: Map 'HEAD', 'default' and '' hg branches to 'master' in git

Also add a note where HEAD is comming from.

Signed-off-by: Rocco Rutte <pdmef@gmx.net>

Allow for $PYTHON environment variable specifying python binary to use

Signed-off-by: Rocco Rutte <pdmef@gmx.net>

This prevents invalid command errors caused by bytes not being flushed to
git-fastimport in the same order as they were written to the buffer.

Signed-off-by: Scott Lamb <slamb@slamb.org>

Removed git-p4 from fast-export. It has been moved to git.git:contrib/fast-import.

Signed-off-by: Simon Hausmann <shausman@trolltech.com>

Make it possible to specify the HEAD for the internal findUpstreamBranchPoint function.

This isn't used right now in git-p4 but I use it in an external script that loads git-p4 as module.

Signed-off-by: Simon Hausmann <shausman@trolltech.com>

Added git-p4 branches command that shows the mapping of perforce depot paths to imported git branches.

Signed-off-by: Simon Hausmann <simon@lst.de>

Warn about conflicting p4 branch mappings and use the first one found.

Signed-off-by: Simon Hausmann <simon@lst.de>

Fix the branch mapping detection to be independent from the order of the "p4 branches" output.

Collect "unknown" source branches separately and register them at the end.

Also added a minor speed up to splitFilesIntoBranches by breaking out of the loop through all branches when it's safe.

Signed-off-by: Simon Hausmann <simon@lst.de>

git-p4 fails when cloning a p4 depo.

A perforce command with all the files in the repo is generated to get
all the file content.
Here is a patch to break it into multiple successive perforce command
who uses 4K of parameter max, and collect the output for later.

It works, but not for big depos, because the whole perforce depo
content is stored in memory in P4Sync.run(), and it looks like mine is
bigger than 2 Gigs, so I had to kill the process.

[Simon: I added the bit about using SC_ARG_MAX, as suggested by Han-Wen]

Signed-off-by: Benjamin Sergeant <bsergean@gmail.com>
Signed-off-by: Simon Hausmann <simon@lst.de>

Fix initial multi-branch import.

The list of existing p4 branches in git wasn't initialized.

Only use double quotes on Windows

Fix git-p4 rebase to detect the correct upstream branch instead of unconditionally
always rebasing on top of remotes/p4/master

Moved the code from git-p4 submit to figure out the upstream branch point
into a separate helper method.

git-p4 submit: Fix missing quotes around p4 commands to make them work with spaces in filenames

Noticed by Alex Riesen

Mention remotes/p4/master also in the documentation.

Provide some information for single branch imports where the commits go

git-p4: check for existence of repo dir before trying to create

When using git-p4 in this manner:

git-p4 clone //depot/path/project myproject

If "myproject" already exists as a dir, but not a valid git repo, it fails
to create the directory.

Signed-off-by: Kevin Green <Kevin.Green@morganstanley.com>

Write out the options tag in the log message of imports only if we actually have
options

Fix support for explicit disabling of syncing with the origin

Fix depot-paths encoding for multi-path imports (don't split up //depot/path/foo)

Fix project name guessing

Fix updating/creating remotes/p4/* heads from origin/p4/*

Fixed the check to make sure to exclude the HEAD symbolic refs when updating
the remotes/p4 branches from origin.

also strip p4/ from local imports.

Merge branch 'master' of git://repo.or.cz/fast-export

print error message when p4 print fails (eg. due to permission problems)

Only get the expensive branch mapping from the p4 server when not
syncing with the help of an origin remote (which we instead then use
to get new branches from).

Make git-p4 submit detect the correct reference (origin) branch when
working with multi-branch imports.

Signed-off-by: Simon Hausmann <simon@lst.de>

Make clone behave like git clone by default again.

Signed-off-by: Simon Hausmann <simon@lst.de>

Exclude the HEAD symbolic ref from the list of known branches

Fix single branch import into remotes

Fix git-p4 clone (defaultDestination)

Ensure that the commit message is Windows formated (CRLF) before invoking the editor.

(The default editor on Windows (Notepad) doesn't handle Unix line endings)

Signed-off-by: Marius Storm-Olsen <marius@trolltech.com>

Fix depot-path determination for git-p4 submit

Fix git-p4 submit

Fix git-p4 rebase

Hack to make the multi-branch import work again with self.depotPaths now that
self.depotPath is gone

Don't attempt to set the initialParent on multi-branch imports (useless).
At some point the code paths should be unified, but for now I need a working
git-p4 :)

Fix common path "calculation" from logs of multiple branches.
Need to use min instead of max for prev/cur to avoid out-of-bounds
string access. Also treat "i" as index of the last match instead of
a length because in case of a complete match of the two strings
i was off by one.

Fix support for "depot-path" in older git-p4 imports

look for 'text' and 'binary' files.

thinko: really ignore deleted files.

remove debug print

Cleanups & import into p4/master for local import

- import into master/local if --import-local is set

- use Die() for exiting

- if --verbose is set, raise Exception()

- use joined strings iso. `list` for progress printing

use p4CmdList() to get file contents in Python dicts. This is more robust.

only run p4 print if necessary

don't p4 print deleted files.

read files before creating the commit.

thinko.

store p4 user cache in home directory.

Thinko, fix buglet.

Read p4 files in one batch.

remove global .gitdir

Merge origin.

Diverse cleanups

- print commands with \n

- extractDepotPathsAndChangeFromGitLog -> extractSettings, returning
dict.

- store keepRepoPath in [git-p4: ] line

- create a main() function, so git-p4 can be pychecked

- use --destination for clone destination. This simplifies logic
for --keep-path

Fix typo in listExistingP4Branches that broke sync.

In *_pipe print the command that failed if it fails.
Fixed old calls to mypopen.