CI: Remove run-tests script

The script should have been removed in 90c6ad5f8759 ("test: use make
to run the tests").

Drop manual CodeQL actions

Use default configuration as configured in the web interface instead
of hand-configured ci-actions which gives warnings.

Merge branch 'gh/321'

Merge branch 'gh/320'

Fixes warnings appearing with Python 3.12.

hg-fast-export.py:231: SyntaxWarning: invalid escape sequence '\.'

Add tests for plugins setting file content to None

Don't add file if plugin sets content to `None`

Fix escape in regular expression

Merge branch 'frej/gh318'

Closes #318

Run file_data_filter on deleted files

The `file_data_filter` method should be called when files are deleted.
In this case the `data` and `file_ctx` keys map to None. This is so
that a filter which modifies file names can apply the same name
transformations before files are deleted.

Make plugin loader look in directories relative to cwd

Make the plugin loader also look for plugins using a path relative to
the current working directory.

Merge branch 'frej/run-tests-with-different-python-versions'

Run tests with multiple Python versions

Run the CI tests with both the earliest supported Python version and
the latest stable release.

The intent is to quickly notice when new features require adjusting
the oldest supported Python version and also detect when the latest
stable version breaks old code (as when 3.12 removed `imp` and we
witched to `importlib` in #311).

Check for a supported Python version on startup

Check that hg-fast-export is running on a supported version of Python
on startup. This is an attempt to avoid problems like #314 in the
future.

Update required version of Python to 3.7

Due to problems with handling of Unicode input in Python < 3.7, bump
the required version of Python to 3.7.

Add command line flag to dump found versions

Add `--debug` command line flag which dumps the detected versions of
Mercurial and Python. This will probably help future debugging when
unexpected versions are used.

Merge branch 'frej/fix-314'

Don't look for a Python 2 interpreter

Don't look for a Python 2 interpreter as Python is no longer
supported. If there is a Python 2 available and it had the Mercurial
modules available, hg-fast-export would use it and fail to import
`importlib.machinery`. This is probably the cause of #314.

Closes #314.

Merge branch 'PR/312'

Remove Python 2 compatibility code

Python 2 support was removed recently, so we don't need the
compatibility code anymore.

Merge branch 'PR/311'

Closes #311

Make pluginloader use importlib instead imp

Python 3.12 has removed imp and it's recommended to use importlib
instead. Python 2.7 doesn't have importlib, so Python 2.7 support is
ceased (not a big deal since it's been more than 3 years since it was
EOLed) as a part of this change.

Merge branch 'PR/305' into frej/felipec-pr-spree

Closes #305

Merge branch 'PR/303' into frej/felipec-pr-spree

Closes #303
Closes #304

Merge branch 'PR/302' into frej/felipec-pr-spree

Closes #302

Merge branch 'PR/301' into frej/felipec-pr-spree

Closes #301

github: rename the main action to ci

As in: Continuous Integration.

Signed-off-by: Felipe Contreras <felipe.contreras@gmail.com>

github: move CodeQL steps into the main action

Signed-off-by: Felipe Contreras <felipe.contreras@gmail.com>

github: cleanup codeql action

Based on the latest walk-through: https://github.com/github/codeql-action.

Gets rid of the warning:

Warning: 1 issue was detected with this workflow: git checkout HEAD^2 is no longer necessary. Please remove this step as Code Scanning recommends analyzing the merge commit for best results.

Signed-off-by: Felipe Contreras <felipe.contreras@gmail.com>

test: use make to run the tests

Signed-off-by: Felipe Contreras <felipe.contreras@gmail.com>

test: update default location of sharness

It's included as a module for a reason.

Also, use "$0" so the tests can be run like `./t/main.t` (or any other
directory).

Signed-off-by: Felipe Contreras <felipe.contreras@gmail.com>

github: update checkout action

Gets rid of the warning:

Node.js 12 actions are deprecated. Please update the following actions to use Node.js 16: actions/checkout@v2. For more information see: https://github.blog/changelog/2022-09-22-github-actions-all-actions-will-begin-running-on-node16-instead-of-node12/.

Signed-off-by: Felipe Contreras <felipe.contreras@gmail.com>

test: bump sharness to 1.2

It's finally released.

Signed-off-by: Felipe Contreras <felipe.contreras@gmail.com>

Merge branch 'PR/299' into frej/sharness-as-submodule-and-smoke-test

Closes #298
Closes #299

Update codeql to version 2

Add smoke tests to CI test suite

The added test is an unpublished test, now ported to Sharness, which
has been used by the maintainer to sanity check PRs.

Change CI to run tests using test runner

Add primitive test runner

Add Sharness as a submodule

Trivial simplification

Just return the values directly, no need to store them into variables.

Signed-off-by: Felipe Contreras <felipe.contreras@gmail.com>

Remove multiple parent logic for file changes

This is already what repo.status does.

Signed-off-by: Felipe Contreras <felipe.contreras@gmail.com>

Compare changes only with the first parent

It's not necessary to check both parents.

Signed-off-by: Felipe Contreras <felipe.contreras@gmail.com>

Remove no-op check

This code is only executed when there's two parents.

Signed-off-by: Felipe Contreras <felipe.contreras@gmail.com>

Move parents logic inside get_filechanges

This way export_commit is much simpler (already quite complex), and it's
easier to modify the logic.

No functional changes.

Signed-off-by: Felipe Contreras <felipe.contreras@gmail.com>

Rename variables in get_filechanges

It's easier to understand this way.

No functional changes.

Signed-off-by: Felipe Contreras <felipe.contreras@gmail.com>

Simplify split_dict

There's no need to keep track of the left side: if it's modified it's
modified.

Signed-off-by: Felipe Contreras <felipe.contreras@gmail.com>

Coalesce modified files

Git doesn't care if they are added or changed: they are modified.

Signed-off-by: Felipe Contreras <felipe.contreras@gmail.com>

Trivial style cleanup

Checking the array directly is more idiomatic.

Signed-off-by: Felipe Contreras <felipe.contreras@gmail.com>

Simplify list of files for the first commit

We already have the files.

Signed-off-by: Felipe Contreras <felipe.contreras@gmail.com>

github: enable tests

Signed-off-by: Felipe Contreras <felipe.contreras@gmail.com>

Add main test

Signed-off-by: Felipe Contreras <felipe.contreras@gmail.com>

Merge branch 'PR/297'

Closes #297

Skip earlier

Now that we have ctx easily available, skip early.

Signed-off-by: Felipe Contreras <felipe.contreras@gmail.com>

Share the changectx more

It's used everywhere, might as well pass it along.

Signed-off-by: Felipe Contreras <felipe.contreras@gmail.com>

Avoid revsymbol()

We can just do repo[rev].

Signed-off-by: Felipe Contreras <felipe.contreras@gmail.com>

Don't deal with the node in get_changeset()

It's not necessary.

It could be fetched with repo[rev].node(), but why bother?

Signed-off-by: Felipe Contreras <felipe.contreras@gmail.com>

Use revision directly instead of revnode

We don't need the revnode.

Signed-off-by: Felipe Contreras <felipe.contreras@gmail.com>

Use changectx directly

There's no need to call repo[revnode] when repo[rev] works perfectly
fine.

And since we have the context already we can just do ctx.hex() instead
of hexlifying ourselves.

Signed-off-by: Felipe Contreras <felipe.contreras@gmail.com>

Fetch node directly

No need to call get_changeset() for that.

Signed-off-by: Felipe Contreras <felipe.contreras@gmail.com>

Fetch branch names directly

No need to use get_changeset() for just one thing.

Signed-off-by: Felipe Contreras <felipe.contreras@gmail.com>

Remove cruft

Nothing uses that variable.

Signed-off-by: Felipe Contreras <felipe.contreras@gmail.com>

hg2git: set proper default branch

So that cfg_master is picked up in get_branch().

Signed-off-by: Felipe Contreras <felipe.contreras@gmail.com>

Merge branch 'PR/296'

README: cleanup initial instructions

The `git init` command can create the directory, and HEAD doesn't need
to be specified in `git checkout` (it's the default).

Signed-off-by: Felipe Contreras <felipe.contreras@gmail.com>

Merge branch 'PR/295'

Closes 295

Trivial simplification of wr

No need to issue two write commands.

Signed-off-by: Felipe Contreras <felipe.contreras@gmail.com>

Add wr_data helper

No functional changes.

Signed-off-by: Felipe Contreras <felipe.contreras@gmail.com>

Fix data handling

The length should be exactly the same as the data, for example if the
data is "hello" only 5 characters should be written on the stream. Thus
it should always be `len(data)`, not `len(data)+1` as it currently is in
some places.

Since the first commit of hg2git.py there was a wtf comment, presumably
Rocco was confused about this common discrepancy.

We can shuffle the logic around by adding '\n' to the data, and removing
+1 to the length.

Also, the data should be written without a newline (wr_no_nl).

Signed-off-by: Felipe Contreras <felipe.contreras@gmail.com>

Merge branch 'PR/294'

Fix typo in README

Added dash to match the actual usage of the 'ignore-unnamed-heads' option

Merge branch 'PR/293'

Closes #292

Resolve unicode escape sequences not being processed correctly

In `process_unicode_escape_sequences()`, any backslash escape sequences
in the original string are escaped upon the first
`.encode('unicode-escape')` and therefore round-trip the sequence of
`.encode('unicode-escape').decode('unicode-escape')`.

That is not what we want - we want these sequences to be passed-through
the `.encode` unchanged, so that they will be converted to the
character they represent upon `.decode()`.

This patch changes the `.encode()` step to pass through any ascii
characters unchanged, only escaping non-ascii characters. This ensures
any existing backslash escape sequences will be interpreted as the
character they represent upon `.decode()`.

Merge branch 'PR291'

Update README.md to change recommandation for crlf filtering

Merge branch 'frej/submodule-doc-improvement'

Merge branch 'frej/fix-re-future-warning'

Remove inconsistencies from submodule documentation

The submodule documentation is not consistent with regards to the
example directory structure. Update the example to be consistent.

Closes #277.

Fix FutureWarning about nested sets in re

Since Python 3.7 the re module warns for syntax which could, in the
future, be misparsed as a nested set. Avoid this by escaping the
literal `[` we search for in the regexp.

Reported by Monte Davidoff @mndavidoff

Closes #269.

Give proper error message when refusing to overwrite existing branch

If fast-export was asked to export a Mercurial branch to Git and a
branch of the same name already existed in the Git repo but it was not
created by fast export, fast-export would crash while trying to format
an error message claiming that the destination branch was modified
behind its back.

This patch extends fast-export to detect the situation above and give
a proper error message which hopefully is less confusing to the user.

Credits for discovering the original crash goes to Shun-ichi Goto
<gotoh@taiyo.co.jp>.

Closes: #269.

Update contribution guidelines and make github display them

Try to make it clear that sloppy, throw it over the fence, patches
won't be accepted without revision and try to make sure a potential
contributor sees the warning while creating a pull request.

Merge branch 'frej/issue-258'

Closes 258

Merge branch 'PR/260'

Closes 257

Add plugin support for the 'extra' field

Permits plugins to import other information such as svn conversion revisions

bugfix: Avoid starting incremental conversions from scratch

Keys and values in the state cache are byte strings, therefore a
lookup of 'tip' will always fail. The failure makes the conversion
start over from the beginning, but as fast-export is deterministic the
results are the same, just very inefficient. The bug has existed since
the port to Python 3.

This patch switches the 'tip' lookup to use a byte string which should
make incremental conversions restart at the last converted commit. As
'x' == b'x' in Python 2, this should be a backwards compatible change.

Bug reported and fix suggested by Tomas Kolda.

Fixes #258.

Merge branch 'PR/254'

Remove some ".py" wording

Avoid confusion about which file is the main entry point to fast-export,
in order to avoid the issue mentioned here

https://github.com/frej/fast-export/issues/158#issuecomment-754482516

Also fix a typo

Merge branch 'PR/251'

Document --ignore-unnamed-heads option

Merge branch 'PR/247'

Fix typo in README

Add plugin for dropping commits from output

Enable code analysis

Merge github generated workflow into master

Create codeql-analysis.yml

Allow plugins to modify the committer

Plugins have since they were introduced been able to modify the author
of a commit, but not the committer. This patch adds the necessary
support for allowing them to also modify the committer.

Update section about submitting patches in README

Try to cover the most common reasons for requesting changes in PRs.

Merge branch 'PR/236-v2' into master

Implement a plugin converting unnamed heads to branches

Update head2branch plugin to accept hg commit hash

The revision number isn't a unique identifier of commits across
repository clones and forks, while the hg hash is guaranteed to be stable.

Pass original hg commit hash to plugins

Add head2branch plugin

Support converting unnamed heads to named branches during mercurial
conversions.

Co-Authored-By: ostan89@gmail.com

Add revision to commit_data for commit plugins

Co-Authored-By: ostan89@gmail.com

Add option --ignore-unnamed-heads

This option allows the user to ignore only unnamed heads (compared to --force
which ignores all non-fatal issues). The intended use is for a future plugin
converting unnamed heads to named branches.