jobd: take a short break after each queue run

If all repositories are free of errors, jobd will finish each run of the
queue extremely quickly. In anticipation of this (admittedly quite
unlikely) event, make it rest a bit every time it completes all jobs.

Signed-off-by: Jan Krüger <jk@jk.gs>

jobd: be more verbose about the passage of time

Make jobd include a timestamp in major status messages so that it's
easier to see for observers whether anything is broken.

Signed-off-by: Jan Krüger <jk@jk.gs>

jobd: outsource limit for resource-hungry jobs to switch

Make the limit for maximum simultaneous resource-hungry jobs (gc jobs) a
command line switch and reduce the default value to a more reasonable 1,
since some repositories can eat quite a bit of CPU and I/O indeed.

Signed-off-by: Jan Krüger <jk@jk.gs>

Girocco::Project: more robust method to detect errors when changing HEAD

Apparently, Perl does interesting things with the return code of
system(), so instead check $? afterwards... and bypass the shell by
passing system() a list, for added efficiency and security.

Signed-off-by: Jan Krüger <jk@jk.gs>

Girocco::Project: fix bogus regexp in get_heads

Signed-off-by: Jan Krüger <jk@jk.gs>

editproj.cgi: allow changing the default branch (HEAD)

Signed-off-by: Jan Krüger <jk@jk.gs>

Girocco::Project: add infrastructure for getting/setting HEAD

Provide the underlying functionality for adding an outstanding feature
to Girocco, namely allowing admins to change the default branch of their
repositories.

Signed-off-by: Jan Krüger <jk@jk.gs>

Girocco::Project: when editing user list, filter non-existent users

We used to accept usernames into the list even if no corresponding user
account existed. For now, silently filter those, which is probably an
improvement.

Signed-off-by: Jan Krüger <jk@jk.gs>

Girocco::Project: reuse HEAD from forkee

When we fork a repository, use the same HEAD as the forkee (especially
important if the forkee doesn't have the standard refs/heads/master).

Signed-off-by: Jan Krüger <jk@jk.gs>

Girocco::Project: fix copying refs from source repository

The previous code for copying refs from a forkee did not work at all.
Use a version that does work.

Signed-off-by: Jan Krüger <jk@jk.gs>

Merge branch 'wip/new-jobd'

regproj.cgi: be more lax in the CAPTCHA check

Until now, we only accepted exactly the word 'sun' (case-insensitive) as
the CAPTCHA value. At least 'the sun' should be valid, too, however, to
avoid undue confusion... so allow it.

Signed-off-by: Jan Krüger <jk@jk.gs>

jobd: defer gc for newly created mirror repositories

Just like we don't want to update repositories before they are first
mirrored, we don't want to gc them before the initial mirroring has
finished. After all, otherwise we will probably be left with many
unpacked objects which will stick around for quite some time until the
next gc is run on that repository.

Signed-off-by: Jan Krüger <jk@jk.gs>

jobd: don't update new projects that are not fully mirrored yet

Signed-off-by: Jan Krüger <jk@jk.gs>

jobd: check update/gc timestamps before ever running update.sh/gc.sh

This should make for another nice speedup since we don't need to wait
for the update.sh/gc.sh processes any longer.

Signed-off-by: Jan Krüger <jk@jk.gs>

jobd/jobd.sh: outdated; make it run jobd.pl

Since jobd.pl is already more stable (and quite a bit faster) than the
old jobd.sh, it now replaces that.

Signed-off-by: Jan Krüger <jk@jk.gs>

jobd: give each job its own process group

This allows us to kill the entire group, i.e. the job and all of its
child processes, in one fell swoop.

Signed-off-by: Jan Krüger <jk@jk.gs>

jobd: increase number of intensive jobs run simultaneously

Most of the time these jobs will finish so quickly that they don't
effectively run simultaneously anyway.

Signed-off-by: Jan Krüger <jk@jk.gs>

jobd: spawn new jobs more quickly after reaping old ones

Especially intensive processes are a bit slow now because they are
effectively limited to one per second. Eliminate this delay whenever we
know that we have just made room for running more processes.

Signed-off-by: Jan Krüger <jk@jk.gs>

jobd: when running job callbacks, properly pass the job info structure

Stopped working due to sloppy reworking of handler code in 0fdf2b89.
This fixes it.

Signed-off-by: Jan Krüger <jk@jk.gs>

jobd: remember to mark finished jobs as finished

Hurrrrr. Gurrrrrk.

Signed-off-by: Jan Krüger <jk@jk.gs>

jobd: yet another typo fix

Perhaps I should call it a day...

Signed-off-by: Jan Krüger <jk@jk.gs>

jobd: shotgun fixes for new job handling

- Disconnect child processes from our STDIN to prevent confusing them
- Shorten delay in children to prevent annoying slowdowns
- Don't consider processes for hang checks if they are not running in
  the first place
- Simplify and correctify code for running success/error handlers

Signed-off-by: Jan Krüger <jk@jk.gs>

jobd: fix a few typos that prevent it from running

Go me.

Signed-off-by: Jan Krüger <jk@jk.gs>

jobd: increase default parallelization limit to 20

Since we can now limit load-intensive processes separately, we can
easily run even more of the less intensive processes at the same time.
Let's do it.

Signed-off-by: Jan Krüger <jk@jk.gs>

jobd: check for finished jobs in main loop

The current approach using a signal handler seems slightly more prone to
weird things happening, such as the signal handler triggering just once
for several finished child processes or whatever. I dunno. Instead, just
check for terminated processes from within the main loop. Make the main
loop delay less so we don't get slowed down too much.

Also make spawned child processes wait for just a little moment before
running them so ultra-fast quitters don't race us.

Signed-off-by: Jan Krüger <jk@jk.gs>

jobd: distinguish load-intensive jobs

Add a new class of jobs that prevents other jobs from running at the
same time, mostly designed for GC jobs.

Signed-off-by: Jan Krüger <jk@jk.gs>

jobd: keep processing queue properly near the end

Previously, jobd forgot to check periodically for status updates when
only a few running jobs and no queued jobs were left, instead checking
in a tight loop. Instead, make it sleep even then.

Signed-off-by: Jan Krüger <jk@jk.gs>

jobd: simplify progress code

Signed-off-by: Jan Krüger <jk@jk.gs>

jobd: properly skip unnecessary jobs

Previously, jobs were skipped by having them execute /bin/false. That is
not only a waste of resources but can also cause annoying race
conditions if false exits more quickly than we can associate it with its
PID. Therefore, add a proper system for skipping jobs altogether and
include skipped jobs in progress output.

Signed-off-by: Jan Krüger <jk@jk.gs>

jobd: properly handle SIGINT and SIGTERM

Signed-off-by: Jan Krüger <jk@jk.gs>

jobd: Queue GC operations even for projects that shouldn't run update

Signed-off-by: Jan Krüger <jk@jk.gs>

jobd: when handling finished processes, ignore unstarted ones

When processes start and exit very quickly, the SIGCHLD handler can
trigger warnings caused by 'running' jobs that haven't actually had
their processes started yet. Make it ignore those.

Signed-off-by: Jan Krüger <jk@jk.gs>

jobd: make progress output time-dependent

Up until now, jobd displayed progress approximately every ten jobs. That
is sometimes a lot and sometimes not very much. Instead, make it display
roughly once per minute.

Signed-off-by: Jan Krüger <jk@jk.gs>

jobd: new progress output: fix typo

Called a non-existent function. Doesn't now.

Signed-off-by: Jan Krüger <jk@jk.gs>

jobd: in progress output, show list of running jobs

Currently, progress will simply show the same thing over and over again
if all running processes are busy for a long time. Instead, show which
ones they are and for how long we've been running them.

Signed-off-by: Jan Krüger <jk@jk.gs>

jobd: fix Perl gotchas in SIGCHLD handler

This time, Perl decided to turn an array into a scalar when I *didn't*
want it to. Balance is restored now.

Signed-off-by: Jan Krüger <jk@jk.gs>

jobd: handle finished child processes

Durrr. The code was all there, but the handler for finished processes
was not actually getting used. Now it is.

Signed-off-by: Jan Krüger <jk@jk.gs>

jobd: keep looping the queue even if running queue is full

Due to a leftover from a previous version of the code, the queue loop
was prematurely aborted once three processes were running in parallel.
This changes one word into another, eliminating the problem.

Signed-off-by: Jan Krüger <jk@jk.gs>

jobd: properly display queue sizes

Small Perl gotcha: @foo as a %d arg to printf will not magically be run
in scalar context, thus outputting a numeric value for something. Fix by
explicitly making it scalar.

Signed-off-by: Jan Krüger <jk@jk.gs>

jobd: fix flipped boolean logic in nofetch check

Apparently you have to use the right boolean operator or jobd will
update precisely those projects that don't want to be updated. Hum.

Signed-off-by: Jan Krüger <jk@jk.gs>

jobd.sh: keep using old version for now

The new jobd is still work in progress, so let's keep the old one around
for now.

Signed-off-by: Jan Krüger <jk@jk.gs>

jobd: make --help give more details

Turns out auto_help prints only the synopsis, when for full help we
actually want more than that.

Signed-off-by: Jan Krüger <jk@jk.gs>

jobd: add --progress to display updates even if --quiet is on

Signed-off-by: Jan Krüger <jk@jk.gs>

jobd: increase timeout to 15 minutes

... in case some of the updates/gcs take very long (which is entirely
possible).

Signed-off-by: Jan Krüger <jk@jk.gs>

Introduce new jobd written in Perl

New jobd, instead of calling the jobs one after another, can launch
several of them in parallel. It can also kill long-running jobs on the
assumption that they are hanging.

Signed-off-by: Jan Krüger <jk@jk.gs>

Girocco/Project.pm: add static method to get list of all projects

Signed-off-by: Jan Krüger <jk@jk.gs>

copy refs when creating a new fork

this also pre-populates a fork with all commits from the parent -- which
makes a lot of sense. they were there before, but the refs pointing to
the commits were missing.

pushes to forks now only push new revs, which are not already present in
the parent project.

Revert "Finalized fix, we can't git fetch any longer."

This reverts commit 1b442bd3713465e05e7e1a2c46d2439508dd2d4e.

Andrew forgot to revert this when he was reverting his experiments
in 1cb526 (Readded the trick.) .

Andrew, please be careful not to introduce regressions - without this
fetch, svn mirrors won't update their git refs, and so would become
stale.

Cc: Andrew Steinborn <g33kdyoo@gmail.com>

taskd/clone: ask git-svn to store branches under svn-origin/heads/* instead of svn-origin/*

The trick originally suggested by Mikls Vajna does the following:

    refs/remotes/svn-origin/heads/*     ->  refs/heads/*
    refs/remotes/svn-origin/trunk       ->  refs/heads/master
    refs/remotes/svn-origin/tags/*      ->  refs/tags/*

The problem is git-svn now stores svn branches under
refs/remotes/svn-origin/* (not refs/remotes/svn-origin/heads/* as we
used to expect), and so the first mapping does nothing, and we end up
without svn branches in refs/heads/ namespace.

So, to avoid the problem let's ask git-svn to put svn branches under
svn-origin/heads/* -- then our mapping will work as expected, and it
will fix girocco problem of not propagating svn branches (except trunk)
to git refs/heads/ namespace.

Note: we can't write ``+refs/remotes/svn-origin/*:refs/heads/*'' in the
mapping instead, because then it will recursively put everything from
under svn-origin/ into refs/heads/ , at least including tags/ .

( Eric, at least it seems a bit unflexible for storing svn branches right under
  $prefix/ -- as you can see for automated git mirroring of svn repos, I
  had to tweak git config by hand... )

Cc: Andrew Steinborn <g33kdyoo@gmail.com>
Cc: Miklos Vajna <vmiklos@frugalware.org>
Cc: Eric Wong <normalperson@yhbt.net>

taskd/clone: Store git-svn refs under svn-origin remote

Previously git-svn stored everything right under refs/remotes/ , and now
I'm putting svn-mirrored refs under refs/remotes/svn-origin/ .

This makes sense, since it helps debugging svn-mirroring problems - e.g.
at present we don't forward to visible git namespace svn branches at
all.

Cc: Andrew Steinborn <g33kdyoo@gmail.com>
Cc: Miklos Vajna <vmiklos@frugalware.org>

Added dead man's switch to jobd.sh

Fixed a typo in taskd/clone.sh

Readded the trick.

I was a git noob and after talk with Petr I need to revert.

Merge branch 'master' of ssh://repo.or.cz/srv/git/girocco

Fixed git svn init with -s

Update TODO.

Made it impossible for the mob user to delete the mob branch.

This will ease the repository pushers (not the mob! ;P)

Finalized fix, we can't git fetch any longer.

Now fixed.

Found the problem, now fully fixed (removed a trick).

Attempt to fix mirroring (3).

Attempt to fix mirroring (2).

Attempt to fix mirroring.

Final svn+https:// fix -- defined in Util.pm

Simplifed the code to do svn+https:// in taskd

Tought girocco how to handle svn+https

Add support for mirroring svn+https: URLs.

SourceForge SVN can only be checked out over HTTPS.

Make sure our cronjobs never run twice in parallel

jailsetup.sh: chown etc/sshkeys to CGI user

jailsetup.sh: Support for installing on 32-bit system

Based on a patch by tychoish.

taskd/clone: quote shell metacharacters where appropriate

At present this involves svn mirror setup -- refspec mappings contain
shell wildcards. Quote them just in case.

taskd/clone: Don't forget to use 'git config --add' for multivars setup

Neat Trick suggested by Miklos Vajna setups origin remote as '.' and
also setups 3 refspecs for remotes.origin.fetch.

The trick is nice indeed, but in order to setup config multivar, one
have to use explicit --add option for `git config' (*) or else old var
value is just replaced.

The problem showed in svn-mirror repositories with stale master (was not
updating from trunk) and also as lack of branches -- that's
understandable -- we had '+refs/remotes/tags/*:refs/tags/*' config last,
and tags were working OK.

Fix it.

(*) explicit --add was needed since 89c4afe0 (Add --add option to
    git-repo-config) in git.git, which dates to git v1.4.4.2-225-g89c4afe

Teach Girocco to mirror http:// style SVN repos

Currently we can mirror svn:// repos, but http:// is assumed to be used
for Git. Teach the tool to use svn+http:// style urls for http:// svn
repositories.

This is very needed, because most SVN hosting services only provide
http:// style access to their services. e.g. google code, python.org,
etc...

This has not been tested on full Girocco installation - just partly. But
if it works, let's also add svn+https later.

jobd: Fix other check_all_projects invocations

Girocco::Util::valid_repo_url() allow ':' after protocol://

It's needed for the "bzr://lp:foo"-style urls.

taskd/clone.sh: Syntax error fix

Add support for mirroring bzr repos

Merge branch 'master' of git+ssh://repo.or.cz/srv/git/girocco

jobd: Start first update round at a random point instead of always the beginning

regproj: Escape $ in command line example.

Add instructions on how to import your project

Girocco::Util:valid_web_url(): Allow ":"

This allows URLs such as "http://repo.or.cz/w/foo.git/blob_plain/master:/bar"

Acked-by: Petr Baudis <pasky@suse.cz>

gitweb_config.perl: Add charset info of utf-8 if blob_plain output of a text/plain blob

Acked-by: Petr Baudis <pasky@suse.cz>

jobd/update.sh: darcs-specific typo fixes

The same darcs-specific problems we already fixed for cloning.

INSTALL: document two external dependencies used by darcs-fast-export

taskd/clone.sh: fix typo in darcs error checking

git.git: Revert spurious revision change

Update bzr-fastimport.git

The new tip has a fix for Python-2.5 compatibility.

taskd/clone.sh: check for darcs-fast-export exit code

taskd/clone.sh: avoid unnecessary escape in darcs:// ->  mapping

Actually the extra escape is not just unnecessary but is a bug.

valid_repo_url(): Allow darcs urls

darcs-fast-export: Put in basedir/bin/ during installation, call it from there

git_darcs_fetch(): Move from shlib to jobd/update.sh

install.sh: fix for bash-4.0

See http://lists.gnu.org/archive/html/bug-bash/2009-07/msg00069.html

Add support for mirroring darcs repos

Add bzr-fastimport.git as a submodule

We need darcs-fast-export from there.

jobd/update.sh: Don't prepend remote.origin.url with gitweb prefix

taskd/clone.sh: Don't fail on already-existing origin when previous mirroring attempt failed

hooks/post-update: Introduce, use - fixes HTTP transport for push repos