parallel: Faster --group-by. -vv --joblog / --onall --ssh bugfix.
[parallel.git] / doc / release_new_version
blobf239d2084f34875475c9c045dc1066093e9a171d
1 = Notes on how to release new version =
3 == alpha/beta/production ==
5 Check that documentation is updated (compare to web):
7 git grep -E '(alpha|beta) testing' | cat
8 git diff $(date --date="last month" +%Y%m22)
9 Unmodified beta since last version => production
10 Unmodified alpha since last version => beta
11 Modified => alpha
13 == Update NEWS ==
15 With the same things that goes in the announce mail
17 == Testsuite ==
19 cd testsuite; make mem; make
21 == Update version ==
23 https://zenodo.org/deposit/new
25 (*) Software
26 (Reserve DOI)
27 GNU Parallel 20xxxx22 ('Xxxx')
28 Ole Tange
29 https://orcid.org/0000-0002-6345-1437
30 Description
31 GNU Parallel is a general parallelizer to run multiple serial command line programs in parallel without changing them.
33 License:
34 gpl v3
36 [Save]
38 DOINO=3956817
39 TAG='PrivacyShield'
41 # Update version
42 . packager/releasescripts/updateversion
44 === Reconfig autoconf/automake, build tar.bz2 and test it ===
46 make reconf &&
47 make pack_unpack_and_test_build
49 == Upload ==
51 export YYYYMMDD=`yyyymmdd`
52 export YYYYMMDD=${YYYYMMDD:0:6}22
53 eval `gpg-agent --daemon`
54 # Takes up to 8 minutes
55 make upload
57 # Only needed for alpha:
58 export YYYYMMDD=`yyyymmdd`
59 export YYYYMMDD=${YYYYMMDD:0:6}22
60 eval `gpg-agent --daemon`
61 # Takes up to 8 minutes
62 make alphaupload
64 == Update OpenSUSE build system ==
66 export YYYYMMDD=`yyyymmdd`
67 export YYYYMMDD=${YYYYMMDD:0:6}22
68 export YYYYMMDD
69 cd ~/privat/parallel/packager/obs
71 find home:tange/parallel/* -type f |
72   grep -Ev '(PKGBUILD|parallel.spec)' |
73   parallel -j1 'osc rm {} || rm {}'
74 # This should not create new files
75 osc up home:tange/parallel/
76 make
77 # Reload build-status:
78 https://build.opensuse.org/package/show/home:tange/parallel
79 # Check that one .deb (Debian 5.0) and one .rpm (CentOS) end with 'succeeded'
81 == Update website ==
83 http://www.gnu.org/software/parallel/
84 http://www.gnu.org/software/parallel/man.html
85 http://www.gnu.org/software/parallel/sql.html
86 http://www.gnu.org/software/parallel/sem.html
87 http://www.gnu.org/software/parallel/env_parallel.html
88 http://www.gnu.org/software/parallel/parcat.html
89 http://www.gnu.org/software/parallel/parset.html
90 http://www.gnu.org/software/parallel/parsort.html
91 http://www.gnu.org/software/parallel/niceload.html
93 cp src/*.pdf src/*.html  ../parallel-web/parallel
94 cp src/parallel.html  ../parallel-web/parallel/man.html
96 pushd ../parallel-web/parallel
97 # Bug at Savannah makes this take 30 seconds
98 (cd ..; cvs -z3 -d:ext:tange@cvs.savannah.gnu.org:/web/parallel co parallel)
99 torsocks cvs up
100 torsocks cvs ci -m "New release"
101 pushd
103 == Commit released version ==
105 git diff
107 # Recheck OBS https://build.opensuse.org/package/show/home:tange/parallel
109 export YYYYMMDD=`yyyymmdd`
110 export YYYYMMDD=${YYYYMMDD:0:6}22
111 TAG=MyTag
112 echo "Released as $YYYYMMDD ('$TAG')." | grep MyTag && (STOP;STOP;STOP)
113 echo "$TAG" | grep ' ' && (STOP;STOP;STOP)
114 echo "Released as $YYYYMMDD ('$TAG')."
116 git commit -a -m "Released as $YYYYMMDD ('$TAG')"
117 git tag -s -u 88888888 -m "Released as $YYYYMMDD ('$TAG')" $TAG
118 git tag -s -u 88888888 -m "Released as $YYYYMMDD ('$TAG')" $YYYYMMDD
120 torsocks git push
121 torsocks git push origin $TAG
122 torsocks git push origin $YYYYMMDD
124 == Zenodo ==
126 Add tar.bz2 [Start upload] and [Publish].
128 == Update documentation ==
130 Update version number + 1
132 export YYYYMMDD=`yyyymmdd`
133 export YYYYMMDD=${YYYYMMDD:0:6}23
134 echo $YYYYMMDD
135 perl -i -pe "/version/ and s/20\d\d\d\d\d\d/$YYYYMMDD/" src/parallel
136 perl -i -pe "/version/ and s/20\d\d\d\d\d\d/$YYYYMMDD/" src/sql
137 perl -i -pe "/version/ and s/20\d\d\d\d\d\d/$YYYYMMDD/" src/parsort
138 perl -i -pe "/version/ and s/20\d\d\d\d\d\d/$YYYYMMDD/" src/niceload
140 Unmodified beta since last version => production
141 Unmodified alpha since last version => beta
142 Modified => alpha
145 == Check URLs ==
147 make testurls
150 == Update Savannah ==
152 file:///home/tange/privat/parallel/doc/release_new_version
154 Content from release mail:
156 https://savannah.gnu.org/news/submit.php?group=parallel
158 Test URLs.
160 https://savannah.gnu.org/news/approve.php?group=parallel
162 == Update Freshmeat ==
164 // FreeCode is dying
165 http://freshmeat.net/projects/parallel/releases/new
167 == Update Diaspora Twitter ==
169 https://joindiaspora.com/stream
171 New release of #GNU Parallel pi.dk/0 New in this release pi.dk/2 See the intro videos pi.dk/1
172 10 secs installation: wget -O - pi.dk/3|bash
174 [x] Twitter
175 Aspect: Public
177 GNU Parallel - for people who live life in the parallel lane.
179 == Send announce ==
181 http://groups.google.com/group/comp.unix.shell/post
182 http://groups.google.com/group/comp.unix.admin/post
184 https://lists.gnu.org/mailman/admindb/bug-parallel
185 https://lists.gnu.org/mailman/admindb/parallel
187 file:///home/tange/privat/parallel/doc/release_new_version
189 For codename look at https://www.onthisday.com/
191 from:tange@gnu.org
192 to:parallel@gnu.org, bug-parallel@gnu.org
193 stable-bcc: Jesse Alama <jessealama@fastmail.fm>
195 Subject: GNU Parallel 20201022 ('CRISPR/Memphis-mumier/TrumpVirus/Belarus/Assange') released <<[stable]>>
197 GNU Parallel 20201022 ('') <<[stable]>> has been released. It is available for download at: http://ftpmirror.gnu.org/parallel/
199 <<No new functionality was introduced so this is a good candidate for a stable release.>>
201 Quote of the month:
203   
204 New in this release:
208 * Bug fixes and man page updates.
210 News about GNU Parallel:
212 https://cloud.tencent.com/developer/article/1705499
215 Get the book: GNU Parallel 2018 http://www.lulu.com/shop/ole-tange/gnu-parallel-2018/paperback/product-23558902.html
217 GNU Parallel - For people who live life in the parallel lane.
219 If you like GNU Parallel record a video testimonial: Say who you are, what you use GNU Parallel for, how it helps you, and what you like most about it. Include command that uses GNU Parallel if you feel like it.
222 = About GNU Parallel =
224 GNU Parallel is a shell tool for executing jobs in parallel using one or more computers. A job can be a single command or a small script that has to be run for each of the lines in the input. The typical input is a list of files, a list of hosts, a list of users, a list of URLs, or a list of tables. A job can also be a command that reads from a pipe. GNU Parallel can then split the input and pipe it into commands in parallel.
226 If you use xargs and tee today you will find GNU Parallel very easy to use as GNU Parallel is written to have the same options as xargs. If you write loops in shell, you will find GNU Parallel may be able to replace most of the loops and make them run faster by running several jobs in parallel. GNU Parallel can even replace nested loops.
228 GNU Parallel makes sure output from the commands is the same output as you would get had you run the commands sequentially. This makes it possible to use output from GNU Parallel as input for other programs.
230 For example you can run this to convert all jpeg files into png and gif files and have a progress bar:
232   parallel --bar convert {1} {1.}.{2} ::: *.jpg ::: png gif
234 Or you can generate big, medium, and small thumbnails of all jpeg files in sub dirs:
236   find . -name '*.jpg' |
237     parallel convert -geometry {2} {1} {1//}/thumb{2}_{1/} :::: - ::: 50 100 200
240 You can find more about GNU Parallel at: http://www.gnu.org/s/parallel/
242 You can install GNU Parallel in just 10 seconds with:
244     $ (wget -O - pi.dk/3 || lynx -source pi.dk/3 || curl pi.dk/3/ || \
245        fetch -o - http://pi.dk/3 ) > install.sh
246     $ sha1sum install.sh | grep 3374ec53bacb199b245af2dda86df6c9
247     12345678 3374ec53 bacb199b 245af2dd a86df6c9
248     $ md5sum install.sh | grep 029a9ac06e8b5bc6052eac57b2c3c9ca
249     029a9ac0 6e8b5bc6 052eac57 b2c3c9ca
250     $ sha512sum install.sh | grep f517006d9897747bed8a4694b1acba1b
251     40f53af6 9e20dae5 713ba06c f517006d 9897747b ed8a4694 b1acba1b 1464beb4
252     60055629 3f2356f3 3e9c4e3c 76e3f3af a9db4b32 bd33322b 975696fc e6b23cfb
253     $ bash install.sh
255 Watch the intro video on http://www.youtube.com/playlist?list=PL284C9FF2488BC6D1
257 Walk through the tutorial (man parallel_tutorial). Your command line will love you for it.
259 When using programs that use GNU Parallel to process data for publication please cite:
261 O. Tange (2018): GNU Parallel 2018, March 2018, https://doi.org/10.5281/zenodo.1146014.
263 If you like GNU Parallel:
265 * Give a demo at your local user group/team/colleagues
266 * Post the intro videos on Reddit/Diaspora*/forums/blogs/ Identi.ca/Google+/Twitter/Facebook/Linkedin/mailing lists
267 * Get the merchandise https://gnuparallel.threadless.com/designs/gnu-parallel
268 * Request or write a review for your favourite blog or magazine
269 * Request or build a package for your favourite distribution (if it is not already there)
270 * Invite me for your next conference
272 If you use programs that use GNU Parallel for research:
274 * Please cite GNU Parallel in you publications (use --citation)
276 If GNU Parallel saves you money:
278 * (Have your company) donate to FSF https://my.fsf.org/donate/
281 = About GNU SQL =
283 GNU sql aims to give a simple, unified interface for accessing databases through all the different databases' command line clients. So far the focus has been on giving a common way to specify login information (protocol, username, password, hostname, and port number), size (database and table size), and running queries.
285 The database is addressed using a DBURL. If commands are left out you will get that database's interactive shell.
287 When using GNU SQL for a publication please cite:
289 O. Tange (2011): GNU SQL - A Command Line Tool for Accessing Different Databases Using DBURLs, ;login: The USENIX Magazine, April 2011:29-32.
292 = About GNU Niceload =
294 GNU niceload slows down a program when the computer load average (or other system activity) is above a certain limit. When the limit is reached the program will be suspended for some time. If the limit is a soft limit the program will be allowed to run for short amounts of time before being suspended again. If the limit is a hard limit the program will only be allowed to run when the system is below the limit.