status/client: buildstep.getLogs() returns a list, not a dict. Closes #121.
[buildbot.git] / ChangeLog
blobf14330d2c174f55916af3510f0d879e9a554bdbe
1 2007-11-01  Brian Warner  <warner@lothar.com>
3         * buildbot/status/client.py (RemoteBuildStep.remote_getLogs):
4         IBuildStepStatus.getLogs() returns a list, not a dict. Patch from
5         Fabrice Crestois. Closes #121.
7 2007-10-31  Brian Warner  <warner@lothar.com>
9         * buildbot/status/words.py (Contact.emit_status): if there's no
10         current step, don't try to display its description. This should
11         fix the crash when asking the irc bot about builds which are
12         waiting for a build-wide Lock. Closes #96.
14         * buildbot/status/tinderbox.py (TinderboxMailNotifier): add
15         'columnName' argument, from a patch by Ben Hearsum. Closes #120.
17 2007-10-16  Brian Warner  <warner@lothar.com>
19         * buildbot/status/web/slaves.py (BuildSlavesResource.body): fix
20         timestamp, I was using %M (minutes) where I meant to be using
21         %b (abbreviated month name). Closes #109.
23 2007-10-13  Brian Warner  <warner@lothar.com>
25         * README (COPYING): make it clear that buildbot is distributed under
26         the GPL (version 2)
27         * COPYING: add a copy of the GPLv2 to the source tree
28         * MANIFEST.in: .. and to the source distribution too
30 2007-10-10  Brian Warner  <warner@lothar.com>
32         * buildbot/status/builder.py (Status.getURLForThing): update this
33         to match new URL layout, I completely forgot about it. Closes #112.
34         * buildbot/test/test_web.py (GetURL): add unit tests
36         * buildbot/status/web/build.py (BuildsResource.getChild): fix
37         silly typo which prevented the Build page from ever offering
38         control options like 'Stop Build'. Thanks to Aaron Hsieh for the
39         catch. Closes #114.
40         * buildbot/test/test_webparts.py (Webparts._do_page_tests): it'd
41         be nice to test this
43         * buildbot/__init__.py (version): bump to 0.7.6+ while between
44         releases
45         * docs/buildbot.texinfo: same
47 2007-09-30  Brian Warner  <warner@lothar.com>
49         * buildbot/__init__.py (version): Releasing buildbot-0.7.6
50         * docs/buildbot.texinfo: same
52 2007-09-30  Brian Warner  <warner@lothar.com>
54         * NEWS: small updates, remove duplicate items from the 0.7.5 notes
55         * setup.py: install all test files from buildbot/test/mail/* . Also
56         update URL to point at buildbot.net
57         * MANIFEST.in: update with new files
59         * buildbot/status/web/baseweb.py (WebStatus.setupSite): ugh, yes
60         auto-create an empty public_html directory, otherwise we get
61         internal server errors instead of 404s.
63         * README: reference buildbot.net, remove CVSToys section (does
64         anyone still use it?)
66         * buildbot/status/web/baseweb.py (WebStatus): emit a useful log
67         message when public_html/ is missing (indicating that you should
68         probably run 'upgrade-master'), and don't auto-create an empty
69         directory in that case.
71         * contrib/darcs_buildbot.py: refactor internals a bit, make it
72         possible to use as an importable module (to make it easier to
73         write some unit tests for it)
75         * buildbot/status/web/baseweb.py (Waterfall.__init__): add a
76         DeprecationWarning for Waterfall, advising users to switch over to
77         WebStatus instead.
79         * NEWS: update with user-visible changes since the last release
81         * buildbot/status/web/waterfall.py
82         (WaterfallStatusResource.get_reload_time): if the suggest a
83         reload time of less than 15 seconds, give them 15 seconds instead
84         of ignoring their request entirely, because that'd be confusing.
86         * buildbot/steps/source.py (Mercurial.computeSourceRevision): log a
87         warning if we must invoke the last-change-is-most-recent guess
89         * buildbot/status/web/baseweb.py (Waterfall.__init__): if an old
90         Waterfall is running in an upgraded master (which is the usual
91         case for folks who have followed the instructions to run
92         'upgrade-master' but who have not yet resolved all the
93         DeprecationWarnings), prefer the buildbot.css from public_html/
94         rather than the one passed in on the buildbot= argument.
95         Otherwise, the resulting pages don't quite use CSS right..
96         sometimes it works, sometimes it doesn't, and I don't know why.
97         Sites that are using custom CSS will see the default CSS until
98         they modify public_html/buildbot.css to include their
99         customizations.
101         * docs/buildbot.texinfo (WebStatus): explain robots.txt a bit more
102         * buildbot/status/web/robots.txt (Disallow): update to cover all
103         dynamically-generated pages
105         * buildbot/status/web/base.py (map_branches): when we see 'trunk',
106         include both 'trunk' and None in the output list, since some VC
107         systems (SVN, frequently) refer to trunk as 'trunk'.
109         * buildbot/status/web/waterfall.py (WaterfallStatusResource):
110         point the 'welcome' link explicitly at index.html, rather than
111         '.', so that old Waterfall users can reach it and discover all the
112         new pages.
114         * buildbot/status/web/base.py (OneLineMixin.make_line): add the
115         build's text to the end of the line, without a CSS class so it
116         remains uncolored.
118         * buildbot/interfaces.py (IStatus.generateFinishedBuilds): add a
119         'max_search=' argument, to limit the number of builds that are
120         examined while trying to find ones that match the other criteria.
121         This helps to limit the work we do, since otherwise we might have
122         to trawl through all history.
123         (IBuilderStatus.generateFinishedBuilds): same
124         * buildbot/status/builder.py (Status.generateFinishedBuilds): same
125         (BuilderStatus.generateFinishedBuilds): same
127         * buildbot/status/web/base.py (OneLineMixin.make_line): stringify
128         our got_revision before checking its length: SVN (at least) still
129         reports numeric values for this.
130         * buildbot/status/web/build.py (StatusResourceBuild.body): same
131         * buildbot/status/web/xmlrpc.py
132         (XMLRPCServer.xmlrpc_getAllBuildsInInterval): same, also stop
133         serving a completely fake revision
135         * buildbot/scripts/runner.py (Maker.check_master_cfg): prepend
136         basedir to sys.path, to mimic what a real buildmaster would have
137         access to, since it is common for master.cfg to import helper
138         classes from .py files in the buildmaster directory, and we want
139         config-file checking to accomodate this.
141         * buildbot/status/web/base.py (map_branches): when referring to
142         branches through WebStatus (i.e. by appending ?branch=FOO query
143         arguments to the URL), make "trunk" mean trunk, by mapping it to
144         None before passing it to generateFinishedBuilds() and the like.
145         * buildbot/status/web/baseweb.py (OneLinePerBuild.body): same
146         (OneBoxPerBuilder.body): same, also improve display of branches in
147         the HTML a bit
148         * buildbot/status/web/waterfall.py (BuildTopBox.getBox): same
149         (WaterfallStatusResource.buildGrid): same. Note that this filters
150         Changes as well as Builds.
151         * docs/buildbot.texinfo (Buildbot Web Resources): remove the
152         caveat about trunk branches, now that it's fixed
154         * buildbot/status/web/base.py (OneLineMixin): refactor, move this
155         from builder.py, use it on the Builder page too
157         * buildbot/status/web/builder.py (StatusResourceBuilder): same
158         * buildbot/status/web/baseweb.py (OneLinePerBuild): display branch
159         names, add some CSS classes
160         * buildbot/status/web/classic.css (td.box): new class, for
161         OneBoxPerBuild
163         * docs/buildbot.texinfo (WebStatus): update docs
165         * buildbot/slave/commands.py (SVN.parseGotRevision._parse): remove
166         the trailing "M" indicator that tells us this is a modified file.
167         This should help with mode="update" builds that modify files
168         in-place. Thanks to "Oz" (chris at santacruzgames.com) for the
169         patch.
171         * buildbot/scripts/runner.py (upgradeMaster): improvements: write
172         new copies of files (to .new) when those files already exist,
173         check the master.cfg file for errors (and give DeprecationWarnings
174         a chance to be displayed).
175         * buildbot/test/test_runner.py: add more tests
176         * docs/buildbot.texinfo (Upgrading an Existing Buildmaster): docs
178 2007-09-29  Brian Warner  <warner@lothar.com>
180         * buildbot/steps/source.py (Mercurial.computeSourceRevision): take
181         the revision id from the last change in our list, since that's the
182         best we can do without knowing the full ancestry graph. Closes #103.
184         * buildbot/scripts/sample.cfg: use buildstep instances in
185         f.addStep, to demonstrate the (correct) modern usage.
186         * docs/examples/hello.cfg: bring this up to date. Closes #79.
187         * docs/examples/twisted_master.cfg: add a big warning about how
188         old this is
189         * docs/examples/glib_master.cfg: delete this one entirely, it is
190         ancient and not a very useful example anyways
192         * buildbot/status/web/base.py (HtmlResource.render): keep track of
193         HTTPChannels, so we can shut them down at reconfig time (when the
194         WebStatus goes away). Closes #102.
195         * buildbot/status/web/baseweb.py (WebStatus.__init__): same
196         (WebStatus.registerChannel): same
197         (WebStatus.stopService): do .loseConnection() here
199         * buildbot/test/test_webparts.py (Webparts.testPages): reload the
200         WebStatus, make sure all pages are still retrievable. I thought
201         this would exercise a bug, but it turns out that it was firefox
202         caching connections (and continuing to talk to the old WebStatus
203         even though I'd loaded a new one).
204         * buildbot/status/web/baseweb.py (WebStatus): add some comments
205         (WebStatus.__repr__): include id() in the repr
207         * buildbot/status/tinderbox.py (TinderboxMailNotifier): allow
208         this to specify an errorparser. From Ted Mielczarek and the
209         mozilla crew. Closes #94.
211         * buildbot/changes/bonsaipoller.py (BonsaiParser): "Make
212         bonsaipoller ignore funkyness in xml output for empy log
213         messages", from Axel Hecht. Closes #90.
214         * buildbot/test/test_bonsaipoller.py
215         (TestBonsaiPoller.testMergeEmptyLogMsg): same
217         * buildbot/status/tinderbox.py (TinderboxMailNotifier.buildStarted):
218         respect 'builders' arg, from Ben Hearsum. Closes #89.
220         * buildbot/scripts/runner.py (stop): increase the timeout from 5
221         seconds to 10, to give heavily loaded machines a better chance to
222         finish shutting down. Addresses (partially) #68.
223         * buildbot/scripts/logwatcher.py (LogWatcher.TIMEOUT_DELAY): same,
224         on startup
225         * buildbot/scripts/reconfig.py (Reconfigurator.run): same
226         * buildbot/scripts/startup.py (Follower._failure): update message
228         * buildbot/changes/bonsaipoller.py: apply changes from the Mozilla
229         team, to fix some bugs and avoid the use of blocking urlopen().
230         closes #61.
231         * buildbot/test/test_bonsaipoller.py: same
233 2007-09-28  Brian Warner  <warner@lothar.com>
235         * buildbot/buildslave.py (BuildSlave): add notify_on_missing=
236         argument, to send email about buildslaves which are disconnected
237         for more than an hour. Closes #64.
238         * buildbot/test/test_slaves.py (BuildSlave.test_mail_on_missing):
239         test it
240         * docs/buildbot.texinfo (When Buildslaves Go Missing): document it
241         (MailNotifier): add docs for this too
244         * buildbot/status/web/baseweb.py (OneBoxPerBuilder): make this page
245         respect branch= queryargs, by restricting the builds displayed to
246         those matching the given branch names
247         * buildbot/status/web/waterfall.py (BuildTopBox): same
249         * buildbot/test/test_web.py (WaterfallSteps.test_urls.FakeRequest):
250         fix a test failure by adding .prepath to this fake object
252         * buildbot/status/web/*: big set of changes to WebStatus, cleaning
253         up generation of relative URLs. With luck, this should play with
254         reverse proxies much better now.
255         * buildbot/test/test_webparts.py: new test for most of the subpages
256         * buildbot/test/test_web.py (base_config): add enough of a config
257         to exercise more Waterfall code
259 2007-09-27  Brian Warner  <warner@lothar.com>
261         * buildbot/status/web/build.py (StatusResourceBuild.body): use a
262         relative URL to the buildbot welcome page, rather than
263         getBuildbotURL.
264         * buildbot/status/web/builder.py (StatusResourceBuilder.body): same
266         * buildbot/status/web/base.py (HtmlResource.title): change the
267         default title of all Buildbot-generated page to "Buildbot"
268         * buildbot/status/web/builder.py (StatusResourceBuilder.getTitle):
269         change the title to include the Builder name
270         * buildbot/status/web/build.py (StatusResourceBuild.getTitle):
271         same, and also show the build number
272         (StatusResourceBuild.rebuild): after using the 'Rebuild' button,
273         redirect the browser to the Builder page
275 2007-09-26  Brian Warner  <warner@lothar.com>
277         * buildbot/status/web/baseweb.py (OneBoxPerBuilder.body): fix URL
278         problem with the build links
280 2007-09-25  Brian Warner  <warner@lothar.com>
282         * buildbot/status/web/base.py (HtmlResource.render): fix addSlash
283         to emit relative URLs instead of using URLPath,
285         * docs/buildbot.texinfo (WebStatus): provide an example
287         * buildbot/status/web/baseweb.py (OneBoxPerBuilder): new status
288         page, shows a simple table with one row per Builder. Still pretty
289         ugly, but functional.
290         * buildbot/status/web/index.html: reference it
292         * buildbot/status/web/waterfall.py (Spacer): make this *not*
293         inherit from builder.Event, so that show_events=false doesn't hide
294         spacers, since that would make the waterfall weirdly compressed.
296         * buildbot/status/web/waterfall.py (HELP): put the View button in
297         its own section, so it doesn't get visually confused with the
298         reload-timer section
299         (WaterfallStatusResource.body): make the '[help]' links more
300         visually distinct from each other, and add a link to the Welcome
301         page
302         * buildbot/status/web/slaves.py (BuildSlavesResource): handle
303         unused buildslaves without exploding
305         * buildbot/status/web/waterfall.py
306         (WaterfallStatusResource.body.with_args): don't use req.URLPath,
307         it gives us absolute paths that break proxies
308         * buildbot/status/web/base.py (HtmlResource.path_to_root): fix
309         this, it was giving bad results when the Waterfall is behind a
310         reverse proxy.
312         * buildbot/scripts/runner.py (upgradeMaster): first phase of the
313         new 'upgrade-master' command, which will bring an old buildmaster
314         directory up-to-date. Right now the only thing it does is populate
315         public_html/ if it wasn't already there. Still to do: check the
316         other files, add documentation.
317         * buildbot/test/test_runner.py (Create.testUpgradeMaster): test it
318         (Create.failUnlessSameFiles): use sets.Set() for 2.3 compatibility
320 2007-08-13  Brian Warner  <warner@lothar.com>
322         * buildbot/changes/changes.py (Change.get_HTML_box): add a tooltip
323         that contains the checkin comments when you hover over the entry
324         in the 'changes' column of the waterfall. Thanks to Frederic Leroy
325         for the patch.
327         * buildbot/status/web/waterfall.py (WaterfallStatusResource): improve
328         'help' page linkage
330         * buildbot/status/web/about.py (AboutBuildbot): add an 'about'
331         page with versions of python, buildbot, and twisted
332         * buildbot/status/web/baseweb.py (WebStatus.setupUsualPages): same
333         * buildbot/status/web/index.html: add links to most pages
334         * docs/buildbot.texinfo (Buildbot Web Resources): update docs
336         * buildbot/status/web/robots.txt: put a robots.txt in new installs
337         which discourages robot access to all large dynamically-generated
338         pages. The intention is that the index page and the 'about' page
339         are the only ones which should be crawlable.
340         * buildbot/scripts/runner.py (Maker.public_html): same
341         (createMaster): same
342         * setup.py: ship index.html and robots.txt in source distributions
344         * buildbot/status/web/waterfall.py: add 'refresh' query arg, to
345         activate automatic reloading of the page (using a meta Refresh:
346         tag). Closes #69.
347         (WaterfallHelp): new page to explain all the nifty query arguments
348         you can use on the Waterfall, along with forms to set them for
349         you. From this page, you can add filters for builder=, branch=,
350         show_events=, as well as turning on reload=.
351         (WaterfallStatusResource.buildGrid): new query args: last_time=,
352         first_time=, show_time=, num_events= . The old show= is still
353         accepted, but the new builder= is preferred. We ignore empty
354         branch= arguments, to make the WaterfallHelp form easier to
355         implement.
356         (WaterfallStatusResource.head): new method to add text to the
357         <head> of the page.
358         * buildbot/status/web/base.py (HtmlResource.content): use head()
359         * buildbot/status/web/baseweb.py (OneLinePerBuild.body): ignore
360         empty branch= arguments
361         (OneLinePerBuildOneBuilder.body): same
363 2007-08-12  Brian Warner  <warner@lothar.com>
365         * buildbot/status/web/waterfall.py (WaterfallStatusResource): add
366         new query args: 'last_time' is a timestamp of the top-most event
367         on the display, 'first_time' is a timestamp for the bottom-most
368         event. 'show_time' is the difference between them, and overrides
369         'first_time'. 'num_events' puts an upper limit on the number of
370         timestamps that will be displayed on the left hand edge.
371         (WaterfallStatusResource.body): add a 'next page' link to the
372         bottom, which shows the events that come just after those shown on
373         the current page. This is a first step towards #67, but we need
374         some more controls before we can close that one.
376         * buildbot/buildslave.py (BuildSlave): these are now MultiService
377         instances too, and live as children of the BotMaster. The main
378         advantage of this approach is that BuildSlaves can know when they
379         are being removed (so they can shut off the upcoming
380         when-do-we-email-an-admin-because-we-lost-our-slave timer).
381         * buildbot/interfaces.py (IBuildSlave): marker interface so we can
382         identify which service children are BuildSlaves
383         * buildbot/master.py (BuildMaster.loadConfig_Slaves): handle the
384         Checker updates here, but delegate the rest to..
385         (BotMaster.loadConfig_Slaves): .. here, which looks at the
386         BotMaster's service children to identify the old slaves. I think
387         the previous approach of using master.slaves was broken in the
388         face of config updates that modified BuildSlave instances but did
389         not completely replace them.
390         * docs/buildbot.texinfo (Developer's Appendix): note the change to
391         the Service hierarchy
393         * buildbot/status/web/slaves.py (BuildSlavesResource): new status
394         page (at URL /buildslaves/) to view status of all buildslaves at
395         once, including how long it's been since we last heard from them,
396         and which Builders use them.
398         * buildbot/status/web/baseweb.py: fix title of one-line-per-build
399         pages
401         * buildbot/interfaces.py (IStatus.getSlaveNames): new method to
402         list all buildslaves
404         * buildbot/buildslave.py (BuildSlave.messageReceivedFromSlave):
405         use the BuildSlave to keep track of the last time we've heard from
406         the buildslave. This is updated upon receipt of any message from
407         any SlaveBuilder (which generally means when RemoteCommands are
408         giving us status updates, as BuildSteps run). In the future this
409         will include slave pings too.
410         * buildbot/process/base.py
411         (Build.setupBuild): give each BuildStep a reference to the BuildSlave
412         * buildbot/process/buildstep.py:
413         (BuildStep.setBuildSlave): accept that reference
414         (BuildStep.runCommand): pass the reference on to the RemoteCommand
415         (RemoteCommand.remote_update): update the timestamp
416         (RemoteCommand.remote_complete): same
417         * buildbot/test/runutils.py (StepTester.makeStep): match the change
418         * buildbot/test/test_steps.py (BuildStep.testShellCommand1): same
419         * buildbot/interfaces.py (ISlaveStatus.lastMessageReceived): new
420         interface to retrieve this timestamp
421         * buildbot/status/builder.py (SlaveStatus): track a copy of the
422         timestamp
425         * buildbot/status/web/baseweb.py (OneLineMixin.make_line): tighten
426         up the format a bit
427         (OneLinePerBuild.body): use a <ul> instead of <div>s
428         (OneLinePerBuildOneBuilder.body): same
430         * contrib/darcs_buildbot.py (makeChange): handle moved files too,
431         by adding the file's new name to the list of changed files. This
432         ought to be sufficient for things like isFileImportant and trial
433         tests that only exercise tests for files that have been modified.
434         Closes #31.
436         * buildbot/status/web/xmlrpc.py (XMLRPCServer): add preliminary
437         XMLRPC server to the WebStatus page. This only has two methods
438         right now (getAllBuildsInInterval and getBuild), but we'll be
439         adding more in the future. This server is extracted from the
440         trac-plugin branch.
442         * buildbot/status/web/baseweb.py (OneLinePerBuild): refactor using
443         generateFinishedBuilds, and improve the data displayed.
444         * buildbot/status/web/build.py (StatusResourceBuild): rearrange
445         the per-Build page, add some information like ETA and got_revision
446         * buildbot/status/web/builder.py (StatusResourceBuilder): same,
447         adding a list of recently completed builds
448         * buildbot/status/web/base.py (css_classes): factor this out
450         * buildbot/interfaces.py (IStatus.generateFinishedBuilds): define
451         new method, to make status display classes easier to write,
452         especially the WebStatus 'one_line_per_build' page.
453         (IBuilderStatus.generateFinishedBuilds): same
454         * buildbot/status/builder.py (BuilderStatus.generateFinishedBuilds):
455         (Status.generateFinishedBuilds): implement it
457         * buildbot/process/factory.py (GNUAutoconf.__init__): allow
458         'source' to be a BuildStep instance, since BuildFactory accepts
459         them now.
460         (CPAN.__init__): same
461         (Distutils.__init__): same
462         (Trial.__init__): same
464         * buildbot/interfaces.py (IBuildStatus.getProperty): note that
465         this might raise KeyError
467 2007-08-07  Brian Warner  <warner@lothar.com>
469         * buildbot/slave/commands.py (P4): use 'p4user' to construct the
470         'Owner:' field of the view, rather than 'p4logname', since
471         p4logname comes from the buildslave's environment and seems
472         unlikely to ever do the right thing. Thanks to Wade Brainerd for
473         the patch. Closes #40.
475         * buildbot/buildslave.py (BuildSlave.__init__): add max_builds=,
476         which imposes a per-slave limit on how many builds are allowed to
477         run simultaneously. This has a the same scope than the SlaveLock,
478         but is different because max_builds= gives the buildmaster the
479         freedom to assign the build to a different slave, whereas the
480         SlaveLock doesn't get tested until after the build is irrevocably
481         assigned to a slave. Therefore using max_builds= will improve
482         utilization in the presence of multiple buildslaves that are
483         attached to the same Builder. This completes the incorporation of
484         Dustin Mitchell's patches, and closes ticket #48. Thanks Dustin!
485         * buildbot/process/builder.py (SlaveBuilder.buildFinished): when
486         any Builder finishes, potentially trigger *all* Builders, since
487         max_builds= may have stalled someone else while waiting for the
488         slave.
489         * buildbot/scripts/sample.cfg: mention max_builds=
490         * buildbot/test/test_run.py (ConcurrencyLimit): test it
491         * docs/buildbot.texinfo (Buildslave Specifiers): document it
493         * buildbot/test/test_run.py (CanStartBuild._do_test2): tests which
494         inherit from RunMixin do not need to call master.stopService()
495         themselves, since RunMixin.tearDown does that. The double call
496         fails on Twisted-2.0.x, which didn't happen to protect against it.
497         * buildbot/test/test_slaves.py (BuildSlave.test_track_builders): same
499         * buildbot/buildslave.py (BuildSlave.addSlaveBuilder): third patch
500         from #48, this one to have the BuildSlave objects track
501         SlaveBuilders, so they'll be able to use that knowledge to
502         influence their canStartBuild() response.
503         * buildbot/process/builder.py (SlaveBuilder.attached): call it
504         (SlaveBuilder.detached): same
505         * buildbot/test/test_slaves.py (BuildSlave): test it
507         * buildbot/buildslave.py (BuildSlave.canStartBuild): incorporate
508         the second of Dustin's #48 patches, this one adding a method to
509         the BuildSlave that allows it to decide whether it is willing to
510         participate in a build or not.
511         (SlaveBuilder.isAvailable): use canStartBuild() to decide
513         * buildbot/test/test_run.py (CanStartBuild): test for it
515         * all: incorporate the first of four patches by Dustin Mitchell
516         from ticket #48, working towards improving control over slave
517         concurrency. The first patch is to use a long-lived BuildSlave
518         object per slave, on which other behavior can be added later. I've
519         modified his patch considerably.
520         * buildbot/buildslave.py (BuildSlave): move class out of
521         slave/__init__.py (where it would get loaded by the slave as well
522         as the master, making dependencies trickier), and merge it with
523         BotPerspective. Now these BuildSlave instances are created once in
524         the master.cfg file, and not destroyed until they are either
525         removed from the config file or changed so
526         much (name/password/class changes) that we cannot continue to use
527         the old one. This affects config files: they must use
528         'from buildbot.buildslave import BuildSlave' instead of using
529         'from buildbot.slave import BuildSlave'.
530         * buildbot/master.py: move BotPerspective out
531         (BuildMaster.loadConfig_Slaves): examine old and new slaves,
532         add or remove as necessary, update the rest using data from
533         the new config file.
534         * buildbot/slave/__init__.py: move BuildSlave out
535         * buildbot/test/test*.py: import BuildSlave from the new place
536         * buildbot/scripts/sample.cfg: update to match
537         * docs/buildbot.texinfo: update to match
538         * buildbot/process/builder.py: update comments to match
540 2007-08-02  Brian Warner  <warner@lothar.com>
542         * buildbot/status/web/baseweb.py (OneLinePerBuild): improve
543         one-line-per-build pages a bit, add a header, refactor slightly
545         * buildbot/test/test_maildir.py (MaildirTest.testMaildir): cleanup
546         the TimeOutError timer, patch by Dustin Mitchell.
548 2007-08-01  Brian Warner  <warner@lothar.com>
550         * buildbot/status/web/baseweb.py (OneLinePerBuild): make this
551         mostly work (branch= is still ignored, we need a useful header)
552         (OneLinePerBuildOneBuilder.body): this too
554         * buildbot/status/web/builder.py (StatusResourceBuilder.force):
555         bring this up-to-date w.r.t. recent refactorings, and fix
556         redirections to bounce the browser to the top page after hitting
557         the 'force' button. This needs to be improved, but at least it now
558         redirects to a valid page.
559         (StatusResourceBuilder.ping): same
560         (StatusResourceBuilder.getChild): same, although I think this code
561         might be dead anyways
563         * buildbot/status/web/waterfall.py (WaterfallStatusResource): add
564         a branch= query argument, to filter the display down to builds and
565         changes that involve the given branch. You can add multiple
566         branch= arguments to see multiple branches (using a logical OR).
567         Note that there is no way to include the default branch (i.e.
568         None, i.e. trunk) yet, there is still work to be done to allow for
569         simple+uniform names of branches (i.e. removing the VC-specific
570         details of how branches are implemented, so calling the branch
571         'beta4' even though the SVN checkout step requires
572         'branches/beta4').
573         * buildbot/status/builder.py (BuilderStatus.eventGenerator): same
574         * buildbot/changes/changes.py (ChangeMaster.eventGenerator): same
575         * buildbot/interfaces.py (IEventSource.eventGenerator): same
576         * docs/buildbot.texinfo (Buildbot Web Resources): document it
578         * all: bring import statements up-to-date: don't import
579         __future__, assume cPickle and cStringIO are always available.
580         Also remove #!/usr/bin/python lines from non-scripts, my editor
581         has been a bit over-enthusiastic about stuffing them into new .py
582         files.
584         * buildbot/status/web/index.html: put a link to the waterfall page
585         on the index, otherwise first-time users of WebStatus aren't going
586         to see anything very interesting.
588         * buildbot/interfaces.py (IEventSource): document this interface.
589         Thanks to Dustin Mitchell for the patch. Closes #60.
590         * buildbot/status/builder.py (BuilderStatus): same
591         * buildbot/changes/changes.py (ChangeMaster): same
593         * buildbot/status/web/waterfall.py (WaterfallStatusResource.buildGrid):
594         add a query arg of 'show_events=true' to display non-build events,
595         like slaves attaching/detaching and reconfig events, or
596         'show_events=false' to hide them. The default is 'true'.
597         * docs/buildbot.texinfo (Buildbot Web Resources): document it
599         * web-parts: merge in web-parts branch. Lots of changes. The new
600         functionality is to add buildbot.status.html.WebStatus, which is a
601         superset of the Waterfall that adds new status pages and serves
602         regular files from BASEDIR/public_html/ , which is now the preferred
603         place to put robots.txt, buildbot.css, and index.html .
604         * buildbot/scripts/runner.py: the 'create-master' command now
605         creates public_html/ too, and populates it with a couple of
606         static files.
607         * buildbot/status/web: split waterfall code into smaller pieces
609 2007-07-31  Brian Warner  <warner@lothar.com>
611         * buildbot/scripts/startup.py (launch): import twistd.run in a
612         different way to hush pyflakes
613         * buildbot/process/builder.py: remove unused import
615 2007-07-30  Brian Warner  <warner@lothar.com>
617         * buildbot/interfaces.py (ISourceStamp): cleanup patch by Dustin
618         Mitchell: pass SourceStamps around rather than branch/version/etc
619         tuples. Thanks Dustin! Closes #70.
620         * buildbot/sourcestamp.py (SourceStamp): insist that .changes is a
621         tuple rather than a list, to avoid surprising mutations
622         * buildbot/process/builder.py (BuilderControl.resubmitBuild): same
623         * buildbot/status/mail.py (MailNotifier.buildMessage): same
624         * buildbot/status/builder.py (BuildStatus.getSourceStamp): same
625         * buildbot/test/test_status.py (Subscription): same
626         * buildbot/test/test_control.py (Force): same
627         * buildbot/test/test_buildreq.py (Request.testMerge): same
629 2007-07-29  Brian Warner  <warner@lothar.com>
631         * buildbot/scripts/sample.cfg: remove the spurious 'builders'
632         variable, since it wasn't used and is confusing in the presence of
633         c['builders'] (which *is* used). Thanks to Thomas Vander Stichele
634         for the suggestion.
636         * buildbot/status/web/waterfall.py (WaterfallStatusResource): update
637         the Buildbot home-page link to point at buildbot.net instead of 
638         sourceforge, and add a current-version query parameter so we can
639         get some statistics on which versions are in use out there.
641 2007-07-28  Brian Warner  <warner@lothar.com>
643         * buildbot/master.py (BuildMaster.loadConfig): replace c['sources']
644         with c['change_source'], leaving c['sources'] for backwards
645         compatibility (but deprecated), scheduled for removal in 0.8.0
646         * docs/buildbot.texinfo: same
647         * buildbot/test/test_config.py: verify that c['sources'] still works
648         * buildbot/test/test_*.py: replace c['sources'] with c['change_source']
649         * buildbot/scripts/sample.cfg: update to match
651         * buildbot/changes/mail.py (MaildirSource): parse with python's
652         stdlib 'email' module, which has been available since python2.2,
653         and drop use of the 'rfc822' module, which has been depreceated
654         since python2.3 .
655         * buildbot/test/test_maildir.py: same: use parse_file() not parse
657         * buildbot/test/test_maildir.py (MaildirTest.testMaildir): oops,
658         this needs to match the renaming in test/mail/msg*
660         * README (SETTING UP A BUILD MASTER): fix capitalization-typo.
661         Closes SF#1752648.
663         * buildbot/test/test_mailparse.py: rename sample emails a bit
664         * buildbot/test/mail/msg*: same
666         * buildbot/changes/mail.py (SVNCommitEmailMaildirSource): add a
667         parser for the "commit-email.pl" script that is shipped with SVN,
668         written by Justin Mason. Thanks! Closes SF#1072845.
669         * buildbot/test/mail/svn-commit.*: sample messages
670         * buildbot/test/test_mailparse.py (TestSVNCommitEmail): test it
671         * docs/buildbot.texinfo (SVNCommitEmailMaildirSource): docs
673 2007-07-27  Brian Warner  <warner@lothar.com>
675         * buildbot/changes/mail.py: refactor: move parsing into a method
676         named 'parse', each parser type gets a separate subclass. Remove
677         the old 'sep' argument (hardcode it to '/'), fix usage of prefix=
678         to be a simple leading-substring match. Add a warning to the logs
679         if prefix= does not end in a slash, since that's probably a
680         mistake. Fix both places where a prefix= mismatch would skip all
681         subsequent files in the same email, instead of just skipping the
682         one that didn't match.
683         * buildbot/test/test_mailparse.py: match changes
685         * docs/buildbot.texinfo (Getting Source Code Changes): refactor
686         docs on email-based ChangeSources
688         * docs/buildbot.texinfo (Getting Source Code Changes): move all
689         the changesource types up a level, removing the one-entry menu in
690         the process
692         * buildbot/master.py (BuildMaster.loadConfig_Slaves): rename
693         c['bots'] to c['slaves'], and use buildbot.slave.BuildSlave
694         instances instead of tuples. Closes #63.
695         * buildbot/slave/__init__.py (BuildSlave): define marker class
696         * buildbot/scripts/sample.cfg: use c['slaves'] in sample config
697         * docs/buildbot.texinfo (Buildslave Specifiers): document c['slaves']
698         * buildbot/test/test_*.py: update tests to match
699         * buildbot/test/test_config.py (ConfigTest.testBots): verify that
700         the c['bots'] backwards-compatibility handler works
702 2007-07-26  Brian Warner  <warner@lothar.com>
704         * buildbot/changes/hgbuildbot.py (hook): add an in-process
705         Mercurial change-sending hook, contributed by Frederic Leroy.
706         Thanks! Addresses #50.
707         * docs/buildbot.texinfo (MercurialHook): document it
709         * buildbot/changes/hgbuildbot.py: change the way imports are done,
710         to make it compatible with at least hg-0.9.1 and the current 0.9.4
712 2007-07-17  Brian Warner  <warner@lothar.com>
714         * buildbot/process/buildstep.py (BuildStep.getLog): add a
715         convenience method to retrieve a log added with
716         addLog()/addCompleteLog()/etc or logfiles= . I should have added
717         this two years ago..
719 2007-07-03  Brian Warner  <warner@lothar.com>
721         * buildbot/slave/commands.py (ShellCommand._startCommand): when
722         logging the environment variables, put one variable on each line,
723         rather than having one really long line with all of them. This
724         should make them a bit more readable and not trigger the
725         horizontal scrollbar (when viewing it in a web browser) quite so
726         much. Thanks to Albert Hofkamp for the patch.
728         * buildbot/steps/shell.py (ShellCommand): allow workdir= to be a
729         WithProperties instance. Thanks to Axel Hecht for the patch.
730         Closes #43.
731         * buildbot/test/test_properties.py (Interpolate.testWorkdir): test it
732         * docs/buildbot.texinfo (Build Properties): document it
733         * buildbot/slave/commands.py (ShellCommand._startCommand): create the
734         workdir if it didn't already exist.
736         * docs/buildbot.texinfo (Scheduler Types): correct the description
737         of Dependent schedulers. Thanks to Greg Ward for the patch.
739         * buildbot/steps/source.py (SVN.startVC): when applying a patch,
740         add "[patch]" to the step's display. Thanks to Dustin Mitchell for
741         the patch. Closes #49.
743         * buildbot/slave/commands.py (rmdirRecursive): chmod everything to
744         0700 before removing it, to deal with situations where a build will
745         leave files around without write permissions and the 'copy' or
746         'clobber' VC checkout modes need to blow away the tree first.
747         Thanks to Steve Milner for the suggestion and the patch (which I
748         mangled horribly). Closes #29.
749         * buildbot/test/test_slavecommand.py (Utilities.test_rmdirRecursive):
750         test for it
752         * buildbot/test/runutils.py (RunMixin.disappearSlave): oops, add
753         an allowReconnect= argument to let callers control whether they
754         want this don't-let-it-reconnect behavior, since some tests care.
755         Factor out the .continueTrying=False lines from those callers.
756         * buildbot/test/test_slaves.py: same
757         * buildbot/test/test_run.py: same
759 2007-07-02  Brian Warner  <warner@lothar.com>
761         * buildbot/test/runutils.py (RunMixin.disappearSlave): once a
762         slave has been disappeared, don't let it reconnect. This was
763         causing an intermittent failure in test_slaves.py, when the slave
764         that was supposed to be gone managed to come back by the end of
765         the test and affect the count.
766         * buildbot/test/test_slaves.py (Slave.testFallback2): minor
767         refactorings
768         * buildbot/process/builder.py (SlaveBuilder.__repr__): added some
769         diagnostic messages to track down this problem
770         (Builder.startBuild): same
772         * buildbot/process/builder.py (Builder.maybeStartBuild): choose
773         the slave randomly rather than always taking the first one. Thanks
774         to Pike for the patch. Closes #36.
775         * buildbot/test/test_slaves.py: match the change. to avoid huge
776         changes to the tests, I added a CHOOSE_SLAVES_RANDOMLY flag which
777         enables/disables the round-robin-ness (enabled by default), and
778         some unit tests disable it.
779         * docs/buildbot.texinfo (Buildmaster Architecture): document it
781         * buildbot/slave/bot.py (BuildSlave.__init__): rename the 'host'
782         argument to 'buildmaster_host', to make it more obvious that this
783         points to the buildmaster. Thanks to Bob Proulx for the
784         suggestion.
785         * buildbot/scripts/runner.py (slaveTAC): same
786         * buildbot/test/test_runner.py (Create.testSlave): match the change
788         * contrib/hg_buildbot.py: patch from Frederic Leroy to make this
789         work better.
791 2007-06-17  Brian Warner  <warner@lothar.com>
793         * buildbot/test/test_config.py (Factories.testAllSteps): make sure
794         we can round-trip all of our current step classes by calling
795         getStepFactory() and using the results to make a clone of the
796         original step.
798         * buildbot/steps/maxq.py: fix import errors. Guess this hasn't been
799         used in a while..
801         * buildbot/process/factory.py (BuildFactory.addStep): To simplify
802         the config file, we're moving to using actual instances instead of
803         the (class, kwargs) 'step specification' tuples. BuildFactory
804         still keeps a list of tuples internally, but when real instances
805         are passed in to addStep(), they are asked for their class and
806         kwargs using the new BuildStep.getStepFactory method. BuildFactory
807         accepts both instances and the tuple form, and converts instances
808         to the tuple form, but the instance form is preferred because it
809         gives the Steps a chance to do argument validation. Closes: #11.
811         * buildbot/process/buildstep.py (BuildStep.__init__): record the
812         factory information necessary to implement getStepFactory. The
813         addFactoryArguments() method can be used to include arguments that
814         aren't passed to the BuildStep base class constructor.
815         (BuildStep.setBuild):
816         (BuildStep.setDefaultWorkdir): new methods to take parameters that
817         are needed for live BuildSteps but not to construct the specification
818         tuples that are stashed in the factory.
820         * buildbot/process/base.py (Build.setupBuild): pass 'build' and
821         'workdir' into new BuildSteps by using methods instead of
822         arguments. This makes the constructor for BuildSteps a lot
823         simpler.
825         * buildbot/steps/*.py: update to match this change. Basically this
826         means adding calls to addFactoryArguments() in the __init__
827         methods to capture the arguments that aren't passed through to the
828         base class.
829         * buildbot/steps/shell.py (ShellCommand.setDefaultWorkdir): copy
830         the new workdir (if any) into the RemoteShellCommands arguments.
831         * buildbot/steps/source.py: allow workdir= to be optional,
832         implement setDefaultWorkdir() since we don't inherit from
833         (CVS): finally remove old clobber=/export=/copydir= arguments,
834         in favor of the mode= argument that's been around forever now.
835         * buildbot/steps/transfer.py: remove build= argument
837         * buildbot/test/*.py: update to match, generally by turning all
838         build= arguments into subsequent calls to s.setBuild()
839         * buildbot/test/test_config.py (Factories): verify that we can
840         use either BuildStep instances or class/kwarg tuples in both
841         BuildFactory.addStep and BuildFactory.__init__
843         * docs/buildbot.texinfo (Build Steps): document the new approach,
844         mention compatibility with the old approach, update all examples
845         to use the new style.
847 2007-06-16  Brian Warner  <warner@lothar.com>
849         * buildbot/changes/svnpoller.py: when the poll fails, don't kill
850         the LoopingCall, just eat the failure so that we'll poll again
851         next time. This should allow us to tolerate (e.g.) sf.net SVN
852         failures more gracefully. Many thanks to Dustin Mitchell for the
853         patch. Closes #34.
855 2007-05-17  Brian Warner  <warner@lothar.com>
857         * buildbot/status/words.py: refactor the IRC status bot into
858         separate 'Contact' and 'Channel' classes. The base Contact class
859         contains the interaction code: commands and responses. The
860         IRCContact subclass (and IrcStatusBot 'Channel') handle the
861         IRC-specific aspects. The plan is to write other subclasses for
862         other IM protocols like AIM and Jabber.
864 2007-04-16  Brian Warner  <warner@lothar.com>
866         * CREDITS: update list of contributors. Thank you all!
868 2007-04-13  Brian Warner  <warner@lothar.com>
870         * buildbot/status/mail.py (MailNotifier): add the project name to
871         the subject line and message body, to make it easier to
872         distinguish email coming from different buildmasters. Thanks to
873         Benoit Sigoure for the patch.
874         * buildbot/test/test_status.py (Mail): update to match
876 2007-03-24  Brian Warner  <warner@lothar.com>
878         * buildbot/steps/transfer.py: open all files in 'b' binary mode to
879         avoid text-conversion problems between DOS/windows and unix.
880         Thanks to Phil Thompson for the patch. Fixes SF#1674927.
882 2007-03-03  Brian Warner  <warner@lothar.com>
884         * buildbot/status/html.py (_hush_pyflakes): hush a pyflakes
885         warning about the use of Waterfall here
887 2007-03-01  Brian Warner  <warner@lothar.com>
889         * buildbot/interfaces.py (IStatus.getBuilder): mention exceptions
891 2007-02-28  Brian Warner  <warner@lothar.com>
893         * buildbot/changes/p4poller.py (P4Source): apply change from Scott
894         Lamb to use a more optimal form of 'p4 changes', to reduce server
895         load. He reports that this optimization was added to p4d release
896         2005.2, but it should work in all versions. Closes #27.
897         * buildbot/test/test_p4poller.py: match it
899 2007-02-27  Brian Warner  <warner@lothar.com>
901         * buildbot/status/web/*.py: move all web status stuff into a
902         separate directory, in anticipation of splitting it into smaller
903         pieces and adding more files. html.py was getting way too big.
904         * buildbot/status/classic.css: move it too
905         * setup.py: add the new sub-package
906         * buildbot/test/test_web.py: match the changes
907         * MANIFEST.in: handle the move of classic.css
909 2007-02-07  Brian Warner  <warner@lothar.com>
911         * contrib/OS-X/*: add some launchd .plist files for automatically
912         starting a buildmaster or buildslave under OS-X (10.4 or later).
913         Thanks to Mark Pauley for these.
915 2007-02-06  Brian Warner  <warner@lothar.com>
917         * docs/buildbot.texinfo (Requirements): update requirements to
918         stop claiming compatibility with python-2.2 or twisted-1.3.x .
919         Closes #13.
920         * README: mention python-2.5 and twisted-2.5 compatibility
922         * buildbot/clients/debug.py: hush pyflakes warnings by removing a
923         redundant import
924         * buildbot/scripts/startup.py: same, by removing twisted-1.3.0
925         compatibility
926         * buildbot/status/builder.py: same, by requiring cStringIO
927         * buildbot/status/words.py: same, remove twisted-1.3.0 compat
928         * buildbot/test/test_vc.py: same
929         * buildbot/test/test_web.py:
930         * buildbot/test/test_steps.py: same, remove unused import
932         * buildbot/status/html.py (StatusResourceBuild.body): oops, close
933         the FORM tag
935         * buildbot/master.py (BuildMaster.loadConfig): warn the user if we
936         see any Builders that don't have Schedulers to drive them
938         * buildbot/master.py (BotPerspective.__repr__): fit bitrot, the
939         attributes this uses went away
941         * contrib/bb_applet.py (MyApplet.filled): add a small prefs
942         dialog, to allow you to reset the buildmaster and force
943         connect/disconnect. Correctly handle losing the buildmaster
944         connection (by switching the display to the hexnut, at which point
945         you can use the 'Connect' menu item to reconnect).
947         * buildbot/steps/source.py (Source.start): if we're using a patch,
948         add it as a LogFile to the checkout/update step. This will turn
949         into a link on the waterfall page.
951         * buildbot/scripts/tryclient.py (Try.createJob): implement --diff
952         option, to take the patch from a pre-made file rather than
953         generating it from the local tree. Thanks to Robert Helmer for the
954         idea. Closes #15 (the Trac ticket on the new http://buildbot.net/).
955         * buildbot/scripts/runner.py (TryOptions): add --diff,
956         --patchlevel, and --baserev options
957         * buildbot/scheduler.py (Try_Jobdir.parseJob): treat a baserev of ""
958         as None, meaning HEAD.
959         * buildbot/sourcestamp.py (SourceStamp): update docstring to
960         indicate that baserev=None means HEAD
961         * docs/buildbot.texinfo (try --diff): document it
963         * buildbot/test/test_steps.py (BuildStep): remove use of
964         reactor.iterate(), although the technique I replaced it with is a
965         gross polling hack that must be cleaned up properly some day. This
966         was the last use of reactor.iterate in the entire tree, yay.
968 2007-02-05  Brian Warner  <warner@lothar.com>
970         * buildbot/status/mail.py (MailNotifier.__init__): assert that 'mode'
971         is one of the three known values, otherwise we emit some confusing
972         messages later on. Thanks to Grig Gheorghiu for the catch.
974 2007-01-30  Brian Warner  <warner@lothar.com>
976         * buildbot/changes/bonsaipoller.py (BonsaiParser.__init__): Ben
977         Hearsum contributed a patch to let BonsaiPoller work with results
978         that contain non-ascii characters. Closes SF#1632641.
980 2007-01-27  Brian Warner  <warner@lothar.com>
982         * Makefile (release): produce both .tar.gz and .zip source bundles.
983         Closes SF#1222216.
985 2007-01-23  Brian Warner  <warner@lothar.com>
987         * buildbot/changes/freshcvsmail.py: hush a pyflakes warning
988         * buildbot/changes/monotone.py: same
990         * buildbot/changes/maildir.py: combine several files into one,
991         clean up maildir.py to use Services properly.
992         * buildbot/changes/maildirtwisted.py: remove
993         * buildbot/changes/maildirgtk.py: remove, it wasn't used by
994         buildbot anyways.
995         * buildbot/changes/mail.py: match the change
996         * buildbot/scheduler.py: same, since Try_Jobdir uses a maildir
997         * buildbot/test/test_maildir.py: remove use of reactor.iterate()
999         * buildbot/slave/commands.py (command_version): bump to "2.3" to
1000         indicate that the buildslave knows about the 'bzr' command
1002 2007-01-22  Brian Warner  <warner@lothar.com>
1004         * buildbot/process/builder.py (Builder.fireTestEvent): don't use
1005         'with', it will become a reserved work in python2.6 .
1007         * contrib/bb_applet.py: add a simple gnome-panel applet, to
1008         display a terse summary of buildbot status.
1009         * docs/hexnut32.png, docs/hexnut48.png, docs/hexnut64.png: add
1010         some icons, small versions of the Blender object that lives in
1011         docs/images/icon.blend
1013         * buildbot/steps/source.py (Bzr): add Bazaar-ng support
1014         * buildbot/slave/commands.py (Bzr): same
1015         * buildbot/scripts/tryclient.py (BzrExtractor): same
1016         (SourceStampExtractor.dovc): modify this to allow non-zero exit
1017         status, since 'bzr diff' does that
1018         * buildbot/test/test_vc.py (Bzr): same
1019         * docs/buildbot.texinfo (How Different VC Systems Specify Sources):
1020         add notes on bzr
1021         (Bzr): document it
1023 2007-01-20  Brian Warner  <warner@lothar.com>
1025         * contrib/darcs_buildbot.py: tidy up the progress messages
1027 2007-01-17  Brian Warner  <warner@lothar.com>
1029         * contrib/darcs_buildbot.py: enhance to handle multiple patches
1030         being pushed at a time. This keeps state in the repository in a
1031         small file named .darcs_buildbot-lastchange, but that shouldn't
1032         interfere with normal repository operations. Fixes SF#1534049.
1033         * buildbot/clients/sendchange.py (Sender): make a single Sender
1034         capable of sending Changes with different usernames.
1036 2006-12-11  Brian Warner  <warner@lothar.com>
1038         * buildbot/changes/freshcvsmail.py: mark this file as deprecated,
1039         scheduled for removal in 0.7.7 . The FCMaildirSource was moved to
1040         buildbot.changes.mail a long time ago, but I forgot to add the
1041         DeprecationWarning until now.
1043         * buildbot/process/maxq.py: remove this, the functionality now
1044         lives in buildbot.steps.maxq
1046         * buildbot/clients/debug.py: remove an unnecessary gnome.ui import
1047         * buildbot/clients/gtkPanes.py: remove unused import
1049         * buildbot/slave/trial.py: remove an unused/incomplete/buggy file,
1050         that was meant to provide a special Reporter to run inside trial
1051         and give the buildslave lots of machine-readable status. We never
1052         finished this project.
1054         * buildbot/changes/bonsaipoller.py: remove unused imports
1055         * buildbot/changes/svnpoller.py: same
1056         * buildbot/process/builder.py: same
1057         * buildbot/process/buildstep.py: same
1058         * buildbot/slave/bot.py: hush pyflakes warning
1059         * buildbot/status/tests.py: remove unused imports
1060         * buildbot/status/tinderbox.py: same
1061         * buildbot/steps/python_twisted.py: same
1063         * buildbot/process/step.py: remove this file, these names were
1064         deprecated in 0.7.5 and are now being removed.
1065         * buildbot/process/step_twisted.py: same
1066         * buildbot/test/test_steps.py (ReorgCompatibility): remove test
1068         * buildbot/twcompat.py: remove the empty file, yay it is gone
1070         * buildbot/twcompat.py (waitForDeferred): remove the monkeypatch,
1071         tw-2.0.0 and newer have the method we need.
1072         (getProcessOutputAndValue): same
1073         (which): remove this method, tw-2.0.0 t.p.procutils has it
1075         * buildbot/twcompat.py (implements): remove this method
1076         * buildbot/*: import implements() from zope.interface directly
1078         * buildbot/status/mail.py: stop falling back to importing
1079         twisted.protocols.smtp.sendmail, now that we don't need tw-1.3.0
1080         support
1082         * buildbot/twcompat.py (Interface): remove this import
1083         * buildbot/*: import Interface from zope.interface directly
1085         * buildbot/twcompat.py (providedBy): remove this method
1086         * buildbot/*: turn all uses of providedBy(obj, iface) into
1087         iface.providedBy(obj)
1089         * buildbot/twcompat.py (maybeWait): remove this method, now that
1090         we no longer maintain compatibility with Twisted<=1.3.0 .
1091         Twisted-2.0.0 and later allow trial methods to return Deferreds
1092         directly.
1093         * buildbot/test/*: remove all uses of maybeWait
1095         * buildbot/__init__.py (version): bump to 0.7.5+ while between
1096         releases
1097         * docs/buildbot.texinfo: same
1099 2006-12-10  Brian Warner  <warner@lothar.com>
1101         * buildbot/__init__.py (version): Releasing buildbot-0.7.5
1102         * docs/buildbot.texinfo: set version to match
1104 2006-12-10  Brian Warner  <warner@lothar.com>
1106         * README (REQUIREMENTS): update for release
1107         * NEWS: update for release
1108         * buildbot/slave/commands.py (command_version): mention that this
1109         version (2.2) was released with buildbot-0.7.5
1111         * buildbot/test/test_config.py (StartService.testStartService):
1112         inhibit the usual read-config-on-startup behavior, since otherwise
1113         the log.err that gets recorded causes the test to fail
1115         * buildbot/status/builder.py (LogFile.finish): forget about all
1116         subscribers once the log has finished, since after that point
1117         we're never going to use them again. This might help free up some
1118         memory somewhere.
1120         * buildbot/clients/debug.py: update to use gtk.main_quit() rather
1121         than the old/deprecated gtk.mainquit()
1123 2006-12-09  Brian Warner  <warner@lothar.com>
1125         * buildbot/steps/transfer.py (_FileWriter.__del__): handle errors
1126         better when we can't open the masterdst file
1128         * buildbot/scripts/startup.py (Follower._failure): add missing
1129         import statement for BuildSlaveDetectedError
1131         * buildbot/steps/transfer.py (FileUpload): cleanup
1132         (FileDownload): same. Add tests for slave version, add mode=.
1133         * buildbot/slave/commands.py (SlaveFileUploadCommand): same
1134         (SlaveFileDownloadCommand): same
1135         * buildbot/test/test_transfer.py: enhance tests
1136         * buildbot/test/runutils.py (makeBuildStep): create a fake form of
1137         step.slaveVersion
1139 2006-12-08  Brian Warner  <warner@lothar.com>
1141         * buildbot/scripts/runner.py (sendchange): halt the reactor on
1142         both success *and* failure. Without this, the 'buildbot
1143         sendchange' command would hang if it could not contact the
1144         buildmaster or deliver the Change, which would generally cause the
1145         user's commit/record/checkin command to hang too. Thanks to
1146         Christian Unger for the catch.
1148 2006-12-06  Brian Warner  <warner@lothar.com>
1150         * NEWS: update with items for the next release
1152         * docs/buildbot.texinfo (Adding LogObservers): add a somewhat
1153         whimsical example pulled from a punch-drunk email I sent out late
1154         one night.
1155         (Transferring Files): document some of the other parameters
1156         (Adding LogObservers): update to 0.7.5 buildbot.steps.*
1157         (SVNPoller): rename svnpoller.SvnSource to SVNPoller
1158         * buildbot/test/test_svnpoller.py: same
1159         * buildbot/changes/svnpoller.py (SVNPoller): same
1161 2006-11-26  Brian Warner  <warner@lothar.com>
1163         * docs/buildbot.texinfo (Build Properties): remind users that
1164         WithProperties must appear in a command= list, not as a top-level
1165         instance.
1166         * buildbot/steps/shell.py (ShellCommand.start): and assert that
1167         we're sending a list or a single string to the RemoteShellCommand
1169         * buildbot/scheduler.py (Nightly): Improve docs slightly.
1171         * buildbot/scripts/startup.py (start): skip the whole
1172         watch-the-logfile thing under windows, since it needs os.fork()
1174         * buildbot/scripts/runner.py (restart): remove the old message
1175         that got printed after the buildbot was restarted.. it most cases
1176         it didn't get printed at the right time anyways
1178 2006-11-25  Brian Warner  <warner@lothar.com>
1180         * buildbot/scripts/runner.py: enhance 'start' and 'restart' to
1181         follow twistd.log and print lines until the process has started
1182         started properly. For the buildmaster, this means until the config
1183         file has been parsed and accepted. For the buildslave, this means
1184         until we've connected to the master. We give up after 5 seconds in
1185         any case. Helpful error messages and troubleshooting suggestions
1186         are printed when we don't see a successful startup. This closes the
1187         remainder of SF#1517975.
1188         * buildbot/scripts/startup.py: moved app startup code to here
1189         * buildbot/scripts/logwatcher.py: utility class to follow log
1190         * buildbot/scripts/reconfig.py: rewrite to use LogWatcher
1191         * buildbot/slave/bot.py: announce our BuildSlaveness to the log
1192         so the LogWatcher can tell the difference between a buildmaster
1193         and a buildslave
1195 2006-11-24  Brian Warner  <warner@lothar.com>
1197         * docs/examples/twisted_master.cfg: update to match the version
1198         in use on twistedmatrix.com
1199         (IRC): re-enable IRC bot. The 'irc.us.freenode.net' hostname I
1200         was using before stopped working, but 'irc.freenode.net' works
1201         just fine.
1203         * buildbot/scripts/runner.py (run): oops, forgot to enable the new
1204         'reconfig' command
1206         * buildbot/clients/base.py (TextClient.not_connected): upon
1207         UnauthorizedLogin failures, remind the user to connect to the
1208         PBListener port instead of the slaveport.
1209         (TextClient.disconnected): shut down more quietly
1210         * docs/buildbot.texinfo (statuslog): add another reminder
1212         * buildbot/scripts/runner.py (Options.subCommands): rename
1213         'buildbot sighup DIR' to 'buildbot reconfig DIR', but keep
1214         'sighup' as an alias.
1215         * buildbot/scripts/reconfig.py (Reconfigurator): enhance the
1216         reconfig command to follow twistd.log and print all of the lines
1217         from the start of the config-file reload to its completion. This
1218         should make it a lot easier to discover bugs in the config file.
1219         Use --quiet to disable this behavior. This addresses half of
1220         SF#1517975, the other half will be to add this same utility to
1221         'buildbot start' and 'buildbot restart'.
1222         * docs/buildbot.texinfo (Loading the Config File): same
1223         (Shutdown): same
1225         * buildbot/interfaces.py (IBuilderControl.forceBuild): remove this
1226         method, it has been deprecated for a long time. Use
1227         IBuilderControl.requestBuild instead.
1228         * buildbot/process/builder.py (BuilderControl.forceBuild): remove
1229         * buildbot/master.py (BotPerspective.perspective_forceBuild): same
1230         * buildbot/slave/bot.py (Bot.debug_forceBuild): same
1231         * buildbot/test/test_control.py (Force.testForce): same
1232         * buildbot/test/test_run.py: use requestBuild instead
1234         * buildbot/clients/debug.py: replace 'Force Build' button with
1235         'Request Build' (which just adds one to the queue), add Ping
1236         Builder, add branch/revision fields to Request Build.
1237         * buildbot/clients/debug.glade: same
1238         * buildbot/master.py: update interface to match. This creates an
1239         incompatibility between new debugclients and old buildmasters.
1241         * buildbot/process/builder.py (Builder._attached): delay the call
1242         to maybeStartBuild for a reactor turn, to avoid starting a build
1243         in the middle of a reconfig (say, if the new Builder uses a new
1244         slave which is already connected).
1246 2006-11-23  Brian Warner  <warner@lothar.com>
1248         * buildbot/test/test_transfer.py: appease pyflakes
1249         * buildbot/test/test_steps.py: same
1251         * buildbot/test/test_bonsaipoller.py: remove the 'import *' that
1252         keeps pyflakes from finding undefined names
1254         * buildbot/master.py (BuildMaster.loadConfig_Builders): changing a
1255         Builder no longer induces a disconnect/reconnect cycle. This means
1256         that any builds currently in progress will not be interrupted, and
1257         any builds which are queued in the Builder will not be lost. This
1258         is implemented by having the new Builder extract the state (i.e.
1259         all pending Builds and any desired SlaveBuilders) from the old
1260         Builder.
1261         (BotPerspective): refactor. The BotPerspective no longer keeps
1262         track of all the Builders that want to use this slave; instead, it
1263         asks the BotMaster each time it needs this list. This removes
1264         addBuilder and removeBuilder. Clean up attached() to acquire all
1265         the slave's information in a more atomic fashion. updateSlave() is
1266         now the way to make sure the slave is using the right set of
1267         Builders: just call it after everything else has been
1268         reconfigured.
1269         (BotMaster): refactor, removing addBuilder/removeBuilder and
1270         replacing them with an all-at-once setBuilders() call.
1272         * buildbot/test/test_slaves.py (Reconfig): new test case to
1273         exercise this functionality
1274         * buildbot/steps/dummy.py (Wait): new dummy BuildStep for the test
1275         * buildbot/slave/commands.py (WaitCommand): same
1277         * docs/buildbot.texinfo (Loading the Config File): document the
1278         changes
1280         * buildbot/process/builder.py (SlaveBuilder): refactor. Allow the
1281         SlaveBuilder to have its parent Builder changed.
1282         (SlaveBuilder.isAvailable): new method to give access to state,
1283         which is now a private attribute
1284         (SlaveBuilder.buildStarted,buildFinished): new methods to inform
1285         the SlaveBuilder about how it is being used. These methods update
1286         its internal state. buildFinished() is now the place that invokes
1287         maybeStartBuild() on its parent Builder.
1288         (Builder.consumeTheSoulOfYourPredecessor): new method to allow a
1289         new Builder to take over for an old one, transferring state from
1290         the old one.
1291         (Buider): refactor the way that SlaveBuilders are used to match,
1292         giving them a bit more autonomy.
1293         (Builder.buildFinished): this no longer calls maybeStartBuild():
1294         instead the SlaveBuilder calls it on whoever its parent Builder is
1295         at the time. This way, when an old Builder is replaced by a new
1296         one, and there was a build in progress during the transition, when
1297         that build finishes, it will be the new Builder that is told about
1298         the newly available slave so it can start a new build.
1300         * buildbot/process/base.py (Build.startBuild._release_slave): when
1301         the Build finishes, tell the SlaveBuilder that they've been
1302         released.
1304         * buildbot/status/builder.py (SlaveStatus): add some new setter
1305         methods for use by BotPerspective, to keep some attributes more
1306         private
1308         * buildbot/slave/bot.py (Bot.remote_getDirs): this is no longer
1309         called by the buildmaster.
1310         (Bot.setBuilderList): instead, we locally announce any leftover
1311         directories based upon which Builders we were told about. The
1312         master doesn't really care; it's the local admin who may or may not
1313         wish to delete them.
1316         * contrib/svn_buildbot.py: use /usr/bin/python, not /usr/bin/env,
1317         to allow use of python2.4 or whatever. This tool still requires
1318         python2.3 or newer.
1320 2006-11-19  Brian Warner  <warner@lothar.com>
1322         * NEWS (IStatusLog.readlines): more news items
1324 2006-11-18  Brian Warner  <warner@lothar.com>
1326         * NEWS: start collecting items for the next release.
1328 2006-11-04  Brian Warner  <warner@lothar.com>
1330         * buildbot/changes/bonsaipoller.py: apply updates from Ben
1331         Hearsum. Closes SF#1590310.
1332         * buildbot/test/test_bonsaipoller.py: and tests
1334         * buildbot/status/tinderbox.py
1335         (TinderboxMailNotifier.buildMessage): send out a "testfailed"
1336         status when the build results in WARNINGS. Patch from Dave
1337         Liebreich. Closes SF#1587352.
1339         * buildbot/slave/commands.py (LogFileWatcher.poll): overcome a
1340         linux-vs-osx behavior difference w.r.t. reading from files that
1341         have reached EOF. This should fix LogFileWatcher on OS-X. Thanks
1342         to Mark Rowe for the patch.
1344 2006-10-15  Brian Warner  <warner@lothar.com>
1346         * buildbot/interfaces.py (IStatus.getURLForThing): oops, the
1347         method name was misspelled in the interface definition. Thanks to
1348         Roy Rapoport for the catch.
1350 2006-10-13  Brian Warner  <warner@lothar.com>
1352         * docs/buildbot.texinfo (Adding LogObservers): update sample code
1353         to match the great Steps renaming
1355         * buildbot/steps/transfer.py (FileUpload.start): Fix stupid error.
1356         Maybe I should run my own unit tests before recording a big
1357         change. Good thing I've got a buildbot to remind me.
1359 2006-10-12  Brian Warner  <warner@lothar.com>
1361         * buildbot/steps/transfer.py: rework __init__ and args setup
1362         * buildbot/slave/commands.py (SlaveFileDownloadCommand): minor
1363         docs improvements
1364         * buildbot/slave/commands.py (SlaveFileDownloadCommand.setup):
1365         when opening the target file, only catch IOError (to report via
1366         stderr/rc!=0), let the others be reported as normal exceptions
1368 2006-10-08  Brian Warner  <warner@lothar.com>
1370         * contrib/svn_watcher.py: fix security holes by using proper argv
1371         arrays and subprocess.Popen() rather than commands.getoutput().
1372         Thanks to Nick Mathewson for the patch. Note that svn_watcher.py
1373         is deprecated in favor of buildbot/changes/svnpoller.py, and will
1374         probably be removed by the next release.
1375         * CREDITS: add Nick
1377 2006-10-04  Brian Warner  <warner@lothar.com>
1379         * buildbot/steps/python.py (PyFlakes.createSummary): skip any
1380         initial lines that weren't emitted by pyflakes. When the pyflakes
1381         command is run under a Makefile, 'make' will echo the command it
1382         runs to stdio, and that was getting logged as a "misc" warning.
1383         * buildbot/test/test_steps.py (Python.testPyFlakes2): test it
1384         * buildbot/test/test_steps.py (testPyFlakes3): another test
1386 2006-10-01  Brian Warner  <warner@lothar.com>
1388         * buildbot/status/html.py (HtmlResource.render): if we get a
1389         unicode object from our content() method, encode it into utf-8
1390         like we've been claiming to all along. This allows the comments
1391         and author names from svnpoller.py to be delivered properly.
1393         * buildbot/changes/svnpoller.py (SvnSource.create_changes):
1394         de-unicodify filenames before creating the Change, because the
1395         rest of buildbot is unlikely to handle them well. Leave the 'who'
1396         field as a unicode object.. I don't think there's anything that
1397         will break very soon, and it will probably nudge us towards
1398         accepting unicode everywhere sooner or later. Stop using the
1399         "date" field that comes out of SVN, since it is using the
1400         repository's clock (and timezone) and what we care about is the
1401         buildmaster's (otherwise Changes from the future show up later
1402         than the builds they triggered).
1403         * buildbot/test/test_svnpoller.py (Everything.test1): match the
1404         change to .when
1406         * buildbot/changes/svnpoller.py (SvnSource): added Niklaus Giger's
1407         Suvbersion repository polling ChangeSource. I've hacked it up
1408         considerably: any bugs are entirely my own fault. Thank you
1409         Niklaus!
1410         * buildbot/test/test_svnpoller.py: tests for it
1411         * docs/buildbot.texinfo (SvnSource): document it
1413 2006-09-30  Brian Warner  <warner@lothar.com>
1415         * buildbot/scheduler.py (Periodic): submit a reason= to the
1416         BuildSet to indicate which Scheduler triggered the build. Thanks
1417         to Mateusz Loskot for the suggestion.
1418         (Nightly): same
1419         * buildbot/test/test_scheduler.py (Scheduling.testPeriodic1): test it
1421         * buildbot/changes/p4poller.py (P4Source): some minor stylistic
1422         changes: set self.loop in __init__, remove unused volatile=
1424         * docs/buildbot.texinfo (.buildbot config directory): add more
1425         docs on the .buildbot/options keys used by "buildbot try"
1426         * buildbot/scripts/tryclient.py (Try.createJob): remove dead code
1427         (Try.deliverJob): same
1429         * buildbot/changes/bonsaipoller.py (BonsaiParser): more updates
1430         from Robert Helmer
1431         (BonsaiPoller): same
1433         * buildbot/slave/commands.py (LogFileWatcher.stop): explicitly
1434         close the filehandle when we stop watching the file. Before, the
1435         filehandle was only closed when the LogFileWatcher was
1436         garbage-collected, which could be quite a while in the future. If
1437         it was still open by the time the next build started, windows will
1438         refuse to let the new build delete the old build/ directory. Fixes
1439         SF#1568415, thanks to <scmikes>, <FireMoth>, and <radix> on
1440         #twisted for the catch.
1442 2006-09-29  Brian Warner  <warner@lothar.com>
1444         * buildbot/status/tinderbox.py (TinderboxMailNotifier): updates
1445         from Robert Helmer
1447 2006-09-25  Brian Warner  <warner@lothar.com>
1449         * setup.py: the new buildbot.steps module wasn't being installed.
1450         Thanks to Jose Dapena Paz for the catch, fixes SF#1560631.
1451         (testmsgs): add the extra stuff from buildbot/test/* so you can
1452         run unit tests on an installed copy of buildbot, not just from
1453         the source tree.
1455         * contrib/svn_buildbot.py (ChangeSender.getChanges): the first *4*
1456         columns of 'svnlook changed' output contain status information, so
1457         strip [:4] instead of [:6]. Depending upon what the status flags
1458         were, this would sometimes lead to mangled filenames. Thanks to
1459         Riccardo Magliocchetti for the patch. Closes SF#1545146.
1461         * buildbot/steps/source.py (Monotone): initial Monotone support,
1462         contributed by Nathaniel Smith. Still needs docs and tests, but
1463         this code has been in use on the Monotone buildbot for a long
1464         time now.
1465         * buildbot/slave/commands.py (Monotone): slave-side support
1466         * buildbot/changes/monotone.py (MonotoneSource): polling change
1467         source
1469         * buildbot/changes/bonsaipoller.py (BonsaiPoller): Ben also
1470         contributed a Change Source that polls a Bonsai server (a
1471         kind of web-based viewcvs CGI script).
1473         * buildbot/status/tinderbox.py (TinderboxMailNotifier): Ben
1474         Hearsum contributed a status plugin which sends email in the same
1475         format that Tinderbox does: this allows a number of tinderbox
1476         tools to be driven by Buildbot instead. Thanks Ben!
1478 2006-09-24  Brian Warner  <warner@lothar.com>
1480         * buildbot/changes/mail.py (parseBonsaiMail): fix the parser.
1481         Thanks to Robert Helmer for the patch.
1483         * buildbot/process/base.py (Build.setupSlaveBuilder): tell our
1484         BuildStatus about the buildslave name at the *beginning* of the
1485         build, rather than at the end. Thanks to Alexander Lorenz for the
1486         patch.
1487         * buildbot/status/html.py (StatusResourceBuild.body): always
1488         include the slavename in the build page, not just when the build
1489         has finished.
1490         * buildbot/status/mail.py (MailNotifier.buildMessage): include the
1491         slavename in the email message
1493 2006-09-21  Brian Warner  <warner@lothar.com>
1495         * buildbot/scripts/sample.cfg: update to use new BuildStep classes
1496         from buildbot.steps
1497         * docs/examples/glib_master.cfg: same
1498         * docs/examples/hello.cfg: same
1499         * docs/examples/twisted_master.cfg: same, update to current usage
1501 2006-09-19  Brian Warner  <warner@lothar.com>
1503         * buildbot/steps/python.py (PyFlakes): refactor, add summary logs
1504         (PyFlakes.createSummary): make it compatible with python-2.2
1506         * buildbot/test/test_steps.py (Python.testPyFlakes): add a test
1507         for at least the output-parsing parts of PyFlakes
1509 2006-09-18  Brian Warner  <warner@lothar.com>
1511         * buildbot/steps/python.py: oops, fix import of StringIO
1513 2006-09-17  Brian Warner  <warner@lothar.com>
1515         * buildbot/test/test_vc.py (VCBase._do_vctest_update_retry_1): it
1516         turns out that SVN-1.4.0 doesn't fail to update once you've
1517         replaced a file with a directory, unlike older versions of SVN and
1518         pretty much every other VC tool we support. Since what we really
1519         care about is that the update succeeds anyway, stop checking that
1520         the tree got clobbered and just assert that the build succeeded.
1521         (VCBase.printLogs): add a utility function for debugging
1523         * buildbot/process/step.py: oops, added extra imports by mistake
1525         * buildbot/changes/p4poller.py (P4Source._process_describe): do an
1526         rstrip() on the first line coming out of the 'p4 describe'
1527         process, to remove the stray ^M that Wade Brainerd reports seeing
1528         in the 'when' field. Fixes SF#1555985.
1530         * buildbot/master.py (BuildMaster.loadConfig): improve the error
1531         message logged when c['schedulers'] is not right
1532         * buildbot/scheduler.py (Scheduler.__init__): improve error
1533         message when a Scheduler() is created with the wrong arguments
1534         * buildbot/test/test_config.py (ConfigTest.testSchedulerErrors):
1535         verify that these error messages are emitted
1537         * buildbot/process/buildstep.py: rename step.py to buildstep.py .
1538         The idea is that all the base classes (like BuildStep and
1539         RemoteCommand and LogObserver) live in b.p.buildstep, and b.p.step
1540         will be a leftover backwards-compatibility file that only contains
1541         aliases for the steps that were moved out to buildbot.steps.*
1542         * lots: change imports to match
1543         * buildbot/process/step.py: add a DeprecationWarning if it ever
1544         gets imported
1546 2006-09-12  Brian Warner  <warner@lothar.com>
1548         * buildbot/scheduler.py (Scheduler.__init__): make sure that
1549         builderNames= is actually a sequence, since if you happen to give
1550         it a single builder-specification dictionary instead, it won't get
1551         caught by the existing assert. Thanks to Brett Neely for the
1552         catch.
1554         * buildbot/steps/python.py (BuildEPYDoc, PyFlakes): add new steps. No
1555         tests yet, alas.
1556         * docs/buildbot.texinfo (Python BuildSteps): document them
1557         (sendchange): include a link to PBChangeSource, since you need one
1559         * buildbot/steps/shell.py: clean up test-case-name line, remove some
1560         unnecessary imports
1561         * buildbot/steps/dummy.py: same
1563 2006-09-08  Brian Warner  <warner@lothar.com>
1565         * buildbot/steps/transfer.py (FileUpload,FileDownload): new
1566         BuildStep which lets you transfer files from the master to the
1567         slave or vice versa. Thanks to Albert Hofkamp for the original
1568         patch. Fixes SF#1504631.
1569         * buildbot/slave/commands.py (SlaveFileUploadCommand): slave-side
1570         support for it
1571         (SlaveFileDownloadCommand): same
1572         * docs/buildbot.texinfo (Transferring Files): document it
1573         * buildbot/test/test_transfer.py: test it
1574         * buildbot/test/runutils.py (StepTester): new utility class for
1575         testing BuildSteps and RemoteCommands without Builds or Bots or PB
1576         * buildbot/test/test_steps.py (CheckStepTester): validate that the
1577         utility class works
1579         * buildbot/interfaces.py (IStatusLog.readlines): make it easier to
1580         walk through StatusLogs one line at a time, mostly for the benefit
1581         of ShellCommand.createSummary methods. You can either walk through
1582         STDOUT or STDERR, but the default is STDOUT.
1584         * buildbot/status/builder.py (LogFile.readlines): implement it.
1585         Note that this is not yet memory-efficient, it just pulls the
1586         whole file into RAM and then splits it up with a StringIO.
1587         Eventually this should be a generator that only pulls chunks from
1588         disk as necessary.
1589         * buildbot/test/test_status.py (Log.testReadlines): test it
1591         * docs/buildbot.texinfo: update to match changes
1592         * buildbot/process/factory.py: stop using old definitions
1593         * buildbot/process/process_twisted.py: same
1594         * buildbot/test/test_*.py: same
1596         * buildbot/process/step_twisted.py: move definition to..
1597         * buildbot/steps/python_twisted.py: .. here, unfortunately python's
1598         relative-import mechanisms prevent this from being named 'twisted'
1599         or 'python/twisted' as I would have preferred.
1601         * buildbot/process/maxq.py: move definition to..
1602         * buildbot/steps/maxq.py: .. here, leave a compatibility import
1604         * buildbot/process/step.py: split the user-visible BuildSteps into
1605         separate files, all under buildbot/steps/
1606         * buildbot/steps/source.py: this holds VC-checkout steps like SVN
1607         * buildbot/steps/shell.py: this holds ShellCommand and friends
1608         * buildbot/steps/dummy.py: this holds the testing steps like Dummy
1610 2006-09-05  Brian Warner  <warner@lothar.com>
1612         * lots: run pyflakes, removed a lot of unused imports, changed the
1613         form of some conditional imports to remove false pyflakes
1614         warnings. There are still a number of warnings left, mostly from
1615         imports that are done for their side-effects.
1616         * buildbot/test/test_vc.py: import twisted.python.failure, since it
1617         was missing
1619 2006-08-26  Brian Warner  <warner@lothar.com>
1621         * buildbot/test/test_locks.py (Unit.testLater): make the tests
1622         compatible with twisted-1.3.0, for some reason I just can't seem
1623         to let go of the past.
1625 2006-08-25  Brian Warner  <warner@lothar.com>
1627         * buildbot/status/mail.py (MailNotifier.__init__): fix typo in docs
1629         * buildbot/process/step.py (LoggingBuildStep.startCommand): set up
1630         all logfiles= in startCommand(), rather than in start() . This
1631         makes it easier to have the 'stdio' log come before any secondary
1632         logfiles, which I feel makes the waterfall display more
1633         understandable.
1634         (LoggingBuildStep.setupLogfiles): move the addLog/cmd.useLog code
1635         from ShellCommand up into LoggingBuildStep
1636         (LoggingBuildStep.__init__): move the handling of logfiles= from
1637         ShellCommand up to LoggingBuildStep, because startCommand is
1638         provided by LoggingBuildStep, whereas start() was specific to
1639         subclasses like ShellCommand and Source. This removes code
1640         duplication in those subclasses.
1641         (ShellCommand.__init__): same
1642         (ShellCommand.checkForOldSlaveAndLogfiles): split out the check
1643         for a slave that's too old to understand logfiles= into a separate
1644         method, so it can live in ShellCommand. The rest of
1645         setupLogfiles() can live in LoggingBuildStep.
1647 2006-08-24  Brian Warner  <warner@lothar.com>
1649         * buildbot/locks.py (BaseLock): you can now configure Locks to
1650         allow multiple simultaneous owners. They still default to
1651         maxCount=1. Fixes SF#1434997. Thanks to James Knight (foom) for
1652         the patch.
1653         * docs/buildbot.texinfo (Interlocks): document the new options
1654         * buildbot/test/test_locks.py: add a bunch of new unit tests
1655         * buildbot/process/base.py (Build.acquireLocks): locks now offer
1656         waitUntilMaybeAvailable, not waitUntilAvailable
1657         * buildbot/process/step.py (BuildStep.acquireLocks): same
1658         * buildbot/master.py (BotMaster.getLockByID): real locks now use
1659         the whole lockid in their constructor, not just the name. Also,
1660         keep track of which real locks we've handed out by the full
1661         lockid, not just class+name, otherwise changing just the maxCount=
1662         in the master.cfg file would not actually cause a behavioral
1663         change
1665 2006-08-23  Brian Warner  <warner@lothar.com>
1667         * buildbot/__init__.py (version): bump to 0.7.4+ while between
1668         releases
1669         * docs/buildbot.texinfo: same
1671 2006-08-23  Brian Warner  <warner@lothar.com>
1673         * buildbot/__init__.py (version): Releasing buildbot-0.7.4
1674         * docs/buildbot.texinfo: set version to match
1675         * NEWS: update for 0.7.4
1676         * buildbot/slave/commands.py (command_version): mention that this
1677         version (2.1) was released with buildbot-0.7.4
1679 2006-08-22  Brian Warner  <warner@lothar.com>
1681         * README: update
1683         * CREDITS: new file, list of people who have helped. Thanks!
1684         * MANIFEST.in: ship it
1686         * MANIFEST.in: stop shipping the old PyCon-2003 paper.. with the
1687         new diagrams, the user's manual is more informative than it was.
1688         Start shipping the .html user's manual (and generated .png
1689         images).
1690         * Makefile: update 'release' target to match
1692         * buildbot/test/test_web.py (GetURL.testBrokenStuff): delete this
1693         test.. I think the web-parts effort will render it pointless well
1694         before it ever actually starts to work.
1696 2006-08-20  Brian Warner  <warner@lothar.com>
1698         * buildbot/changes/pb.py (PBChangeSource): fix and simplify
1699         meaning of the prefix= argument. It is now just a string which is
1700         stripped from the beginning of the filename. If prefix= is set but
1701         not found on any given filename, that filename is ignored. If all
1702         filenames in a Change are ignored, the Change is dropped. This is
1703         much simpler than the previous sep= nonsense, and I should have
1704         implemented it this way from the beginning. Effectively resolves
1705         SF#1217699 and SF#1381867. Thanks to Gary Granger and Marius
1706         Gedminas for the catch and suggested fixes.
1707         (ChangePerspective.perspective_addChange): implement the actual
1708         prefix comparison
1709         * buildbot/test/test_changes.py (TestChangePerspective): test it
1710         * docs/buildbot.texinfo (PBChangeSource): document it, explain
1711         how to properly use prefix=
1712         * docs/examples/twisted_master.cfg (source): update prefix= by
1713         adding the trailing slash
1716         * docs/examples/twisted_master.cfg: update to actual practice
1718         * buildbot/test/test_web.py (WaterfallSteps.test_urls): oops,
1719         update test case to match new link text.. the HREF has both a
1720         class= setting and an enclosing [] pair that I didn't match in the
1721         test.
1723         * docs/buildbot.texinfo (ShellCommand.command=): explain why a
1724         list of strings is preferred over a single string with embedded
1725         spaces
1726         (ShellCommand.description=): explain that either single strings or
1727         a list of strings is acceptable, and why you might prefer one over
1728         the other. Add an example. Fixes SF#1524659, thanks to Paul
1729         Winkler for the catch.
1730         (Build Steps): update to use f.addStep() rather than using s()
1731         and the constructor list
1733         * buildbot/process/step.py (ShellCommand): accept either a single
1734         string or a list of strings in both description= and
1735         descriptionDone=
1736         * buildbot/test/test_steps.py (Steps.test_description): test it
1737         * buildbot/test/runutils.py (makeBuildStep): support for that test
1739         * contrib/CSS/*.css: add some contributed CSS stylesheets, to make
1740         the Waterfall display a bit less ugly. Thanks to John O'Duinn for
1741         collecting the files and creating the patch.
1743         * docs/buildbot.texinfo (BuildStep URLs): document new feature:
1744         per-step URLs that will be displayed on the waterfall display,
1745         for things like the HTML output of code-coverage tools, when
1746         the results are hosted elsewhere.
1747         * buildbot/interfaces.py (IBuildStepStatus.getURLs): document the
1748         way to retrieve these URLs
1749         * buildbot/status/builder.py (BuildStepStatus.getURLs): implement
1750         the method to retrieve these URLs. Also provide backwards
1751         compatibility for saved BuildStepStatus instances that didn't have
1752         the .urls attribute
1753         * buildbot/process/step.py (BuildStep.addURL): method to set these
1754         URLs from within a BuildStep
1755         * buildbot/status/html.py (StepBox.getBox): emit links to the URLs
1756         (StepBox.getBox): give these external links a distinct CSS class
1757         named "BuildStep external" so a .css file can display them
1758         differently
1760         * buildbot/test/test_web.py (WaterfallSteps): test that we really
1761         do emit those links
1762         * buildbot/test/test_steps.py (Steps): test that we can all the
1763         URLs. Also add a bunch of other tests on methods that can be
1764         called from within BuildSteps
1765         * buildbot/test/runutils.py (makeBuildStep): add utility function
1767 2006-08-13  Brian Warner  <warner@lothar.com>
1769         * docs/buildbot.texinfo (BuildStep LogFiles): document them
1771 2006-08-10  Brian Warner  <warner@lothar.com>
1773         * docs/buildbot.texinfo (Index of master.cfg keys): add another
1774         index, this one of things like c['sources'] and c['schedulers']
1775         (indices): it looks like my clever idea of putting the @fooindex
1776         commands in between the @node and the @subsection (to make the
1777         HREF anchor jump to slightly above the section title, which works
1778         much better in html) confused texinfo horribly, so I'm moving the
1779         index tags back to be just after the @subsection marker. I also
1780         added extra lines between the @node/@section paragraph and the
1781         index tags, since I think maybe texinfo wants to see these be
1782         separate paragraphs.
1784         * docs/Makefile (images): make sure images get built when
1785         rendering the manual
1786         * docs/images/Makefile: same
1788         * buildbot/scripts/runner.py: rename 'buildbot master' to
1789         'buildbot create-master', and 'buildbot slave' to 'buildbot
1790         create-slave'
1791         * docs/buildbot.texinfo: same
1792         * README: same
1794         * docs/buildbot.texinfo: reimplement the "useful classes" index
1795         with actual texinfo indices. The .info rendering is a bit
1796         weird-looking but it works well, and the HTML rendering is quite
1797         nice. This also puts the index targets in the regular flow of the
1798         text, which is easier to maintain.
1800 2006-08-06  Brian Warner  <warner@lothar.com>
1802         * buildbot/slave/commands.py (ShellCommand.__init__): patch from
1803         Kevin Turner to prefer the environ= argument be a list rather than
1804         a string. If it is a list, it will be joined with a platform-local
1805         os.pathsep delimiter, and then prepended to any existing
1806         $PYTHONPATH value. This works better in cross-platform (i.e.
1807         windows buildslaves) environments when you need to push multiple
1808         directories onto the front of the path.
1809         (SlaveShellCommand): documented the new magic
1810         * docs/buildbot.texinfo (ShellCommand): documented the new magic
1811         in a user-visible form
1813         * buildbot/test/test_vc.py (BaseHelper.dovc): patch from Kevin
1814         Turner to prefer lists over strings when creating/running VC
1815         commands during unit tests. This is clearly necessary to survive
1816         vcexe containing spaces, like "C:\Program Files\darcs.exe". I
1817         renamed the wq() function to qw() though, since that's how it's
1818         spelled in perl. Eventually I'd prefer all commands to be
1819         specified with lists.
1821         * buildbot/slave/commands.py (LogFileWatcher): handle logfiles
1822         which are deleted (or not yet created) correctly. Also add
1823         failsafe code to not explode if the file-watching poller doesn't
1824         get started. Thanks to JP Calderone for the catch and the poller
1825         patch.
1826         * buildbot/test/test_shell.py (SlaveSide._testLogFiles): add test
1827         for that case
1828         * buildbot/test/emitlogs.py: same
1830         * NEWS: summarize recent changes
1832         * docs/buildbot.texinfo (Debug options): suggest an .ssh/options
1833         clause to avoid the "host key mismatch" warning
1835         * buildbot/process/step_twisted.py (Trial.start): if the
1836         buildslave is too old to understand logfiles=, fall back to
1837         running 'cat _trial_temp/test.log' like before.
1838         (Trial.commandComplete): same. this takes advantage of the
1839         LoggingBuildStep refactoring to stall commandComplete long enough
1840         to run a second RemoteShellCommand.
1842         * buildbot/process/step.py (LoggingBuildStep.startCommand):
1843         refactor command-completion handling, to allow methods like
1844         commandComplete/createSummary/evaluateCommand to return Deferreds.
1845         (LoggingBuildStep._commandComplete): delete the refactored method
1846         (ShellCommand.setupLogfiles): if the buildslave is too old to
1847         understand logfiles=, put a warning message both into twistd.log
1848         and into the otherwise empty user-visible LogFiles.
1850         * buildbot/process/step.py (LoggedRemoteCommand.useLog): allow
1851         callers to provide the slave-side logfile name, rather than
1852         forcing it to come from the local name of the LogFile.
1853         (BuildStep.getSlaveName): new method
1855         * buildbot/process/base.py (Build.getSlaveName): new method, so
1856         steps can find out which buildslave they're running on
1858         * buildbot/test/test_steps.py (Version.checkCompare): oops, update
1859         to match the s/cvs_ver/command_version/ change
1861 2006-08-05  Brian Warner  <warner@lothar.com>
1863         * buildbot/slave/commands.py (command_version): replace the CVS
1864         auto-updated cvs_ver keyword with a manually-updated variable,
1865         since CVS is no longer the master repository. Add a description of
1866         the remote API change starting in this version (2.1), specifically
1867         the fact that SlaveShellCommand now accepts 'initial_stdin',
1868         'keep_stdin_open', and 'logfiles'.
1870 2006-07-31  Brian Warner  <warner@lothar.com>
1872         * docs/buildbot.texinfo (System Architecture): Finally add lots of
1873         diagrams to describe how the whole system fits together. The
1874         images themselves are kept in SVG files, with ascii-art versions
1875         in corresponding .txt files. Texinfo knows how to interpolate the
1876         text version into .info files, reference the .png versions from
1877         .html files, and include .eps versions in the .ps format.
1878         * docs/images/Makefile: tools to create .png and .eps
1879         * docs/images/*.svg: created pictures with Inkscape.
1880         * .darcs-boring: ignore the generated .eps and .png files
1882 2006-07-24  Brian Warner  <warner@lothar.com>
1884         * buildbot/master.py (BuildMaster.loadConfig): check for duplicate
1885         Scheduler names, since they cause setServiceParent to explode
1886         later.
1887         * buildbot/test/test_config.py (ConfigTest._testSchedulers_7): test it
1889 2006-07-20  Brian Warner  <warner@lothar.com>
1891         * buildbot/scripts/sample.cfg: simplify the sample BuildFactory,
1892         which runs the buildbot unit tests
1894         * docs/buildbot.texinfo (Index of Useful Classes): add a table of
1895         classes that are useful in master.cfg
1897 2006-07-15  Brian Warner  <warner@lothar.com>
1899         * Makefile (some-apidocs): new target to build only some epydocs
1901         * setup.py: minor comment.. does the classifiers= argument prevent
1902         the setup.py script from working on python2.2/2.3?
1904         * buildbot/scripts/sample.cfg: update manhole example, arrange into
1905         major sections
1907         * buildbot/twcompat.py: fix minor typo in comments
1909         * buildbot/manhole.py: move all Manhole-related code out to this
1910         module. Implement SSH-based manholes (with TwistedConch), and move
1911         to conch's nifty line-editing syntax-coloring REPL shell instead
1912         of the boring non-editing monochromatic (and deprecated) old
1913         'telnet' protocol.
1914         * buildbot/master.py: remove all Manhole-related code
1915         (BuildMaster.loadConfig._add): make sure the old manhole is
1916         removed before we add the new one
1917         * docs/buildbot.texinfo (Debug options): document new Manhole options
1919         * buildbot/twcompat.py (_which): fix some epydoc issues
1920         * buildbot/status/html.py (Waterfall.__init__): same
1922 2006-06-29  Brian Warner  <warner@lothar.com>
1924         * buildbot/interfaces.py: get Interface from b.twcompat to hush
1925         deprecation warnings under newer Twisteds (by using
1926         zope.interface.Interface instead of old twisted.python.components
1927         stuff)
1928         * buildbot/slave/interfaces.py: same
1930 2006-06-28  Brian Warner  <warner@lothar.com>
1932         * buildbot/slave/commands.py (SVN): add --non-interactive to all
1933         svn commands, so it will fail immediately instead of hanging while
1934         it waits for a username/password to be typed in.
1936         * buildbot/slave/bot.py (SlaveBuilder.commandComplete): add minor
1937         log message if the step was shut down
1939         * buildbot/scripts/runner.py (SlaveOptions.longdesc): remove
1940         obsolete reference to mktap.
1942 2006-06-20  Brian Warner  <warner@lothar.com>
1944         * buildbot/test/test_steps.py (BuildStep.testShellCommand1): update
1945         test to include new 'logfiles' argument sent from master to slave
1947 2006-06-19  Brian Warner  <warner@lothar.com>
1949         * buildbot/process/step_twisted.py (Trial): track Progress from
1950         _trial_temp/test.log too
1952         * buildbot/process/step.py (OutputProgressObserver): generalize
1953         the earlier StdioProgressObserver into an OutputProgressObserver
1954         that can track LogFiles other than stdio.
1955         (LoggingBuildStep.__init__): same
1957         * buildbot/process/step_twisted.py (Trial): use logfiles= to track
1958         _trial_temp/test.log, not a separate 'cat' command. TODO: this
1959         will fail under windows because of os.sep issues. It might have
1960         worked before if 'cat' was doing cygwin path conversion.
1962         * buildbot/slave/commands.py (LogFileWatcher.__init__): note the
1963         creation of LogFileWatchers
1964         (ShellCommand._startCommand): and record the files that were
1965         watched in the 'headers' section of the ShellCommand output
1967         * buildbot/process/step.py (RemoteShellCommand.__init__): duh, you
1968         need to actually pass it to the slave if you want it to work.
1969         (ShellCommand): document it a bit
1971         * buildbot/test/test_shell.py: new test to validate LogFiles
1972         * buildbot/test/runutils.py (SlaveCommandTestBase): updates to
1973         test LogFiles
1974         * buildbot/test/emitlogs.py: enhance to wait for a line on stdin
1975         before printing the last batch of lines, to test that the polling
1976         logic is working properly
1978         * buildbot/process/step.py (LoggedRemoteCommand): improve LogFile
1979         handling, making it possible to track multiple logs for a single
1980         RemoteCommand. The previous single logfile is now known as the
1981         'stdio' log.
1982         (LoggedRemoteCommand.remoteUpdate): accept key='log' updates
1983         (RemoteShellCommand.__init__): accept logfiles=
1984         (LoggingBuildStep.startCommand): stdio_log is now one of many
1985         (ShellCommand): added logfiles= argument, as well as a class-level
1986         .logfiles attribute, which will be merged together to figure out
1987         which logfiles should be tracked. The latter maybe be useful for
1988         subclasses of ShellCommand which know they will aways produce
1989         secondary logfiles in the same location.
1991         * buildbot/slave/commands.py (ShellCommandPP): add writeStdin()
1992         and closeStdin() methods, preparing to make it possible to write
1993         to a ShellCommand's stdin at any time, not just at startup. These
1994         writes are buffered if the child process hasn't started yet.
1995         (LogFileWatcher): new helper class to watch arbitrary logfiles
1996         while a ShellCommand runs. This class polls the file every two
1997         seconds, and sends back 10k chunks to the buildmaster.
1998         (ShellCommand): rename stdin= to initialStdin=, and add
1999         keepStdinOpen= and logfiles= to arguments. Set up LogFileWatchers
2000         at startup.
2001         (ShellCommand.addLogfile): LogFile text is sent in updates with a
2002         key of "log" and a value of (logname, data).
2003         (SlaveShellCommand): add 'initial_stdin', 'keep_stdin_open', and
2004         'logfiles' to the master-visible args dictionary.
2005         (SourceBase.doPatch): match s/stdin/initialStdin/ change
2006         (CVS.start): same
2007         (P4.doVCFull): same
2008         * buildbot/test/test_vc.py (Patch.testPatch): same
2011         * buildbot/test/emit.py: write to a logfile in the current
2012         directory. We use this to figure out what was used as a basedir
2013         rather than looking to see which copy of emit.py gets run, so that
2014         we can run the commands from inside _trial_temp rather than inside
2015         buildbot/test
2016         * buildbot/test/subdir/emit.py: same
2017         * buildbot/test/runutils.py (FakeSlaveBuilder): take a 'basedir'
2018         argument rather than running from buildbot/test/
2019         (SlaveCommandTestBase.setUpBuilder): explicitly set up the Builder
2020         rather than using an implicit setUp()
2021         * buildbot/test/test_slavecommand.py (ShellBase.setUp): same
2022         (ShellBase.testShell1, etc): use explicit path to emit.py instead
2023         of assuming that we're running in buildbot/test/ (and that '.' is
2024         on our $PATH)
2026         * buildbot/slave/commands.py (Command.doStart): refactor Command
2027         startup/completion a bit: now the SlaveBuilder calls doStart(),
2028         which is not meant for overridding by subclasses, and doStart()
2029         calls start(), which is. Likewise the SlaveBuilder calls
2030         doInterrupt(), and subclasses override interrupt(). This also puts
2031         responsibility for maintaining .running in Command rather than in
2032         SlaveBuilder.
2033         (Command.doInterrupt): same
2034         (Command.commandComplete): same, this is called when the deferred
2035         returned by start() completes.
2036         * buildbot/slave/bot.py (SlaveBuilder.remote_startCommand): same
2037         (SlaveBuilder.remote_interruptCommand): same
2038         (SlaveBuilder.stopCommand): same
2040 2006-06-16  Brian Warner  <warner@lothar.com>
2042         * buildbot/test/test_shell.py: new test file to contain everything
2043         relating to ShellCommand
2044         (SlaveSide.testLogFiles): (todo) test for the upcoming "watch
2045         multiple logfiles in realtime" feature, not yet implemented
2046         * buildbot/test/emitlogs.py: support file for testLogFiles
2047         * docs/buildbot.texinfo (ShellCommand): document the feature
2049         * buildbot/test/test_steps.py (BuildStep.setUp): rmtree refactoring
2051         * buildbot/test/runutils.py (SlaveCommandTestBase): utility class
2052         for tests which exercise SlaveCommands in isolation.
2054         * buildbot/test/test_slavecommand.py: Move some utilities like
2055         SignalMixin and FakeSlaveBuilder from here ..
2056         * buildbot/test/runutils.py: .. to here, so they can be used by
2057         other test classes too
2058         * buildbot/test/test_vc.py: more SignalMixin refactoring
2059         * buildbot/test/test_control.py: same
2060         * buildbot/test/test_run.py: and some rmtree refactoring
2062 2006-06-15  Brian Warner  <warner@lothar.com>
2064         * buildbot/test/test_vc.py (P4.testCheckoutBranch): rename from
2065         'testBranch' to match other VC tests and have the tests run in
2066         roughly increasing order of dependency
2068         * buildbot/test/test_steps.py (LogObserver): new test to verify
2069         LogObservers can be created at various times and still get
2070         connected up properly
2072         * buildbot/test/runutils.py (setupBuildStepStatus): utility method
2073         to create BuildStepStatus instances that actually work.
2075         * buildbot/process/step.py (LogObserver): add outReceived and
2076         errReceived base methods, to be overridden
2078         * buildbot/status/builder.py (BuildStatus.addStepWithName): change
2079         API to take a name instead of a step, reducing the coupling
2080         somewhat. This returns the BuildStepStatus object so it can be
2081         passed to the new Step, instead of jamming it directly into the
2082         Step.
2083         * buildbot/process/step.py (BuildStep.setStepStatus): add a setter
2084         method
2085         * buildbot/process/base.py (Build.setupBuild): use both methods
2086         * buildbot/test/test_web.py (Logfile.setUp): rearrange the setup
2087         process a bit to match
2089 2006-06-14  Brian Warner  <warner@lothar.com>
2091         * docs/buildbot.texinfo (Adding LogObservers): add some limited
2092         docs on writing new LogObserver classes
2093         (Writing New Status Plugins): brief docs on how Status Plugins fit
2094         together
2096         * buildbot/process/step_twisted.py (TrialTestCaseCounter):
2097         implement a LogObserver that counts how many unit tests have been
2098         run so far
2099         (Trial.__init__): wire it in
2100         * buildbot/test/test_twisted.py (Counter): unit test for it
2102         * buildbot/process/step_twisted.py (HLint.commandComplete): update
2103         to new cmd.logs['stdio'] scheme
2104         (Trial.commandComplete): same
2105         (BuildDebs.commandComplete): same
2107         * buildbot/process/step.py (LoggedRemoteCommand): use a dict of
2108         LogFiles, instead of just a single one. The old single logfile is
2109         now called "stdio". LoggedRemoteCommand no longer creates a
2110         LogFile for you (the code to do that was broken anyway). If you
2111         don't create a "stdio" LogFile, then stdout/stderr will be
2112         discarded.
2113         (LogObserver): implement "LogObservers", which a BuildStep can add
2114         to parse the output of a command in real-time. The primary use is
2115         to provide more useful information to the Progress code, allowing
2116         better ETA estimates.
2117         (LogLineObserver): utility subclass which feeds complete lines to
2118         the parser instead of bytes.
2119         (BuildStep.progressMetrics): this is safer as a tuple
2120         (BuildStep.setProgress): utility method, meant to be called by
2121         LogObservers
2122         (BuildStep.addLogObserver): new method, to be called at any time
2123         during the BuildStep (even before any LogFiles have been created),
2124         to attach (or schedule for eventual attachment) a LogObserver to a
2125         LogFile.
2126         (StdioProgressObserver): new LogObserver which replaces the old
2127         "output" progress gatherer
2128         (LoggingBuildStep.__init__): same
2129         (LoggingBuildStep.startCommand): set up the "stdio" LogFile
2130         (LoggingBuildStep._commandComplete): must use logs['stdio']
2131         instead of the old single ".log" attribute.
2132         * buildbot/status/builder.py (LogFile): remove old logProgressTo
2133         functionality, now subsumed into StdioProgressObserver
2134         * buildbot/test/test_status.py (Subscription._testSlave_2): the
2135         log name changed from "output" to "stdio".
2138         * buildbot/interfaces.py (ILogFile): add the Interface used from
2139         the BuildStep towards the LogFile
2140         (ILogObserver): and the one provided by a LogObserver
2141         * buildbot/status/builder.py (LogFile): implement it
2143         * buildbot/interfaces.py (LOG_CHANNEL_*): move STDOUT / STDERR /
2144         HEADER constants here ..
2145         * buildbot/status/builder.py (STDOUT): .. from here
2147 2006-06-13  Brian Warner  <warner@lothar.com>
2149         * buildbot/test/test_p4poller.py (TestP4Poller.failUnlessIn): fix
2150         compatibility with python2.2, which doesn't have the 'substr in
2151         str' feature.
2152         (TestP4Poller.makeTime): utility function to construct the
2153         timestamp using the same strptime() approach as p4poller does. It
2154         turns out that time.mktime() behaves slightly differently under
2155         python2.2, probably something to do with the DST flag, and that
2156         causes the test to fail under python2.2. (changing the mktime()
2157         arguments to have dst=0 instead of -1 caused it to fail under
2158         python2.3. Go figure.)
2159         (TestP4Poller._testCheck3): use our makeTime() instead of mktime()
2161 2006-06-12  Brian Warner  <warner@lothar.com>
2163         * buildbot/process/step.py (P4): merge in patch SF#1473939, adding
2164         proper Perforce (P4) support. Many many thanks to Scott Lamb for
2165         contributing such an excellent patch, including docs and unit
2166         tests! This makes it *so* much easier to apply. I had to update
2167         test_vc.py to handle some recent refactorings, but everything else
2168         applied smoothly. The only remaining thing I'd like to fix would
2169         be to remove the hard-wired port 1666 used by p4d, and allow it to
2170         claim any unused port. This would allow two copies of the test
2171         suite to run on the same host at the same time, as well as
2172         allowing the test suite to run while a real (production) p4d was
2173         running on the same host. Oh, and maybe we should add a warning to
2174         step.P4 that gets emitted if the slave is too old to provide the
2175         'p4' SlaveCommand. Otherwise it looks great. (closes: SF#1473939).
2176         * buildbot/slave/commands.py (P4): same
2177         (P4Sync): same, some minor updates
2178         * buildbot/changes/p4poller.py: same
2179         * docs/buildbot.texinfo: same
2180         * buildbot/test/test_p4poller.py: same
2181         * buildbot/test/test_vc.py (P4): same
2183         * setup.py: add Trove classifiers for PyPI
2185 2006-06-08  Brian Warner  <warner@allmydata.com>
2187         * buildbot/status/client.py
2188         (RemoteBuilder.remote_getCurrentBuilds): oops, I screwed up when
2189         changing this from getCurrentBuild() to getCurrentBuilds(). Each
2190         build needs to be IRemote'd separately, rather than IRemote'ing
2191         the whole list at once. I can't wait until newpb's serialization
2192         adapters make this unnecessary.
2194 2006-06-06  Brian Warner  <warner@lothar.com>
2196         * buildbot/process/step.py (WithProperties): make this inherit
2197         from ComparableMixin, so that reloading an unchanged config file
2198         doesn't cause us to spuriously reload any Builders which use them.
2199         * buildbot/test/test_config.py (ConfigTest.testWithProperties):
2200         add a test for it
2202 2006-06-03  Brian Warner  <warner@lothar.com>
2204         * contrib/windows/{setup.py, buildbot_service.py}: add support for
2205         running py2exe on windows, contributed by Mark Hammond. Addresses
2206         SF#1401121, but I think we still need to include
2207         buildbot/scripts/sample.cfg
2208         * setup.py: include buildbot_service.py as a script under windows
2209         * buildbot/status/html.py: when sys.frozen (i.e. we're running in
2210         a py2exe application), get the icon/css datafiles from a different
2211         place than usual.
2213         * buildbot/status/mail.py (MailNotifier.buildMessage): don't
2214         double-escape the build URL. Thanks to Olivier Bonnet for the
2215         patch. Fixes SF#1452801.
2217 2006-06-02  Brian Warner  <warner@lothar.com>
2219         * contrib/svn_buildbot.py (ChangeSender.getChanges): ignore the
2220         first six columns of 'svnlook' output, not just the first column,
2221         since property changes appear in the other five. Thanks to Olivier
2222         Bonnet for the patch. Fixes SF#1398174.
2224 2006-06-01  Brian Warner  <warner@lothar.com>
2226         * buildbot/test/test_web.py (Logfile.setUp): set the .reason on
2227         the fake build, so that title= has something to be set to
2229         * buildbot/status/html.py (BuildBox.getBox): set the 'title='
2230         attribute of the "Build #NN" link in the yellow start-the-build
2231         box to the build's reason. This means that you get a little
2232         tooltip explaining why the build was done when you hover over the
2233         yellow box. Thanks to Zandr Milewski for the suggestion.
2235         * buildbot/clients/gtkPanes.py (Box.setColor): ignore color=None
2236         (Box.setETA): handle ETA=None (by stopping the timer)
2237         (Box.update): make the [soon] text less different than the usual
2238         text, so the rest of the text doesn't flop around so much. It
2239         would be awfully nice to figure out how to center this stuff.
2240         (ThreeRowBuilder.stepETAUpdate): more debugging printouts
2242         * buildbot/process/step.py (ShellCommand): set flunkOnFailure=True
2243         by default, so that any ShellCommand which fails marks the overall
2244         build as a failure. I should have done this from the beginning.
2245         Add flunkOnFailure=False to the arguments if you want to turn off
2246         this behavior.
2248 2006-05-30  Brian Warner  <warner@lothar.com>
2250         * buildbot/clients/gtkPanes.py: add a third row: now it shows
2251         last-build/current-build/current-step. Show what step is currently
2252         running. Show ETA for both the overall build and the current step.
2253         Update GTK calls to modern non-deprecated forms. There's still a
2254         lot of dead code and debug noise to remove.
2256         * buildbot/process/step_twisted.py (Trial): set the step name, so it
2257         shows up properly in status displays
2259 2006-05-28  Brian Warner  <warner@lothar.com>
2261         * buildbot/test/test_properties.py (Run.testInterpolate): on the
2262         build we use to verify that WithProperties works:
2264         ** set flunkOnFailure=True so that build failures get noticed
2265         ** set workdir='.' so that the build succeeds, otherwise it is trying
2266             to touch 'build/something', and 'build/' doesn't exist because
2267             usually that's created by a Source step
2268         ** set timeout=10, because Twisted-1.3.0 has a race condition that
2269             this test somehow triggers, in which the 'touch' process becomes
2270             a zombie and we wait for th etimeout before giving up on it.
2272         * buildbot/test/runutils.py (RunMixin.logBuildResults): utility method
2273         to log the Build results and step logs to the twisted log.
2274         (RunMixin.failUnlessBuildSucceeded): use logBuildResults to record
2275         what went wrong if a build was expected to succeed but didn't.
2277         * buildbot/process/step_twisted.py (Trial): set the default
2278         trialMode to '--reporter=bwverbose', which specifies verbose
2279         black-and-white text. Back in twisted-1.3/2.0 days we had to use
2280         '-to', but those are completely missing in modern Twisteds.
2282         * buildbot/scripts/sample.cfg: make the sample Manhole config use
2283         a localhost-only port, to encourage better security
2285         * docs/buildbot.texinfo (Change Sources): mention
2286         darcs_buildbot.py
2288         * .darcs-boring: add a Darcs boringfile
2290         * README (REQUIREMENTS): stop claiming compatibility with
2291         Twisted-1.3.0
2293         * contrib/darcs_buildbot.py: write a darcs-commit-hook change
2294         sender
2296 2006-05-27  Brian Warner  <warner@lothar.com>
2298         * buildbot/__init__.py: bump to 0.7.3+ while between releases
2299         * docs/buildbot.texinfo: same
2301 2006-05-23  Brian Warner  <warner@lothar.com>
2303         * buildbot/__init__.py (version): Releasing buildbot-0.7.3
2304         * docs/buildbot.texinfo: set version to match
2305         * NEWS: update for 0.7.3
2307         * docs/buildbot.texinfo (Change Sources): mention hg_buildbot.py,
2308         give a quick mapping from VC system to possible ChangeSources
2309         (Build Properties): add 'buildername'
2311         * buildbot/process/base.py (Build.setupStatus): oops, set
2312         'buildername' and 'buildnumber' properties
2313         * buildbot/test/test_properties.py (Interpolate.testBuildNumber):
2314         test them
2316 2006-05-22  Brian Warner  <warner@lothar.com>
2318         * docs/buildbot.texinfo (Build Properties): explain the syntax of
2319         property interpolation better
2321         * README (INSTALLATION): remove old '-v' argument from recommended
2322         trial command line
2324         * docs/buildbot.texinfo (ShellCommand): add docs for description=
2325         and descriptionDone= arguments. Thanks to Niklaus Giger for the
2326         patch. SF#1475494.
2328         * buildbot/slave/commands.py (SVN.parseGotRevision._parse): use
2329         'svnversion' instead of grepping the output of 'svn info', much
2330         simpler and avoids CR/LF problems on windows. Thanks to Olivier
2331         Bonnet for the suggestion.
2332         (SVN.parseGotRevision): oops, older verisons of 'svnversion'
2333         require the WC_PATH argument, so run 'svnversion .' instead.
2335         * buildbot/interfaces.py (IChangeSource): methods in Interfaces
2336         aren't supposed to have 'self' in their argument list
2338 2006-05-21  Brian Warner  <warner@lothar.com>
2340         * buildbot/process/step.py (ShellCommand.start): make
2341         testInterpolate pass. I was passing the uninterpolated command to
2342         the RemoteShellCommand constructor
2343         (ShellCommand._interpolateProperties): oops, handle non-list
2344         commands (i.e. strings with multiple words separated by spaces in
2345         them) properly, instead of forgetting about them.
2347         * buildbot/test/test_properties.py (Run.testInterpolate): new test
2348         to actually try to use build properties in a real build. This test
2349         fails.
2350         * buildbot/test/runutils.py (RunMixin.requestBuild): utility methods
2351         to start and evaluate builds
2353         * buildbot/test/test__versions.py: add a pseudo-test to record
2354         what version of Twisted/Python/Buildbot are running. This should
2355         show up at the beginning of _trial_tmp/test.log, and exists to help
2356         debug other problems.
2358         * buildbot/status/html.py (Waterfall): add 'robots_txt=' argument,
2359         a filename to be served as 'robots.txt' to discourage web spiders.
2360         Adapted from a patch by Tobi Vollebregt, thanks!
2361         * buildbot/test/test_web.py (Waterfall._test_waterfall_5): test it
2362         (Waterfall.test_waterfall): tweak the way that filenames are put
2363         into the config file, to accomodate windows pathnames better.
2365         * docs/buildbot.texinfo (HTML Waterfall): document it
2367         * buildbot/process/process_twisted.py
2368         (QuickTwistedBuildFactory.__init__): recent versions of Twisted
2369         changed the build process. The new setup.py no longer takes the
2370         'all' argument.
2371         (FullTwistedBuildFactory.__init__): same
2372         (TwistedReactorsBuildFactory.__init__): same
2374         * contrib/hg_buildbot.py: wrote a commit script for mercurial, to
2375         be placed in the [hooks] section of the central repository (the
2376         one that everybody pushes changes to).
2378 2006-05-20  Brian Warner  <warner@lothar.com>
2380         * buildbot/slave/commands.py (Darcs.doVCFull): when writing the
2381         .darcs-context file, use binary mode. I think this was causing a
2382         Darcs failure under windows.
2384 2006-05-19  Brian Warner  <warner@lothar.com>
2386         * buildbot/scripts/tryclient.py (CVSExtractor.getBaseRevision):
2387         use a timezone string of +0000 and gmtime, since this timestamp is
2388         sent to a buildmaster and %z is broken.
2390         * buildbot/test/test_vc.py (CVSHelper.getdate): use no timezone
2391         string and localtime, since this timestamp will only be consumed
2392         locally, and %z is broken.
2394         * buildbot/slave/commands.py (CVS.parseGotRevision): use +0000 and
2395         gmtime, since this timestamp is returned to the buildmaster, and
2396         %z is broken.
2398 2006-05-18  Brian Warner  <warner@lothar.com>
2400         * NEWS: update in preparation for next release
2402         * buildbot/test/test_vc.py (VCS_Helper): factor out all the
2403         setup-repository and do-we-have-the-vc-tools code into a separate
2404         "helper" class, which sticks around in a single module-level
2405         object. This seems more likely to continue to work in the future
2406         than having it hide in the TestCase and hope that TestCases stick
2407         around for a long time.
2409         * buildbot/test/test_vc.py (MercurialSupport.vc_create): 'hg
2410         addremove' has been deprecated in recent versions of mercurial, so
2411         use 'hg add' instead
2413 2006-05-07  Brian Warner  <warner@lothar.com>
2415         * buildbot/scheduler.py (Try_Jobdir.messageReceived): when
2416         operating under windows, move the file before opening it, since
2417         you can't rename a file that somebody has open.
2419         * buildbot/process/base.py (Build.setupBuild): if something goes
2420         wrong while creating a Step, log the name and arguments, since the
2421         error message when you get the number of arguments wrong is really
2422         opaque.
2424 2006-05-06  Brian Warner  <warner@lothar.com>
2426         * buildbot/process/step_twisted.py (Trial.setupEnvironment): more
2427         bugs in twisted-specific code not covered by my unit tests, this
2428         time use 'cmd' argument instead of self.cmd
2430         * buildbot/process/process_twisted.py (TwistedBuild.isFileImportant):
2431         fix stupid braino: either use startwith or find()==0, not both.
2432         (TwistedReactorsBuildFactory.__init__): another dumb typo
2434         * buildbot/test/test_slavecommand.py (ShellBase.testInterrupt1): 
2435         mark this test as TODO under windows, since process-killing seems
2436         dodgy there. We'll come back to this later and try to fix it
2437         properly.
2439         * buildbot/test/test_vc.py (CVSSupport.getdate): use localtime,
2440         and don't include a timezone
2441         (CVSSupport.vc_try_checkout): stop trying to strip the timezone.
2442         This should avoid the windows-with-verbose-timezone-name problem
2443         altogether.
2444         (Patch.testPatch): add a test which runs 'patch' with less
2445         overhead than the full VCBase.do_patch sequence, to try to isolate
2446         a windows test failure. This one uses slave.commands.ShellCommand
2447         and 'patch', but none of the VC code.
2449         * buildbot/slave/commands.py (getCommand): use which() to find the
2450         executables for 'cvs', 'svn', etc. This ought to help under
2451         windows.
2453         * buildbot/test/test_vc.py (VCBase.do_getpatch): Delete the
2454         working directory before starting. If an earlier test failed, the
2455         leftover directory would mistakenly flunk a later test.
2456         (ArchCommon.registerRepository): fix some tla-vs-baz problems.
2457         Make sure that we use the right commandlines if which("tla") picks
2458         up "tla.exe" (as it does under windows).
2459         (TlaSupport.do_get): factor out this tla-vs-baz difference
2460         (TlaSupport.vc_create): more tla-vs-baz differences
2462         * buildbot/test/test_slavecommand.py
2463         (ShellBase.testShellMissingCommand): stop trying to assert
2464         anything about the error message: different shells on different
2465         OSes with different languages makes it hard, and it really isn't
2466         that interesting of a thing to test anyway.
2468         * buildbot/test/test_vc.py (CVSSupport.capable): skip CVS tests if
2469         we detect cvs-1.10 (which is the version shipped with OS-X 10.3
2470         "Panther"), because it has a bug which flunks a couple tests in
2471         weird ways. I've checked that cvs-1.12.9 (as shipped with debian)
2472         is ok. OS-X 10.4 "Tiger" ships with cvs-1.11, but I haven't been
2473         able to test that yet.
2475 2006-04-30  Brian Warner  <warner@lothar.com>
2477         * buildbot/test/test_vc.py (VCBase.runCommand): set $LC_ALL="C" to
2478         make sure child commands emit messages in english, so our regexps
2479         will match. Thanks to Nikaus Giger for identifying the problems.
2480         (VCBase._do_vctest_export_1): mode="export" is not responsible
2481         for setting the "got_revision" property, since in many cases it is
2482         not convenient to determine.
2483         (SVNSupport.capable): when running 'svn --version' to check for
2484         ra_local, we want error messages in english
2485         * buildbot/test/test_slavecommand.py 
2486         (ShellBase.testShellMissingCommand): set $LC_ALL="C" to get bash
2487         to emit the error message in english
2489         * buildbot/slave/commands.py (SourceBase.setup): stash a copy of
2490         the environment with $LC_ALL="C" so that Commands which need to
2491         parse the output of their child processes can obtain it in
2492         english.
2493         (SVN.parseGotRevision): call "svn info" afterwards instead of
2494         watching the output of the "svn update" or "svn checkout".
2495         (Darcs.parseGotRevision): use $LC_ALL="C" when running the command
2496         (Arch.parseGotRevision): same
2497         (Bazaar.parseGotRevision): same
2498         (Mercurial.parseGotRevision): same
2500         * buildbot/scripts/tryclient.py (SourceStampExtractor.dovc): set
2501         $LC_ALL="C" when running commands under 'buildbot try', too
2503         * buildbot/test/__init__.py: remove the global os.environ()
2504         setting, instead we do it just for the tests that run commands and
2505         need to parse their output.
2507         * buildbot/test/test_scheduler.py (Scheduling.testTryJobdir):
2508         remove the overly-short .timeout on this test, because non-DNotify
2509         platforms must fall back to polling which happens at 10 second
2510         intervals, so a 5 second timeout would never succeed.
2512 2006-04-24  Brian Warner  <warner@lothar.com>
2514         * docs/buildbot.texinfo (Installing the code): update trial
2515         invocation, SF#1469116 by Niklaus Giger.
2516         (Attributes of Changes): updated branch-name examples to be
2517         a bit more realistic, SF#1475240 by Stephen Davis.
2519         * contrib/windows/buildbot2.bat: utility wrapper for windows
2520         developers, contributed by Nick Trout (after a year of neglect..
2521         sorry!). SF#1194231.
2523         * buildbot/test/test_vc.py (*.capable): store the actual VC
2524         binary's pathname in VCS[vcname], so it can be retrieved later
2525         (CVSSupport.vc_try_checkout): incorporate Niklaus Giger's patch to
2526         strip out non-numeric timezone information, specifically the funky
2527         German string that his system produced that confuses CVS.
2528         (DarcsSupport.vc_create): use dovc() instead of vc(), this should
2529         allow Darcs tests to work on windows
2530         * buildbot/scripts/tryclient.py (SourceStampExtractor): use
2531         procutils.which() everywhere, to allow tryclient to work under
2532         windows. Also from Niklaus Giger, SF#1463394.
2534         * buildbot/twcompat.py (which): move the replacement for a missing
2535         twisted.python.procutils.which from test_vc.py to here, so it can
2536         be used in other places too (specifically tryclient.py)
2538 2006-04-23  Brian Warner  <warner@lothar.com>
2540         * buildbot/status/html.py (StatusResourceBuild.body): replace the
2541         bare buildbotURL/projectName line with a proper DIV, along with a
2542         CSS class of "title", from Stefan Seefeld (SF#1461675).
2543         (WaterfallStatusResource.body0): remove the redundant 'table'
2544         class from the table
2545         (WaterfallStatusResource.body): same. Also add class="LastBuild"
2546         to the top-row TR, and class="Activity" to the second-row TR,
2547         rather than putting them in the individual TD nodes.
2549         * buildbot/test/test_vc.py (VCBase.checkGotRevision): test
2550         'got_revision' build property for all VC systems that implement
2551         accurate ones: SVN, Darcs, Arch, Bazaar, Mercurial.
2553         * buildbot/slave/commands.py (SourceBase._handleGotRevision): try
2554         to determine which revision we actually obtained
2555         (CVS.parseGotRevision): implement this for CVS, which just means
2556         to grab a timestamp. Not ideal, and it depends upon the buildslave
2557         having a clock that is reasonably well syncronized with the server,
2558         but it's better than nothing.
2559         (SVN.parseGotRevision): implement it for SVN, which is accurate
2560         (Darcs.parseGotRevision): same
2561         (Arch.parseGotRevision): same
2562         (Bazaar.parseGotRevision): same
2563         (Mercurial.parseGotRevision): same
2565         * buildbot/process/step.py (LoggedRemoteCommand.remoteUpdate):
2566         keep a record of all non-stdout/stderr/header/rc status updates,
2567         for the benefit of RemoteCommands that send other useful things,
2568         like got_revision
2569         (Source.commandComplete): put any 'got_revision' status values
2570         into a build property of the same name
2573         * buildbot/process/step_twisted.py (Trial): update to deal with
2574         new ShellCommand refactoring
2576         * docs/buildbot.texinfo (Build Properties): document new feature
2577         that allows BuildSteps to get/set Build-wide properties like which
2578         revision was requested and/or checked out.
2580         * buildbot/interfaces.py (IBuildStatus.getProperty): new method
2581         * buildbot/status/builder.py (BuildStatus.getProperty): implement
2582         it. Note that this bumps the persistenceVersion of the saved Build
2583         object, so add the necessary upgrade-old-version logic to include
2584         an empty properties dict.
2586         * buildbot/process/base.py (Build.setProperty): implement it
2587         (Build.getProperty): same
2588         (Build.startBuild): change build startup to set 'branch',
2589         'revision', and 'slavename' properties at the right time
2591         * buildbot/process/step.py (BuildStep.__init__): change setup to
2592         require 'build' argument in a better way
2593         (LoggingBuildStep): split ShellCommand into two pieces, for better
2594         subclassing elsewhere. LoggingBuildStep is a BuildStep which runs
2595         a single RemoteCommand that sends stdout/stderr status text. It
2596         also provides the usual commandComplete / createSummary /
2597         evaluateCommand / getText methods to be overridden...
2598         (ShellCommand): .. whereas ShellCommand is specifically for
2599         running RemoteShellCommands. Other shell-like BuildSteps (like
2600         Source) can inherit from LoggingBuildStep instead of ShellCommand
2601         (WithProperties): marker class to do build-property interpolation
2602         (Source): inherit from LoggingBuildStep instead of ShellCommand
2603         (RemoteDummy): same
2605         * buildbot/test/test_properties.py: test new functionality
2607 2006-04-21  Brian Warner  <warner@lothar.com>
2609         * buildbot/test/test_vc.py: rename testBranch to
2610         testCheckoutBranch to keep the tests in about the right
2611         alphabetical order
2613 2006-04-18  Brian Warner  <warner@lothar.com>
2615         * docs/buildbot.texinfo (PBListener): improve cross-references
2616         between PBListener and 'buildbot statusgui', thanks to John Pye
2617         for the suggestion.
2619 2006-04-17  Brian Warner  <warner@lothar.com>
2621         * buildbot/twcompat.py (maybeWait): handle SkipTest properly when
2622         running under Twisted-1.3.0, otherwise skipped tests are reported
2623         as errors.
2625         * all: use isinstance() instead of 'type(x) is foo', suggested by
2626         Neal Norwitz
2628         * buildbot/process/process_twisted.py (QuickTwistedBuildFactory):
2629         oops, fix a brain-fade from the other week, when making the
2630         addStep changes. I changed all the __init__ upcalls to use the
2631         wrong superclass name.
2632         (FullTwistedBuildFactory.__init__): same
2633         (TwistedDebsBuildFactory.__init__): same
2634         (TwistedReactorsBuildFactory.__init__): same
2635         (TwistedBuild.isFileImportant): use .startswith for clarity,
2636         thanks to Neal Norwitz for the suggestions.
2638         * contrib/viewcvspoll.py: script to poll a viewcvs database for
2639         changes, then deliver them over PB to a remote buildmaster.
2641         * contrib/svnpoller.py: added script by John Pye to poll a remote
2642         SVN repository (by running 'svn log') from a cronjob, and run
2643         'buildbot sendchange' to deliver the changes to a remote
2644         buildmaster.
2645         * contrib/svn_watcher.py: added script by Niklaus Giger (a
2646         modification of svnpoller.py), same purpose, but this one loops
2647         internally (rather than expecting to run from a cronjob) and works
2648         under windows.
2649         * contrib/README.txt: same
2651 2006-04-11  Brian Warner  <warner@lothar.com>
2653         * all: fix a number of incorrect names and missing imports, thanks
2654         to Anthony Baxter for the patch.
2655         * buildbot/status/html.py (WaterfallStatusResource.statusToHTML): 
2656         remove unused buggy method.
2657         * buildbot/status/builder.py (BuildStatus.saveYourself): rmtree
2658         comes from shutil, not "shutils"
2659         * buildbot/process/step.py (TreeSize.evaluateCommand): fix bad name
2660         (Arch.checkSlaveVersion): same
2661         * buildbot/process/step_twisted.py (Trial.commandComplete): same, in
2662         some disabled code
2663         * buildbot/process/step_twisted2.py: add some missing imports
2664         * buildbot/twcompat.py (_deferGenerator): fix cut-and-paste error,
2665         this code used to live in twisted.internet.defer
2667 2006-04-10  Brian Warner  <warner@lothar.com>
2669         * buildbot/process/step.py (Mercurial): add Mercurial support
2670         * buildbot/slave/commands.py (Mercurial): same
2671         * buildbot/scripts/tryclient.py (MercurialExtractor): same
2672         * buildbot/test/test_vc.py (Mercurial): same, checkout over HTTP is
2673         not yet tested, but 'try' support *is* covered
2674         * docs/buildbot.texinfo (Mercurial): document it
2676         * buildbot/process/step.py (LoggedRemoteCommand.remoteUpdate): add
2677         some debugging messages (turned off)
2678         * buildbot/test/test_vc.py: improve debug messages
2680 2006-04-07  Brian Warner  <warner@lothar.com>
2682         * buildbot/test/test_vc.py (which): define our own which() in case
2683         we can't import twisted.python.procutils, because procutils doesn't
2684         exist in Twisted-1.3
2686         * docs/buildbot.texinfo (Interlocks): fix some typos, mention use
2687         of SlaveLocks for performance tests
2689         * docs/examples/twisted_master.cfg: update to match current usage
2691         * buildbot/changes/p4poller.py (P4Source): add new arguments:
2692         password, p4 binary, pollinterval, maximum history to check.
2693         Patch from an anonymous sf.net contributor, SF#1219384.
2694         * buildbot/process/step.py (P4Sync.__init__): add username,
2695         password, and client arguments.
2696         * buildbot/slave/commands.py (P4Sync): same
2698 2006-04-05  Brian Warner  <warner@lothar.com>
2700         * buildbot/process/factory.py (BuildFactory.addStep): new method
2701         to add steps to a BuildFactory. Use it instead of f.steps.append,
2702         and you can probably avoid using the s() convenience function.
2703         Patch from Neal Norwitz, sf.net #1412605.
2704         (other): update all factories to use addStep
2705         * buildbot/process/process_twisted.py: update all factories to use
2706         addStep.
2708 2006-04-03  Brian Warner  <warner@lothar.com>
2710         * buildbot/test/test_vc.py: modified find-the-VC-command logic to
2711         work under windows too. Adapted from a patch by Niklaus Giger,
2712         addresses SF#1463399.
2714         * buildbot/test/__init__.py: set $LANG to 'C', to insure that
2715         spawned commands emit parseable results in english and not some
2716         other language. Patch from Niklaus Giger, SF#1463395.
2718         * README (INSTALLATION): discourage users from running unit tests on
2719         a "network drive", patch from Niklaus Giger, SF#1463394.
2721 2006-03-22  Brian Warner  <warner@lothar.com>
2723         * contrib/svn_buildbot.py: rearrange, add an easy-to-change
2724         function to turn a repository-relative pathname into a (branch,
2725         branch-relative-filename) tuple. Change this function to handle
2726         the branch naming policy used by your Subversion repository.
2727         Thanks to AllMyData.com for sponsoring this work.
2729 2006-03-16  Brian Warner  <warner@lothar.com>
2731         * buildbot/scripts/sample.cfg: add python-mode declaration for
2732         vim. Thanks to John Pye for the patch.
2734         * docs/buildbot.texinfo (Launching the daemons): fix @reboot job
2735         command line, mention the importance of running 'crontab' as the
2736         buildmaster/buildslave user. Thanks to John Pye for the catch.
2738 2006-03-13  Brian Warner  <warner@lothar.com>
2740         * buildbot/status/words.py (IRC): add an optional password=
2741         argument, which will be sent to Nickserv in an IDENTIFY message at
2742         login, to claim the nickname. freenode requires this before the
2743         bot can sent (or reply to) private messages. Thanks to Clement
2744         Stenac for the patch.
2745         * docs/buildbot.texinfo (IRC Bot): document it
2747         * buildbot/status/builder.py (LogFile.merge): don't write chunks
2748         larger than chunkSize. Fixes SF#1349253.
2749         * buildbot/test/test_status.py (Log.testLargeSummary): test it
2750         (Log.testConsumer): update to match new internal chunking behavior
2752 2006-03-12  Brian Warner  <warner@lothar.com>
2754         * buildbot/test/test_vc.py: remove the last use of waitForDeferred
2756         * buildbot/test/test_maildir.py (MaildirTest): rename the
2757         'timeout' method, as it collides with trial's internals
2759         * buildbot/scripts/runner.py: add 'buildbot restart' command
2760         (stop): don't sys.exit() out of here, otherwise restart can't work
2761         * docs/buildbot.texinfo (Shutdown): document it
2763         * buildbot/buildset.py (BuildSet.__init__): clean up docstring
2764         * buildbot/status/html.py (Waterfall.__init__): same
2765         * buildbot/process/builder.py (Builder.startBuild): same
2766         * buildbot/process/base.py (BuildRequest): same
2767         * buildbot/sourcestamp.py (SourceStamp): same
2768         * buildbot/scheduler.py (Nightly): same
2770         * buildbot/__init__.py (version): bump to 0.7.2+ while between
2771         releases
2772         * docs/buildbot.texinfo: same
2774 2006-02-17  Brian Warner  <warner@lothar.com>
2776         * buildbot/__init__.py (version): Releasing buildbot-0.7.2
2777         * docs/buildbot.texinfo: set version number to match
2778         * NEWS: update for 0.7.2
2780 2006-02-16  Brian Warner  <warner@lothar.com>
2782         * docs/buildbot.texinfo (Build Dependencies): add cindex tag
2784 2006-02-09  Brian Warner  <warner@lothar.com>
2786         * docs/buildbot.texinfo (How Different VC Systems Specify Sources):
2787         add text to explain per-build branch parameters
2788         * NEWS: mention --umask
2790 2006-02-08  Brian Warner  <warner@lothar.com>
2792         * buildbot/scripts/runner.py (Maker.makeSlaveTAC): remove unused
2793         method
2794         (SlaveOptions.optParameters): add --umask, to make it possible to
2795         make buildslave-generated files (including build products) be
2796         world-readable
2797         (slaveTAC): same
2798         * buildbot/slave/bot.py (BuildSlave.startService): same
2800 2006-01-23  Brian Warner  <warner@lothar.com>
2802         * buildbot/status/builder.py: urllib.quote() all URLs that include
2803         Builder names, so that builders can include characters like '/'
2804         and ' ' without completely breaking the resulting HTML. Thanks to
2805         Kevin Turner for the patch.
2806         * buildbot/status/html.py: same
2807         * buildbot/test/test_web.py (GetURL.testBuild): match changes
2809         * NEWS: update in preparation for upcoming release
2811 2006-01-18  Brian Warner  <warner@lothar.com>
2813         * docs/examples/twisted_master.cfg: update to match the Twisted
2814         buildbot: remove python2.2, switch to exarkun's buildslaves,
2815         disable the .deb builder until we figure out how to build twisted
2816         .debs from SVN, add some ktrace debugging to the OS-X build
2817         process and remove the qt build, remove threadless builders,
2818         change freebsd builder to use landonf's buildslave.
2820 2006-01-12  Brian Warner  <warner@lothar.com>
2822         * buildbot/master.py (Manhole.__init__): let port= be a strports
2823         specification string, but handle a regular int for backwards
2824         compatibility. This allows "tcp:12345:interface=127.0.0.1" to be
2825         used in master.cfg to limit connections to just the local host.
2826         (BuildMaster.loadConfig): same for c['slavePortnum']
2827         * buildbot/scheduler.py (Try_Userpass.__init__): same
2828         * buildbot/status/client.py (PBListener.__init__): same
2829         * buildbot/status/html.py (Waterfall.__init__): same, for both
2830         http_port and distrib_port. Include backwards-compatibility checks
2831         so distrib_port can be a filename string and still mean unix:/foo
2832         * docs/buildbot.texinfo (Setting the slaveport): document it
2833         (Debug options): same
2834         (HTML Waterfall): same
2835         (PBListener): same
2836         (try): same
2837         * buildbot/test/test_config.py (ConfigTest): test it
2839         * buildbot/master.py (BuildMaster.loadConfig): wait for the
2840         slaveport's disownServiceParent deferred to fire before opening
2841         the new one. Fixes an annoying bug in the unit tests.
2843 2006-01-03  Brian Warner  <warner@lothar.com>
2845         * buildbot/master.py (BuildMaster): remove the .schedulers
2846         attribute, replacing it with an allSchedulers() method that looks
2847         for all IService children that implement IScheduler. Having only
2848         one parent/child relationship means fewer opportunities for bugs.
2849         (BuildMaster.allSchedulers): new method
2850         (BuildMaster.loadConfig_Schedulers): update to use allSchedulers,
2851         also fix ugly bug that caused any config-file reload to
2852         half-forget about the earlier Schedulers, causing an exception
2853         when a Change arrived and was handed to a half-connected
2854         Scheduler. The exception was in scheduler.py line 54ish:
2855           self.parent.submitBuildSet(bs)
2856           exceptions.AttributeError: 'NoneType' object has no attribute
2857           'submitBuildSet'
2858         (BuildMaster.addChange): update to use allSchedulers()
2860         * buildbot/scheduler.py (BaseScheduler.__implements__): fix this
2861         to work properly with twisted-1.3.0, where you must explicitly
2862         include the __implements__ from parent classes
2863         (BaseScheduler.__repr__): make it easier to distinguish distinct
2864         instances
2865         (BaseUpstreamScheduler.__implements__): same
2867         * buildbot/status/builder.py (Status.getSchedulers): update to
2868         use allSchedulers()
2869         * buildbot/test/test_run.py (Run.testMaster): same
2870         * buildbot/test/test_dependencies.py (Dependencies.findScheduler): same
2871         * buildbot/test/test_config.py (ConfigTest.testSchedulers): same,
2872         make sure Scheduler instances are left alone when an identical
2873         config file is reloaded
2874         (ConfigElements.testSchedulers): make sure Schedulers are properly
2875         comparable
2877         * Makefile (TRIALARGS): my local default Twisted version is now
2878         2.1.0, update the trial arguments accordingly
2880 2005-12-22  Brian Warner  <warner@lothar.com>
2882         * docs/examples/twisted_master.cfg: merge changes from pyr: add
2883         new win32 builders
2885         * buildbot/scheduler.py (BaseScheduler.addChange): include a dummy
2886         addChange in the parent class, although I suspect this should be
2887         fixed better in the future.
2889 2005-11-26  Brian Warner  <warner@lothar.com>
2891         * buildbot/scheduler.py (AnyBranchScheduler.addChange): don't
2892         explode when branch==None, thanks to Kevin Turner for the catch
2893         * buildbot/test/test_scheduler.py (Scheduling.testAnyBranch): test
2894         it
2896         * buildbot/__init__.py (version): bump to 0.7.1+ while between
2897         releases
2898         * docs/buildbot.texinfo: same
2900 2005-11-26  Brian Warner  <warner@lothar.com>
2902         * buildbot/__init__.py (version): Releasing buildbot-0.7.1
2903         * docs/buildbot.texinfo: set version number to match
2905 2005-11-26  Brian Warner  <warner@lothar.com>
2907         * NEWS: update for 0.7.1
2909         * buildbot/status/builder.py (BuildStepStatus.unsubscribe): make
2910         sure that unsubscribe works even if we never sent an ETA update.
2911         Also, don't explode on duplicate unsubscribe.
2912         (BuildStepStatus.addLog): make the convenience "return self"-added
2913         watcher automatically unsubscribe when the Step finishes.
2914         (BuildStatus.unsubscribe): same handle-duplicate-unsubscribe
2915         (BuildStatus.stepStarted): same auto-unsubscribe
2916         (BuilderStatus.buildStarted): same auto-unsubscribe
2918         * buildbot/interfaces.py (IStatusReceiver.buildStarted): document
2919         auto-unsubscribe
2920         (IStatusReceiver.stepStarted): same
2921         (IStatusReceiver.logStarted): same
2923         * buildbot/test/test_run.py (Status): move the Status test..
2924         * buildbot/test/test_status.py (Subscription): .. to here
2926 2005-11-25  Brian Warner  <warner@lothar.com>
2928         * NEWS: more updates
2930         * buildbot/locks.py: fix the problem in which loading a master.cfg
2931         file that changes some Builders (but not all of them) can result
2932         in having multiple copies of the same Lock. Now, the real Locks
2933         are kept in a table inside the BotMaster, and the Builders/Steps
2934         use "LockIDs", which are still instances of MasterLock and
2935         SlaveLock. The real Locks are instances of the new RealMasterLock
2936         and RealSlaveLock classes.
2937         * buildbot/master.py (BotMaster.getLockByID): new method to
2938         convert LockIDs into real Locks.
2939         * buildbot/process/base.py (Build.startBuild): convert LockIDs
2940         into real Locks before building
2941         * buildbot/process/step.py (BuildStep.startStep): same
2942         * buildbot/test/test_locks.py (Locks.testLock1a): add a test which
2943         exercises the problem
2946         * docs/buildbot.texinfo (Scheduler Types): give a few hints about
2947         what Schedulers are available
2949         * buildbot/scheduler.py (Nightly): add new Scheduler based upon
2950         work by Dobes Vandermeer and hacked mercilessly by me. This offers
2951         'cron'-style build scheduling at certain times of day, week,
2952         month, or year.
2953         * buildbot/test/test_scheduler.py (Scheduling.testNightly): test it
2955         * buildbot/scheduler.py (Scheduler): change fileIsImportant
2956         handling: treat self.fileIsImportant more as an attribute that
2957         contains a callable than as a method. If the attribute is None,
2958         don't call it and assume all filenames are important. It is still
2959         possible to provide a fileIsImportant method in a subclass,
2960         however.
2961         (AnyBranchScheduler): handle fileIsImportant=None, previously it
2962         was broken
2963         * buildbot/test/test_scheduler.py (Scheduling.testAnyBranch2):
2964         test using AnyBranchScheduler with fileIsImportant=None
2966 2005-11-24  Brian Warner  <warner@lothar.com>
2968         * buildbot/test/test_config.py (StartService): don't claim a fixed
2969         port number, instead set slavePort=0 on the first pass, figure out
2970         what port was allocated, then switch to a config file that uses
2971         the allocated port.
2973         * buildbot/master.py (BuildMaster.loadConfig): close the old
2974         slaveport before opening the new one, because unit tests might
2975         replace slavePort=0 with the same allocated portnumber, and if we
2976         don't wait for the old port to close first, we get a "port already
2977         in use" error. There is a tiny race condition here, but the only
2978         threat is from other programs that bind (statically) to the same
2979         port number we happened to be allocated, and only if those
2980         programs use SO_REUSEADDR, and only if they get control in between
2981         reactor turns.
2983         * Makefile (TRIALARGS): update to handle Twisted > 2.1.0
2985         * buildbot/master.py (BuildMaster.loadConfig_Sources): remove all
2986         deleted ChangeSources before adding any new ones
2987         * buildbot/changes/freshcvs.py (FreshCVSSourceNewcred): fix
2988         compare_attrs, to make sure that a config-file reload does not
2989         unnecessarily replace an unmodified ChangeSource instance
2990         * buildbot/test/test_config.py (ConfigTest.testSources): update
2992         * buildbot/scheduler.py (AnyBranchScheduler): fix branches=[] to
2993         mean "don't build anything", and add a warning if it gets used
2994         because it isn't actually useful.
2996         * contrib/svn_buildbot.py: update example usage to match the port
2997         number that gets used by the PBChangeSource
2998         * buildbot/scripts/sample.cfg: add example of PBChangeSource
3000 2005-11-22  Brian Warner  <warner@lothar.com>
3002         * NEWS: start collecting items for next release
3004         * buildbot/process/step.py (SVN.computeSourceRevision): assume
3005         revisions are strings
3006         (P4Sync.computeSourceRevision): same
3008         * buildbot/status/html.py (StatusResourceBuild.body): add a link
3009         to the Buildbot's overall status page
3010         (StatusResourceBuilder.body): same
3012 2005-11-15  Brian Warner  <warner@lothar.com>
3014         * buildbot/master.py (BuildMaster.loadConfig): serialize the
3015         config-file loading, specifically to make sure old StatusTargets
3016         are finished shutting down before new ones start up (thus
3017         resolving a bug in which changing the Waterfall object would fail
3018         because both new and old instances were claiming the same
3019         listening port). Also load new Schedulers after all the new
3020         Builders are set up, in case they fire off a new build right away.
3021         * buildbot/test/test_config.py (StartService): test it
3023         * buildbot/status/mail.py (MailNotifier.buildMessage): oops, add
3024         the branch name to the mail body
3026         * buildbot/changes/pb.py (PBChangeSource.compare_attrs): add this.
3027         Without it, a config-file reload fails to update an existing
3028         PBChangeSource.
3029         * buildbot/changes/freshcvs.py (FreshCVSSourceNewcred): add
3030         username/passwd to compare_attrs, for the same reason
3031         * buildbot/status/html.py (Waterfall): add favicon to
3032         compare_attrs, same reason
3034 2005-11-05  Brian Warner  <warner@lothar.com>
3036         * buildbot/scripts/tryclient.py (createJobfile): stringify the
3037         baserev before stuffing it in the jobfile. This resolves problems
3038         under SVN (and probably Arch) where revisions are expressed as
3039         numbers. I'm inclined to use string-based revisions everywhere in
3040         the future, but this fix should be safe for now. Thanks to Steven
3041         Walter for the patch.
3043         * buildbot/changes/changes.py (ChangeMaster.saveYourself): use
3044         binary mode when opening pickle files, to make windows work
3045         better. Thanks to Dobes Vandermeer for the catch.
3046         * buildbot/status/builder.py (BuildStatus.saveYourself): same
3047         (BuilderStatus.getBuildByNumber): same
3048         (Status.builderAdded): same
3049         * buildbot/master.py (BuildMaster.loadChanges): same
3051         * buildbot/util.py (Swappable): delete unused leftover code
3053         * buildbot/process/step.py (SVN): when building on a non-default
3054         branch, add the word "[branch]" to the VC step's description, so
3055         it is obvious that we're not building the usual stuff. Likewise,
3056         when we are building a specific revision, add the text "rNNN" to
3057         indicate what that revision number is. Thanks to Brad Hards and
3058         Nathaniel Smith for the suggestion.
3059         (Darcs.startVC): same
3060         (Arch.startVC): same
3061         (Bazaar.startVC): same
3063         * buildbot/process/factory.py (GNUAutoconf.__init__): fix a silly
3064         typo, caught by Mark Dillavou, closes SF#1216636.
3066         * buildbot/test/test_status.py (Log.TODO_testDuplicate): add notes
3067         about a test to add some day
3069         * docs/examples/twisted_master.cfg: update: bot1 can now handle
3070         the 'full-2.3' build, and the 'reactors' build is now run under
3071         python-2.4 because the buildslave no longer has gtk/etc bindings
3072         for earlier versions.
3074 2005-11-03  Brian Warner  <warner@lothar.com>
3076         * buildbot/interfaces.py (IBuilderControl.resubmitBuild): new
3077         method, takes an IBuildStatus and rebuilds it. It might make more
3078         sense to add this to IBuildControl instead, but that instance goes
3079         away completely once the build has finished, and resubmitting
3080         builds can take place weeks later.
3081         * buildbot/process/builder.py (BuilderControl.resubmitBuild): same
3082         * buildbot/status/html.py (StatusResourceBuild): also stash an
3083         IBuilderControl so we can use resubmitBuild.
3084         (StatusResourceBuild.body): render "resubmit" button if we can.
3085         Also add hrefs for each BuildStep
3086         (StatusResourceBuild.rebuild): add action for "resubmit" button
3087         (StatusResourceBuilder.getChild): give it an IBuilderControl
3089         * buildbot/status/builder.py (Status.getURLForThing): change the
3090         URL for BuildSteps to have a "step-" prefix, so the magic URLs
3091         that live as targets of buttons like "stop" and "rebuild" can't
3092         collide with them.
3093         * buildbot/status/builder.py (Status.getURLForThing): same
3094         * buildbot/status/html.py (StatusResourceBuild.getChild): same
3095         (StepBox.getBox): same
3096         * buildbot/test/test_web.py (GetURL): same
3097         (Logfile): same
3099         * buildbot/process/step.py (SVN.__init__): put svnurl/baseURL
3100         exclusivity checks after Source.__init__ upcall, so misspelled
3101         arguments will be reported more usefully
3102         (Darcs.__init__): same
3104 2005-10-29  Brian Warner  <warner@lothar.com>
3106         * docs/examples/twisted_master.cfg: don't double-fire the 'quick'
3107         builder. Move the Try scheduler off to a separate port.
3109 2005-10-27  Brian Warner  <warner@lothar.com>
3111         * buildbot/clients/gtkPanes.py
3112         (TwoRowClient.remote_builderRemoved): disappearing Builders used
3113         to cause the app to crash, now they don't.
3115         * buildbot/clients/debug.py: display the buildmaster's location
3116         in the window's title bar
3118 2005-10-26  Brian Warner  <warner@lothar.com>
3120         * buildbot/status/mail.py (MailNotifier): urllib.escape the URLs
3121         in case they have spaces or whatnot. Patch from Dobes Vandermeer.
3122         * buildbot/test/test_status.py (MyStatus.getURLForThing): fix it
3124         * buildbot/status/html.py (td): put a single non-breaking space
3125         inside otherwise empty <td> elements, as a workaround for buggy
3126         browsers which would optimize them away (along with any associated
3127         styles, like the kind that create the waterfall grid borders).
3128         Patch from Frerich Raabe.
3130         * buildbot/process/step_twisted.py (Trial): expose the trialMode=
3131         argv-list as an argument, defaulting to ["-to"], which is
3132         appropriate for the Trial that comes with Twisted-2.1.0 and
3133         earlier. The Trial in current Twisted SVN wants
3134         ["--reporter=bwverbose"] instead. Also expose trialArgs=, which
3135         defaults to an empty list.
3136         * buildbot/process/process_twisted.py (TwistedTrial.trialMode):
3137         match it, now that trialMode= is a list instead of a single string
3139         * buildbot/__init__.py (version): bump to 0.7.0+ while between
3140         releases
3141         * docs/buildbot.texinfo: same
3143 2005-10-24  Brian Warner  <warner@lothar.com>
3145         * buildbot/__init__.py (version): Releasing buildbot-0.7.0
3146         * docs/buildbot.texinfo: set version number to match
3148 2005-10-24  Brian Warner  <warner@lothar.com>
3150         * README: update for 0.7.0
3151         * NEWS: same
3152         * docs/buildbot.texinfo: move the freshcvs stuff out of the README
3154         * buildbot/clients/debug.glade: add 'branch' box to fake-commit
3155         * buildbot/clients/debug.py (DebugWidget.do_commit): same. Don't
3156         send the branch= argument unless the user really provided one, to
3157         retain compatibility with older buildmasters that don't accept
3158         that argument.
3159         * buildbot/master.py (DebugPerspective.perspective_fakeChange):
3160         same
3162         * docs/buildbot.texinfo: update lots of stuff
3164         * buildbot/scripts/runner.py (sendchange): add a --branch argument
3165         to the 'buildbot sendchange' command
3166         * buildbot/clients/sendchange.py (Sender.send): same
3167         * buildbot/changes/pb.py (ChangePerspective): same
3168         * buildbot/test/test_changes.py (Sender.testSender): test it
3170         * buildbot/process/step.py (SVN.__init__): change 'base_url' and
3171         'default_branch' argument names to 'baseURL' and 'defaultBranch',
3172         for consistency with other BuildStep arguments that use camelCase.
3173         Well, at least more of them use camelCase (like flunkOnWarnings)
3174         than don't.. I wish I'd picked one style and stuck with it
3175         earlier. Annoying, but it's best done before the release, since
3176         these arguments didn't exist at all in 0.6.6 .
3177         (Darcs): same
3178         * buildbot/test/test_vc.py (SVN.testCheckout): same
3179         (Darcs.testPatch): same
3180         * docs/buildbot.texinfo (SVN): document the change
3181         (Darcs): same, add some build-on-branch docs
3182         * docs/examples/twisted_master.cfg: match change
3184         * buildbot/process/step.py (BuildStep): rename
3185         slaveVersionNewEnough to slaveVersionIsOlderThan, because that's
3186         how it is normally used.
3187         * buildbot/test/test_steps.py (Version.checkCompare): same
3189         * buildbot/process/step.py (CVS.startVC): refuse to build
3190         update/copy -style builds on a non-default branch with an old
3191         buildslave (<=0.6.6) that doesn't know how to do it properly. The
3192         concern is that it will do a VC 'update' in an existing tree when
3193         it is supposed to be switching branches (and therefore clobbering
3194         the tree to do a full checkout), thus building the wrong source.
3195         This used to be a warning, but I think the confusion it is likely
3196         to cause warrants making it an error.
3197         (SVN.startVC): same, also make mode=export on old slaves an error
3198         (Darcs.startVC): same
3199         (Git.startVC): improve error message for non-Git-enabled slaves
3200         (Arch.checkSlaveVersion): same. continue to emit a warning when a
3201         specific revision is built on a slave that doesn't pay attention
3202         to args['revision'], because for slowly-changing trees it will
3203         probably do the right thing, and because we have no way to tell
3204         whether we're asking it to build the most recent version or not.
3205         * buildbot/interfaces.py (BuildSlaveTooOldError): new exception
3207         * buildbot/scripts/runner.py (SlaveOptions.postOptions): assert
3208         that 'master' is in host:portnum format, to catch errors sooner
3210 2005-10-23  Brian Warner  <warner@lothar.com>
3212         * buildbot/process/step_twisted.py (ProcessDocs.createSummary):
3213         when creating the list of warning messages, include the line
3214         immediately after each WARNING: line, since that's usually where
3215         the file and line number wind up.
3217         * docs/examples/twisted_master.cfg: OS-X slave now does QT, add a
3218         TryScheduler
3220         * NEWS: update
3222 2005-10-22  Brian Warner  <warner@lothar.com>
3224         * buildbot/status/html.py (HtmlResource): incorporate valid-HTML
3225         patch from Brad Hards
3226         * buildbot/status/classic.css: same
3227         * buildbot/test/test_web.py (Waterfall): match changes
3229         * buildbot/test/test_steps.py (BuildStep.setUp): set
3230         nextBuildNumber so the test passes
3231         * buildbot/test/test_status.py (MyBuilder): same
3233         * buildbot/status/html.py (StatusResourceBuild.body): revision
3234         might be numeric, so stringify it before html-escapifying it
3235         (CurrentBox.getBox): add a "waiting" state, and show a countdown
3236         timer for the upcoming build
3237         * buildbot/status/classic.css: add background-color attributes for
3238         offline/waiting/building classes
3240         * buildbot/status/builder.py (BuildStatus): derive from
3241         styles.Versioned, fix upgrade of .sourceStamp attribute. Also set
3242         the default (i.e. unknown) .slavename to "???" instead of None,
3243         since even unknown slavenames need to be printed eventually.
3244         (BuilderStatus): also derive from styles.Versioned . More
3245         importantly, determine .nextBuildNumber at creation/unpickling
3246         time by scanning the directory of saved BuildStatus instances and
3247         choosing one larger than the highest-numbered one found. This
3248         should fix the problem where random errors during upgrades cause
3249         the buildbot to forget about earlier builds. .nextBuildNumber is
3250         no longer stored in the pickle.
3251         (Status.builderAdded): if we can't unpickle the BuilderStatus,
3252         at least log the error. Also call Builder.determineNextBuildNumber
3253         once the basedir is set.
3255         * buildbot/master.py (BuildMaster.loadChanges): do
3256         styles.doUpgrade afterwards, in case I decide to make Changes
3257         derived from styles.Versioned some day and forget to make this
3258         change later.
3261         * buildbot/test/test_runner.py (Options.testForceOptions): skip
3262         when running under older pythons (<2.3) in which the shlex module
3263         doesn't have a 'split' function.
3265         * buildbot/process/step.py (ShellCommand.start): make
3266         errorMessages= be a list of strings to stuff in the log before the
3267         command actually starts. This makes it easier to flag multiple
3268         warning messages, e.g. when the Source steps have to deal with an
3269         old buildslave.
3270         (CVS.startVC): handle slaves that don't handle multiple branches
3271         by switching into 'clobber' mode
3272         (SVN.startVC): same. Also reject branches without base_url
3273         (Darcs.startVC): same. Also reject revision= in older slaves
3274         (Arch.checkSlaveVersion): same (just the multiple-branches stuff)
3275         (Bazaar.startVC): same, and test for baz separately than for arch
3277         * buildbot/slave/commands.py (cvs_ver): document new features
3279         * buildbot/process/step.py (BuildStep.slaveVersion): document it
3280         (BuildStep.slaveVersionNewEnough): more useful utility method
3281         * buildbot/test/test_steps.py (Version): start testing it
3283         * buildbot/status/words.py (IrcStatusBot.command_FORCE): note that
3284         the 'force' command requires python2.3, for the shlex.split method
3286         * docs/examples/twisted_master.cfg: remove old freshcvs stuff,
3287         since we don't use it anymore. The Twisted buildbot uses a
3288         PBChangeSource now.
3290 2005-10-21  Brian Warner  <warner@lothar.com>
3292         * buildbot/process/process_twisted.py: rework all BuildFactory
3293         classes to take a 'source' step as an argument, instead of
3294         building up the SVN instance in the factory.
3295         * docs/examples/twisted_master.cfg: enable build-on-branch by
3296         providing a base_url and default_branch
3298         * buildbot/status/words.py (IrcStatusBot.command_FORCE): add
3299         control over --branch and --revision, not that they are always
3300         legal to provide
3301         * buildbot/status/html.py (StatusResourceBuilder.force): same
3302         (StatusResourceBuild.body): display SourceStamp components
3304         * buildbot/scripts/runner.py (ForceOptions): option parser for the
3305         IRC 'force' command, so it can be shared with an eventual
3306         command-line-tool 'buildbot force' mode.
3307         * buildbot/test/test_runner.py (Options.testForceOptions): test it
3309 2005-10-20  Brian Warner  <warner@lothar.com>
3311         * buildbot/status/mail.py (MailNotifier.buildMessage): reformat
3313         * docs/examples/twisted_master.cfg: update to use Schedulers
3315         * buildbot/scripts/sample.cfg: update with Schedulers
3317         * buildbot/interfaces.py (IBuilderControl.requestBuildSoon): new
3318         method specifically for use by HTML "force build" button and the
3319         IRC "force" command. Raises an immediate error if there are no
3320         slaves available.
3321         (IBuilderControl.requestBuild): make this just submit a build, not
3322         try to check for existing slaves or set up any when-finished
3323         Deferreds or anything.
3324         * buildbot/process/builder.py (BuilderControl): same
3325         * buildbot/status/html.py (StatusResourceBuilder.force): same
3326         * buildbot/status/words.py (IrcStatusBot.command_FORCE): same
3327         * buildbot/test/test_slaves.py: same
3328         * buildbot/test/test_web.py: same
3330 2005-10-19  Brian Warner  <warner@lothar.com>
3332         * docs/examples/twisted_master.cfg: re-sync with reality: bring
3333         back python2.2 tests, turn off OS-X threadedselect-reactor tests
3335 2005-10-18  Brian Warner  <warner@lothar.com>
3337         * buildbot/status/html.py: provide 'status' argument to most
3338         StatusResourceFOO objects
3339         (StatusResourceBuild.body): href-ify the Builder name, add "Steps
3340         and Logfiles" section to make the Build page into a more-or-less
3341         comprehensive source of status information about the build
3343         * buildbot/status/mail.py (MailNotifier): include the Build's URL
3344         * buildbot/status/words.py (IrcStatusBot.buildFinished): same
3346 2005-10-17  Brian Warner  <warner@lothar.com>
3348         * buildbot/process/process_twisted.py (TwistedTrial): update Trial
3349         arguments to accomodate Twisted >=2.1.0 . I will have to figure
3350         out what to do about other projects: the correct options for
3351         recent Twisteds will not work for older ones.
3353 2005-10-15  Brian Warner  <warner@lothar.com>
3355         * buildbot/status/builder.py (Status.getURLForThing): add method
3356         to provide a URL for arbitrary IStatusFoo objects. The idea is to
3357         use this in email/IRC status clients to make them more useful, by
3358         providing the end user with hints on where to learn more about the
3359         object being reported on.
3360         * buildbot/test/test_web.py (GetURL): tests for it
3362 2005-10-14  Brian Warner  <warner@lothar.com>
3364         * buildbot/test/test_config.py (ConfigTest._testSources_1): oops,
3365         fix bug resulting from deferredResult changes
3367 2005-10-13  Brian Warner  <warner@lothar.com>
3369         * buildbot/test/test_changes.py: remove use of deferredResult
3370         * buildbot/test/test_config.py: same
3371         * buildbot/test/test_control.py: same
3372         * buildbot/test/test_status.py: same
3373         * buildbot/test/test_vc.py: this is the only remaining use, since
3374         it gets used at module level. This needs to be replaced by some
3375         sort of class-level run-once routine.
3377         * buildbot/status/words.py (IrcStatusBot.command_WATCH): fix typo
3379         * lots: implement multiple slaves per Builder, which means multiple
3380         current builds per Builder. Some highlights:
3381         * buildbot/interfaces.py (IBuilderStatus.getState): return a tuple
3382         of (state,currentBuilds) instead of (state,currentBuild)
3383         (IBuilderStatus.getCurrentBuilds): replace getCurrentBuild()
3384         (IBuildStatus.getSlavename): new method, so you can tell which
3385         slave got used. This only gets set when the build completes.
3386         (IBuildRequestStatus.getBuilds): new method
3388         * buildbot/process/builder.py (SlaveBuilder): add a .state
3389         attribute to track things like ATTACHING and IDLE and BUILDING,
3390         instead of..
3391         (Builder): .. the .slaves attribute here, which has been turned
3392         into a simple list of available slaves. Added a separate
3393         attaching_slaves list to track ones that are not yet ready for
3394         builds.
3395         (Builder.fireTestEvent): put off the test-event callback for a
3396         reactor turn, to make tests a bit more consistent.
3397         (Ping): cleaned up the slaveping a bit, now it disconnects if the
3398         ping fails due to an exception. This needs work, I'm worried that
3399         a code error could lead to a constantly re-connecting slave.
3400         Especially since I'm trying to move to a distinct remote_ping
3401         method, separate from the remote_print that we currently use.
3402         (BuilderControl.requestBuild): return a convenience Deferred that
3403         provides an IBuildStatus when the build finishes.
3404         (BuilderControl.ping): ping all connected slaves, only return True
3405         if they all respond.
3407         * buildbot/slave/bot.py (BuildSlave.stopService): stop trying to
3408         reconnect when we shut down.
3410         * buildbot/status/builder.py: implement new methods, convert
3411         one-build-at-a-time methods to handle multiple builds
3412         * buildbot/status/*.py: do the same in all default status targets
3413         * buildbot/status/html.py: report the build's slavename in the
3414         per-Build page, report all buildslaves on the per-Builder page
3416         * buildbot/test/test_run.py: update/create tests
3417         * buildbot/test/test_slaves.py: same
3418         * buildbot/test/test_scheduler.py: remove stale test
3420         * docs/buildbot.texinfo: document the new builder-specification
3421         'slavenames' parameter
3423 2005-10-12  Brian Warner  <warner@lothar.com>
3425         * buildbot/buildset.py (BuildSet): fix bug where BuildSet did not
3426         report failure correctly, causing Dependent builds to run when
3427         they shouldn't have.
3428         * buildbot/status/builder.py (BuildSetStatus): same
3429         * buildbot/test/test_buildreq.py (Set.testBuildSet): verify it
3430         (Set.testSuccess): test the both-pass case too
3431         * buildbot/test/test_dependencies.py (Dependencies.testRun_Fail):
3432         fix this test: it was ending too early, masking the failure before
3433         (Logger): specialized StatusReceiver to make sure the dependent
3434         builds aren't even started, much less completed.
3436 2005-10-07  Brian Warner  <warner@lothar.com>
3438         * buildbot/slave/bot.py (SlaveBuilder.activity): survive
3439         bot.SlaveBuilder being disowned in the middle of a build
3441         * buildbot/status/base.py (StatusReceiverMultiService): oops, make
3442         this inherit from StatusReceiver. Also upcall in __init__. This
3443         fixes the embarrasing crash when the new buildSetSubmitted method
3444         is invoked and Waterfall/etc don't implement their own.
3445         * buildbot/test/test_run.py: add a TODO note about a test to catch
3446         just this sort of thing.
3448         * buildbot/process/builder.py (Builder.attached): remove the
3449         already-attached warning, this situation is normal. Add some
3450         comments explaining it.
3452 2005-10-02  Brian Warner  <warner@lothar.com>
3454         * buildbot/changes/maildir.py (Maildir.start): Tolerate
3455         OverflowError when setting up dnotify, because some 64-bit systems
3456         have problems with signed-vs-unsigned constants and trip up on the
3457         DN_MULTISHOT flag. Patch from Brad Hards.
3459 2005-09-06  Fred Drake  <fdrake@users.sourceforge.net>
3461         * buildbot/process/step.py (BuildStep, ShellCommand): Add
3462         progressMetrics, description, descriptionDone to the 'parms' list,
3463         and make use the 'parms' list from the implementation class
3464         instead of only BuildStep to initialize the parameters.  This
3465         allows buildbot.process.factory.s() to initialize all the parms,
3466         not just those defined in directly by BuildStep.
3468 2005-09-03  Brian Warner  <warner@lothar.com>
3470         * NEWS: start adding items for the next release
3472         * docs/examples/twisted_master.cfg: (sync with reality) turn off
3473         python2.2 tests, change 'Quick' builder to only use python2.3
3475 2005-09-02  Fred Drake  <fdrake@users.sourceforge.net>
3477         * buildbot/status/html.py (StatusResourceBuilder.body): only show
3478         the "Ping Builder" button if the build control is available; the
3479         user sees an exception otherwise
3481         * docs/buildbot.texinfo (PBChangeSource): fix a typo
3483 2005-09-01  Brian Warner  <warner@lothar.com>
3485         * buildbot/interfaces.py (IBuilderStatus.getState): update
3486         signature, point out that 'build' can be None
3487         (IBuildStatus.getETA): point out ETA can be none
3489         * buildbot/status/html.py (CurrentBox.getBox): tolerate build/ETA
3490         being None
3491         * buildbot/status/words.py (IrcStatusBot.emit_status): same
3493 2005-08-31  Brian Warner  <warner@lothar.com>
3495         * buildbot/status/base.py (StatusReceiver.builderChangedState):
3496         update to match correct signature: removed 'eta' argument
3497         * buildbot/status/mail.py (MailNotifier.builderChangedState): same
3499 2005-08-30  Brian Warner  <warner@lothar.com>
3501         * buildbot/status/builder.py (LogFile): remove the assertion that
3502         blows up when you try to overwrite an existing logfile, instead
3503         just emit a warning. This case gets hit when the buildmaster is
3504         killed and doesn't get a chance to write out the serialized
3505         BuilderStatus object, so the .nextBuildNumber attribute gets out
3506         of date.
3508         * buildbot/scripts/runner.py (sendchange): add --revision_file to
3509         the 'buildbot sendchange' arguments, for the Darcs context file
3510         * docs/buildbot.texinfo (sendchange): document it
3512         * buildbot/status/html.py: add pending/upcoming builds to CurrentBox
3513         * buildbot/interfaces.py (IScheduler.getPendingBuildTimes): new method
3514         (IStatus.getSchedulers): new method
3515         * buildbot/status/builder.py (BuilderStatus): track pendingBuilds
3516         (Status.getSchedulers): implement
3517         * buildbot/process/builder.py (Builder): maintain
3518         BuilderStatus.pendingBuilds
3519         * buildbot/scheduler.py (Scheduler.getPendingBuildTimes): new method
3520         (TryBase.addChange): Try schedulers should ignore Changes
3522         * buildbot/scripts/tryclient.py (getTopdir): implement getTopdir
3523         for 'try' on CVS/SVN
3524         * buildbot/test/test_runner.py (Try.testGetTopdir): test case
3526         * buildbot/scripts/tryclient.py (Try): make jobdir-style 'try'
3527         report status properly.
3528         (Try.createJob): implement unique buildset IDs
3530         * buildbot/status/client.py (StatusClientPerspective): add a
3531         perspective_getBuildSets method for the benefit of jobdir-style
3532         'try'.
3533         * docs/buildbot.texinfo (try): more docs
3534         * buildbot/test/test_scheduler.py (Scheduling.testGetBuildSets):
3535         new test case
3537 2005-08-18  Brian Warner  <warner@lothar.com>
3539         * buildbot/scripts/tryclient.py (Try): make 'try' status reporting
3540         actually work. It's functional but still kind of clunky. Also, it
3541         only works with the pb-style.. needs to be made to work with the
3542         jobdir-style too.
3544         * buildbot/status/client.py (RemoteBuildSet): new class
3545         (RemoteBuildRequest): same
3546         (RemoteBuild.remote_waitUntilFinished): return the RemoteBuild
3547         object, not the internal BuildStatus object.
3548         (RemoteBuild.remote_subscribe): new method to subscribe to builds
3549         outside of the usual buildStarted() return value.
3550         (BuildSubscriber): support class for RemoteBuild.remote_subscribe
3552         * buildbot/scheduler.py (Try_Jobdir): convey buildsetID properly
3553         (Try_Userpass_Perspective.perspective_try): return a remotely
3554         usable BuildSetStatus object
3556         * buildbot/interfaces.py (IBuildStatus): remove obsolete
3557         isStarted()/waitUntilStarted()
3559 2005-08-16  Brian Warner  <warner@lothar.com>
3561         * buildbot/status/builder.py: implement IBuildSetStatus and
3562         IBuildRequestStatus, wire them into place.
3563         * buildbot/buildset.py: same. Add ID, move wait-until-finished
3564         methods into the BuildSetStatus object.
3565         * buildbot/interfaces.py: same
3566         (IStatus.getBuildSets): new method to get pending BuildSets
3567         (IStatusReceiver.buildsetSubmitted): new method which hears about
3568         new BuildSets
3569         * buildbot/master.py (BuildMaster.submitBuildSet): same
3570         * buildbot/process/base.py (BuildRequest): same, replace
3571         waitUntilStarted with subscribe/unsubscribe
3572         * buildbot/process/builder.py (BuilderControl.forceBuild): use
3573         subscribe instead of waitUntilStarted
3574         * buildbot/status/base.py (StatusReceiver.buildsetSubmitted): stub
3575         for new method
3576         * buildbot/status/client.py (StatusClientPerspective.builderRemoved): 
3577         same
3578         * buildbot/test/test_buildreq.py: update for new code
3579         * buildbot/test/test_control.py (Force.testRequest): same
3582         * buildbot/slave/commands.py (Darcs.doVCFull): fix get-revision
3583         for Darcs to not use the tempfile module, so it works under
3584         python-2.2 too. We really didn't need the full cleverness of that
3585         module, since the slave has exclusive control of its own builddir.
3587 2005-08-15  Brian Warner  <warner@lothar.com>
3589         * buildbot/scripts/tryclient.py (CVSExtractor): implement 'try'
3590         for CVS trees. It doesn't work for non-trunk branches,
3591         unfortunately.
3592         * buildbot/test/test_vc.py (CVS.testTry): test it, but skip the
3593         branch test
3595         * Makefile: make it easier to test against python2.2
3597         * buildbot/test/test_vc.py (VCBase.tearDown): provide for
3598         tearDown2, so things like Arch can unregister archives as they're
3599         shutting down. The previous subclass-override-tearDown technique
3600         resulted in a nested maybeWait() and test failures under
3601         Twisted-1.3.0
3603         * buildbot/scripts/tryclient.py (getSourceStamp): extract branches
3604         where we can (Arch), add a branch= argument to set the branch used
3605         when we can't
3606         (BazExtractor): extract the branch too
3607         (TlaExtractor): same
3608         * buildbot/scripts/runner.py (TryOptions): add --branch
3609         * docs/buildbot.texinfo (try): document --branch/try_branch
3611         * buildbot/slave/commands.py (Darcs): implement get-revision for
3612         Darcs, so that 'try' will work. This requires the tempfile module
3613         from python-2.3 .
3615         * buildbot/test/test_vc.py: rewrite tests, getting better coverage
3616         of revisions, branches, and 'try' in the process.
3618 2005-08-11  Brian Warner  <warner@lothar.com>
3620         * buildbot/master.py (DebugPerspective.perspective_pokeIRC): fix
3621         this, it got broken at some point in the last few releases
3622         * buildbot/status/words.py (IrcBuildRequest): reply was broken
3623         (IrcStatusBot.emit_status): handle new IBuilderStatus.getState,
3624         specifically the removal of ETA information from the tuple
3626         * buildbot/locks.py: use %d for id() instead of %x, avoid a silly
3627         warning message
3629         * docs/buildbot.texinfo (try): document both --builder and
3630         'try_builders' in .buildbot/options
3631         * buildbot/scripts/runner.py (TryOptions): add --builder,
3632         accumulate the values into opts['builders']
3633         * buildbot/scripts/tryclient.py (Try.__init__): set builders
3634         * buildbot/test/test_runner.py (Try): add some quick tests to make
3635         sure 'buildbot try --options' and .buildbot/options get parsed
3636         * buildbot/test/test_scheduler.py (Scheduling.testTryUserpass):
3637         use --builder control
3639         * docs/buildbot.texinfo (try): add --port argument to PB style
3641         * buildbot/scripts/tryclient.py (SourceStampExtractor): return an
3642         actual SourceStamp. Still need to extract a branch name, somehow.
3643         (Try): finish implementing the try client side, still need a UI
3644         for specifying which builders to use
3645         (Try.getopt): factor our options/config-file reading
3646         * buildbot/test/test_scheduler.py (Scheduling.testTryUserpass):
3647         test it
3648         * buildbot/test/test_vc.py: match SourceStampExtractor change
3650         * buildbot/scripts/runner.py (Options.opt_verbose): --verbose
3651         causes the twisted log to be sent to stderr
3653         * buildbot/scheduler.py (Try_Userpass): implement the PB style
3655 2005-08-10  Brian Warner  <warner@lothar.com>
3657         * buildbot/scripts/runner.py: Add 'buildbot try' command, jobdir
3658         style is 90% done, still missing status reporting or waiting for
3659         the buildsets to finish, and it is completely untested.
3661         * buildbot/trybuild.py: delete file, move contents to ..
3662         * buildbot/scripts/tryclient.py (getSourceStamp): .. here
3663         * buildbot/test/test_vc.py: match the move
3665         * buildbot/scheduler.py (Try_Jobdir): implement the jobdir style
3666         of the TryScheduler, no buildsetID or status-tracking support yet
3667         * buildbot/test/test_scheduler.py (Scheduling.testTryJobdir): test it
3669         * buildbot/changes/maildir.py (Maildir.setBasedir): make it
3670         possible to set the basedir after __init__ time, so it is easier
3671         to use as a Service-child of the BuildMaster instance
3673         * buildbot/changes/maildirtwisted.py (MaildirService): make a form
3674         that delivers messages to its Service parent instead of requiring
3675         a subclass to be useful. This turns out to be much easier to build
3676         unit tests around.
3678         * buildbot/scripts/tryclient.py (createJob): utility code to
3679         create jobfiles, will eventually be used by 'buildbot try'
3681 2005-08-08  Brian Warner  <warner@lothar.com>
3683         * docs/buildbot.texinfo (try): add docs on the
3684         as-yet-unimplemented Try scheduler
3686         * buildbot/test/test_buildreq.py: move Scheduling tests out to ..
3687         * buildbot/test/test_scheduler.py: .. here
3688         (Scheduling.testTryJobdir): add placeholder test for 'try'
3690         * buildbot/test/test_status.py (Log.testMerge3): update to match new
3691         addEntry merging (>=chunkSize) behavior
3692         (Log.testConsumer): update to handle new callLater(0) behavior
3694         * buildbot/test/test_web.py: rearrange tests a bit, add test for
3695         both the MAX_LENGTH bugfix and the resumeProducing hang.
3697         * buildbot/status/builder.py (LogFileProducer.resumeProducing):
3698         put off the actual resumeProducing for a moment with
3699         reactor.callLater(0). This works around a twisted-1.3.0 bug which
3700         causes large logfiles to hang midway through.
3702         * buildbot/process/step.py (BuildStep.addCompleteLog): break the
3703         logfile up into chunks, both to avoid NetstringReceiver.MAX_LENGTH
3704         and to improve memory usage when streaming the file out to a web
3705         browser.
3706         * buildbot/status/builder.py (LogFile.addEntry): change > to >= to
3707         make this work cleanly
3709 2005-08-03  Brian Warner  <warner@lothar.com>
3711         * buildbot/trybuild.py: new file for 'try' utilities
3712         (getSourceStamp): run in a tree, find out the baserev+patch
3713         * buildbot/test/test_vc.py (VCBase.do_getpatch): test it,
3714         implemented for SVN and Darcs, still working on Arch. I don't know
3715         how to make CVS work yet.
3717         * docs/buildbot.texinfo: document the 'buildbot' command-line
3718         tool, including the not-yet-implemented 'try' feature, and the
3719         in-flux .buildbot/ options directory.
3721 2005-07-20  Brian Warner  <warner@lothar.com>
3723         * buildbot/locks.py: added temporary id() numbers to Lock
3724         descriptions, to track down a not-really-sharing-the-Lock bug
3726         * buildbot/test/runutils.py: must import errno, cut-and-paste bug
3728         * buildbot/test/test_slavecommand.py (ShellBase.failUnlessIn):
3729         needed for python2.2 compatibility
3730         * buildbot/test/test_vc.py: python2.2 compatibility: generators
3731         are from the __future__
3733 2005-07-19  Brian Warner  <warner@lothar.com>
3735         * buildbot/master.py (BuildMaster.loadConfig): give a better error
3736         message when schedulers use unknown builders
3738         * buildbot/process/builder.py (Builder.compareToSetup): make sure
3739         SlaveLock('name') and MasterLock('name') are distinct
3741         * buildbot/master.py (BuildMaster.loadConfig): oops, sanity-check
3742         c['schedulers'] in such a way that we can actually accept
3743         Dependent instances
3744         * buildbot/test/test_config.py: check it
3746         * buildbot/scheduler.py (Dependent.listBuilderNames): oops, add
3747         utility method to *all* the Schedulers
3748         (Periodic.listBuilderNames): same
3750         * docs/buildbot.texinfo (Interlocks): update chapter to match
3751         reality
3753         * buildbot/master.py (BuildMaster.loadConfig): Add sanity checks
3754         to make sure that c['sources'], c['schedulers'], and c['status']
3755         are all lists of the appropriate objects, and that the Schedulers
3756         all point to real Builders
3757         * buildbot/interfaces.py (IScheduler, IUpstreamScheduler): add
3758         'listBuilderNames' utility method to support this
3759         * buildbot/scheduler.py: implement the utility method
3760         * buildbot/test/test_config.py (ConfigTest.testSchedulers): test it
3762         * docs/buildbot.texinfo: add some @cindex entries
3764         * buildbot/test/test_vc.py (Arch.createRepository): set the tla ID
3765         if it wasn't already set: most tla commands will fail unless one
3766         has been set.
3767         (Arch.createRepository): and disable bazaar's revision cache, since
3768         they cause test failures (the multiple repositories we create all
3769         interfere with each other through the cache)
3771         * buildbot/test/test_web.py (WebTest): remove use of deferredResult,
3772         bring it properly up to date with twisted-2.0 test guidelines
3774         * buildbot/master.py (BuildMaster): remove references to old
3775         'interlock' module, this caused a bunch of post-merge test
3776         failures
3777         * buildbot/test/test_config.py: same
3778         * buildbot/process/base.py (Build): same
3780         * buildbot/test/test_slaves.py: stubs for new test case
3782         * buildbot/scheduler.py: add test-case-name tag
3783         * buildbot/test/test_buildreq.py: same
3785         * buildbot/slave/bot.py (SlaveBuilder.__init__): remove some
3786         unnecessary init code
3787         (Bot.remote_setBuilderList): match it
3789         * docs/buildbot.texinfo (@settitle): don't claim version 1.0
3791         * buildbot/changes/mail.py (parseSyncmail): update comment
3793         * buildbot/test/test_slavecommand.py: disable Shell tests on
3794         platforms that don't suport IReactorProcess
3796         * buildbot/status/builder.py (LogFile): remove the 't' mode from
3797         all places where we open logfiles. It causes OS-X to open the file
3798         in some weird mode that that prevents us from mixing reads and
3799         writes to the same filehandle, which we depend upon to implement
3800         _generateChunks properly. This change doesn't appear to break
3801         win32, on which "b" and "t" are treated differently but a missing
3802         flag seems to be interpreted as "t".
3804 2005-07-18  Brian Warner  <warner@lothar.com>
3806         * buildbot/slave/commands.py (ShellCommand): overhaul
3807         error-handling code, to try and make timeout/interrupt work
3808         properly, and make win32 happier
3809         * buildbot/test/test_slavecommand.py: clean up, stop using
3810         reactor.iterate, add tests for timeout and interrupt
3811         * buildbot/test/sleep.py: utility for a new timeout test
3813         * buildbot/twcompat.py: copy over twisted 1.3/2.0 compatibility
3814         code from the local-usebranches branch
3816 2005-07-17  Brian Warner  <warner@lothar.com>
3818         * buildbot/process/process_twisted.py
3819         (TwistedReactorsBuildFactory): change the treeStableTimer to 5
3820         minutes, to match the other twisted BuildFactories, and don't
3821         excuse failures in c/qt/win32 reactors any more.
3823         * docs/examples/twisted_master.cfg: turn off the 'threadless' and
3824         'freebsd' builders, since the buildslaves have been unavailable
3825         for quite a while
3827 2005-07-13  Brian Warner  <warner@lothar.com>
3829         * buildbot/test/test_vc.py (VCBase.do_branch): test the new
3830         build-on-branch feature
3832         * buildbot/process/step.py (Darcs.__init__): add base_url and
3833         default_branch arguments, just like SVN
3834         (Arch.__init__): note that the version= argument is really the
3835         default branch name
3837         * buildbot/slave/commands.py (SourceBase): keep track of the
3838         repository+branch that was used for the last checkout in
3839         SRCDIR/.buildbot-sourcedata . If the contents of this file do not
3840         match, we clobber the directory and perform a fresh checkout
3841         rather than trying to do an in-place update. This should protect
3842         us against trying to get to branch B by doing an update in a tree
3843         obtained from branch A.
3844         (CVS.setup): add CVS-specific sourcedata: root, module, and branch
3845         (SVN.setup): same, just the svnurl
3846         (Darcs.setup): same, just the repourl
3847         (Arch.setup): same, arch coordinates (url), version, and
3848         buildconfig. Also pull the buildconfig from the args dictionary,
3849         which we weren't doing before, so the build-config was effectively
3850         disabled.
3851         (Arch.sourcedirIsUpdateable): don't try to update when we're
3852         moving to a specific revision: arch can't go backwards, so it is
3853         safer to just clobber the tree and checkout a new one at the
3854         desired revision.
3855         (Bazaar.setup): same sourcedata as Arch
3857         * buildbot/test/test_dependencies.py (Dependencies.testRun_Fail):
3858         use maybeWait, to work with twisted-1.3.0 and twcompat
3859         (Dependencies.testRun_Pass): same
3861         * buildbot/test/test_vc.py: rearrange, cleanup
3863         * buildbot/twcompat.py: add defer.waitForDeferred and
3864         utils.getProcessOutputAndValue, so test_vc.py (which uses them)
3865         can work under twisted-1.3.0 .
3867         * buildbot/test/test_vc.py: rewrite. The sample repositories are
3868         now created at setUp time. This increases the runtime of the test
3869         suite considerably (from 91 seconds to 151), but it removes the
3870         need for an offline tarball, which should solve a problem I've
3871         seen where the test host has a different version of svn than the
3872         tarball build host. The new code also validates that mode=update
3873         really picks up recent commits. This approach will also make it
3874         easier to test out branches, because the code which creates the VC
3875         branches is next to the code which uses them. It will also make it
3876         possible to test some change-notification hooks, by actually
3877         performing a VC commit and watching to see the ChangeSource get
3878         notified.
3880 2005-07-12  Brian Warner  <warner@lothar.com>
3882         * docs/buildbot.texinfo (SVN): add branches example
3883         * docs/Makefile (buildbot.ps): add target for postscript manual
3885         * buildbot/test/test_dependencies.py: s/test_interlocks/test_locks/ 
3886         * buildbot/test/test_locks.py: same
3888         * buildbot/process/step.py (Darcs): comment about default branches
3890         * buildbot/master.py (BuildMaster.loadConfig): don't look for
3891         c['interlocks'] in the config file, complain if it is present.
3892         Scan all locks in c['builders'] to make sure the Locks they use
3893         are uniquely named.
3894         * buildbot/test/test_config.py: remove old c['interlocks'] test,
3895         add some tests to check for non-uniquely-named Locks
3896         * buildbot/test/test_vc.py (Patch.doPatch): fix factory.steps,
3897         since the unique-Lock validation code requires it now
3899         * buildbot/locks.py: fix test-case-name
3901         * buildbot/interlock.py: remove old file
3903 2005-07-11  Brian Warner  <warner@lothar.com>
3905         * buildbot/test/test_interlock.py: rename to..
3906         * buildbot/test/test_locks.py: .. something shorter
3908         * buildbot/slave/bot.py (BuildSlave.stopService): newer Twisted
3909         versions (after 2.0.1) changed internet.TCPClient to shut down the
3910         connection in stopService. Change the code to handle this
3911         gracefully.
3913         * buildbot/process/base.py (Build): handle whole-Build locks
3914         * buildbot/process/builder.py (Builder.compareToSetup): same
3915         * buildbot/test/test_interlock.py: make tests work
3917         * buildbot/process/step.py (BuildStep.startStep): complain if a
3918         Step tries to claim a lock that's owned by its own Build
3919         (BuildStep.releaseLocks): typo
3921         * buildbot/locks.py (MasterLock): use ComparableMixin so config
3922         file reloads don't replace unchanged Builders
3923         (SlaveLock): same
3924         * buildbot/test/test_config.py (ConfigTest.testInterlocks):
3925         rewrite to cover new Locks instead of old c['interlocks']
3926         * buildbot/test/runutils.py (RunMixin.connectSlaves): remember
3927         slave2 too
3930         * buildbot/test/test_dependencies.py (Dependencies.setUp): always
3931         start the master and connect the buildslave
3933         * buildbot/process/step.py (FailingDummy.done): finish with a
3934         FAILURE status rather than raising an exception
3936         * buildbot/process/base.py (BuildRequest.mergeReasons): don't try to
3937         stringify a BuildRequest.reason that is None
3939         * buildbot/scheduler.py (BaseUpstreamScheduler.buildSetFinished):
3940         minor fix
3941         * buildbot/status/builder.py (BuildSetStatus): implement enough to
3942         allow scheduler.Dependent to work
3943         * buildbot/buildset.py (BuildSet): set .reason and .results
3945         * buildbot/test/test_interlock.py (Locks.setUp): connect both
3946         slaves, to make the test stop hanging. It still fails, of course,
3947         because I haven't even started to implement Locks.
3949         * buildbot/test/runutils.py (RunMixin.connectSlaves): new utility
3951         * docs/buildbot.texinfo (Build-Dependencies): redesign the feature
3952         * buildbot/interfaces.py (IUpstreamScheduler): new Interface
3953         * buildbot/scheduler.py (BaseScheduler): factor out common stuff
3954         (Dependent): new class for downstream build dependencies
3955         * buildbot/test/test_dependencies.py: tests (still failing)
3957         * buildbot/buildset.py (BuildSet.waitUntilSuccess): minor notes
3959 2005-07-07  Brian Warner  <warner@lothar.com>
3961         * buildbot/test/runutils.py (RunMixin): factored this class out..
3962         * buildbot/test/test_run.py: .. from here
3963         * buildbot/test/test_interlock.py: removed old c['interlock'] tests,
3964         added new buildbot.locks tests (which all hang right now)
3965         * buildbot/locks.py (SlaveLock, MasterLock): implement Locks
3966         * buildbot/process/step.py: claim/release per-BuildStep locks
3968         * docs/Makefile: add 'buildbot.html' target
3970         * buildbot/process/step.py (CVS.__init__): allow branch=None to be
3971         interpreted as "HEAD", so that all VC steps can accept branch=None
3972         and have it mean the "default branch".
3974         * docs/buildbot.texinfo: add Schedulers, Dependencies, and Locks
3976 2005-07-07  Brian Warner  <warner@lothar.com>
3978         * docs/examples/twisted_master.cfg: update to match current usage
3980         * docs/buildbot.texinfo (System Architecture): comment out the
3981         image, it doesn't exist yet and just screws up the HTML manual.
3983 2005-07-05  Brian Warner  <warner@lothar.com>
3985         * debian/.cvsignore: oops, missed one. Removing leftover file.
3987 2005-06-17  Brian Warner  <warner@lothar.com>
3989         * buildbot/test/test_vc.py (VCSupport.__init__): svn --version
3990         changed its output in 1.2.0, don't mistakenly think that the
3991         subversion we find isn't capable of supporting our tests.
3993         * debian/*: remove the debian/ directory and its contents, to make
3994         life easier for the proper Debian maintainer
3995         * MANIFEST.in: same
3996         * Makefile (release): same
3998 2005-06-07  Brian Warner  <warner@lothar.com>
4000         * everything: create a distinct SourceStamp class to replace the
4001         ungainly 4-tuple, let it handle merging instead of BuildRequest.
4002         Changed the signature of Source.startVC to include the revision
4003         information (instead of passing it through self.args). Implement
4004         branches for SVN (now only Darcs/Git is missing support). Add more
4005         Scheduler tests.
4007 2005-06-06  Brian Warner  <warner@lothar.com>
4009         * everything: rearrange build scheduling. Create a new Scheduler
4010         object (configured in c['schedulers'], which submit BuildSets to a
4011         set of Builders. Builders can now use multiple slaves. Builds can
4012         be run on alternate branches, either requested manually or driven
4013         by changes. This changed some of the Status classes. Interlocks
4014         are out of service until they've been properly split into Locks
4015         and Dependencies. treeStableTimer, isFileImportant, and
4016         periodicBuild have all been moved from the Builder to the
4017         Scheduler.
4018         (BuilderStatus.currentBigState): removed the 'waiting' and
4019         'interlocked' states, removed the 'ETA' argument.
4021 2005-05-24  Brian Warner  <warner@lothar.com>
4023         * buildbot/pbutil.py (ReconnectingPBClientFactory): Twisted-1.3
4024         erroneously abandons the connection (in clientConnectionFailed)
4025         for non-UserErrors, which means that if we lose the connection due
4026         to a network problem or a timeout, we'll never try to reconnect.
4027         Fix this by not upcalling to the buggy parent method. Note:
4028         twisted-2.0 fixes this, but the function only has 3 lines so it
4029         makes more sense to copy it than to try and detect the buggyness
4030         of the parent class. Fixes SF#1207588.
4032         * buildbot/changes/changes.py (Change.branch): doh! Add a
4033         class-level attribute to accomodate old Change instances that were
4034         pickled before 0.6.5 (where .branch was added for new Changes).
4035         This fixes the exception that occurs when you try to look at an
4036         old Change (through asHTML).
4038         * buildbot/__init__.py (version): bump to 0.6.6+ while between
4039         releases
4041 2005-05-23  Brian Warner  <warner@lothar.com>
4043         * buildbot/__init__.py (version): release 0.6.6
4045 2005-05-23  Brian Warner  <warner@lothar.com>
4047         * NEWS: update for 0.6.6 release
4048         * debian/changelog: same
4050         * buildbot/scripts/runner.py (start): put the basedir in sys.path
4051         before starting: this was done by twistd back when we spawned it,
4052         now that we're importing the pieces and running them in the
4053         current process, we have to do it ourselves. This allows
4054         master.cfg to import files from the same directory without
4055         explicitly manipulating PYTHONPATH. Thanks to Thomas Vander
4056         Stichele for the catch.
4057         (Options.opt_version): Add a --version command (actually, just make
4058         the existing --version command emit Buildbot's version too)
4060         * buildbot/status/builder.py (HTMLLogFile.upgrade): oops! second
4061         fix to make this behave like other LogFiles, this time to handle
4062         existing LogFiles on disk. (add the missing .upgrade method)
4063         * buildbot/test/test_status.py (Log.testHTMLUpgrade): test it
4065 2005-05-21  Brian Warner  <warner@lothar.com>
4067         * buildbot/test/test_runner.py (Create.testMaster): match the
4068         rawstring change in runner.py:masterTAC
4070         * buildbot/test/test_config.py (ConfigTest.testIRC): skip unless
4071         TwistedWords is installed
4072         * buildbot/test/test_status.py: same, with TwistedMail
4074         * buildbot/master.py: remove old IRC/Waterfall imports (used by
4075         some old, deprecated, and removed config keys). This should enable
4076         you to use the base buildbot functionality with Twisted-2.0.0 when
4077         you don't also have TwistedWeb and TwistedWords installed
4079 2005-05-20  Brian Warner  <warner@lothar.com>
4081         * buildbot/scripts/runner.py (run): call sendchange(), not
4082         do_sendchange(): thus 'buildbot sendchange' was broken in 0.6.5
4083         (run): call stop("HUP"), not "-HUP", 'buildbot stop' was broken.
4084         (stop): don't wait for process to die when sending SIGHUP
4085         (masterTAC): use a rawstring for basedir=, otherwise '\' in the
4086         directory name gets interpreted, which you don't want
4087         (slaveTAC): same
4089         * buildbot/__init__.py (version): bump to 0.6.5+ while between
4090         releases
4092 2005-05-18  Brian Warner  <warner@lothar.com>
4094         * buildbot/__init__.py (version): Releasing buildbot-0.6.5
4096 2005-05-18  Brian Warner  <warner@lothar.com>
4098         * README: update for 0.6.5
4099         * debian/changelog: same
4101         * buildbot/changes/changes.py: rename tag= to branch=, since
4102         that's how we're using it, and my design for the upcoming "build a
4103         specific branch" feature wants it. also, tag= was too CVS-centric
4104         * buildbot/changes/mail.py (parseSyncmail): same
4105         * buildbot/process/base.py (Build.isBranchImportant): same
4106         * buildbot/test/test_mailparse.py (Test3.testMsgS4): same
4107         * docs/buildbot.texinfo (Attributes of Changes): same
4109         * NEWS: update tag=, update for upcoming release
4111 2005-05-17  Brian Warner  <warner@lothar.com>
4113         * buildbot/scripts/runner.py (stop): actually poll once per
4114         second, instead of re-killing the poor daemon once per second.
4115         Sleep briefly (0.1s) before the first poll, since there's a good
4116         chance we can avoid waiting the full second if the daemon shuts
4117         down quickly. Also remove the sys.exit() at the end.
4118         (start): remove the unneighborly sys.exit()
4120         * Makefile: improve permission-setting to not kick Arch so badly
4122         * buildbot/scripts/runner.py (SlaveOptions.optParameters): set a
4123         default --keepalive=600, since it doesn't hurt very much, and it's
4124         a hassle to discover that you need it.
4125         * buildbot/test/test_runner.py (Create.testSlave): test it
4127         * buildbot/status/words.py (IrcStatusBot.buildFinished): Teach the
4128         IRC bot about EXCEPTION
4130         * buildbot/status/client.py (PBListener): upcall more correctly
4132         * buildbot/process/base.py (Build.allStepsDone): if a step caused
4133         an exception mark the overall build with EXCEPTION, not SUCCESS
4135         * buildbot/scripts/runner.py (makefile_sample): remove the leading
4136         newline
4137         * buildbot/status/mail.py (MailNotifier): oops, forgot to upcall
4138         * Makefile: update some release-related stuff
4140         * buildbot/slave/commands.py (ShellCommand.kill): if somehow this
4141         gets called when there isn't actually an active process, just end
4142         the Command instead of blowing up. I don't know how it gets into
4143         this state, but the twisted win32 buildslave will sometimes hang,
4144         and when it shakes its head and comes back, it thinks it's still
4145         running a Command. The next build causes this command to be
4146         interrupted, but the lack of self.process.pid breaks the interrupt
4147         attempt.
4149         * NEWS: document changes since the last release
4151         * buildbot/scripts/runner.py (start): change 'buildbot start' to
4152         look for Makefile.buildbot instead of a bare Makefile . The
4153         'buildbot start' does not install this file, so you have to
4154         manually copy it if you want to customize startup behavior.
4155         (createMaster): change 'buildbot master' command to create
4156         Makefile.sample instead of Makefile, to create master.cfg.sample
4157         instead of master.cfg (requiring you to copy it before the
4158         buildmaster can be started). Both sample files are kept up to
4159         date, i.e. they are overwritten if they have been changed. The
4160         'buildbot.tac' file is *not* overwritten, but if the new contents
4161         don't match the old, a 'buildbot.tac.new' file is created and the
4162         user is warned. This seems to be a much more sane way to handle
4163         startup files. Also, don't sys.exit(0) when done, so we can run
4164         unit tests against it.
4165         (createSlave): same. Don't overwrite the sample info/ files.
4166         * buildbot/scripts/sample.mk: remove. the contents were pulled
4167         into runner.py, since they need to match the behavior of start()
4168         * setup.py: same
4169         * MANIFEST.in: same
4171         * docs/buildbot.texinfo (Launching the daemons): document it
4172         * buildbot/test/test_runner.py (Create): test it
4174         * buildbot/test/test_vc.py (SetupMixin.failUnlessIn): Add a
4175         version that can handle string-in-string tests, because otherwise
4176         python-2.2 fails the tests. It'd be tremendous if Trial's test
4177         took two strings under 2.2 too.
4179         * everything: fixed all deprecation warnings when running against
4180         Twisted-2.0 . (at least all the ones in buildbot code, there are a
4181         few that come from Twisted itself). This involved putting most of
4182         the Twisted-version specific code in the new buildbot.twcompat
4183         module, and creating some abstract base classes in
4184         buildbot.changes.base and buildbot.status.base (which might be
4185         useful anyway). __implements__ is a nuisance and requires an ugly
4186         'if' clause everywhere.
4188         * buildbot/test/test_status.py (Mail.testMail): add a 0.1 second
4189         delay before finishing the test: it seems that smtp.sendmail
4190         doesn't hang up on the server, so we must wait a moment so it can
4191         hang up on us. This removes the trial warning about an unclean
4192         reactor.
4194 2005-05-16  Brian Warner  <warner@lothar.com>
4196         * buildbot/process/step.py (Source): add 'retry' argument. It is a
4197         tuple of (delay, repeats).
4198         * buildbot/test/test_vc.py (Retry): test it
4199         * docs/buildbot.texinfo (Source Checkout): document it
4200         * buildbot/slave/commands.py (SourceBase): add 'retry' parameter.
4201         (SourceBase.maybeDoVCRetry): If 'retry' is set, failures in
4202         doVCFull() are handled by re-trying the checkout (after a delay)
4203         some number of times.
4204         (ShellCommand._startCommand): make header lines easier to read
4206         * buildbot/test/test_web.py (WebTest.tearDown): factor out master
4207         shutdown
4208         (WebTest.test_logfile): make sure master gets shut down, silences
4209         some "unclean reactor" test errors
4211         * buildbot/test/test_changes.py (Sender.tearDown): spin the
4212         reactor once after shutdown, something in certain versions of
4213         Twisted trigger a test failure. 1.3.0 is ok, 2.0.0 fails, 2.0.1pre
4214         fails, svn-trunk is ok.
4216         * buildbot/test/test_slavecommand.py (Shell.testShellZ): add a
4217         second win32 error message
4219         * buildbot/test/test_run.py (Status.testSlave): be smarter about
4220         validating the ETA, so the tests don't fail on slow systems
4222 2005-05-15  Brian Warner  <warner@lothar.com>
4224         * buildbot/status/builder.py (HTMLLogFile): make this behave like
4225         the new LogFile class, so upgrading works properly
4226         (LogFileProducer.resumeProducing): survive resumeProducing after
4227         we've exhausted the chunkGenerator
4229         * buildbot/test/test_web.py (WebTest.test_logfile): validate HTML
4230         logs too
4231         * buildbot/test/test_status.py (Log.testAdd): validate hasContents
4232         (Log.testUpgrade): same
4234         * docs/buildbot.texinfo (Maintenance): describe how to delete old
4235         Builds and logs with a cron job.
4237         * buildbot/status/builder.py (LogFile): revamp LogFiles. Got rid
4238         of the old non-offline LogFile, added code to upgrade these to
4239         new-style contents-live-on-disk instances at load time (in a way
4240         that doesn't invalidate the old Build pickles, so upgrading to
4241         0.6.5 is not a one-way operation). Got rid of everything related
4242         to 'stub' builds.
4243         (LogFile.__init__): create LogFiles with the parent step status,
4244         the log's name, and a builder-relative filename where it can keep
4245         the contents on disk.
4246         (LogFile.hasContents): new method, clients are advised to call it
4247         before getText or getChunks and friends. If it returns False, the
4248         log's contents have been deleted and getText() will raise an
4249         error.
4250         (LogFile.getChunks): made it a generator
4251         (LogFile.subscribeConsumer): new method, takes a Twisted-style
4252         Consumer (except one that takes chunks instead of strings). This
4253         enables streaming of very large logfiles without storing the whole
4254         thing in memory.
4255         (BuildStatus.generateLogfileName): create names like
4256         12-log-compile-output, with a _0 suffix if required to be unique
4257         (BuildStatus.upgradeLogfiles): transform any old-style (from 0.6.4
4258         or earlier) logfiles into new-style ones
4259         (BuilderStatus): remove everything related to 'stub' builds. There
4260         is now only one build cache, and we don't strip logs from old
4261         builds anymore.
4262         (BuilderStatus.getBuildByNumber): check self.currentBuild too,
4263         since we no longer fight to keep it in the cache
4265         * buildbot/status/html.py (TextLog.render_GET): use a
4266         ChunkConsumer to stream the log entries efficiently.
4267         (ChunkConsumer): wrapper which consumes chunks and writes
4268         formatted HTML.
4270         * buildbot/test/test_twisted.py (Parse.testParse): use a
4271         LogFile-like object instead of a real one
4273         * buildbot/test/test_status.py (MyLog): handle new LogFile code
4274         (Log.testMerge3): validate more merge behavior
4275         (Log.testChunks): validate LogFile.getChunks
4276         (Log.testUpgrade): validate old-style LogFile upgrading
4277         (Log.testSubscribe): validate LogFile.subscribe
4278         (Log.testConsumer): validate LogFile.subscribeConsumer
4280         * buildbot/interfaces.py (IStatusLogStub): remove
4281         (IStatusLog.subscribeConsumer): new method
4282         (IStatusLog.hasContents): new method
4283         (IStatusLogConsumer): describes things passed to subscribeConsumer
4285         * buildbot/status/html.py (StepBox.getBox): Don't offer an href to
4286         the log contents if it does not have any contents.
4287         (StatusResourceBuildStep.body): same
4288         (StatusResourceBuildStep.getChild): give a 404 for empty logs
4290 2005-05-14  Brian Warner  <warner@lothar.com>
4292         * buildbot/test/test_web.py (WebTest.test_logfile): add 5-second
4293         timeouts to try and make the windows metabuildslave not hang
4295 2005-05-13  Mike Taylor  <bear@code-bear.com>
4297         * buildbot/slave/commands.py (rmdirRecursive): added a check
4298         to ensure the path passed into rmdirRecursive actually exists.
4299         On win32 a non-existant path would generate an exception.
4301 2005-05-13  Brian Warner  <warner@lothar.com>
4303         * buildbot/slave/commands.py (rmdirRecursive): replacement for
4304         shutil.rmtree which behaves correctly on windows in the face of
4305         files that you have to chmod before deleting. Thanks to Bear at
4306         the OSAF for the routine.
4307         (SourceBase.doClobber): use rmdirRecursive
4309 2005-05-12  Brian Warner  <warner@lothar.com>
4311         * buildbot/status/builder.py (OfflineLogFile.getChunks): have this
4312         method generate chunks instead of returning a big list. This
4313         allows the same method to be used for both old LogFile and new
4314         OfflineLogFile.
4315         (OfflineLogFile.getText): use the generator
4316         (OfflineLogFile.subscribe): same
4317         * buildbot/status/html.py (TextLog.resumeProducing): same
4318         * buildbot/interfaces.py (IStatusLog.getChunks): document it
4320         * buildbot/test/test_web.py (WebTest.test_logfile): Add a test to
4321         point out that OfflineLogFile does not currently work with
4322         html.Waterfall . Fixing this is high-priority.
4324         * buildbot/scripts/runner.py (start): add --logfile=twistd.log, since
4325         apparently windows defaults to using stdout
4327         * buildbot/test/test_slavecommand.py (Shell.testShellZ): log a
4328         better message on failure so I can figure out the win32 problem
4330         * buildbot/slave/commands.py (ShellCommand._startCommand): update
4331         log messages to include more useful copies of the command being
4332         run, the argv array, and the child command's environment.
4333         (Git.doVCFull): update cg-close usage, patch from Brandon Philips.
4335 2005-05-11  Brian Warner  <warner@lothar.com>
4337         * setup.py: oops, install debug.glade so 'buildbot debugclient'
4338         will actually work
4339         * Makefile: update the deb-snapshot version
4341         * docs/buildbot.texinfo: move all .xhtml docs into a new
4342         .texinfo-format document, adding a lot of material in the process.
4343         This is starting to look like a real user's manual. Removed all
4344         the Lore-related files: *.xhtml, *.css, template.tpl .
4345         * docs/Makefile: simple makefile to run 'makeinfo'
4346         * buildbot/scripts/sample.cfg: rearrange slightly
4347         * MANIFEST.in: include .info and .textinfo, don't include *.xhtml
4349 2005-05-10  Brian Warner  <warner@lothar.com>
4351         * buildbot/scripts/runner.py (start): Twisted-1.3.0 used a
4352         different name for the internal twistw module, handle it.
4354         * MANIFEST.in: we deleted plugins.tml, so stop shipping it
4355         * setup.py: .. and stop trying to install it
4357         * buildbot/process/step.py (Git): added support for 'cogito' (aka
4358         'git'), the new linux kernel VC system (http://kernel.org/git/).
4359         Thanks to Brandon Philips for the patch.
4360         * buildbot/slave/commands.py (Git): same
4362 2005-05-06  Brian Warner  <warner@lothar.com>
4364         * buildbot/status/builder.py (OfflineLogFile): replace the default
4365         LogFile with a form that appends its new contents to a disk file
4366         as they arrive. The complete log data is never kept in RAM. This
4367         is the first step towards handling very large (100MB+) logfiles
4368         without choking quite so badly. (The other half is
4369         producer/consumer on the HTML pages).
4370         (BuildStepStatus.addLog): use OfflineLogFile by default
4371         (BuildStatus.getLogfileName): helper code to give the
4372         OfflineLogFile a filename to work with
4374         * buildbot/test/test_status.py (Results.testAddResults): update
4375         tests to handle new asserts
4376         * buildbot/test/test_vc.py (Patch.doPatch): same
4377         * buildbot/test/test_steps.py (BuildStep.setUp): same
4379 2005-05-05  Brian Warner  <warner@lothar.com>
4381         * buildbot/scripts/runner.py (start): if there is no Makefile,
4382         launch the app by importing twistd's internals and calling run(),
4383         rather than spawning a new twistd process. This stands a much
4384         better chance of working under windows.
4385         (stop): kill the process with os.kill instead of spawning
4386         /bin/kill, again to reduce the number of external programs which
4387         windows might not have in the PATH. Also wait up to 5 seconds for
4388         the process to go away, allowing things like 'buildbot stop;
4389         buildbot start' to be reliable in the face of slow shutdowns.
4391         * buildbot/master.py (Dispatcher.__getstate__): remove old
4392         .tap-related methods
4393         (BuildMaster.__getstate__): same
4394         (makeService): same
4395         * buildbot/slave/bot.py (makeService): same
4396         (Options.longdesc): same
4397         * buildbot/scripts/runner.py: copy over some old mktap option text
4399         * buildbot/scripts/runner.py (masterTAC): stop using mktap.
4400         'buildbot master' now creates a buildbot.tac file, so there is no
4401         longer a create-instance/save/reload sequence. mktap is dead, long
4402         live twistd -y.
4403         * buildbot/scripts/sample.mk: use twistd -y, not -f
4404         * buildbot/test/test_config.py: remove mktap-based test
4405         * buildbot/bb_tap.py, buildbot/plugins.tml: delete old files
4406         * README: don't reference mktap
4408         * docs/source.xhtml: document some of the attributes that Changes
4409         might have
4411         * docs/steps.xhtml (Bazaar): document the Bazaar checkout step
4413         * general: merge in Change(tag=) patch from Thomas Vander Stichele.
4414         [org.apestaart@thomas--buildbot/buildbot--cvstag--0-dev--patch-2]
4415         * buildbot/changes/changes.py (Change)
4416         * buildbot/changes/mail.py (parseSyncmail)
4417         * buildbot/test/test_mailparse.py (Test3.getNoPrefix)
4418         (Test3.testMsgS5)
4419         * buildbot/process/base.py (Build.isTagImportant)
4420         (Build.addChange)
4423 2005-05-04  Brian Warner  <warner@lothar.com>
4425         * buildbot/clients/sendchange.py (Sender.send): tear down the PB
4426         connection after sending the change, so that unit tests don't
4427         complain about sockets being left around
4429         * buildbot/status/html.py (WaterfallStatusResource.body): fix
4430         exception in phase=0 rendering
4431         * buildbot/test/test_web.py (WebTest.test_waterfall): test it
4433         * buildbot/changes/dnotify.py (DNotify.__init__): remove debug msg
4435         * buildbot/master.py (BuildMaster.loadConfig): finally remove
4436         deprecated config keys: webPortnum, webPathname, irc, manholePort,
4437         and configuring builders with tuples.
4438         * buildbot/test/test_config.py: stop testing compatibility with
4439         deprecated config keys
4440         * buildbot/test/test_run.py: same
4442 2005-05-03  Brian Warner  <warner@lothar.com>
4444         * contrib/arch_buildbot.py: survive if there are no logfiles
4445         (username): just use a string, os.getlogin isn't reliable
4447         * buildbot/scripts/runner.py (sendchange): oops, fix the command
4448         so 'buildbot sendchange' actually works. The earlier test only
4449         covered the internal (non-reactor-running) form.
4451         * contrib/arch_buildbot.py: utility that can run as an Arch hook
4452         script to notify the buildmaster about changes
4454         * buildbot/scripts/runner.py (sendchange): new command to send a
4455         change to a buildbot.changes.pb.PBChangeSource receiver.
4456         * buildbot/test/test_changes.py (Sender): test it
4458         * buildbot/master.py (BuildMaster.startService): mark .readConfig
4459         after any reading of the config file, not just when we do it in
4460         startService. This makes some tests a bit cleaner.
4462         * buildbot/changes/pb.py: add some log messages
4464         * buildbot/process/base.py (Build.startBuild): fix a bug that
4465         caused an exception when the build terminated in the very first
4466         step.
4467         (Build.stepDone): let steps return a status of EXCEPTION. This
4468         terminates the build right away, and sets the build's overall
4469         status to EXCEPTION too.
4470         * buildbot/process/step.py (BuildStep.failed): return a status of
4471         EXCEPTION when that is what has happened.
4473         * buildbot/process/step.py (Arch.computeSourceRevision): finally
4474         implement this, allowing Arch-based projects to get precise
4475         checkouts instead of always using the latest code
4476         (Bazaar): create variant of Arch to let folks use baz instead of
4477         tla. Requires a new buildslave too.
4478         * buildbot/slave/commands.py (Arch): add 'revision' argument
4479         (Bazaar): create variant of Arch that uses baz instead of tla.
4480         Remove the code that extracts the archive name from the
4481         register-archive output, since baz doesn't provide it, and require
4482         the user provide both the archive name and its location.
4483         * buildbot/test/test_vc.py (VC.testBazaar): added tests
4485 2005-05-02  Brian Warner  <warner@lothar.com>
4487         * buildbot/scripts/sample.cfg: improve docs for c['buildbotURL'],
4488         thanks to Nick Trout.
4490         * buildbot/scripts/runner.py (Maker.makefile): chmod before edit,
4491         deals better with source Makefile coming from a read-only CVS
4492         checkout. Thanks to Nick Trout for the catch.
4494         * buildbot/__init__.py (version): bump to 0.6.4+ while between
4495         releases
4497 2005-04-28  Brian Warner  <warner@lothar.com>
4499         * buildbot/__init__.py (version): Releasing buildbot-0.6.4
4501         * debian/changelog: update for 0.6.4
4503 2005-04-28  Brian Warner  <warner@lothar.com>
4505         * README.w32: add a checklist of steps for getting buildbot
4506         running on windows.
4507         * MANIFEST.in: include it in the tarball
4509         * NEWS: update
4511         * buildbot/master.py (BuildMaster.upgradeToVersion3): deal with
4512         broken .tap files from 0.6.3 by getting rid of .services,
4513         .namedServices, and .change_svc at load time.
4515 2005-04-27  Brian Warner  <warner@lothar.com>
4517         * NEWS: update in preparation for new release
4519         * buildbot/test/test_config.py (Save.testSave): don't pull in
4520         twisted.scripts.twistd, we don't need it and it isn't for windows
4521         anyway.
4523         * buildbot/changes/changes.py (ChangeMaster.saveYourself):
4524         accomodate win32 which can't do atomic-rename
4526 2005-04-27  Brian Warner  <warner@lothar.com>
4528         * buildbot/test/test_run.py (Disconnect.testBuild2): crank up some
4529         timeouts to help the slow metabuildbot not flunk them so much
4530         (Disconnect.testBuild3): same
4531         (Disconnect.testBuild4): same
4532         (Disconnect.testInterrupt): same
4534         * buildbot/master.py (BuildMaster.loadChanges): fix change_svc
4535         setup, it was completely broken for new buildmasters (those which
4536         did not have a 'change.pck' already saved. Thanks to Paul Warren
4537         for catching this (embarrassing!) bug.
4538         (Dispatcher.__getstate__): don't save our registered avatar
4539         factories, since they'll be re-populated when the config file is
4540         re-read.
4541         (BuildMaster.__init__): add a dummy ChangeMaster, used only by
4542         tests (since the real mktap-generated BuildMaster doesn't save
4543         this attribute).
4544         (BuildMaster.__getstate__): don't save any service children,
4545         they'll all be re-populated when the config file is re-read.
4546         * buildbot/test/test_config.py (Save.testSave): test for this
4548 2005-04-26  Brian Warner  <warner@lothar.com>
4550         * buildbot/buildbot.png: use a new, smaller (16x16) icon image,
4551         rendered with Blender.. looks a bit nicer.
4552         * buildbot/docs/images/icon.blend: add the Blender file for it
4554         * buildbot/slave/commands.py (ShellCommand._startCommand): prepend
4555         'cmd.exe' (or rather os.environ['COMSPEC']) to the argv list when
4556         running under windows. This appears to be the best way to allow
4557         BuildSteps to do something normal like 'trial -v buildbot.test' or
4558         'make foo' and still expect it to work. The idea is to make the
4559         BuildSteps look as much like what a developer would type when
4560         compiling or testing the tree by hand. This approach probably has
4561         problems when there are spaces in the arguments, so if you've got
4562         windows buildslaves, you'll need to pay close attention to your
4563         commands.
4565         * buildbot/status/html.py (WaterfallStatusResource.body): add the
4566         timezone to the timestamp column.
4567         * buildbot/test/test_web.py (WebTest.test_waterfall): test it
4569         * buildbot/scripts/runner.py (loadOptions): do something sane for
4570         windows, I think. We use %APPDATA%/buildbot instead of
4571         ~/.buildbot, but we still search everywhere from the current
4572         directory up to the root for a .buildbot/ subdir. The "is it under
4573         $HOME" security test was replaced with "is it owned by the current
4574         user", which is only performed under posix.
4575         * buildbot/test/test_runner.py (Options.testFindOptions): update
4576         tests to match. The "is it owned by the current user" check is
4577         untested. The test has been re-enabled for windows.
4579         * buildbot/test/test_slavecommand.py (Shell.checkOutput): replace
4580         any "\n" in the expected output with the platform-specific line
4581         separator. Make this separator "\r\n" on PTYs under unix, they
4582         seem to do that and I don't know why
4584         * buildbot/test/test_runner.py (Options.optionsFile): disable on
4585         windows for now, I don't know what ~/.buildbot/ should mean there.
4587         * buildbot/test/test_run.py (BuilderNames.testGetBuilderNames):
4588         win32 compatibility, don't use "/tmp"
4589         (Basedir.testChangeBuilddir): remove more unixisms
4591 2005-04-26  Brian Warner  <warner@lothar.com>
4593         * buildbot/test/test_control.py (Force.rmtree): python2.2
4594         compatibility, apparently its shutil.rmtree ignore_errors=
4595         argument is ignored.
4596         * buildbot/test/test_run.py (Run.rmtree): same
4597         (RunMixin.setUp): same
4599         * buildbot/test/test_runner.py (make): python2.2 has os.sep but
4600         not os.path.sep
4602         * buildbot/test/test_twisted.py (Parse.failUnlessIn): 2.2 has no
4603         'substring in string' operator, must use string.find(substr)!=-1
4604         * buildbot/test/test_vc.py (Patch.failUnlessIn): same
4605         * buildbot/test/test_web.py (WebTest.failUnlessIn): same
4607         * buildbot/scripts/runner.py (loadOptions): add code to search for
4608         ~/.buildbot/, a directory with things like 'options', containing
4609         defaults for various 'buildbot' subcommands. .buildbot/ can be in
4610         the current directory, your $HOME directory, or anywhere
4611         inbetween, as long as you're somewhere inside your home directory.
4612         (debugclient): look in ~/.buildbot/options for master and passwd
4613         (statuslog): look in ~/.buildbot/options for 'masterstatus'
4614         * buildbot/test/test_runner.py (Options.testFindOptions): test it
4616         * buildbot/status/client.py (makeRemote): new approach to making
4617         IRemote(None) be None, which works under Twisted-2.0
4618         * buildbot/test/test_status.py (Client.testAdaptation): test it
4620         * buildbot/status/builder.py (Status.builderAdded): when loading a
4621         pickled BuilderStatus in from disk, set its name after loading.
4622         The config file might have changed its name (but not its
4623         directory) while it wasn't looking.
4624         
4625         * buildbot/process/builder.py (Builder.attached): always return a
4626         Deferred, even if the builder was already attached
4627         * buildbot/test/test_run.py (Basedir.testChangeBuilddir): test it
4629 2005-04-25  Brian Warner  <warner@lothar.com>
4631         * buildbot/status/words.py (IrcStatusBot.buildFinished): fix a
4632         category-related exception when announcing a build has finished
4634         * buildbot/status/html.py (StatusResourceChanges.body): oops, don't
4635         reference no-longer-existent changemaster.sources
4636         * buildbot/test/test_web.py (WebTest.test_waterfall): test for it
4638         * buildbot/__init__.py (version): bump to 0.6.3+ while between
4639         releases
4641 2005-04-25  Brian Warner  <warner@lothar.com>
4643         * buildbot/__init__.py (version): Releasing buildbot-0.6.3
4645         * debian/changelog: update for 0.6.3
4647 2005-04-25  Brian Warner  <warner@lothar.com>
4649         * MANIFEST.in: make sure debug.glade is in the tarball
4651         * README (REQUIREMENTS): list necessary Twisted-2.0 packages
4653         * NEWS: update for the imminent 0.6.3 release
4655         * buildbot/status/html.py (HtmlResource.content): make the
4656         stylesheet <link> always point at "buildbot.css".
4657         (StatusResource.getChild): map "buildbot.css" to a static.File
4658         containing whatever css= argument was provided to Waterfall()
4659         (Waterfall): provide the "classic" css as the default.
4660         * docs/waterfall.classic.css: move default CSS from here ..
4661         * buildbot/status/classic.css: .. to here
4663         * MANIFEST.in: make sure classic.css is included in the tarball
4664         * setup.py: and that it is installed too, under buildbot/status/
4666         * buildbot/master.py (BuildMaster): oops, set .change_svc=None at
4667         the module level, because buildbot.tap files from 0.6.2 don't have
4668         it in their attribute dictionary.
4670         * buildbot/slave/bot.py (Bot.startService): make sure the basedir
4671         really exists at startup, might save some confusion somewhere.
4673 2005-04-24  Thomas Vander Stichele  <thomas at apestaart dot org>
4675         * docs/waterfall.classic.css:
4676           add a stylesheet that's almost the same as the "classic"
4677           buildbot style
4679         * buildbot/status/builder.py:
4680           add EXCEPTION as a result - this is a problem for the bot
4681           maintainer, not a build problem for the changers
4682         * buildbot/process/step.py:
4683           use EXCEPTION instead of FAILURE for exceptions
4684         * buildbot/status/html.py:
4685           add build_get_class to get a class out of a build/buildstep
4686           finish naming the classes
4687           split out sourceNames to changeNames and builderNames so we
4688           can style them separately
4689         * docs/config.xhtml:
4690           finish documenting classes as they are right now
4692         * buildbot/status/html.py:
4693           name the classes as we agreed on IRC
4694         * docs/config.xhtml:
4695           and document them
4697         * buildbot/status/html.py:
4698           same for cssclass->class_
4700         * buildbot/status/html.py:
4701           as decided on IRC, use class_ for the "class" attribute to not
4702           conflict with the class keyword, and clean up the messy **{} stuff.
4704         * buildbot/status/mail.py:
4705           put back "builders" argument, and fix docstring, because the
4706           code *ignores* builders listed in this argument
4708         * buildbot/process/builder.py:
4709           remove FIXME notes - category is now indeed a cvar of BuilderStatus
4711         * docs/config.xhtml:
4712           describe the category argument for builders
4714         * buildbot/status/builder.py:
4715           Fix a silly bug due to merging
4717         * buildbot/process/builder.py:
4718           remove category from the process Builder ...
4719         * buildbot/status/builder.py:
4720           ... and add it to BuilderStatus instead.
4721           Set category on unpickled builder statuses, they might not have it.
4722         * buildbot/master.py:
4723           include category when doing builderAdded
4724         * buildbot/status/mail.py:
4725           return None instead of self for builders we are not interested in.
4726         * buildbot/test/test_run.py:
4727           fix a bug due to only doing deferredResult on "dummy" waiting
4728         * buildbot/test/test_status.py:
4729           add checks for the Mail IStatusReceiver returning None or self
4731         * buildbot/status/html.py:
4732           fix testsuite by prefixing page title with BuildBot
4734         * buildbot/status/builder.py:
4735           have .category in builder status ...
4736         * buildbot/process/builder.py:
4737           ... and set it from Builder
4738         * buildbot/status/html.py:
4739           make .css a class variable 
4740         * buildbot/test/test_status.py:
4741           write more tests to cover our categories stuff ...
4742         * buildbot/status/mail.py:
4743           ... and fix the bug that this uncovered
4745         * buildbot/changes/mail.py:
4746         * buildbot/changes/pb.py:
4747         * buildbot/master.py:
4748         * buildbot/process/base.py:
4749         * buildbot/process/factory.py:
4750         * buildbot/process/interlock.py:
4751         * buildbot/process/step.py:
4752         * buildbot/process/step_twisted.py:
4753         * buildbot/slave/commands.py:
4754         * buildbot/status/builder.py:
4755         * buildbot/status/client.py:
4756         * buildbot/status/html.py:
4757         * buildbot/status/mail.py:
4758         * buildbot/status/progress.py:
4759         * buildbot/test/test_changes.py:
4760         * buildbot/test/test_config.py:
4761         * buildbot/test/test_control.py:
4762         * buildbot/test/test_interlock.py:
4763         * buildbot/test/test_maildir.py:
4764         * buildbot/test/test_mailparse.py:
4765         * buildbot/test/test_run.py:
4766         * buildbot/test/test_slavecommand.py:
4767         * buildbot/test/test_status.py:
4768         * buildbot/test/test_steps.py:
4769         * buildbot/test/test_twisted.py:
4770         * buildbot/test/test_util.py:
4771         * buildbot/test/test_vc.py:
4772         * buildbot/test/test_web.py:
4773         * buildbot/util.py:
4774           add test-case-name at the top of a whole set of files
4776         * buildbot/status/builder.py:
4777           keep order of addition when getting builder names
4778         * buildbot/status/words.py:
4779         * buildbot/test/test_run.py:
4780           add test for getBuilderNames
4782         * buildbot/process/base.py:
4783         * buildbot/process/step.py:
4784         * buildbot/status/builder.py:
4785         * buildbot/status/html.py:
4786           make buildbot css-able
4787           replace the color code for purple with purple, don't understand
4788           why it wasn't purple to start with
4790         * buildbot/status/words.py:
4791           ok, so it doesn't look like BuilderStatus.remote is still valid.
4792           Use what waterfall uses instead.
4794         * buildbot/interfaces.py:
4795         * buildbot/status/builder.py:
4796         * buildbot/status/html.py:
4797         * buildbot/status/mail.py:
4798         * buildbot/status/words.py:
4799         * buildbot/test/test_run.py:
4800           use categories everywhere and make it be a list.  More sensible
4801           for the future.  Also make words actually respect this in
4802           buildFinished.
4804         * buildbot/interfaces.py:
4805           add category argument to getBuilderNames
4806         * buildbot/process/builder.py:
4807         * buildbot/status/builder.py:
4808         * buildbot/status/html.py:
4809         * buildbot/status/mail.py:
4810         * buildbot/status/words.py:
4811         * buildbot/test/test_run.py:
4812           move from specifying builders by name to specifying the category
4814         * buildbot/status/html.py:
4815         * buildbot/status/words.py:
4816           add "builders=" to __init__ of status clients so they can
4817           limit themselves to the given list of builders to report on
4819         * buildbot/status/html.py: set the title to the product name
4821 2005-04-23  Thomas Vander Stichele  <thomas at apestaart dot org>
4823         * buildbot/interfaces.py:
4824         * buildbot/status/builder.py:
4825           more documentation.  Hm, not sure if ChangeLog entries make sense
4826           here...
4828 2005-04-23  Brian Warner  <warner@lothar.com>
4830         * buildbot/test/test_vc.py (SetupMixin.do_vc): increase timeouts
4832         * buildbot/test/test_slavecommand.py (Shell): increase timeouts
4834         * buildbot/scripts/runner.py: make 'statuslog' and 'statusgui' be
4835         the sub-commands that log buildmaster status to stdout and to a
4836         GUI window, respectively.
4838         * buildbot/clients/gtkPanes.py: overhaul. basic two-row
4839         functionality is working again, but all the step-status and ETA
4840         stuff is missing. Commented out a lot of code pending more
4841         overhaul work.
4843         * buildbot/status/client.py: make sure that IRemote(None) is None
4845         * buildbot/changes/changes.py: import defer, oops
4846         (ChangeMaster): remove the .sources list, rely upon the fact that
4847         MultiServices can be treated as sequences of their children. This
4848         cleans up the add/remove ChangeSource routines a lot, as we keep
4849         exactly one list of the current sources instead of three.
4851         * buildbot/master.py (BuildMaster.__init__): remove .sources, set
4852         up an empty ChangeMaster at init time.
4853         (BuildMaster.loadChanges): if there are changes to be had from
4854         disk, replace self.change_svc with the new ones. If not, keep
4855         using the empty ChangeMaster set up in __init__.
4856         (BuildMaster.loadConfig_Sources): use list(self.change_svc)
4857         instead of a separate list, makes the code a bit cleaner.
4858         * buildbot/test/test_config.py (ConfigTest.testSimple): match it
4859         (ConfigTest.testSources): same, also wait for loadConfig to finish.
4860         Extend the test to make sure we can get rid of the sources when
4861         we're done.
4863 2005-04-22  Brian Warner  <warner@lothar.com>
4865         * buildbot/scripts/runner.py (Maker.mkinfo): create the info/admin
4866         and info/host files when making the slave directory
4868         * buildbot/test/test_run.py (RunMixin.shutdownSlave): remove the
4869         whendone= argument, just return the Deferred and let the caller do
4870         what they want with it.
4871         (Disconnect.testBuild1): wait for shutdownSlave
4872         (Basedir.testChangeBuilddir): new test to make sure changes to the
4873         builddir actually get propagated to the slave
4875         * buildbot/slave/bot.py (SlaveBuilder.setBuilddir): use an
4876         explicit method, rather than passing the builddir in __init__ .
4877         Make sure to update self.basedir too, this was broken before.
4878         (Bot.remote_setBuilderList): use b.setBuilddir for both new
4879         builders and for ones that have just had their builddir changed.
4880         (BotFactory): add a class-level .perspective attribute, so
4881         BuildSlave.waitUntilDisconnected won't get upset when the
4882         connection hasn't yet been established
4883         (BuildSlave.__init__): keep track of the bot.Bot instance, so
4884         tests can reach through it to inspect the SlaveBuilders
4886         * buildbot/process/base.py (Build.buildException): explain the
4887         log.err with a log.msg
4888         * buildbot/process/builder.py (Builder.startBuild): same
4889         (Builder._startBuildFailed): improve error message
4891         * buildbot/pbutil.py (RBCP.failedToGetPerspective): if the failure
4892         occurred because we lost the brand-new connection, retry instead
4893         of giving up. If not, it's probably an authorization failure, and
4894         it makes sense to stop trying. Make sure we log.msg the reason
4895         that we're log.err'ing the failure, otherwise test failures are
4896         really hard to figure out.
4898         * buildbot/master.py: change loadConfig() to return a Deferred
4899         that doesn't fire until the change has been fully implemented.
4900         This means any connected slaves have been updated with the new
4901         builddir. This change makes it easier to test the code which
4902         actually implements this builddir-updating.
4903         (BotPerspective.addBuilder): return Deferred
4904         (BotPerspective.removeBuilder): same
4905         (BotPerspective.attached): same
4906         (BotPerspective._attached): same. finish with remote_print before
4907         starting the getSlaveInfo, instead of doing them in parallel
4908         (BotPerspective.list_done): same
4909         (BotMaster.removeSlave): same. Fix the typo that meant we weren't
4910         actually calling slave.disconnect()
4911         (BotMaster.addBuilder): same
4912         (BotMaster.removeBuilder): same
4913         (BuildMaster.loadConfig): same
4914         (BuildMaster.loadConfig_Slaves): same
4915         (BuildMaster.loadConfig_Sources): same
4916         (BuildMaster.loadConfig_Builders): same
4917         (BuildMaster.loadConfig_status): same
4919         * buildbot/changes/changes.py (ChangeMaster.removeSource): return
4920         a Deferred that fires when the source is finally removed
4922         * buildbot/slave/commands.py (SourceBase.doClobber): when removing
4923         the previous tree on win32, where we have to do it synchronously,
4924         make sure we return a Deferred anyway.
4925         (SourceBase.doCopy): same
4927         * buildbot/scripts/runner.py (statusgui): use the text client for
4928         now, while I rewrite the Gtk one
4929         * buildbot/clients/base.py: strip out old code, leaving just the
4930         basic print-message-on-event functionality. I also remove the
4931         ReconnectingPBClientFactory, but it does at least quit when it
4932         loses the connection instead of going silent
4934 2005-04-21  Brian Warner  <warner@lothar.com>
4936         * Makefile: minor tweaks
4938         * NEWS: point out deprecation warnings, new features for
4939         /usr/bin/buildbot
4941         * buildbot/master.py (BuildMaster.loadConfig): emit
4942         DeprecationWarnings for Builders defined with tuples. Rearrange
4943         code to facility removal of deprecated configuration keys in the
4944         next release.
4946         * buildbot/scripts/runner.py (createMaster,createSlave): rewrite
4947         'buildbot' command to put a little Makefile in the target that
4948         helps you re-create the buildbot.tap file, start or stop the
4949         master/slave, and reconfigure (i.e. SIGHUP) the master. Also chmod
4950         all the files 0600, since they contain passwords.
4951         (start): if there is a Makefile, and /usr/bin/make exists, use
4952         'make start' in preference to a raw twistd command. This lets
4953         slave admins put things like PYTHONPATH variables in their
4954         Makefiles and have them still work when the slave is started with
4955         'buildbot start ~/slave/foo'. The test is a bit clunky, it would
4956         be nice to first try the 'make' command and only fall back to
4957         twistd if it fails. TODO: the Makefile's "start" command does not
4958         add the --reactor=win32 argument when running under windows.
4959         (Options.debugclient, Options.statusgui): add sub-commands to launch
4960         the debug client (formerly in contrib/debugclient.py) and the
4961         Gtk status application (currently broken)
4962         * buildbot/clients/debug.py: move from contrib/debugclient.py
4963         * buildbot/clients/debug.glade: same
4965         * buildbot/test/test_trial.py: remove it. This requires some
4966         functionality out of Twisted that isn't there yet, and until then
4967         having it around just confuses things.
4969         * buildbot/test/test_slavecommand.py (Shell): test both with and
4970         without PTYs, and make sure that command output is properly
4971         interleaved in the with-PTY case. I think the without-PTY test
4972         should pass on windows, where we never use PTYs anyway.
4974 2005-04-20  Brian Warner  <warner@lothar.com>
4976         * README (REQUIREMENTS): mention Twisted-2.0.0 compatibility
4978         * MANIFEST.in: add epyrun, gen-reference, buildbot.png
4980         * NEWS: start creating entries for the next release
4982         * buildbot/slave/commands.py (ShellCommand.__init__): use os.pathsep
4984         * buildbot/test/test_web.py (WebTest.test_webPortnum): add timeout
4985         (WebTest.test_webPathname): same
4986         (WebTest.test_webPathname_port): same
4987         (WebTest.test_waterfall): use the default favicon rather than
4988         rooting around the filesystem for it. Open the expected-icon file
4989         in binary mode, to make win32 tests happier (thanks to Nick Trout
4990         for the catch)
4991         * buildbot/status/html.py (buildbot_icon): win32 portability
4993         * buildbot/test/test_slavecommand.py (SlaveCommandTestCase.testShellZ):
4994         win32-compatibility fixes from Nick Trout, the "file not found" message
4995         is different under windows
4996         (FakeSlaveBuilder.__init__): clean up setup a bit
4997         * buildbot/test/test_vc.py (VCSupport.__init__): win32: use os.pathsep
4999 2005-04-19  Brian Warner  <warner@lothar.com>
5001         * buildbot/test/test_vc.py (SetupMixin.setUpClass): fix the
5002         skip-if-repositories-are-unavailable test to not kill the trial
5003         that comes with Twisted-1.3.0
5005         * setup.py: install buildbot.png icon file when installing code
5007         * buildbot/slave/commands.py (ShellCommand._startCommand): log the
5008         environment used by the command, at least on the child side.
5010         * buildbot/status/html.py (TextLog.pauseProducing): add a note,
5011         this method needs to be added and implemented because it gets
5012         called under heavy load. I don't quite understand the
5013         producer/consumer API enough to write it.
5014         (StatusResource.getChild): add a resource for /favicon.ico
5015         (Waterfall.__init__): add favicon= argument
5016         * buildbot/test/test_web.py (WebTest.test_waterfall): test it
5017         (WebTest.test_webPortnum): stop using deprecated 'webPortnum'
5018         (WebTest.test_webPathname): same
5019         (WebTest.test_webPathname_port): same
5020         * docs/config.xhtml: mention favicon=
5021         * buildbot/buildbot.png: add a default icon, dorky as it is
5023 2005-04-18  Thomas Vander Stichele  <thomas at apestaart dot org>
5025         * buildbot/master.py:
5026         * buildbot/process/base.py:
5027         * buildbot/process/builder.py:
5028         * buildbot/process/interlock.py:
5029         * buildbot/status/builder.py:
5030         * buildbot/status/html.py:
5031         * buildbot/status/mail.py:
5032         * buildbot/status/words.py:
5033           new documentation while digging through the code
5035 2005-04-17  Brian Warner  <warner@lothar.com>
5037         * general: try to fix file modes on all .py files: a+r, a-x,
5038         but let buildbot/clients/*.py be +x since they're tools
5040         * docs/epyrun (addMod): when an import fails, say why
5042         * Makefile: Add a 'docs' target, hack on the PYTHONPATH stuff
5044 2005-04-17  Thomas Vander Stichele  <thomas at apestaart dot org>
5046         * buildbot/process/base.py:
5047         * buildbot/process/builder.py:
5048         * buildbot/status/builder.py:
5049           new documentation while digging through the code
5051 2005-04-17  Thomas Vander Stichele  <thomas at apestaart dot org>
5053         * buildbot/changes/changes.py:
5054         * buildbot/changes/p4poller.py:
5055         * buildbot/interfaces.py:
5056         * buildbot/process/base.py:
5057         * buildbot/process/builder.py:
5058         * buildbot/process/step.py:
5059         * buildbot/process/step_twisted.py:
5060         * buildbot/slave/bot.py:
5061         * buildbot/slave/commands.py:
5062         * buildbot/status/builder.py:
5063           fix all docstrings to make epydoc happy.  In the process of fixing
5064           some, I also moved pieces of docs, and removed some deprecated
5065           documentation
5067 2005-04-17  Thomas Vander Stichele  <thomas at apestaart dot org>
5069         * buildbot/process/builder.py:
5070         * buildbot/process/interlock.py:
5071         * buildbot/process/process_twisted.py:
5072         * buildbot/process/step.py:
5073           BuildProcess -> Build, as it looks like that's what happened
5074         * buildbot/process/base.py:
5075         * buildbot/process/factory.py:
5076           update epydoc stuff
5078 2005-04-17  Brian Warner  <warner@lothar.com>
5080         * buildbot/process/process_twisted.py (QuickTwistedBuildFactory):
5081         update compile command to accomodate the Twisted split.. now
5082         instead of './setup.py build_ext -i', you do './setup.py all
5083         build_ext -i', to run build_ext over all sub-projects.
5084         (FullTwistedBuildFactory): same
5085         (TwistedReactorsBuildFactory): same
5087         * buildbot/status/html.py (TextLog.finished): null out self.req
5088         when we're done, otherwise the reference cycle of TextLog to .req
5089         to .notifications to a Deferred to TextLog.stop keeps them from
5090         being collected, and consumes a huge (610MB on pyramid at last
5091         check) amount of memory.
5093 2005-04-11  Brian Warner  <warner@lothar.com>
5095         * buildbot/test/test_vc.py (VCSupport.__init__): use abspath() to
5096         normalize the VC-repository location.. makes SVN happier with
5097         certain test environments.
5099         * buildbot/process/step.py (RemoteShellCommand.__init__): let each
5100         RemoteShellCommand gets its own .env dictionary, so that code in
5101         start() doesn't mutate the original. I think this should fix the
5102         step_twisted.Trial problem where multiple identical components
5103         kept getting added to PYTHONPATH= over and over again.
5105         * general: merge org.apestaart@thomas/buildbot--doc--0--patch-3,
5106         adding epydoc-format docstrings to many classes. Thanks to Thomas
5107         Vander Stichele for the patches.
5108         * docs/epyrun, docs/gen-reference: add epydoc-generating tools
5109         * buildbot/status/mail.py, buildbot/process/step_twisted.py: same
5110         * buildbot/slave/bot.py, commands.py, registry.py: same
5112 2005-04-05  Brian Warner  <warner@lothar.com>
5114         * buildbot/slave/commands.py (SourceBase.doCopy): use cp -p to
5115         preserve timestamps, helps incremental builds of large trees.
5116         Patch from Rene Rivera.
5118         * buildbot/slave/bot.py (SlaveBuilder.commandComplete): oops, log
5119         'failure' and not the non-existent 'why'. Thanks to Rene Rivera
5120         for the catch.
5122 2005-04-03  Brian Warner  <warner@lothar.com>
5124         * buildbot/master.py (BuildMaster.loadConfig): only call exec()
5125         with one dict, apparently exec has some scoping bugs when used
5126         with both global/local dicts. Thanks to Nathaniel Smith for the
5127         catch.
5129 2005-04-02  Brian Warner  <warner@lothar.com>
5131         * buildbot/process/step_twisted.py (countFailedTests): the new
5132         trial in Twisted-2.0 emits a slightly different status line than
5133         old trial ("PASSED.." instead of "OK.."). Handle it so we don't
5134         mistakenly think the test count is unparseable.
5135         (Trial.start): note that for some reason each build causes another
5136         copy of self.testpath to be prepended to PYTHONPATH. This needs to
5137         be fixed but I'm not sure quite where the problem is.
5139 2005-04-01  Brian Warner  <warner@lothar.com>
5141         * buildbot/test/test_run.py (Run.testMaster): change some uses of
5142         deferredResult to avoid hangs/warnings under twisted-2.0
5143         (RunMixin.tearDown): same
5144         (RunMixin.shutdownSlave): same
5145         (Disconnect.testIdle1): same
5146         (Disconnect.testBuild2): same: wait one second after the build
5147         finishes for test to really be done.. this should be cleaned up to
5148         avoid wasting that second. Builder.detach uses a callLater(0),
5149         either that should be done in-line (something else needed that
5150         behavior), or it should return a Deferred that fires when the
5151         builder is really offline.
5152         (Disconnect.testBuild3): same
5153         (Disconnect.testDisappear): same
5155         * buildbot/test/test_web.py: rearrange server-setup and teardown
5156         code to remove unclean-reactor warnings from twisted-2.0
5158         * buildbot/test/test_vc.py: rearrange probe-for-VC-program routine
5159         so the tests don't hang under twisted-2.0
5161 2005-03-31  Brian Warner  <warner@lothar.com>
5163         * buildbot/slave/bot.py (Bot.remote_setBuilderList): fix typo that
5164         caused a warning each time the master changed our set of builders
5166         * buildbot/status/builder.py (BuildStatus.saveYourself): under
5167         w32, don't unlink the file unless it already exists. Thanks to
5168         Baptiste Lepilleur for the catch.
5169         (BuilderStatus.saveYourself): same
5171 2005-02-01  Brian Warner  <warner@lothar.com>
5173         * buildbot/status/html.py (TextLog.getChild): use a /text child
5174         URL, such as http://foo.com/svn-hello/builds/1/test/0/text instead
5175         of http://foo.com/svn-hello/builds/1/test/0 , to retrieve the
5176         logfile as text/plain (no markup, no headers). This replaces the
5177         previous scheme (which used an ?text=1 argument), and gets us back
5178         to a relative link (which works better when the buildbot lives
5179         behind another web server, such as Apache configured as a reverse
5180         proxy). Thanks to Gerald Combs for spotting the problem.
5182         * buildbot/__init__.py (version): bump to 0.6.2+ while between
5183         releases
5185 2004-12-13  Brian Warner  <warner@lothar.com>
5187         * buildbot/__init__.py (version): Releasing buildbot-0.6.2
5189         * debian/changelog: update for 0.6.2
5190         * NEWS: finalize for 0.6.2
5192 2004-12-11  Brian Warner  <warner@lothar.com>
5194         * NEWS: bring it up to date
5196         * buildbot/slave/bot.py (BotFactory): revamp keepalive/lost-master
5197         detection code. Require some sign of life from the buildmaster
5198         every BotFactory.keepaliveInterval seconds. Provoke this
5199         indication at BotFactory.keepaliveTimeout seconds before the
5200         deadline by sending a keepalive request. We don't actually care if
5201         that request is answered in a timely fashion, what we care about
5202         is that .activity() is called before the deadline. .activity() is
5203         triggered by any PB message from the master (including an ack to
5204         one of the slave's status-update messages). With this new scheme,
5205         large status messages over slow pipes are OK, as long as any given
5206         message can be sent (and thus acked) within .keepaliveTimeout
5207         seconds (which defaults to 30).
5208         (SlaveBuilder.remote_startCommand): record activity
5209         (SlaveBuilder.ackUpdate): same
5210         (SlaveBuilder.ackComplete): same
5211         (BotFactory.gotPerspective): same
5212         * buildbot/test/test_run.py (Disconnect.testSlaveTimeout): test it
5214 2004-12-09  Brian Warner  <warner@lothar.com>
5216         * buildbot/status/html.py (StatusResourceBuilder.getChild): remove
5217         debug message
5219         * buildbot/process/step_twisted.py (Trial._commandComplete):
5220         update self.cmd when we start the 'cat test.log' transfer. Without
5221         this, we cannot interrupt the correct RemoteCommand when we lose
5222         the connection.
5224         * buildbot/process/step.py (RemoteCommand.interrupt): don't bother
5225         trying to tell the slave to stop the command if we're already
5226         inactive, or if we no longer have a .remote
5228         * buildbot/process/builder.py (Builder._detached): don't let an
5229         exception in currentBuild.stopBuild() prevent the builder from
5230         being marked offline
5232 2004-12-07  Brian Warner  <warner@lothar.com>
5234         * buildbot/status/words.py (IrcStatusBot.getBuilder): catch the
5235         KeyError that happens when you ask for a non-existent Builder, and
5236         translate it into a UsageError.
5238         * buildbot/test/test_run.py (Disconnect.testBuild4): validate that
5239         losing the slave in the middle of a remote step is handled too
5241         * buildbot/process/step.py (ShellCommand.interrupt): 'reason' can
5242         be a Failure, so be sure to stringify it before using it as the
5243         contents of the 'interrupt' logfile
5244         (RemoteCommand.interrupt): use stringified 'why' in
5245         remote_interruptCommand too, just in case
5247 2004-12-06  Brian Warner  <warner@lothar.com>
5249         * buildbot/slave/commands.py (Arch.doVCUpdate): use 'tla replay'
5250         instead of 'tla update', which is more efficient in case we've
5251         missed a couple of patches since the last update.
5253         * debian/changelog: update for previous (0.6.1) release. Obviously
5254         this needs to be handled better.
5256 2004-12-05  Brian Warner  <warner@lothar.com>
5258         * NEWS: update for stuff since last release
5260         * buildbot/master.py (DebugPerspective.attached): return 'self', to
5261         match the maybeDeferred change in Dispatcher.requestAvatar
5262         * buildbot/changes/pb.py (ChangePerspective.attached): same
5263         * buildbot/status/client.py (StatusClientPerspective.attached): same
5264         * buildbot/process/builder.py (Builder._attached3): same
5265         * buildbot/pbutil.py (NewCredPerspective.attached): same
5267         * buildbot/status/html.py (WaterfallStatusResource.phase2): Add
5268         the date to the top-most box, if it is not the same as today's
5269         date.
5271         * docs/slave.xhtml: provide a buildslave setup checklist
5273         * docs/source.xhtml (Arch): correct terminology
5275 2004-12-04  Brian Warner  <warner@lothar.com>
5277         * buildbot/test/test_slavecommand.py: use sys.executable instead
5278         of hard-coding 'python' for child commands, might help portability
5280         * docs/examples/twisted_master.cfg: update to current usage
5282         * buildbot/status/words.py (IrcStatusBot.command_STOP): add a
5283         'stop build' command to the IRC bot
5285         * buildbot/master.py (Dispatcher.requestAvatar): remove debug
5286         message that broke PBChangeSource
5288         * buildbot/slave/bot.py: clean up shutdown/lose-master code
5289         (SlaveBuilder): make some attributes class-level, remove the old
5290         "update queue" which existed to support resuming a build after the
5291         master connection was lost. Try to reimplement that feature later.
5292         (SlaveBuilder.stopCommand): clear self.command when the
5293         SlaveCommand finishes, so that we don't try to kill a leftover one
5294         at shutdown time.
5295         (SlaveBuilder.commandComplete): same, merge with commandFailed and
5296         .finishCommand
5298         * buildbot/slave/commands.py (SourceBase): set self.command for
5299         all VC commands, so they can be interrupted.
5301 2004-12-03  Brian Warner  <warner@lothar.com>
5303         * buildbot/master.py: clean up slave-handling code, to handle
5304         slave-disconnect and multiple-connect better
5305         (BotPerspective): make these long-lasting, exactly one per bot
5306         listed in the config file.
5307         (BotPerspective.attached): if a slave connects while an existing
5308         one appears to still be connected, disconnect the old one first.
5309         (BotPerspective.disconnect): new method to forcibly disconnect a
5310         buildslave. Use some hacks to empty the transmit buffer quickly to
5311         avoid the long (20-min?) TCP timeout that could occur if the old
5312         slave has dropped off the net.
5313         (BotMaster): Keep persistent BotPerspectives in .slaves, let them
5314         own their own SlaveStatus objects. Remove .attached/.detached, add
5315         .addSlave/.removeSlave, treat slaves like Builders (config file
5316         parsing sends deltas to the BotMaster). Inform the slave
5317         instances, i.e. the BotPerspective, about addBuilder and
5318         removeBuilder.
5319         (BotMaster.getPerspective): turns into a single dict lookup
5320         (Dispatcher.requestAvatar): allow .attached to return a Deferred,
5321         which gives BotPerspective.attached a chance to disconnect the old
5322         slave first.
5323         (BuildMaster.loadConfig): add code (disabled) to validate that all
5324         builders use known slaves (listed in c['bots']). The check won't
5325         work with tuple-specified builders, which are deprecated but not
5326         yet invalid, so the check is disabled for now.
5327         (BuildMaster.loadConfig_Slaves): move slave-config into a separate
5328         routine, do the add/changed/removed dance with them like we do
5329         with builders.
5330         (BuildMaster.loadConfig_Sources): move source-config into a
5331         separate routine too
5333         * buildbot/status/builder.py (Status.getSlave): get the
5334         SlaveStatus object from the BotPerspective, not the BotMaster.
5336         * buildbot/test/test_run.py: bunch of new tests for losing the
5337         buildslave at various points in the build, handling a slave that
5338         connects multiple times, and making sure we can interrupt a
5339         running build
5341         * buildbot/slave/bot.py (BuildSlave): make it possible to use
5342         something other than 'Bot' for the Bot object, to make certain
5343         test cases easier to write.
5344         (BuildSlave.waitUntilDisconnected): utility method for testing
5346 2004-11-30  Brian Warner  <warner@lothar.com>
5348         * buildbot/test/test_run.py (RunMixin): refactor, remove debug msg
5350         * buildbot/interfaces.py (IBuilderControl.ping): add timeout=
5351         argument, return a Deferred that always fires with True or False.
5352         I don't use an errback to indicate 'ping failed' so that callers
5353         are free to ignore the deferred without causing spurious errors in
5354         the logs.
5355         * buildbot/process/builder.py (BuilderControl.ping): implement it
5357         * buildbot/test/test_run.py (Status.testDisappear): test ping
5358         (Status.disappearSlave): fix it
5360 2004-11-30  Brian Warner  <warner@lothar.com>
5362         * buildbot/interfaces.py (IBuildControl): add .stopBuild
5363         (IBuilderControl): add .getBuild(num), only works for the current
5364         build, of course, although it might be interesting to offer
5365         something for builds in the .waiting or .interlocked state.
5367         * buildbot/process/base.py (Build): have .stopBuild just do the
5368         interrupt, then let the build die by itself.
5369         (BuildControl): add .stopBuild, and add a point-event named
5370         'interrupt' just after the build so status viewers can tell that
5371         someone killed it.
5372         (BuilderControl): add .getBuild
5374         * buildbot/process/step.py (Dummy): use haltOnFailure so it really
5375         stops when you kill it, good for testing
5376         (ShellCommand.interrupt): add a logfile named 'interrupt' which
5377         contains the 'reason' text.
5379         * buildbot/status/html.py: Add Stop Build button, if the build can
5380         still be stopped. Send a Redirect (to the top page) one second
5381         later, hopefully long enough for the interrupt to have an effect.
5382         Move make_row() up to top-level to share it between Stop Build and
5383         Force Build.
5385         * buildbot/slave/commands.py: only kill the child process once
5387         * buildbot/test/test_run.py: add testInterrupt
5389 2004-11-29  Brian Warner  <warner@lothar.com>
5391         * buildbot/process/base.py: Refactor command interruption. The
5392         Build is now responsible for noticing that the slave has gone
5393         away: Build.lostRemote() interrupts the current step and makes
5394         sure that no further ones will be started.
5395         
5396         * buildbot/process/builder.py: When the initial remote_startBuild
5397         message fails, log it: this usually indicates that the slave has
5398         gone away, but we don't really start paying attention until they
5399         fail to respond to the first step's command.
5401         * buildbot/process/step.py (RemoteCommand): Does *not* watch for
5402         slave disconnect. Now sports a new interrupt() method. Error
5403         handling was simplified a lot by chaining deferreds, so
5404         remoteFailed/remoteComplete were merged into a single
5405         remoteComplete method (which can now get a Failure object).
5406         Likewise failed/finished were merged into just _finished.
5407         (BuildStep): Add interrupt(why) method, and if why is a
5408         ConnectionLost Failure then the step is failed with some useful
5409         error text.
5411         * buildbot/slave/bot.py: stop the current command when the remote
5412         Step reference is lost, and when the slave is shut down.
5413         (Bot): make it a MultiService, so it can have children. Use
5414         stopService to tell when the slave is shutting down.
5415         (SlaveBuilder): make it a Service, and a child of the Bot. Add
5416         remote_interruptCommand (which asks the current SlaveCommand to
5417         stop but allows it to keep emitting status messages), and
5418         stopCommand (which tells it to shut up and die).
5420         * buildbot/slave/commands.py: make commands interruptible
5421         (ShellCommand.kill): factor out os.kill logic
5422         (Command): factor out setup()
5423         (Command.sendStatus): don't send status if .running is false, this
5424         happens when the command has been halted.
5425         (Command.interrupt): new method, used to tell the command to die
5426         (SlaveShellCommand): implement .interrupt
5427         (DummyCommand): implement .interrupt
5428         (SourceBase, etc): factor out setup(), don't continue substeps if
5429         .interrupted is set
5431         * buildbot/status/builder.py: fix all waitUntilFinished() methods
5432         so they can be called after finishing
5434         * buildbot/test/test_run.py: new tests for disconnect behavior,
5435         refactor slave-shutdown routines, add different kinds of
5436         slave-shutdown
5438 2004-11-27  Brian Warner  <warner@lothar.com>
5440         * buildbot/status/words.py (IrcStatusBot.convertTime): utility
5441         method to express ETA time like "2m45s" instead of "165 seconds"
5443 2004-11-24  Brian Warner  <warner@lothar.com>
5445         * buildbot/test/test_vc.py (VC.testArch): unregister the test
5446         archive after the test completes, to avoid cluttering the user's
5447         'tla archives' listing with a bogus entry. Arch doesn't happen to
5448         provide any way to override the use of ~/.arch-params/, so there
5449         isn't a convenient way to avoid touching the setup of the user who
5450         runs the test.
5451         (VC_HTTP.testArchHTTP): same
5453 2004-11-23  Brian Warner  <warner@lothar.com>
5455         * buildbot/status/html.py (TextLog): split render() up into
5456         render_HEAD and render_GET. Use a Producer when sending log
5457         chunks, to reduce memory requirements and avoid sending huge
5458         non-Banana-able strings over web.distrib connections. Requires
5459         peeking under the covers of IStatusLog.
5460         (TextLog.resumeProducing): fix the "as text" link, handle client
5461         disconnects that occur while we're still sending old chunks.
5463         * buildbot/status/builder.py (HTMLLogFile.waitUntilFinished): oops,
5464         use defer.succeed, not the non-existent defer.success
5465         (LogFile.waitUntilFinished): same
5466         (LogFile.subscribe): don't add watchers to a finished logfile
5468         * buildbot/__init__.py (version): bump to 0.6.1+ while between
5469         releases
5471 2004-11-23  Brian Warner  <warner@lothar.com>
5473         * buildbot/__init__.py (version): Releasing buildbot-0.6.1
5475 2004-11-23  Brian Warner  <warner@lothar.com>
5477         * NEWS: update for the 0.6.1 release
5478         * MANIFEST.in: add new files
5480         * README (INSTALLATION): explain how to enable the extra VC tests
5482         * buildbot/status/builder.py (LogFile): add .runEntries at the class
5483         level to, so old pickled builds can be displayed ok
5485 2004-11-22  Brian Warner  <warner@lothar.com>
5487         * NEWS: summarize updates since last release
5489         * README (SLAVE): fix usage of 'buildbot slave' command. Thanks to
5490         Yoz Grahame. Closes SF#1050138.
5492         * docs/changes.xhtml (FreshCVSSourceNewcred): fix typo. Closes
5493         SF#1042563.
5495         * buildbot/process/step_twisted.py (Trial): update docs a bit
5497         * docs/factories.xhtml: fix Trial factory docs to match reality.
5498         Closes: SF#1049758.
5500         * buildbot/process/factory.py (Trial.__init__): add args for
5501         randomly= and recurse=, making them available to instantiators
5502         instead of only to subclassers. Closes: SF#1049759.
5504 2004-11-15  Brian Warner  <warner@lothar.com>
5506         * buildbot/process/process_twisted.py (QuickTwistedBuildFactory):
5507         try to teach the Quick factory to use multiple versions of python
5509 2004-11-12  Brian Warner  <warner@lothar.com>
5511         * buildbot/status/builder.py (BuilderStatus.saveYourself): use a
5512         safer w32-compatible approach, and only use it on windows
5513         (BuildStatus.saveYourself): same
5515 2004-11-11  Brian Warner  <warner@lothar.com>
5517         * buildbot/status/builder.py (LogFile.addEntry): smarter way to do
5518         it: one string merge per chunk. There are now separate .entries
5519         and .runEntries lists: when enumerating over all chunks, make sure
5520         to look at both.
5521         * buildbot/test/test_status.py (Log): more tests
5523         * buildbot/status/builder.py (LogFile.addEntry): Merge string
5524         chunks together, up to 10kb per chunk. This ought to cut down on
5525         the CPU-burning overhead of large log files. Thanks to Alexander
5526         Staubo for spotting the problem.
5527         * buildbot/test/test_status.py (Log): tests for same
5529 2004-11-10  Brian Warner  <warner@lothar.com>
5531         * buildbot/status/mail.py (MailNotifier.buildMessage): add a Date
5532         header to outbound mail
5533         * buildbot/test/test_status.py (Mail.testBuild1): test for same
5535 2004-11-08  Brian Warner  <warner@lothar.com>
5537         * buildbot/status/builder.py (BuilderStatus.saveYourself): w32
5538         can't do os.rename() onto an existing file, so catch the exception
5539         and unlink the target file first. This introduces a slight window
5540         where the existing file could be lost, but the main failure case
5541         (disk full) should still be handled safely.
5542         (BuildStatus.saveYourself): same
5544         * buildbot/changes/pb.py (ChangePerspective): use a configurable
5545         separator character instead of os.sep, because the filenames being
5546         split here are coming from the VC system, which can have a
5547         different pathname convention than the local host. This should
5548         help a buildmaster running on windows that uses a CVS repository
5549         which runs under unix.
5550         * buildbot/changes/mail.py (MaildirSource): same, for all parsers
5552         * buildbot/process/step_twisted.py (Trial.createSummary): survive
5553         when there are no test failures to be parsed
5555         * buildbot/scripts/runner.py (createMaster): use shutil.copy()
5556         instead of the unix-specific os.system("cp"), thanks to Elliot
5557         Murphy for this and the other buildbot-vs-windows catches.
5558         * buildbot/test/test_maildir.py (MaildirTest.deliverMail): same
5560         * contrib/windows/buildbot.bat: prefix a '@', apparently to not
5561         echo the command as it is run
5563         * setup.py: install sample.mk too, not just sample.cfg
5564         (scripts): install contrib/windows/buildbot.bat on windows
5566 2004-11-07  Brian Warner  <warner@lothar.com>
5568         * buildbot/process/builder.py (Builder._detached): clear the
5569         self.currentBuild reference, otherwise the next build will be
5570         skipped because we think the Builder is already in use.
5572         * docs/examples/twisted_master.cfg: update to match current usage
5573         on the Twisted buildbot
5575 2004-10-29  Brian Warner  <warner@lothar.com>
5577         * buildbot/status/mail.py (MailNotifier): fix typo in docs
5579 2004-10-28  Brian Warner  <warner@lothar.com>
5581         * buildbot/slave/commands.py (SourceBase): refactor subclasses to
5582         have separate doVCUpdate/doVCFull methods. Catch an update failure
5583         and respond by clobbering the source directory and re-trying. This
5584         will handle local changes (like replacing a file with a directory)
5585         that will cause CVS and SVN updates to fail.
5586         * buildbot/test/test_vc.py (SetupMixin.do_vc): test the same
5588         * buildbot/process/step.py (LoggedRemoteCommand.__repr__): avoid a
5589         python-2.4 warning
5591 2004-10-19  Brian Warner  <warner@lothar.com>
5593         * buildbot/process/step_twisted.py (Trial.createSummary): bugfixes
5595         * buildbot/status/html.py (StatusResourceTestResults): display any
5596         TestResults that the Build might have
5597         (StatusResourceTestResult): and the logs for each TestResult
5598         (StatusResourceBuild): add link from the per-build page
5600 2004-10-15  Brian Warner  <warner@lothar.com>
5602         * buildbot/process/step_twisted.py (Trial.createSummary): parse
5603         the 'problems' portion of stdout, add TestResults to our build
5604         * buildbot/test/test_twisted.py (Parse.testParse): test it
5606         * buildbot/interfaces.py (IBuildStatus.getTestResults): new method
5607         to retrieve a dict of accumulated test results
5608         (ITestResult): define what a single test result can do
5609         * buildbot/status/builder.py (TestResult): implement ITestResult
5610         (BuildStatus.getTestResults): retrieve dict of TestResults
5611         (BuildStatus.addTestResult): add TestResults
5612         * buildbot/test/test_status.py (Results.testAddResults): test it
5614 2004-10-14  Brian Warner  <warner@lothar.com>
5616         * buildbot/test/test_maildir.py (MaildirTest): use shutil.rmtree
5617         instead of os.system("rm -rf") for win32 portability
5619         * buildbot/test/test_slavecommand.py (SlaveCommandTestCase): use
5620         SignalMixin instead of starting/stopping the reactor, which is
5621         likely to cause problems with other tests
5623         * buildbot/slave/commands.py (SourceBase.doCopy): remove leftover
5624         self.copyComplete() call. Yoz Grahame makes the catch.
5626         * contrib/windows/buildbot.bat: helper script to deal with path
5627         issues. Thanks to Yoz Grahame.
5629         * buildbot/master.py (BuildMaster.startService): don't register a
5630         SIGHUP handler if the signal module has no SIGHUP attribute.
5631         Apparently win32 does this.
5633         * buildbot/scripts/runner.py (start): add --reactor=win32 on win32
5635         * buildbot/test/test_web.py (WebTest.test_webPathname): skip the
5636         test if the reactor can't offer UNIX sockets
5638         * buildbot/status/html.py (StatusResourceBuild.body): fix syntax
5639         error introduced in the last commit. We really need that
5640         metabuildbot :).
5642 2004-10-12  Brian Warner  <warner@lothar.com>
5644         * buildbot/changes/mail.py (MaildirSource.describe): fix exception
5645         when describing a maildir source. Thanks to Stephen Davis.
5647         * buildbot/status/words.py (IrcStatusBot.command_WATCH): round off
5648         ETA seconds
5650         * buildbot/scripts/runner.py (createMaster): install Makefile too
5651         (start): add --no_save to 'start' command
5652         * buildbot/scripts/sample.mk: simple convenience Makefile with 
5653         start/stop/reload targets
5655         * buildbot/__init__.py (version): bump to 0.6.0+ while between
5656         releases
5658 2004-09-30  Brian Warner  <warner@lothar.com>
5660         * setup.py: Releasing buildbot-0.6.0
5662 2004-09-30  Brian Warner  <warner@lothar.com>
5664         * MANIFEST.in: add debian/*, sample.cfg, more docs files. Remove
5665         test_trial.py from the source tarball until support is complete.
5667         * NEWS: update for 0.6.0 release
5668         * buildbot/__init__.py (version): same
5669         * README: same
5671         * buildbot/status/words.py (IrcStatusBot.command_SOURCE): add
5672         'source' command to tell users where to get the Buildbot source
5674         * docs/examples/*.cfg: update to modern standards
5676         * NEWS: update for release
5678         * buildbot/scripts/runner.py (createMaster): remove the
5679         -shutdown.tap stuff now that it isn't necessary
5680         (createSlave): same
5681         (start): launch buildbot.tap, not buildbot-shutdown.tap
5684         * buildbot/status/mail.py (Domain): shorten class name
5685         (MailNotifier): if lookup= is a string, pass it to Domain()
5686         * buildbot/test/test_status.py (Mail.testBuild1): new class name
5687         (Mail.testBuild2): test the string-to-Domain shortcut
5688         (Mail.testMail): fix test
5691         * buildbot/scripts/sample.cfg: improve the build-the-buildbot
5692         example config file
5694         * buildbot/status/builder.py (BuildStatus.__setstate__): re-set
5695         more attributes on load
5696         (BuilderStatus.stubBuildCacheSize): bump to 30, this was too low
5697         to accomodate the whole waterfall page at once, and the thrashing
5698         results in a lot of unnecessary loads
5699         (BuildStatus.saveYourself): use binary pickles, not fluffy text
5700         (BuilderStatus.saveYourself): same
5701         (BuilderStatus.eventGenerator): stop generating on the first missing
5702         build. We assume that saved builds are deleted oldest-first.
5703         (BuildStepStatus.__getstate__): .progress might not exist
5705         * buildbot/changes/changes.py (ChangeMaster): make it
5706         serializable, in $masterdir/changes.pck
5707         (ChangeMaster.stopService): save on shutdown
5708         * buildbot/master.py (BuildMaster.loadChanges): load at startup
5709         * buildbot/test/test_config.py: load Changes before config file
5712         * buildbot/slave/commands.py (ShellCommand.doTimeout): put the
5713         "Oh my god, you killed the command" header on a separate line
5715         * buildbot/status/builder.py (BuilderStatus.getStubBuildByNumber):
5716         skip over corrupted build pickles
5717         (BuilderStatus.getFullBuildByNumber): same
5718         (BuilderStatus.eventGenerator): skip over unavailable builds
5719         (BuildStatus.saveYourself): save builds to a .tmp file first, then
5720         do an atomic rename. This prevents a corrupted pickle when some
5721         internal serialization error occurs.
5722         (BuilderStatus.saveYourself): same
5724         * buildbot/slave/commands.py (SlaveShellCommand): oops, restore
5725         the timeout for shell commands, it got lost somehow
5727         * buildbot/status/builder.py (BuilderStatus.eventGenerator): if we
5728         run out of build steps, return the rest of the builder events
5730         * buildbot/interfaces.py (IBuilderControl.ping): add method
5732         * buildbot/process/builder.py (BuilderControl.ping): move
5733         slave-ping to BuilderControl, and fix the failure case in the
5734         process (Event.finish() is the verb, Event.finished is the noun).
5736         * buildbot/status/html.py (StatusResourceBuilder.ping): ping
5737         through the BuilderControl instead of the BuilderStatus
5738         (EventBox): add adapter for builder.Event, allowing builder events to
5739         be displayed in the waterfall display
5741         * buildbot/master.py (BotMaster.stopService): add a 'master
5742         shutdown' event to the builder's log
5743         (BuildMaster.startService): and a 'master started' on startup
5745         * buildbot/status/builder.py (BuilderStatus.eventGenerator): merge
5746         builder events into the BuildStep event stream
5747         (Status.builderAdded): add a 'builder created' event
5750         * buildbot/status/words.py (IrcStatusBot.command_WATCH): new
5751         command to announce the completion of a running build
5752         (IrcStatusBot.command_FORCE): announce when the build finishes
5754         * buildbot/status/builder.py (BuilderStatus.addFullBuildToCache):
5755         don't evict unfinished builds from the cache: they must stay in
5756         the full-cache until their logfiles have stopped changing. Make
5757         sure the eviction loop terminates if an unfinished build was hit.
5758         (HTMLLogFile.getTextWithHeaders): return HTML as if it were text.
5759         This lets exceptions be dumped in an email status message. Really
5760         we need LogFiles which contain both text and HTML, instead of two
5761         separate classes.
5762         (BuildStatus.__getstate__): handle self.finished=False
5763         (Status.builderAdded): if the pickle is corrupted, abandon the
5764         history and create a new BuilderStatus object.
5766         * buildbot/process/base.py (Build.stopBuild): tolerate lack of a
5767         self.progress attribute, helped one test which doesn't fully set
5768         up the Build object.
5770         * buildbot/interfaces.py (IStatusLogStub): split out some of the
5771         IStatusLog methods into an Interface that is implemented by "stub"
5772         logs, for which all the actual text chunks are on disk (in the
5773         pickled Build instance). To show the log contents, you must first
5774         adapt the stub log to a full IStatusLog object.
5776         * buildbot/status/builder.py (LogFileStub): create separate stub
5777         log objects, which can be upgraded to a real one if necessary.
5778         (LogFile): make them persistable, and let them stubify themselves
5779         (HTMLLogFile): same
5780         (BuildStepStatus): same
5781         (BuildStatus): same
5782         (BuildStatus.saveYourself): save the whole build out to disk
5783         (BuilderStatus): make it persistable
5784         (BuilderStatus.saveYourself): save the builder to disk
5785         (BuilderStatus.addFullBuildToCache): implement two caches which
5786         hold Build objects: a small one which holds full Builds, and a
5787         larger one which holds "stubbed" Builds (ones with their LogFiles
5788         turned into LogFileStubs). This reduces memory usage by the
5789         buildmaster by not keeping more than a few (default is 2) whole
5790         build logs in RAM all the time.
5791         (BuilderStatus.getBuild): rewrite to pull from disk (through the
5792         cache)
5793         (BuilderStatus.eventGenerator): rewrite since .builds went away
5794         (BuilderStatus.buildStarted): remove the .builds array. Add the
5795         build to the "full" cache when it starts.
5796         (BuilderStatus._buildFinished): save the build to disk when it
5797         finishes
5798         (Status): give it a basedir (same as the BuildMaster's basedir)
5799         where the builder pickles can be saved
5800         (Status.builderAdded): create the BuilderStatus ourselves, by
5801         loading a pickle from disk (or creating a new instance if there
5802         was none on disk). Return the BuilderStatus so the master can glue
5803         it into the new Builder object.
5805         * buildbot/master.py (BotMaster.stopService): on shutdown, tell
5806         all BuilderStatuses to save themselves out to disk. This is in
5807         lieu of saving anything important in the main Application pickle
5808          (the -shutdown.tap file).
5809         (BuildMaster.__init__): give Status() a basedir for its files
5810         (BuildMaster.loadConfig_Builders): do status.builderAdded first,
5811         to get the BuilderStatus, then give it to the Builder (instead of
5812         doing it the other way around). It's ok if the status announces
5813         the new Builder before it's really ready, as the outside world can
5814         only see the BuilderStatus object anyway (and it is ready before
5815         builderAdded returns). Use the builder's "builddir" (which
5816         normally specifies where the slave will run the builder) as the
5817         master's basedir (for saving serialized builds).
5819         * buildbot/status/html.py (StatusResourceBuildStep.getChild):
5820         coerce the logfile to IStatusLog before trying to get the text
5821         chunks out of it. This will pull the full (non-stubified) Build in
5822         from disk if necessary.
5823         (TextLog): fix the adapter registration
5825         * buildbot/test/test_control.py (Force.setUp): create the basedir
5826         * buildbot/test/test_web.py: same
5827         * buildbot/test/test_vc.py (SetupMixin.setUp): same
5828         * buildbot/test/test_status.py (Mail.makeBuild): match new setup
5829         * buildbot/test/test_run.py (Run.testMaster): same
5830         (Status.setUp): same
5832 2004-09-29  Fred L. Drake, Jr.  <fdrake@acm.org>
5834         * buildbot/status/html.py (Waterfall.__init__): store actual
5835         allowForce flag passed in rather than using True for everyone;
5836         make sure setting it to False doesn't cause a NameError
5837         (Waterfall.setup).
5838         (StatusResourceBuilder.__init__) add the builder name to the page
5839         title.
5840         (StatusResourceBuilder.body) move HTML generation for a name/value
5841         row into a helper method (StatusResourceBuilder.make_row); only
5842         generate the "Force Build" form if allowForce was True and the
5843         slave is connected.  Use class attributes in the generated HTML to
5844         spread a little CSS-joy.
5846 2004-09-28  Brian Warner  <warner@lothar.com>
5848         * buildbot/process/step_twisted.py (Trial.createSummary): fix
5849         warning-scanner to not ignore things like
5850         'ComponentsDeprecationWarning' and 'exceptions.RuntimeWarning'
5852         * buildbot/status/html.py (StatusResource.control): add some
5853         class-level values for .control in an attempt to make upgrading
5854         smoother
5856         * buildbot/util.py (ComparableMixin): survive missing attributes,
5857         such as when a class is modified and we're comparing old instances
5858         against new ones
5860         * buildbot/status/words.py (IrcStatusBot.privmsg): clean up
5861         failure handling, remove a redundant try/except block. Don't
5862         return the full traceback to the IRC channel.
5863         (IrcStatusBot.command_FORCE): catch new exceptions, return useful
5864         error messages. Get ETA properly.
5866         * buildbot/status/html.py (StatusResourceBuild.body): html.escape
5867         the reason, since (at least) IRC message will have <> in them.
5868         (StatusResourceBuilder.__init__): take an IBuilderControl
5869         (StatusResourceBuilder.force): use the IBuilderControl we get in
5870         the constructor instead of trying to make our own. Catch the
5871         new exceptions and ignore them for now (until we make an
5872         intermediate web page where we could show the error message)
5873         (StatusResource): create with an IControl, use it to give an
5874         IBuilderControl to all children
5875         (Waterfall): take an allowForce= option, pass an IControl object
5876         to StatusResource if it is True
5878         * buildbot/test/test_web.py (ConfiguredMaster): handle IControl
5880         * buildbot/master.py (BotPerspective.perspective_forceBuild):
5881         catch new exceptions and return string forms
5883         * buildbot/interfaces.py: add NoSlaveError, BuilderInUseError
5884         * buildbot/process/builder.py (Builder.forceBuild): raise them
5885         * buildbot/test/test_control.py (Force.testNoSlave): new test
5886         (Force.testBuilderInUse): same
5889         * buildbot/status/words.py (IrcStatusBot): enable build-forcing
5891         * buildbot/test/test_run.py: use IControl
5892         * buildbot/test/test_vc.py: same
5894         * buildbot/status/html.py (StatusResourceBuilder.force): rewrite
5895         to use IControl. Still offline.
5896         * buildbot/status/words.py (IrcStatusBot.command_FORCE): same
5898         * buildbot/process/builder.py (Builder.doPeriodicBuild): set
5899         who=None so periodic builds don't send out status mail
5900         (Builder.forceBuild): include reason in the log message
5901         (BuilderControl.forceBuild): rename 'name' to 'who'
5903         * buildbot/master.py (BotPerspective.perspective_forceBuild): add
5904         'who' parameter, but make it None by default so builds forced by
5905         slave admins don't cause status mail to be sent to anybody
5906         (BotMaster.forceBuild): same. this method is deprecated.
5907         (DebugPerspective.perspective_forceBuild): same, use IControl.
5908         (DebugPerspective.perspective_fakeChange): use IControl..
5909         (Dispatcher.requestAvatar): .. so don't set .changemaster
5911         * buildbot/interfaces.py (IBuilderControl.forceBuild): rename 'who'
5912         parameter to avoid confusion with the name of the builder
5915         * buildbot/status/mail.py: refine comment about needing 2.3
5917         * buildbot/status/html.py: move all imports to the top
5919         * buildbot/test/test_control.py: test new interfaces
5920         * buildbot/test/test_run.py (Status): handle new interfaces
5921         * buildbot/test/test_vc.py (SetupMixin.doBuild): same
5923         * buildbot/process/base.py (BuildControl): implement IBuildControl
5924         and its lonely getStatus() method
5926         * buildbot/process/builder.py (BuilderControl): implement
5927         IBuilderControl, obtained by adapting the Builder instance
5928         (Builder.startBuild): return a BuilderControl instead of a
5929         Deferred. The caller can use bc.getStatus().waitUntilFinished() to
5930         accomplish the same thing.
5932         * buildbot/master.py: move all import statements to the top
5933         (Control): implement IControl, obtained by adapting the
5934         BuildMaster instance.
5936         * buildbot/interfaces.py: add IControl, IBuilderControl, and
5937         IBuildControl. These are used to force builds. Eventually they
5938         will provide ways to reconfigure the Builders, pause or abandon a
5939         Build, and perhaps control the BuildMaster itself.
5941 2004-09-26  Brian Warner  <warner@lothar.com>
5943         * buildbot/util.py (ComparableMixin): survive twisted>1.3.0 which
5944         ends up comparing us against something without a .__class__
5946 2004-09-24  Brian Warner  <warner@lothar.com>
5948         * buildbot/scripts/runner.py: rearrange option parsing a lot, to get
5949         usage text right.
5951         * Makefile: add 'deb-snapshot' target, to create a timestamped
5952         .deb package
5954         * debian/rules (binary-indep): skip CVS/ files in dh_installexamples
5956 2004-09-23  Brian Warner  <warner@lothar.com>
5958         * buildbot/__init__.py (version): move version string here
5959         * setup.py: get version string from buildbot.version
5960         * buildbot/status/html.py (WaterfallStatusResource.body): add
5961         buildbot version to the page footer
5962         * buildbot/status/words.py (IrcStatusBot.command_VERSION): provide
5963         version when asked
5965         * buildbot/master.py (BotMaster.getPerspective): detect duplicate
5966         slaves, let the second know where the first one is coming from
5967         (BuildMaster.__init__): turn on .unsafeTracebacks so the slave can
5968         see our exceptions. It would be nice if there were a way to just
5969         send them the exception type and value, not the full traceback.
5972         * buildbot/status/mail.py (MailNotifier): add a new argument
5973         sendToInterestedUsers=, which can be set to False to disable the
5974         usual send-to-blamelist behavior.
5975         (top): handle python-2.2 which has no email.MIMEMultipart
5976         (MailNotifier.buildMessage): don't send logs without MIMEMultipart
5977         (MailNotifier.disownServiceParent): unsubscribe on removal
5979         * buildbot/test/test_status.py (Mail.testBuild2): test it
5982         * buildbot/status/progress.py (Expectations.wavg): tolerate
5983         current=None, which happens when steps start failing badly
5984         * buildbot/test/test_status.py (Progress.testWavg): test for it
5986         * buildbot/process/step.py (SVN.startVC): when the (old) slave
5987         doesn't understand args['revision'], emit a warning instead of
5988         bailing completely. Updating to -rHEAD is probably close enough.
5990         * buildbot/process/step_twisted.py (Trial.start): fix sanity-check
5992         * buildbot/test/test_status.py: at least import bb.status.client
5993         even if we don't have any test coverage for it yet
5995         * contrib/svn_buildbot.py: don't require python2.3
5996         (main): wait, do require it (for sets.py), but explain how to
5997         make it work under python2.2
5999 2004-09-23  Brian Warner  <warner@lothar.com>
6001         * contrib/svn_buildbot.py: include the revision number in the Change
6003         * buildbot/changes/freshcvs.py (FreshCVSSourceNewcred): use when=,
6004         using util.now() because FreshCVS is a realtime service
6006         * buildbot/status/event.py: delete dead code
6007         * buildbot/process/step.py: don't import dead Event class
6008         * buildbot/process/step_twisted.py: same
6009         * buildbot/status/builder.py: same
6010         * buildbot/status/client.py: same
6012         * buildbot/test/test_process.py: kill buggy out-of-date disabled test
6014         * buildbot/changes/changes.py (Change): set .when from an __init__
6015         argument (which defaults to now()), rather than having
6016         ChangeMaster.addChange set it later.
6017         (ChangeMaster.addChange): same
6019         * buildbot/changes/mail.py (parseFreshCVSMail): pass in when=
6020         (parseSyncmail): same. Just use util.now() for now.
6021         (parseBonsaiMail): parse the timestamp field for when=
6023         * buildbot/test/test_vc.py (SourceStamp.addChange): page in when=
6024         instead of setting .when after the fact
6026 2004-09-22  slyphon
6028         * buildbot/slave/trial.py: new SlaveCommand to machine-parse test
6029         results when the target project uses retrial. Still under
6030         development.
6031         * buildbot/test/test_trial.py: same
6033 2004-09-21  Brian Warner  <warner@lothar.com>
6035         * buildbot/status/mail.py (MailNotifier.__init__): include
6036         success/warnings/failure in the Subject line
6037         (MailNotifier.buildMessage): add the buildbot's URL to the body,
6038         use step.logname for the addLogs=True attachment filenames
6039         * buildbot/test/test_status.py (Mail): test Subject lines
6040         (Mail.testLogs): test attachment filenames
6042         * buildbot/master.py (DebugPerspective.perspective_fakeChange):
6043         accept a 'who' argument from the debug tool
6044         * contrib/debugclient.py (DebugWidget.do_commit): send 'who'
6045         * contrib/debug.glade: add text box to set 'who'
6047         * buildbot/interfaces.py (IBuildStatus.getBuilder): replace
6048         .getBuilderName with .getBuilder().getName(), more flexible
6049         (IStatusLog.getName): logs have short names, but you can prefix
6050         them with log.getStep().getName() to make them more useful
6051         * buildbot/status/builder.py: same
6052         * buildbot/status/client.py: same
6053         * buildbot/status/html.py: same
6054         * buildbot/test/test_run.py (Status.testSlave): same
6055         * buildbot/process/step.py: tweak logfile names
6057         * buildbot/status/mail.py (MailNotifier): add lookup, change
6058         argument to extraRecipients. The notifier is now aimed at sending
6059         mail to the people involved in a particular build, with additional
6060         constant recipients as a secondary function.
6062         * buildbot/test/test_status.py: add coverage for IEmailLookup,
6063         including slow-lookup and failing-lookup. Make sure the blamelist
6064         members are included.
6066         * buildbot/interfaces.py: new interfaces IEmailSender+IEmailLookup
6067         (IBuildStatus.getResponsibleUsers): rename from getBlamelist
6068         (IBuildStatus.getInterestedUsers): new method
6069         * buildbot/status/builder.py (BuildStatus.getResponsibleUsers): same
6070         * buildbot/status/client.py (remote_getResponsibleUsers): same
6071         * buildbot/status/html.py (StatusResourceBuild.body): same
6072         * buildbot/test/test_run.py (Status.testSlave): same
6074 2004-09-20  Brian Warner  <warner@lothar.com>
6076         * docs/users.xhtml: update concepts
6078         * Makefile: add a convenience makefile, for things like 'make
6079         test'. It is not included in the source tarball.
6081 2004-09-16  Brian Warner  <warner@lothar.com>
6083         * NEWS: mention /usr/bin/buildbot, debian/*
6085         * debian/*: add preliminary debian packaging. Many thanks to
6086         Kirill Lapshin (and Kevin Turner) for the hard work. I've mangled
6087         it considerably since it left their hands, I am responsible for
6088         all breakage that's resulted.
6090         * bin/buildbot: create a top-level 'buildbot' command, to be
6091         installed in /usr/bin/buildbot . For now it's just a simple
6092         frontend to mktap/twistd/kill, but eventually it will be the entry
6093         point to the 'try' command and also a status client. It is also
6094         intended to support the upcoming debian-packaging init.d scripts.
6095         * buildbot/scripts/runner.py: the real work is done here
6096         * buildbot/scripts/__init__.py: need this too
6097         * buildbot/scripts/sample.cfg: this is installed in new
6098         buildmaster directories
6099         * setup.py: install new stuff
6101 2004-09-15  Brian Warner  <warner@lothar.com>
6103         * buildbot/test/test_vc.py: skip SVN tests if svn can't handle the
6104         'file:' schema (the version shipped with OS-X was built without the
6105         ra_local plugin).
6106         (SetupMixin.tearDown): stop the goofy twisted.web timer which
6107         updates the log-timestamp, to make sure it isn't still running after
6108         the test finishes
6110         * docs/config.xhtml: Add projectName, projectURL, buildbotURL
6111         values to the config file.
6112         * docs/examples/hello.cfg: add examples
6113         * buildbot/interfaces.py (IStatus.getBuildbotURL): define accessors
6114         * buildbot/status/builder.py (Status.getProjectURL): implement them
6115         * buildbot/master.py (BuildMaster.loadConfig): set them from config
6116         * buildbot/test/test_config.py (ConfigTest.testSimple): test them
6117         * buildbot/status/html.py (WaterfallStatusResource): display them
6120         * buildbot/test/test_vc.py (FakeBuilder.name): add attribute so
6121         certain error cases don't suffer a secondary exception.
6122         (top): Skip tests if the corresponding VC tool is not installed.
6124         * buildbot/process/factory.py (Trial): introduce separate
6125         'buildpython' and 'trialpython' lists, since trialpython=[] is
6126         what you want to invoke /usr/bin/python, whereas ./setup.py is
6127         less likely to be executable. Add env= parameter to pass options
6128         to test cases (which is how I usually write tests, I don't know if
6129         anyone else does it this way).
6131         * buildbot/process/step_twisted.py (Trial): handle python=None.
6132         Require 'testpath' be a string, not a list. Fix tests= typo.
6133         (Trial.start): sanity-check any PYTHONPATH value for stringness.
6135         * buildbot/process/step.py (RemoteCommand._remoteFailed): goofy
6136         way to deal with the possibility of removing the disconnect notify
6137         twice.
6138         (CVS): add a 'login' parameter to give a password to 'cvs login',
6139         commonly used with pserver methods (where pw="" or pw="guest")
6141         * buildbot/slave/commands.py (SourceBase): move common args
6142         extraction and setup() to __init__, so everything is ready by the
6143         time setup() is called
6144         (CVS.start): call 'cvs login' if a password was supplied
6145         (ShellCommand): special-case PYTHONPATH: prepend the master's
6146         value to any existing slave-local value.
6148         * buildbot/process/builder.py (Builder.updateBigStatus): if we
6149         don't have a remote, mark the builder as Offline. This whole
6150         function should probably go away and be replaced by individual
6151         deltas.
6152         (Builder.buildFinished): return the results to the build-finished
6153         deferred callback, helps with testing
6155 2004-09-14  Brian Warner  <warner@lothar.com>
6157         * buildbot/test/test_vc.py: put all the repositories needed to run
6158         the complete tests into a single small (1.3MB) tarball, so I can
6159         make that tarball available on the buildbot web site. Test HTTP
6160         access (for Arch and Darcs) by spawning a temporary web server
6161         while the test runs.
6163         * docs/users.xhtml: new document, describe Buildbot's limited
6164         understanding of different human users
6166         * buildbot/test/test_vc.py: rearrange test cases a bit
6168         * buildbot/process/step_twisted.py (Trial): handle testpath=
6169         * buildbot/process/factory.py (Trial): update to use step.Trial
6171         * buildbot/slave/commands.py (ShellCommandPP): fix fatal typo
6173         * buildbot/status/builder.py (BuildStatus.getText): add text2 to
6174         the overall build text (which gives you 'failed 2 tests' rather
6175         than just 'failed')
6176         (BuildStepStatus.text2): default to [], not None
6178         * buildbot/process/step_twisted.py (Trial.commandComplete): text2
6179         must be a list
6181 2004-09-12  Brian Warner  <warner@lothar.com>
6183         * buildbot/master.py (BotPerspective._commandsUnavailable): don't
6184         log the whole exception if it's just an AttributeError (old slave)
6186         * buildbot/process/step.py (ShellCommand.__init__): stash .workdir
6187         so (e.g.) sub-commands can be run in the right directory.
6188         (ShellCommand.start): accept an optional errorMessage= argument
6189         to make life easier for SVN.start
6190         (SVN.startVC): put the "can't do mode=export" warning in the LogFile
6191         headers
6192         (ShellCommand.start): move ['dir'] compatibility hack..
6193         (RemoteShellCommand.start): .. to here so everyone can use it
6195         * buildbot/process/step_twisted.py (Trial): use .workdir
6197         * buildbot/process/step_twisted.py (BuildDebs.getText): fix the
6198         text displayed when debuild fails completely
6199         (Trial): snarf _trial_temp/test.log from the slave and display it
6201 2004-09-11  Brian Warner  <warner@lothar.com>
6203         * buildbot/process/step_twisted.py (ProcessDocs.getText): typo
6205         * buildbot/process/process_twisted.py (TwistedTrial.tests): oops,
6206         set to 'twisted', so --recurse can find twisted/web/test/*, etc
6208         * buildbot/process/step.py (ShellCommand): call .createSummary
6209         before .evaluateCommand instead of the other way around. This
6210         makes it slightly easier to count warnings and then use that to
6211         set results=WARNINGS
6212         * buildbot/process/step_twisted.py: cosmetic, swap the methods
6214         * buildbot/process/base.py (Build.buildFinished): update status
6215         before doing progress. It's embarrassing for the build to be stuck
6216         in the "building" state when an exceptions occurs elsewhere..
6218         * buildbot/status/progress.py (Expectations.expectedBuildTime):
6219         python2.2 doesn't have 'sum'
6221         * buildbot/status/builder.py (Status.getBuilderNames): return a copy,
6222         to prevent clients from accidentally sorting it
6224         * buildbot/master.py (Manhole): add username/password
6225         (BuildMaster.loadConfig): use c['manhole']=Manhole() rather than
6226         c['manholePort'], deprecate old usage
6227         * docs/config.xhtml: document c['manhole']
6228         * docs/examples/hello.cfg: show example of using a Manhole
6231         * buildbot/test/test_steps.py (FakeBuilder.getSlaveCommandVersion):
6232         pretend the slave is up to date
6234         * buildbot/status/builder.py (BuildStepStatus.stepFinished): 'log',
6235         the module, overlaps with 'log', the local variable
6237         * buildbot/status/html.py: oops, 2.2 needs __future__ for generators
6239         * buildbot/process/builder.py (Builder.getSlaveCommandVersion):
6240         new method to let Steps find out the version of their
6241         corresponding SlaveCommand.
6242         * buildbot/process/step.py (BuildStep.slaveVersion): utility method
6243         (ShellCommand.start): add 'dir' argument for <=0.5.0 slaves
6244         (CVS.startVC): backwards compatibility for <=0.5.0 slaves
6245         (SVN.startVC): same
6246         (Darcs.startVC): detect old slaves (missing the 'darcs' command)
6247         (Arch.startVC): same
6248         (P4Sync.startVC): same
6250         * buildbot/process/step.py (LoggedRemoteCommand.start): return the
6251         Deferred so we can catch errors in remote_startCommand
6252         (RemoteShellCommand.start): same
6254         * docs/examples/twisted_master.cfg: update sample config file
6256         * buildbot/slave/commands.py (ShellCommandPP): write to stdin
6257         after connectionMade() is called, not before. Close stdin at that
6258         point too.
6260         * buildbot/process/process_twisted.py: update to use Trial, clean
6261         up argument passing (move to argv arrays instead of string
6262         commands)
6264         * buildbot/process/step_twisted.py (Trial): new step to replace
6265         RunUnitTests, usable by any trial-using project (not just
6266         Twisted). Arguments have changed, see the docstring for details.
6268         * buildbot/process/base.py (Build.startBuild): this now returns a
6269         Deferred. Exceptions that occur during setupBuild are now
6270         caught better and lead to fewer build_status weirdnesses, like
6271         finishing a build that was never started.
6272         (Build.buildFinished): fire the Deferred instead of calling
6273         builder.buildFinished directly. The callback argument is this
6274         Build, everything else can be extracted from it, including the
6275         new build.results attribute.
6276         * buildbot/process/builder.py (Builder.startBuild): same
6277         (Builder.buildFinished): same, extract results from build
6279         * buildbot/process/step.py (ShellCommands): remove dead code
6281 2004-09-08  Brian Warner  <warner@lothar.com>
6283         * buildbot/test/test_vc.py (VC.doPatch): verify that a new build
6284         doesn't try to use the leftover patched workdir
6285         (SourceStamp): test source-stamp computation for CVS and SVN
6287         * buildbot/slave/commands.py (SourceBase.doPatch): mark the
6288         patched workdir ('touch .buildbot-patched') so we don't try to
6289         update it later
6290         (SourceBase.start): add ['revision'] for all Source steps
6291         (CVS): change args: use ['branch'] for -r, remove ['files']
6292         (CVS.buildVC): fix revision/branch stuff
6293         (SVN): add revision stuff
6295         * buildbot/process/step.py (BuildStep.__init__): reject unknown
6296         kwargs (except 'workdir') to avoid silent spelling errors
6297         (ShellCommand.__init__): same
6298         (Source): new base class for CVS/SVN/etc. Factor out everything
6299         common, add revision computation (perform the checkout with a -D
6300         DATE or -r REVISION that gets exactly the sources described by the
6301         last Change), overridable with step.alwaysUseLatest. Add patch
6302         handling (build.getSourceStamp can trigger the use of a base
6303         revision and a patch).
6304         (CVS, SVN, Darcs, Arch, P4Sync): refactor, remove leftover arguments
6305         * docs/steps.xhtml: update docs
6306         * docs/source.xhtml: mention .checkoutDelay
6307         * docs/examples/hello.cfg: show use of checkoutDelay, alwaysUseLatest
6309         * buildbot/process/base.py (Build.setSourceStamp): add a
6310         .sourceStamp attribute to each Build. If set, this indicates that
6311         the build should be done with something other than the most
6312         recent source tree. This will be used to implement "try" builds.
6313         (Build.allChanges): new support method
6314         (Build.lastChangeTime): remove, functionality moved to Source steps
6315         (Build.setupBuild): copy the Step args before adding ['workdir'],
6316         to avoid modifying the BuildFactory (and thus triggering spurious
6317         config changes)
6320         * buildbot/status/html.py: rename s/commits/changes/
6321         (StatusResourceChanges): same
6322         (CommitBox.getBox): same, update URL
6323         (WaterfallStatusResource): same
6324         (StatusResource.getChild): same
6326         * contrib/debugclient.py (DebugWidget.do_commit): send .revision
6327         * contrib/debug.glade: add optional 'revision' to the fakeChange
6329         * buildbot/changes/changes.py (html_tmpl): display .revision
6330         (ChangeMaster.addChange): note .revision in log
6331         * buildbot/changes/pb.py (ChangePerspective.perspective_addChange):
6332         accept a ['revision'] attribute
6334         * buildbot/process/factory.py (BuildFactory): use ComparableMixin
6336         * buildbot/master.py (BotMaster.getPerspective): update the
6337         .connected flag in SlaveStatus when it connects
6338         (BotMaster.detach): and when it disconnects
6339         (DebugPerspective.perspective_fakeChange): take a 'revision' attr
6340         (BuildMaster.loadConfig_Builders): walk old list correctly
6342         * buildbot/test/test_config.py: fix prefix= usage
6344 2004-09-06  Brian Warner  <warner@lothar.com>
6346         * NEWS: mention P4
6348         * buildbot/changes/p4poller.py (P4Source): New ChangeSource to
6349         poll a P4 depot looking for recent changes. Thanks to Dave
6350         Peticolas for the contribution. Probably needs some testing after
6351         I mangled it.
6353         * buildbot/process/step.py (P4Sync): simple P4 source-updater,
6354         requires manual client setup for each buildslave. Rather
6355         experimental. Thanks again to Dave Peticolas.
6356         * buildbot/slave/commands.py (P4Sync): slave-side source-updater
6358         * buildbot/changes/changes.py (Change): add a .revision attribute,
6359         which will eventually be used to generate source-stamp values.
6361         * buildbot/process/step.py (RemoteCommand.start): use
6362         notifyOnDisconnect to notice when we lose the slave, then treat it
6363         like an exception. This allows LogFiles to be closed and the build
6364         to be wrapped up normally. Be sure to remove the disconnect
6365         notification when the step completes so we don't accumulate a
6366         bazillion such notifications which will fire weeks later (when the
6367         slave finally disconnects normally). Fixes SF#915807, thanks to
6368         spiv (Andrew Bennetts) for the report.
6369         (LoggedRemoteCommand): move __init__ code to RemoteCommand, since it
6370         really isn't Logged- specific
6371         (LoggedRemoteCommand.remoteFailed): Add an extra newline to the
6372         header, since it's almost always going to be appended to an
6373         incomplete line
6374         * buildbot/test/test_steps.py (BuildStep.testShellCommand1):
6375         update test to handle use of notifyOnDisconnect
6377         * buildbot/status/builder.py (BuilderStatus.currentlyOffline):
6378         don't clear .ETA and .currentBuild when going offline, let the
6379         current build clean up after itself
6381         * buildbot/process/builder.py (Builder.detached): wait a moment
6382         before doing things like stopping the current build, because the
6383         current step will probably notice the disconnect and cleanup the
6384         build by itself
6385         * buildbot/test/test_run.py (Status.tearDown): update test to
6386         handle asynchronous build-detachment
6388         * buildbot/process/base.py (Build.stopBuild): minor shuffles
6390         * buildbot/status/html.py (WaterfallStatusResource.buildGrid):
6391         hush a debug message
6393 2004-09-05  Brian Warner  <warner@lothar.com>
6395         * buildbot/changes/maildir.py (Maildir.start): catch an IOError
6396         when the dnotify fcntl() fails and fall back to polling. Linux 2.2
6397         kernels do this: the fcntl module has the F_NOTIFY constant, but
6398         the kernel itself doesn't support the operation. Thanks to Olly
6399         Betts for spotting the problem.
6401         * buildbot/process/step.py (Darcs): new source-checkout command
6402         (Arch): new source-checkout command
6403         (todo_P4): fix constructor syntax, still just a placeholder
6404         * buildbot/test/test_vc.py (VC.testDarcs): test it
6405         (VC.testDarcsHTTP): same, via localhost HTTP
6406         (VC.testArch): same
6407         (VC.testArchHTTP): same
6408         * NEWS: mention new features
6410         * buildbot/slave/commands.py (ShellCommand): add .keepStdout,
6411         which tells the step to stash stdout text locally (in .stdout).
6412         Slave-side Commands can use this to make decisions based upon the
6413         output of the the ShellCommand (not just the exit code).
6414         (Darcs): New source-checkout command
6415         (Arch): New source-checkout command, uses .keepStdout in one place
6416         where it needs to discover the archive's default name.
6418         * docs/steps.xhtml: Document options taken by Darcs and Arch.
6419         * docs/source.xhtml: add brief descriptions of Darcs and Arch
6420         * docs/examples/hello.cfg: add examples of Darcs and Arch checkout
6422         * buildbot/process/step.py (ShellCommand.describe): add an
6423         alternate .descriptionDone attribute which provides descriptive
6424         text when the step is complete. .description can be ["compiling"],
6425         for use while the step is running, then .descriptionDone can be
6426         ["compile"], used alone when the step succeeds or with "failed" when
6427         it does not. Updated other steps to use the new text.
6428         * buildbot/process/step_twisted.py: same
6429         * buildbot/test/test_run.py: update tests to match
6431 2004-08-30  Brian Warner  <warner@lothar.com>
6433         * buildbot/process/step.py (ShellCommand.createSummary): fix docs
6434         (CVS.__init__): send 'patch' argument to slave
6435         (CVS.start): don't create the LoggedRemoteCommand until start(),
6436         so we can catch a .patch added after __init__
6437         (SVN.__init__): add 'patch' to SVN too
6438         (SVN.start): same
6440         * buildbot/slave/commands.py (ShellCommand): add a 'stdin'
6441         argument, to let commands push data into the process' stdin pipe.
6442         Move usePTY to a per-instance attribute, and clear it if 'stdin'
6443         is in use, since closing a PTY doesn't really affect the process
6444         in the right way (in particular, I couldn't run /usr/bin/patch
6445         under a pty).
6446         (SourceBase.doPatch): handle 'patch' argument
6448         * buildbot/test/test_vc.py (VC.doPatch): test 'patch' argument for
6449         both CVS and SVN
6451         * buildbot/slave/commands.py (cvs_ver): fix version-parsing goo
6452         * buildbot/slave/bot.py (Bot.remote_getCommands): send command
6453         versions to master
6454         * buildbot/master.py (BotPerspective.got_commands): get command
6455         versions from slave, give to each builder
6456         * buildbot/process/builder.py (Builder.attached): stash slave
6457         command versions in .remoteCommands
6459         * docs/steps.xhtml: bring docs in-line with reality
6461         * buildbot/process/step.py (CVS.__init__): more brutal
6462         compatibility code removal
6463         (SVN.__init__): same
6465         * buildbot/slave/commands.py (SlaveShellCommand): update docs
6466         (SlaveShellCommand.start): require ['workdir'] argument, remove
6467         the ['dir'] fallback (compatibility will come later)
6468         (SourceBase): update docs
6469         (SourceBase.start): remove ['directory'] fallback
6470         (CVS): update docs
6471         (SVN): update docs
6472         * buildbot/test/test_config.py (ConfigTest.testBuilders): update test
6473         * buildbot/test/test_steps.py (BuildStep.testShellCommand1): same
6474         * buildbot/test/test_slavecommand.py (SlaveCommandTestCase): same
6476         * buildbot/process/step.py (RemoteShellCommand.__init__): add
6477         want_stdout/want_stderr. remove old 'dir' keyword (to simplify the
6478         code.. I will figure out 0.5.0-compatibility hooks later)
6480 2004-08-30  Brian Warner  <warner@lothar.com>
6482         * buildbot/process/process_twisted.py: rewrite in terms of new
6483         BuildFactory base class. It got significantly shorter. Yay
6484         negative code days.
6486         * buildbot/process/step_twisted.py (HLint.start): fix to make it
6487         work with the new "self.build isn't nailed down until we call
6488         step.start()" scheme: specifically, __init__ is called before the
6489         build has decided on which Changes are going in, so we don't scan
6490         build.allFiles() for .xhtml files until start()
6491         (HLint.commandComplete): use getText(), not getStdout()
6492         (RunUnitTests.start): same: don't use .build until start()
6493         (RunUnitTests.describe): oops, don't report (None) when using
6494         the default reactor
6495         (RunUnitTests.commandComplete): use getText()
6496         (RunUnitTests.createSummary): same
6497         (BuildDebs.commandComplete): same
6499         * buildbot/process/step.py (RemoteShellCommand.__init__): don't
6500         set args['command'] until start(), since our BuildStep is allowed
6501         to change their mind up until that point
6502         (TreeSize.commandComplete): use getText(), not getStdout()
6504         * docs/examples/twisted_master.cfg: update to current standards
6506         * docs/factories.xhtml: update
6507         * buildbot/process/factory.py: implement all the common factories
6508         described in the docs. The Trial factory doesn't work yet, and
6509         I've probably broken all the process_twisted.py factories in the
6510         process. There are compatibility classes left in for things like
6511         the old BasicBuildFactory, but subclasses of them are unlikely to
6512         work.
6513         * docs/examples/glib_master.cfg: use new BuildFactories
6514         * docs/examples/hello.cfg: same
6516         * buildbot/test/test_config.py (ConfigTest.testBuilders): remove
6517         explicit 'workdir' args
6519         * buildbot/process/base.py (BuildFactory): move factories to ..
6520         * buildbot/process/factory.py (BuildFactory): .. here
6521         * buildbot/process/process_twisted.py: handle move
6522         * buildbot/test/test_config.py: same
6523         * buildbot/test/test_run.py: same
6524         * buildbot/test/test_steps.py: same
6525         * buildbot/test/test_vc.py: same
6526         * docs/factories.xhtml: same
6528         * NEWS: mention config changes that require updating master.cfg
6530         * buildbot/process/base.py (Build.setupBuild): add a 'workdir'
6531         argument to all steps that weren't given one already, pointing at
6532         the "build/" directory.
6534         * docs/examples/hello.cfg: remove explicit 'workdir' args
6536         * docs/factories.xhtml: document standard BuildFactory clases,
6537         including a bunch which are have not yet been written
6539 2004-08-29  Brian Warner  <warner@lothar.com>
6541         * buildbot/interfaces.py (IBuildStepStatus.getResults): move
6542         result constants (SUCCESS, WARNINGS, FAILURE, SKIPPED) to
6543         buildbot.status.builder so they aren't quite so internal
6544         * buildbot/process/base.py, buildbot/process/builder.py: same
6545         * buildbot/process/maxq.py, buildbot/process/step.py: same
6546         * buildbot/process/step_twisted.py, buildbot/status/builder.py: same
6547         * buildbot/status/mail.py, buildbot/test/test_run.py: same
6548         * buildbot/test/test_status.py, buildbot/test/test_vc.py: same
6550         * buildbot/status/html.py (StatusResourceBuildStep): oops, update
6551         to handle new getLogs()-returns-list behavior
6552         (StatusResourceBuildStep.getChild): same
6553         (StepBox.getBox): same
6554         (WaterfallStatusResource.phase0): same
6556         * docs/source.xhtml: document how Buildbot uses version-control
6557         systems (output side: how we get source trees)
6558         * docs/changes.xhtml: rename from sources.xhtml, documents VC
6559         systems (input side: how we learn about Changes)
6561         * buildbot/master.py (Manhole): use ComparableMixin
6562         * buildbot/changes/freshcvs.py (FreshCVSSourceNewcred): same
6563         * buildbot/changes/mail.py (MaildirSource): same
6564         * buildbot/status/client.py (PBListener): same
6565         * buildbot/status/html.py (Waterfall): same
6566         * buildbot/status/words.py (IRC): same
6568         * NEWS: start describing new features
6570         * buildbot/status/mail.py (MailNotifier): finish implementation.
6571         The message body is still a bit sparse.
6572         * buildbot/test/test_status.py (Mail): test it
6574         * buildbot/util.py (ComparableMixin): class to provide the __cmp__
6575         and __hash__ methods I wind up adding everywhere. Specifically
6576         intended to support the buildbot config-file update scheme where
6577         we compare, say, the old list of IStatusTargets against the new
6578         one and don't touch something which shows up on both lists.
6579         * buildbot/test/test_util.py (Compare): test case for it
6581         * buildbot/interfaces.py (IBuildStatus): change .getLogs() to
6582         return a list instead of a dict
6583         (IBuildStepStatus.getLogs): same. The idea is that steps create
6584         logs with vaguely unique names (although their uniqueness is not
6585         guaranteed). Thus a compilation step should create its sole
6586         logfile with the name 'compile', and contribute it to the
6587         BuildStatus. If a step has two logfiles, try to create them with
6588         different names (like 'test.log' and 'test.summary'), and only
6589         contribute the important ones to the overall BuildStatus.
6590         * buildbot/status/builder.py (Event.getLogs): same
6591         (BuildStepStatus): fix default .text and .results
6592         (BuildStepStatus.addLog): switch to list-like .getLogs()
6593         (BuildStepStatus.stepFinished): same
6594         (BuildStatus.text): fix default .text
6595         (BuildStatus.getLogs): temporary hack to return all logs (from all
6596         child BuildStepStatus objects). Needs to be fixed to only report
6597         the significant ones (as contributed by the steps themselves)
6598         * buildbot/test/test_run.py: handle list-like .getLogs()
6599         * buildbot/test/test_steps.py (BuildStep.testShellCommand1): same
6601 2004-08-28  Brian Warner  <warner@lothar.com>
6603         * buildbot/process/builder.py (Builder.attached): serialize the
6604         attachment process, so the attach-watcher isn't called until the
6605         slave is really available. Add detached watchers too, which makes
6606         testing easier.
6608         * buildbot/test/test_vc.py: test VC modes (clobber/update/etc)
6610         * buildbot/test/test_swap.py: remove dead code
6612         * buildbot/slave/commands.py (ShellCommandPP): add debug messages
6613         (ShellCommand.start): treat errors in _startCommand/spawnProcess
6614         sort of as if the command being run exited with a -1. There may
6615         still be some holes in this scheme.
6616         (CVSCommand): add 'revision' tag to the VC commands, make sure the
6617         -r option appears before the module list
6618         * buildbot/process/step.py (CVS): add 'revision' argument
6620         * buildbot/slave/bot.py (SlaveBuilder._ackFailed): catch failures
6621         when sending updates or stepComplete messages to the master, since
6622         we don't currently care whether they arrive or not. When we revamp
6623         the master/slave protocol to really resume interrupted builds,
6624         this will need revisiting.
6625         (lostRemote): remove spurious print
6627         * buildbot/master.py (BotPerspective.attached): serialize the
6628         new-builder interrogation process, to make testing easier
6629         (BotMaster.waitUntilBuilderDetached): convenience function
6631         * buildbot/status/builder.py (BuilderStatus): prune old builds
6632         (BuildStatus.pruneSteps): .. and steps
6633         (BuildStepStatus.pruneLogs): .. and logs
6634         (BuilderStatus.getBuild): handle missing builds
6635         * buildbot/status/html.py (StatusResourceBuild.body): display build
6636         status in the per-build page
6637         (BuildBox.getBox): color finished builds in the per-build box
6639 2004-08-27  Brian Warner  <warner@lothar.com>
6641         * buildbot/status/mail.py (MailNotifier): new notification class,
6642         not yet finished
6644         * buildbot/slave/commands.py (SourceBase): refactor SVN and CVS into
6645         variants of a common base class which handles all the mode= logic
6647         * buildbot/interfaces.py (IBuildStatus.getPreviousBuild): add
6648         convenience method
6649         * buildbot/status/builder.py (BuildStatus.getPreviousBuild): same
6651 2004-08-26  Brian Warner  <warner@lothar.com>
6653         * buildbot/test/test_slavecommand.py: accomodate new slavecommand
6654         interfaces
6656         * buildbot/test/test_run.py: update to new Logfile interface, new
6657         buildbot.slave modules
6658         * buildbot/test/test_steps.py: same, remove Swappable, add timeouts
6660         * MANIFEST.in: new sample config file
6661         * docs/examples/hello.cfg: same
6663         * buildbot/process/step_twisted.py: remove dead import
6665         * buildbot/process/step.py (RemoteCommand.run): catch errors
6666         during .start
6667         (RemoteCommand.remote_update): ignore updates that arrive after
6668         we've shut down
6669         (RemoteCommand.remote_complete): ignore duplicate complete msgs
6670         (RemoteCommand._remoteComplete): cleanup failure handling, reduce
6671         the responsibilities of the subclass's methods
6672         (BuildStep.failed): catch errors during failure processing
6673         (BuildStep.addHTMLLog): provide all-HTML logfiles (from Failures)
6674         (CVS): move to a mode= argument (described in docstring), rather
6675         than the ungainly clobber=/export=/copydir= combination.
6676         (SVN): add mode= functionality to SVN too
6677         (todo_Darcs, todo_Arch, todo_P4): placeholders for future work
6679         * buildbot/process/base.py (Build.startNextStep): catch errors
6680         during s.startStep()
6682         * buildbot/clients/base.py: update to new PB client interface.
6683         gtkPanes is still broken
6685         * buildbot/bot.py, buildbot/slavecommand.py: move to..
6686         * buildbot/slave/bot.py, buildbot/slave/commands.py: .. new directory
6687         * setup.py: add buildbot.slave module
6688         * buildbot/bb_tap.py: handle move
6689         * buildbot/slave/registry.py: place to register commands, w/versions
6690         * buildbot/slave/bot.py: major simplifications
6691         (SlaveBuilder.remote_startCommand): use registry for slave commands,
6692         instead of a fixed table. Eventually this will make the slave more
6693         extensible. Use 'start' method on the command, not .startCommand.
6694         Fix unsafeTracebacks handling (I think).
6695         * buildbot/slave/commands.py: major cleanup. ShellCommand is now a
6696         helper class with a .start method that returns a Deferred.
6697         SlaveShellCommand is the form reached by the buildmaster. Commands
6698         which use multiple ShellCommands can just chain them as Deferreds,
6699         with some helper methods in Command (_abandonOnFailure and
6700         _checkAbandoned) to bail on rc!=0.
6701         (CVSCommand): prefer new mode= argument
6702         (SVNFetch): add mode= argument
6704         * buildbot/master.py (DebugPerspective.perspective_forceBuild):
6705         put a useful reason string on the build
6707         * buildbot/status/builder.py (LogFile): do LogFile right: move the
6708         core functionality into an IStatusLog object
6709         (BuildStatus.sendETAUpdate): don't send empty build-eta messages
6710         * buildbot/status/html.py (TextLog): HTML-rendering goes here
6711         (StatusResourceBuild.body): use proper accessor methods
6712         * buildbot/status/client.py (RemoteLog): PB-access goes here
6713         (StatusClientPerspective.perspective_subscribe): add "full" mode,
6714         which delivers log contents too
6715         (PBListener.__cmp__): make PBListeners comparable, thus removeable
6716         * buildbot/status/event.py: remove old Logfile completely
6718         * buildbot/interfaces.py (IStatusLog.subscribe): make the
6719         subscription interface for IStatusLog subscriptions just like all
6720         other the status subscriptions
6721         (IStatusReceiver.logChunk): method called on subscribers
6723 2004-08-24  Brian Warner  <warner@lothar.com>
6725         * buildbot/process/builder.py (Builder._pong): oops, ping response
6726         includes a result (the implicit None returned by remote_print).
6727         Accept it so the _pong method handles the response correctly.
6729 2004-08-06  Brian Warner  <warner@lothar.com>
6731         * buildbot/test/test_config.py: update IRC, PBListener tests
6733         * buildbot/status/client.py (StatusClientPerspective): total
6734         rewrite to match new IStatus interfaces. New subscription scheme.
6735         There are still a few optimizations to make (sending down extra
6736         information with event messages so the client doesn't have to do a
6737         round trip). The logfile-retrieval code is probably still broken.
6738         Moved the PB service into its own port, you can no longer share a
6739         TCP socket between a PBListener and, say, the slaveport (this
6740         should be fixed eventually).
6741         * buildbot/clients/base.py (Client): revamp to match. still needs
6742         a lot of work, but basic event reporting works fine. gtkPanes is
6743         completely broken.
6745         * buildbot/status/words.py (IRC): move to c['status']. Each IRC
6746         instance talks to a single irc server. Threw out all the old
6747         multi-server handling code. Still need to add back in
6748         builder-control (i.e. "force build")
6750         * buildbot/status/html.py (StatusResourceBuildStep.body): add some
6751         more random text to the as-yet-unreachable per-step page
6753         * buildbot/status/builder.py (BuildStepStatus.sendETAUpdate):
6754         rename to stepETAUpdate
6755         (BuildStatus.subscribe): add build-wide ETA updates
6756         (BuilderStatus.getState): remove more cruft
6757         (BuilderStatus.getCurrentBuild): remove more cruft
6758         (BuilderStatus.buildStarted): really handle tuple-subscription
6759         * buildbot/test/test_run.py (Status.testSlave): handle the
6760         stepETAUpdate rename
6762         * buildbot/master.py (BuildMaster): don't add a default
6763         StatusClientService. Don't add a default IrcStatusFactory. Both
6764         are now added through c['status'] in the config file. c['irc'] is
6765         accepted for backwards compatibility, the only quirk is you cannot
6766         use c['irc'] to specify IRC servers on ports other than 6667.
6768         * buildbot/interfaces.py (IBuildStatus.getCurrentStep): add method
6769         (IStatusReceiver.buildStarted): allow update-interval on subscribe
6770         (IStatusReceiver.buildETAUpdate): send build-wide ETA updates
6771         (IStatusReceiver.stepETAUpdate): rename since it's step-specific
6774         * buildbot/master.py (BuildMaster.startService): SIGHUP now causes
6775         the buildmaster to re-read its config file
6778         * buildbot/test/test_web.py (test_webPortnum): need a new hack to
6779         find out the port our server is running on
6780         (WebTest.test_webPathname_port): same
6782         * buildbot/test/test_config.py (testWebPortnum): test it
6783         (testWebPathname): ditto
6785         * docs/config.xhtml: document new c['status'] configuration option
6787         * buildbot/status/html.py (Waterfall): new top-level class which
6788         can be added to c['status']. This creates the Site as well as the
6789         necessary TCPServer/UNIXServer. It goes through the BuildMaster,
6790         reachable as .parent, for everything.
6792         * buildbot/master.py (Manhole): make it a normal service Child
6793         (BuildMaster.loadConfig_status): c['status'] replaces webPortnum and
6794         webPathname. It will eventually replace c['irc'] and the implicit
6795         PB listener as well. c['webPortnum'] and c['webPathname'] are left
6796         in as (deprecated) backward compatibility hooks for now.
6799         * buildbot/process/builder.py (Builder.buildFinished): don't
6800         inform out builder_status about a finished build, as it finds out
6801         through its child BuildStatus object
6803         * buildbot/status/html.py: extensive revamp. Use adapters to make
6804         Boxes out of BuildStepStatus and friends. Acknowledge that Steps
6805         have both starting and finishing times and adjust the waterfall
6806         display accordingly, using spacers if necessary. Use SlaveStatus
6807         to get buildslave info.
6808         (StatusResourceBuildStep): new just-one-step resource, used to get
6809         logfiles. No actual href to it yet.
6811         * buildbot/status/event.py (Logfile.doSwap): disable Swappable for
6812         the time being, until I get the file-naming scheme right
6814         * buildbot/status/builder.py (Event): clean started/finished names
6815         (BuildStatus.isFinished): .finished is not None is the right test
6816         (BuildStatus.buildStarted): track started/finished times ourselves
6817         (BuilderStatus.getSlave): provide access to SlaveStatus object
6818         (BuilderStatus.getLastFinishedBuild): all builds are now in
6819         .builds, even the currently-running one. Accomodate this change.
6820         (BuilderStatus.eventGenerator): new per-builder event generator.
6821         Returns BuildStepStatus and BuildStatus objects, since they can
6822         both be adapted as necessary.
6823         (BuilderStatus.addEvent): clean up started/finished attributes
6824         (BuilderStatus.startBuild,finishBuild): remove dead code
6825         (SlaveStatus): new object to provide ISlaveStatus
6827         * buildbot/process/step.py (ShellCommand.getColor): actually
6828         return the color instead of setting it ourselves
6829         (CVS.__init__): pull .timeout and .workdir options out of
6830         **kwargs, since BuildStep will ignore them. Without this neither
6831         will be sent to the slave correctly.
6832         (SVN.__init__): same
6834         * buildbot/process/builder.py (Builder): move flags to class-level
6835         attributes
6836         (Builder.attached): remove .remoteInfo, let the BotPerspective and
6837         SlaveStatus handle that
6839         * buildbot/process/base.py (Build.firstEvent): remove dead code
6840         (Build.stopBuild): bugfix
6842         * buildbot/changes/pb.py (PBChangeSource.describe): add method
6844         * buildbot/changes/changes.py (Change): add IStatusEvent methods
6845         (ChangeMaster.eventGenerator): yield Changes, since there are now
6846         Adapters to turn them into HTML boxes
6848         * buildbot/master.py (BotMaster): track SlaveStatus from BotMaster
6849         (BotPerspective.attached): feed a SlaveStatus object
6850         (BuildMaster.loadConfig): add a manhole port (debug over telnet)
6851         (BuildMaster.loadConfig_Builders): give BuilderStatus a parent
6853         * buildbot/interfaces.py: API additions
6854         (ISlaveStatus): place to get slave status
6856 2004-08-04  Brian Warner  <warner@lothar.com>
6858         * buildbot/slavecommand.py (DummyCommand.finished): send rc=0 when
6859         the delay finishes, so the step is marked as SUCCESS
6861         * buildbot/test/test_run.py (Status.testSlave): cover more of
6862         IBuildStatus and IBuildStepStatus
6864         * buildbot/status/progress.py (StepProgress): move some flags to
6865         class-level attributes
6866         (StepProgress.remaining): if there are no other progress metrics
6867         to go by, fall back to elapsed time
6868         (StepProgress.setExpectations): take a dict of metrics instead of
6869         a list
6870         (BuildProgress.setExpectationsFrom): pull expectations from the
6871         Expectations, instead of having it push them to the BuildProgress
6872         (Expectations): move some flags to class-level attributes
6873         (Expectations.__init__): copy per-step times from the
6874         BuildProgress too
6875         (Expectations.expectedBuildTime): new method for per-build ETA
6877         * buildbot/status/event.py (Logfile): move some flags to
6878         class-level attributes
6879         (Logfile.logProgressTo): better method name, let step set the
6880         progress axis name (instead of always being "output")
6882         * buildbot/status/builder.py (BuildStepStatus.getTimes): track the
6883         times directly, rather than depending upon the (possibly missing)
6884         .progress object. Use 'None' to indicate "not started/finished
6885         yet"
6886         (BuildStepStatus.getExpectations): oops, return the full list of
6887         expectations
6888         (BuilderStatus._buildFinished): append finished builds to .builds
6890         * buildbot/process/step.py (BuildStep): add separate .useProgress
6891         flag, since empty .progressMetrics[] still implies that time is a
6892         useful predictor
6893         (CVS): set up the cmd in __init__, instead of waiting for start()
6895         * buildbot/process/base.py (Build.startBuild): disable the 'when'
6896         calculation, this will eventually turn into a proper sourceStamp
6897         (Build.setupBuild): tell the Progress to load from the Expectations,
6898         instead of having the Expectations stuff things into the Progress
6899         (Build.buildException): add a build-level errback to make sure the
6900         build's Deferred fires even in case of exceptions
6902         * buildbot/master.py (BotMaster.forceBuild): convey the reason into
6903         the forced build
6904         * buildbot/process/builder.py (Builder.forceBuild): convey the
6905         reason instead of creating a fake Change
6907         * docs/examples/twisted_master.cfg: update to match reality
6909         * buildbot/test/test_config.py, buildbot/test/test_process.py:
6910         * buildbot/test/test_run.py, buildbot/test/test_steps.py:
6911         fix or remove broken/breaking tests
6913         * buildbot/status/event.py (Logfile.__len__): remove evil method
6915         * buildbot/status/builder.py (BuildStepStatus.stepStarted): tolerate
6916         missing .build, for test convenience
6918         * buildbot/process/step_twisted.py: import fixes
6920         * buildbot/process/step.py (BuildStep.failed): exception is FAILURE
6922         * buildbot/master.py (BuildMaster.loadConfig_Builders): leftover
6923         .statusbag reference
6925         * buildbot/bot.py (BuildSlave.stopService): tear down the TCP
6926         connection at shutdown, and stop it from reconnecting
6928         * buildbot/test/test_run.py (Run.testSlave): use a RemoteDummy to
6929         chase down remote-execution bugs
6931         * buildbot/process/step.py: more fixes, remove
6932         BuildStep.setStatus()
6933         * buildbot/status/builder.py: move setStatus() functionality into
6934         BuildStatus.addStep
6935         * buildbot/status/event.py: minor fixes
6937 2004-08-03  Brian Warner  <warner@lothar.com>
6939         * buildbot/process/base.py, buildbot/process/builder.py
6940         * buildbot/process/step.py, buildbot/status/builder.py
6941         * buildbot/status/event.py, buildbot/test/test_run.py:
6942         fix status delivery, get a basic test case working
6943         * buildbot/master.py: finish implementing basic status delivery,
6944         temporarily disable HTML/IRC/PB status sources
6946         * buildbot/bot.py (Bot.remote_setBuilderList): remove debug noise
6948         * buildbot/status/progress.py (BuildProgress): remove dead code
6950         * buildbot/interfaces.py
6951         * buildbot/process/base.py, buildbot/process/builder.py
6952         * buildbot/process/step.py, buildbot/process/step_twisted.py
6953         * buildbot/status/builder.py: Complete overhaul of the all
6954         status-delivery code, unifying all types of status clients (HTML,
6955         IRC, PB). See interfaces.IBuildStatus for an idea of what it will
6956         look like. This commit is a checkpointing of the work-in-progress:
6957         the input side is mostly done (Builders/Builds sending status
6958         to the BuilderStatus/BuildStatus objects), but the output side has
6959         not yet been started (HTML resources querying BuilderStatus
6960         objects). Things are probably very broken right now and may remain
6961         so for several weeks, I apologize for the disruption.
6963         * buildbot/status/event.py: add a setHTML method to use pre-rendered
6964         HTML as the log's contents. Currently used for exception tracebacks.
6965         * buildbot/status/progress.py: minor spelling changes
6967 2004-08-02  Brian Warner  <warner@lothar.com>
6969         * docs/config.xhtml: XHTML fixes, makes raw .xhtml files viewable
6970         in mozilla. Also added stylesheets copied from Twisted's docs.
6971         Remember that these files are meant to be run through Lore first.
6972         Thanks to Philipp Frauenfelder for the fixes.
6973         * docs/factories.xhtml, docs/sources.xhtml, docs/steps.xhtml: same
6974         * docs/stylesheet-unprocessed.css, docs/stylesheet.css: same
6975         * docs/template.tpl: added a Lore template
6977 2004-07-29  Brian Warner  <warner@lothar.com>
6979         * buildbot/interfaces.py: revamp status delivery. This is the
6980         preview: these are the Interfaces that will be provided by new
6981         Builder code, and to which the current HTML/IRC/PB status
6982         displayers will be adapted.
6984         * buildbot/slavecommand.py (ShellCommand.start): look for .usePTY
6985         on the SlaveBuilder, not the Bot.
6986         * buildbot/bot.py (Bot.remote_setBuilderList): copy Bot.usePTY to
6987         SlaveBuilder.usePTY
6988         * buildbot/test/test_slavecommand.py (FakeSlaveBuilder.usePTY):
6989         set .usePTY on the FakeSlaveBuilder
6991 2004-07-25  Brian Warner  <warner@lothar.com>
6993         * buildbot/changes/freshcvs.py: add some debug log messages
6994         (FreshCVSConnectionFactory.gotPerspective): pre-emptively fix the
6995         disabled 'setFilter' syntax
6996         (FreshCVSSourceNewcred.__init__): warn about prefix= values that
6997         don't end with a slash
6999         * buildbot/process/base.py (Builder._pong_failed): add TODO note
7001         * setup.py: bump to 0.5.0+ while between releases
7003 2004-07-23  Brian Warner  <warner@lothar.com>
7005         * setup.py (version): Releasing buildbot-0.5.0
7007 2004-07-23  Brian Warner  <warner@lothar.com>
7009         * README: update for 0.5.0 release
7011         * NEWS: update for 0.5.0 release
7013 2004-07-22  Brian Warner  <warner@lothar.com>
7015         * buildbot/slavecommand.py (ShellCommand): make usePTY a
7016         mktap-time configuration flag (--usepty=1, --usepty=0)
7017         * buildbot/bot.py: same
7019         * buildbot/master.py (BotPerspective.got_dirs): don't complain about
7020         an 'info' directory being unwanted
7022         * buildbot/changes/freshcvs.py (FreshCVSSource): flip the
7023         newcred/oldcred switch. Newcred (for CVSToys-1.0.10 and later) is now
7024         the default. To communicate with an oldcred daemond (CVSToys-1.0.9
7025         and earlier), use a FreshCVSSourceOldcred instead.
7026         (test): simple test routine: connect to server, print changes
7028         * buildbot/changes/changes.py (Change.getTime): make it possible
7029         to print un-timestamped changes
7031         * buildbot/master.py (makeApp): delete ancient dead code
7032         (BuildMaster.loadTheConfigFile): make "master.cfg" name configurable
7033         * buildbot/test/test_config.py (testFindConfigFile): test it
7035         * docs/examples/twisted_master.cfg (b22w32): use iocp reactor
7036         instead of win32 one
7039         * buildbot/master.py (BuildMaster.loadConfig_Builders): config file
7040         now takes a dictionary instead of a tuple. See docs/config.xhtml for
7041         details.
7043         * buildbot/process/base.py (Builder.__init__): change constructor
7044         to accept a dictionary of config data, rather than discrete
7045         name/slave/builddir/factory arguments
7047         * docs/examples/twisted_master.cfg: update to new syntax
7048         * docs/examples/glib_master.cfg: same
7049         * buildbot/test/test_config.py (ConfigTest.testBuilders): some
7050         rough tests of the new syntax
7052         
7053         * buildbot/master.py (BuildMaster.loadConfig): allow webPathname
7054         to be an int, which means "run a web.distrib sub-server on a TCP
7055         port". This lets you publish the buildbot status page to a remote
7056         twisted.web server (using distrib.ResourceSubscription). Also
7057         rename the local attributes used to hold these web things so
7058         they're more in touch with reality.
7059         * buildbot/test/test_web.py: test webPortnum and webPathname
7060         * docs/config.xhtml: document this new use of webPathname
7062         * docs/config.xhtml: new document, slightly ahead of reality
7063         
7064         * buildbot/changes/freshcvs.py (FreshCVSSourceNewcred.notify): fix
7065         'prefix' handling: treat it as a simple string to check with
7066         .startswith, instead of treating it as a directory. This allows
7067         sub-directories to be used. If you use prefix=, you should give it
7068         a string that starts just below the CVSROOT and ends with a slash.
7069         This prefix will be stripped from all filenames, and filenames
7070         which do not start with it will be ignored.
7072 2004-07-20  Cory Dodt  <corydodt@twistedmatrix.com>
7074         * contrib/svn_buildbot.py: Add --include (synonym for --filter)
7075         and --exclude (inverse of --include).  SVN post-commit hooks
7076         now have total control over which changes get sent to buildbot and which
7077         do not.
7079 2004-07-10  Brian Warner  <warner@lothar.com>
7081         * buildbot/test/test_twisted.py (Case1.testCountFailedTests): fix
7082         test case to match new API
7084         * buildbot/status/event.py (Logfile.getEntries): fix silly bug
7085         which crashed HTML display when self.entries=[] (needed to
7086         distinguish between [], which means "no entries yet", and None,
7087         which means "the entries have been swapped out to disk, go fetch
7088         them").
7090 2004-07-04  Brian Warner  <warner@lothar.com>
7092         * buildbot/process/step_twisted.py (countFailedTests): Count
7093         skips, expectedFailures, and unexpectedSuccesses. Start scanning
7094         10kb from the end because any import errors are wedged there and
7095         they would make us think the test log was unparseable.
7096         (RunUnitTests.finishStatus): add skip/todo counts to the event box
7098 2004-06-26  Brian Warner  <warner@lothar.com>
7100         * buildbot/process/step_twisted.py (RemovePYCs): turn the
7101         delete-*.pyc command into an actual BuildStep, so we can label it
7102         nicely
7103         * buildbot/process/process_twisted.py (QuickTwistedBuildFactory):
7104         (FullTwistedBuildFactory): same
7106 2004-06-25  Cory Dodt  <corydodt@twistedmatrix.com>
7108         * contrib/fakechange.py: Add an errback when sending the fake 
7109         change, so we know it didn't work.
7111 2004-06-25  Christopher Armstrong  <radix@twistedmatrix.com>
7113         * buildbot/process/step_twisted.py: Delete *.pyc files before
7114         calling trial, so it doesn't catch any old .pyc files whose .py
7115         files have been moved or deleted.
7117         * buildbot/process/step_twisted.py (RunUnitTests): 1) Add a new
7118         parameter, 'recurse', that passes -R to trial. 2) have 'runAll'
7119         imply 'recurse'. 3) Make the default 'allTests' be ["twisted"]
7120         instead of ["twisted.test"], so that the end result is "trial -R
7121         twisted".
7123         * contrib/svn_buildbot.py: Add a --filter parameter that accepts a
7124         regular expression to match filenames that should be ignored when
7125         changed. Also add a --revision parameter that specifies the
7126         revision to examine, which is useful for debugging.
7128 2004-06-25  Brian Warner  <warner@lothar.com>
7130         * buildbot/process/step_twisted.py (trialTextSummarizer): create a
7131         summary of warnings (like DeprecationWarnings), next to the
7132         "summary" file
7134 2004-05-13  Brian Warner  <warner@lothar.com>
7136         * docs/examples/twisted_master.cfg: enable the win32 builder, as
7137         we now have a w32 build slave courtesy of Mike Taylor.
7139         * buildbot/process/base.py (Build.checkInterlocks): OMG this was
7140         so broken. Fixed a race condition that tripped up interlocked
7141         builds and caused the status to be stuck at "Interlocked" forever.
7142         The twisted buildbot's one interlocked build just so happened to
7143         never hit this case until recently (the feeding builds both pass
7144         before the interlocked build is attempted.. usually it has to wait
7145         a while).
7146         (Builder._pong_failed): fix method signature
7148         * setup.py: bump to 0.4.3+ while between releases
7150 2004-04-30  Brian Warner  <warner@lothar.com>
7152         * setup.py (version): Releasing buildbot-0.4.3
7154 2004-04-30  Brian Warner  <warner@lothar.com>
7156         * MANIFEST.in: add the doc fragments in  docs/*.xhtml
7158         * README: update for 0.4.3 release
7160         * NEWS: update for 0.4.3 release
7162         * buildbot/master.py (BuildMaster.__getstate__): make sure
7163         Versioned.__getstate__ is invoked, for upgrade from 0.4.2
7165         * buildbot/process/step_twisted.py (RunUnitTests.trial): add
7166         .trial as a class attribute, for upgrade from 0.4.2
7168         * buildbot/changes/changes.py (Change.links): add .links for
7169         upgrade from 0.4.2
7171         * buildbot/status/event.py (Logfile.__getstate__): get rid of both
7172         .textWatchers and .htmlWatchers at save time, since they are both
7173         volatile, should allow smooth 0.4.2 upgrade
7175         * buildbot/process/step.py (CVS.finishStatus): catch failed
7176         CVS/SVN commands so we can make the status box red
7178 2004-04-29  Brian Warner  <warner@lothar.com>
7180         * buildbot/changes/freshcvs.py
7181         (FreshCVSConnectionFactory.gotPerspective): add (commented-out)
7182         code to do setFilter(), which tells the freshcvs daemon to not
7183         send us stuff that we're not interested in. I will uncomment it
7184         when a new version of CVSToys is available in which setFilter()
7185         actually works, and I get a chance to test it better.
7187         * docs/examples/twisted_master.cfg: start using a PBChangeSource
7189         * buildbot/master.py (Dispatcher): use a registration scheme
7190         instead of hardwired service names
7191         (BuildMaster): keep track of the Dispatcher to support
7192         registration
7194         * buildbot/changes/changes.py (ChangeMaster): create a distinct
7195         PBChangeSource class instead of having it be an undocumented
7196         internal feature of the ChangeMaster. Split out the code into a
7197         new file.
7198         * buildbot/changes/pb.py (PBChangeSource): same
7199         * buildbot/test/test_changes.py: a few tests for PBChangeSource
7201         * docs/{factories|sources|steps}.xhtml: document some pieces
7203         * docs/examples/twisted_master.cfg: use SVN instead of CVS, stop
7204         using FCMaildirSource
7205         (f23osx): update OS-X builder to use python2.3, since the slave
7206         was updated to Panther (10.3.3)
7208 2004-03-21  Brian Warner  <warner@lothar.com>
7210         * buildbot/process/process_twisted.py: factor out doCheckout, change
7211         to use SVN instead of CVS
7213         * buildbot/process/base.py (BasicBuildFactory): refactor to make
7214         an SVN subclass easier
7215         (BasicSVN): subclass which uses Subversion instead of CVS
7217 2004-03-15  Christopher Armstrong  <radix@twistedmatrix.com>
7219         * buildbot/slavecommand.py (ShellCommand.start): use COMSPEC instead
7220         of /bin/sh on win32
7221         (CVSCommand.cvsComplete): don't assume chdir worked on win32
7223 2004-02-25  Brian Warner  <warner@lothar.com>
7225         * buildbot/slavecommand.py (ShellCommand): ['commands'] argument
7226         is now either a list (which is passed to spawnProcess directly) or
7227         a string (which gets passed to /bin/sh -c). This removes the useSH
7228         flag and the ArgslistCommand class. Also send status header at the
7229         start and end of each command, instead of having the master-side
7230         code do that.
7231         (CVSCommand): fix the doUpdate command, it failed to do the 'cp
7232         -r'. Update to use list-based arguments.
7233         (SVNFetch): use list-based arguments, use ['dir'] argument to
7234         simplify code.
7235         * buildbot/test/test_steps.py (Commands): match changes
7237         * buildbot/process/step.py (InternalShellCommand.words): handle
7238         command lists
7239         (SVN): inherit from CVS, cleanup
7241         * buildbot/status/event.py (Logfile.content): render in HTML, with
7242         stderr in red and headers (like the name of the command we're
7243         about to run) in blue. Add link to a second URL (url + "?text=1")
7244         to get just stdout/stderr in text/plain without markup. There is
7245         still a problem with .entries=None causing a crash, it seems to occur
7246         when the logfile is read before it is finished.
7248         * buildbot/bot.py (BotFactory.doKeepalive): add a 30-second
7249         timeout to the keepalives, and use it to explicitly do a
7250         loseConnection instead of waiting for TCP to notice the loss. This
7251         ought to clear up the silent-lossage problem.
7252         (unsafeTracebacks): pass exception tracebacks back to the master,
7253         makes it much easier to debug problems
7255 2004-02-23  Brian Warner  <warner@lothar.com>
7257         * buildbot/slavecommand.py (ShellCommand): add useSH flag to pass
7258         the whole command to /bin/sh instead of execve [Johan Dahlin]
7259         (CVSCommand): drop '-r BRANCH' if BRANCH==None instead of usiing
7260         '-r HEAD' [Johan Dahlin]
7261         (CVSCommand.start2): fix cvsdir calculation [Johan Dahlin]
7263         * buildbot/changes/changes.py (Change): add links= argument, add
7264         asHTML method [Johan Dahlin]. Modified to make a bit more
7265         XHTMLish. Still not sure how to best use links= .
7267         * buildbot/status/html.py (StatusResourceCommits.getChild): use 
7268         Change.asHTML to display the change, not asText
7270         * buildbot/status/html.py (StatusResourceBuilder): web button to
7271         ping slave
7273         * buildbot/test/test_run.py: test to actually start a buildmaster
7274         and poke at it
7276         * MANIFEST.in: bring back accidentally-dropped test helper files
7278         * buildbot/test/test_config.py (ConfigTest.testSources): skip tests
7279         that require cvstoys if it is not installed
7281         * buildbot/process/step_twisted.py (RunUnitTests): allow other
7282         values of "bin/trial" [Dave Peticolas]
7283         (RunUnitTests.finishStatus): say "no tests run" instead of "0
7284         tests passed" when we didn't happen to run any tests
7286         * buildbot/process/step.py (Compile): use haltOnFailure instead of
7287         flunkOnFailure [Johan Dahlin]
7289         * buildbot/process/base.py (ConfigurableBuild.setSteps): allow
7290         multiple instances of the same Step class by suffixing "_2", etc,
7291         to the name until it is unique. This name needs to be unique
7292         because it is used as a key in the dictionary that tracks build
7293         progress.
7294         * buildbot/test/test_steps.py (Steps.testMultipleStepInstances):
7295         add test for it
7297         * buildbot/process/base.py (Builder.ping): add "ping slave" command
7299 2004-01-14  Brian Warner  <warner@lothar.com>
7301         * buildbot/status/words.py (IrcStatusBot): when we leave or get
7302         kicked from a channel, log it
7304         * buildbot/master.py (Dispatcher): add "poke IRC" command to say
7305         something over whatever IRC channels the buildmaster is currently
7306         connected to. Added to try and track down a problem in which the
7307         master thinks it is still connected but the IRCd doesn't see it. I
7308         used a styles.Versioned this time, so hopefully users won't have
7309         to rebuild their .tap files this time.
7310         * contrib/debug.glade: add a "Poke IRC" button
7311         * contrib/debugclient.py: same
7313         * setup.py: bump to 0.4.2+ while between releases
7315 2004-01-08  Brian Warner  <warner@lothar.com>
7317         * setup.py (version): Releasing buildbot-0.4.2
7319 2004-01-08  Brian Warner  <warner@lothar.com>
7321         * NEWS: update for 0.4.2 release
7323         * README: document how to run the tests, now that they all pass
7325         * buildbot/changes/maildir.py (Maildir.poll): minor comment
7327         * buildbot/process/step.py (CVS): add a global_options= argument,
7328         which lets you set CVS global options for the command like "-r"
7329         for read-only checkout, or "-R" to avoid writing in the
7330         repository.
7331         * buildbot/slavecommand.py (CVSCommand): same
7333         * buildbot/status/event.py (Logfile): add a .doSwap switch to make
7334         testing easier (it is turned off when testing, to avoid the
7335         leftover timer)
7337         * buildbot/process/step.py (InternalBuildStep): shuffle code a bit
7338         to make it easier to test: break generateStepID() out to a
7339         separate function, only update statusbag if it exists.
7340         (ShellCommands): create useful text for dict-based commands too.
7342         * test/*, buildbot/test/*: move unit tests under the buildbot/
7343         directory
7344         * setup.py (packages): install buildbot.test too
7346         * buildbot/test/test_slavecommand.py: fix it, tests pass now
7347         * buildbot/test/test_steps.py: fix it, tests pass now
7349 2004-01-06  Brian Warner  <warner@lothar.com>
7351         * buildbot/changes/mail.py (parseFreshCVSMail): looks like new
7352         freshcvs mail uses a slightly different syntax for new
7353         directories. Update parser to handle either.
7354         * test/test_mailparse.py (Test1.testMsg9): test for same
7356 2003-12-21  Brian Warner  <warner@lothar.com>
7358         * buildbot/process/process_twisted.py (TwistedDebsBuildFactory): set
7359         'warnOnWarnings' so that lintian errors mark the build orange
7361 2003-12-17  Brian Warner  <warner@lothar.com>
7363         * buildbot/changes/mail.py (parseBonsaiMail): parser for commit
7364         messages emitted by Bonsai, contributed by Stephen Davis.
7366         * test/*: moved all tests to use trial instead of unittest. Some
7367         still fail (test_steps, test_slavecommand, and test_process).
7369         * setup.py (version): bump to 0.4.1+ while between releases
7371 2003-12-09  Brian Warner  <warner@lothar.com>
7373         * setup.py (version): Releasing buildbot-0.4.1
7375 2003-12-09  Brian Warner  <warner@lothar.com>
7377         * NEWS: update for 0.4.1 release
7379         * docs/examples/twisted_master.cfg: add netbsd builder, shuffle
7380         freebsd builder code a little bit
7382         * buildbot/changes/freshcvs.py (FreshCVSSourceNewcred.__cmp__):
7383         don't try to compare attributes of different classes
7384         * buildbot/changes/mail.py (MaildirSource.__cmp__): same
7385         (MaildirSource.messageReceived): fix Change delivery
7387         * buildbot/master.py (BuildMaster.loadConfig): insert 'basedir'
7388         into the config file's namespace before loading it, like the
7389         documentation claims it does
7390         * docs/examples/twisted_master.cfg: remove explicit 'basedir'
7391         (useFreshCVS): switch to using a maildir until Twisted's freshcvs
7392         daemon comes back online
7394 2003-12-08  Brian Warner  <warner@lothar.com>
7396         * docs/examples/twisted_master.cfg: provide an explicit 'basedir'
7397         so the example will work with online=0 as well
7399         * buildbot/changes/mail.py (FCMaildirSource, SyncmailMaildirSource):
7400         fix the __implements__ line
7402         * buildbot/changes/maildirtwisted.py (MaildirTwisted): make this
7403         class a twisted.application.service.Service, use startService to
7404         get it moving.
7406         * buildbot/changes/dnotify.py (DNotify): use os.open to get the
7407         directory fd instead of simple open(). I'm sure this used to work,
7408         but the current version of python refuses to open directories with
7409         open().
7411 2003-12-05  Brian Warner  <warner@lothar.com>
7413         * setup.py (version): bump to 0.4.0+ while between releases
7415 2003-12-05  Brian Warner  <warner@lothar.com>
7417         * setup.py (version): Releasing buildbot-0.4.0
7419 2003-12-05  Brian Warner  <warner@lothar.com>
7421         * docs/examples/glib_master.cfg: replace old sample scripts with
7422         new-style config files
7423         * MANIFEST.in: include .cfg files in distribution tarball
7425         * buildbot/changes/freshcvs.py (FreshCVSListener.remote_goodbye):
7426         implement a dummy method to avoid the exception that occurs when
7427         freshcvs sends this to us.
7429         * buildbot/pbutil.py (ReconnectingPBClientFactory.stopFactory):
7430         removed the method, as it broke reconnection. Apparently
7431         stopFactory is called each time the connection attempt fails. Must
7432         rethink this.
7433         (ReconnectingPBClientFactory.__getstate__): squash the _callID
7434         attribute before serialization, since without stopFactory the
7435         reconnect timer may still be active and they aren't serializable.
7437         * test/test_mailparse.py (ParseTest): test with 'self' argument
7439         * buildbot/changes/mail.py (parseFreshCVSMail): add (silly) 'self'
7440         argument, as these "functions" are invoked like methods from class
7441         attributes and therefore always get an instance as the first
7442         argument.
7444         * buildbot/changes/maildir.py (Maildir.start): fix error in error
7445         message: thanks to Stephen Davis for the catch
7447 2003-12-04  Brian Warner  <warner@lothar.com>
7449         * buildbot/pbutil.py: complete rewrite using PBClientFactory and
7450         twisted's standard ReconnectingClientFactory. Handles both oldcred
7451         and newcred connections. Also has a bug-workaround for
7452         ReconnectingClientFactory serializing its connector when it
7453         shouldn't.
7455         * buildbot/bot.py (BotFactory): rewrite connection layer with new
7456         pbutil. Replace makeApp stuff with proper newcred/mktap
7457         makeService(). Don't serialize Ephemerals on shutdown.
7459         * buildbot/changes/changes.py (ChangeMaster): make it a
7460         MultiService and add the sources as children, to get startService
7461         and stopService for free. This also gets rid of the .running flag.
7463         * buildbot/changes/freshcvs.py (FreshCVSSource): rewrite to use
7464         new pbutil, turn into a TCPClient at the same time (to get
7465         startService for free). Two variants exist: FreshCVSSourceOldcred
7466         and FreshCVSSourceNewcred (CVSToys doesn't actualy support newcred
7467         yet, but when it does, we'll be ready).
7468         (FreshCVSSource.notify): handle paths which are empty after the
7469         prefix is stripped. This only happens when the top-level (prefix)
7470         directory is added, at the very beginning of a Repository's life.
7472         * buildbot/clients/base.py: use new pbutil, clean up startup code.
7473         Now the only reconnecting code is in the factory where it belongs.
7474         (Builder.unsubscribe): unregister the disconnect callback when we
7475         delete the builder on command from the master (i.e. when the
7476         buildmaster is reconfigured and that builder goes away). This
7477         fixes a multiple-delete exception when the status client is shut
7478         down afterwards.
7479         * buildbot/clients/gtkPanes.py (GtkClient): cleanup, match the
7480         base Client. 
7482         * buildbot/status/words.py (IrcStatusBot): add some more sillyness
7483         (IrcStatusBot.getBuilderStatus): fix minor exception in error message
7485 2003-10-20  Christopher Armstrong  <radix@twistedmatrix.com>
7487         * contrib/run_maxq.py: Accept a testdir as an argument rather than
7488         a list of globs (ugh). The testdir will be searched for files
7489         named *.tests and run the tests in the order specified in each of
7490         those files. This allows for "dependancies" between tests to be
7491         codified.
7493         * buildbot/process/maxq.py (MaxQ.__init__): Accept a testdir
7494         argument to pass to run_maxq.py, instead of a glob.
7496 2003-10-17  Brian Warner  <warner@lothar.com>
7498         * buildbot/process/step_twisted.py (HLint.start): ignore .xhtml
7499         files that live in the sandbox
7501 2003-10-15  Brian Warner  <warner@lothar.com>
7503         * buildbot/process/step_twisted.py (ProcessDocs.finished): fix
7504         spelling error in "docs" count-warnings output
7505         (HLint.start): stupid thinko meant .xhtml files were ignored
7507         * docs/examples/twisted_master.cfg (reactors): disable cReactor
7508         tests now that cReactor is banished to the sandbox
7510 2003-10-10  Brian Warner  <warner@lothar.com>
7512         * buildbot/process/step_twisted.py (ProcessDocs, HLint): new Twisted
7513         scheme: now .xhtml are sources and .html are generated
7515 2003-10-08  Brian Warner  <warner@lothar.com>
7517         * buildbot/process/step_twisted.py (RunUnitTests.__init__): oops,
7518         we were ignoring the 'randomly' parameter.
7520 2003-10-01  Brian Warner  <warner@lothar.com>
7522         * buildbot/slavecommand.py (ShellCommand.start): set usePTY=1 on
7523         posix, to kill sub-children of aborted slavecommands.
7525         * buildbot/status/builder.py: rename Builder to BuilderStatus.
7526         Clean up initialization: lastBuildStatus remains None until the
7527         first build has been completed.
7529         * buildbot/status/html.py (WaterfallStatusResource.body): handle
7530         None as a lastBuildStatus
7531         * buildbot/clients/gtkPanes.py: same
7533         * buildbot/status/client.py (StatusClientService): keep
7534         BuilderStatus objects in self.statusbags . These objects now live
7535         here in the StatusClientService and are referenced by the Builder
7536         object, rather than the other way around.
7537         * buildbot/status/words.py (IrcStatusBot.getBuilderStatus): same
7538         * buildbot/process/base.py (Builder): same
7539         * test/test_config.py (ConfigTest.testBuilders): same
7541         * buildbot/master.py (BuildMaster.loadConfig_Builders): when modifying
7542         an existing builder, leave the statusbag alone. This will preserve the
7543         event history.
7545         * buildbot/pbutil.py (ReconnectingPB.connect): add initial newcred
7546         hook. This will probably go away in favor of a class in upcoming
7547         Twisted versions.
7549         * buildbot/changes/freshcvs.py (FreshCVSSource.start): Remove old
7550         serviceName from newcred FreshCVSNotifiee setup
7552 2003-09-29  Brian Warner  <warner@lothar.com>
7554         * buildbot/process/process_twisted.py: switch to new reactor
7555         abbreviations
7556         * docs/examples/twisted_master.cfg: same
7558         * README (REQUIREMENTS): mention twisted-1.0.8a3 requirement
7560         * buildbot/status/words.py (IrcStatusBot.getBuilder): use the
7561         botmaster reference instead of the oldapp service lookup
7563         * buildbot/master.py (BuildMaster.__init__): give the
7564         StatusClientService a reference to the botmaster to make it easier to
7565         force builds
7567 2003-09-24  Christopher Armstrong  <radix@twistedmatrix.com>
7569         * buildbot/status/html.py (Box.td): escape hreffy things so you
7570         can have spaces in things like builder names
7571         (StatusResourceBuilder.body)
7572         (WaterfallStatusResource.body)
7573         (WaterfallStatusResource.body0): same
7575 2003-09-25  Brian Warner  <warner@lothar.com>
7577         * buildbot/master.py (BuildMaster.loadConfig_Builders): don't
7578         rearrange the builder list when adding or removing builders: keep
7579         them in the order the user requested.
7580         * test/test_config.py (ConfigTest.testBuilders): verify it
7582         * contrib/debug.glade: give the debug window a name
7584         * buildbot/process/base.py (Builder.buildTimerFired): builders can
7585         now wait on multiple interlocks. Fix code relating to that.
7586         (Builder.checkInterlocks): same
7587         * buildbot/status/builder.py (Builder.currentlyInterlocked): same
7589         * buildbot/master.py (BuildMaster.loadConfig): move from
7590         deprecated pb.BrokerFactory to new pb.PBServerFactory
7591         * test/test_config.py (ConfigTest.testWebPathname): same
7593         * docs/examples/twisted_master.cfg: fix interlock declaration
7595         * buildbot/master.py (BotMaster.addInterlock): move code to attach
7596         Interlocks to their Builders into interlock.py .
7597         (BuildMaster.loadConfig_Interlocks): fix interlock handling
7599         * test/test_config.py (ConfigTest.testInterlocks): validate
7600         interlock handling
7602         * buildbot/process/base.py (Builder.__init__): better comments
7603         * buildbot/process/interlock.py (Interlock.__repr__): same
7604         (Interlock.deactivate): add .active flag, move the code that
7605         attaches/detaches builders into the Interlock
7607 2003-09-24  Christopher Armstrong  <radix@twistedmatrix.com>
7609         * buildbot/process/maxq.py (MaxQ): support for running a set of MaxQ
7610         tests using the new run_maxq.py script, and reporting failures by
7611         parsing its output.
7613         * contrib/run_maxq.py: Hacky little script for running a set of maxq
7614         tests, reporting their success or failure in a buildbot-friendly 
7615         manner.
7617 2003-09-24  Brian Warner  <warner@lothar.com>
7619         * docs/examples/twisted_master.cfg: example of a new-style config
7620         file. This lives in the buildmaster base directory as
7621         "master.cfg".
7623         * contrib/debugclient.py (DebugWidget.do_rebuild): add 'reload'
7624         button to make the master re-read its config file
7626         * buildbot/master.py (BuildMaster.loadConfig): new code to load
7627         buildmaster configuration from a file. This file can be re-read
7628         later, and the buildmaster will update itself to match the new
7629         desired configuration. Also use new Twisted Application class.
7630         * test/Makefile, test/test_config.py: unit tests for same
7632         * buildbot/changes/freshcvs.py (FreshCVSSource.__cmp__): make
7633         FreshCVSSources comparable, to support reload.
7634         * buildbot/changes/mail.py (MaildirSource.__cmp__): same
7636         * buildbot/process/base.py (Builder): make them comparable, make
7637         Interlocks easier to attach, to support reload. Handle
7638         re-attachment of remote slaves.
7639         * buildbot/process/interlock.py (Interlock): same
7641         * buildbot/bot.py, bb_tap.py, changes/changes.py: move to
7642         Twisted's new Application class. Requires Twisted >= 1.0.8 .
7643         buildmaster taps are now constructed with mktap.
7644         * buildbot/status/client.py (StatusClientService): same
7646         * buildbot/status/words.py: move to new Services, add support to
7647         connect to multiple networks, add reload support, allow nickname
7648         to be configured on a per-network basis
7650 2003-09-20  Brian Warner  <warner@lothar.com>
7652         * docs/examples/twisted_master.py (twisted_app): use python2.3 for
7653         the freebsd builder, now that the machine has been upgraded and no
7654         longer has python2.2
7656         * setup.py (version): bump to 0.3.5+ while between releases
7658 2003-09-19  Brian Warner  <warner@lothar.com>
7660         * setup.py (version): Releasing buildbot-0.3.5
7662 2003-09-19  Brian Warner  <warner@lothar.com>
7664         * NEWS: add post-0.3.4 notes
7666         * README (REQUIREMENTS): note twisted-1.0.7 requirement
7668         * MANIFEST.in: add contrib/*
7670         * docs/examples/twisted_master.py (twisted_app): all build slaves must
7671         use a remote root now: cvs.twistedmatrix.com
7673         * buildbot/changes/freshcvs.py (FreshCVSNotifiee.connect): update
7674         to newcred
7675         (FreshCVSNotifieeOldcred): but retain a class that uses oldcred for
7676         compatibility with old servers
7677         (FreshCVSSource.start): and provide a way to use it
7678         (FreshCVSNotifiee.disconnect): handle unconnected notifiee
7680         * docs/examples/twisted_master.py (twisted_app): update to new
7681         makeApp interface.
7682         (twisted_app): listen on new ~buildbot socket
7683         (twisted_app): Twisted CVS has moved to cvs.twistedmatrix.com
7685         * buildbot/process/process_twisted.py: Use 'copydir' on CVS steps
7686         to reduce cvs bandwidth (update instead of full checkout)
7688 2003-09-11  Brian Warner  <warner@lothar.com>
7690         * contrib/fakechange.py: demo how to connect to the changemaster
7691         port. You can use this technique to submit changes to the
7692         buildmaster from source control systems that offer a hook to run a
7693         script when changes are committed.
7695         * contrib/debugclient.py: tool to connect to the debug port. You
7696         can use it to force builds, submit fake changes, and wiggle the
7697         builder state
7699         * buildbot/master.py: the Big NewCred Reorganization. Use a single
7700         'Dispatcher' realm to handle all the different kinds of
7701         connections and Perspectives: buildslaves, the changemaster port,
7702         the debug port, and the status client port. NewCredPerspectives
7703         now have .attached/.detached methods called with the remote 'mind'
7704         reference, much like old perspectives did. All the pb.Services
7705         turned into ordinary app.ApplicationServices .
7706         (DebugService): went away, DebugPerspectives are now created
7707         directly by the Dispatcher.
7708         (makeApp): changed interface a little bit
7710         * buildbot/changes/changes.py: newcred
7711         * buildbot/status/client.py: newcred
7713         * buildbot/clients/base.py: newcred client side changes
7714         * buildbot/bot.py: ditto
7716         * docs/examples/glib_master.py: handle new makeApp() interface
7717         * docs/examples/twisted_master.py: ditto
7719         * buildbot/pbutil.py (NewCredPerspective): add a helper class to
7720         base newcred Perspectives on. This should go away once Twisted
7721         itself provides something sensible.
7724 2003-09-11  Christopher Armstrong  <radix@twistedmatrix.com>
7726         * contrib/svn_buildbot.py: A program that you can call from your
7727         SVNREPO/hooks/post-commit file that will notify a BuildBot master
7728         when a change in an SVN repository has happened. See the top of
7729         the file for some minimal usage info.
7731 2003-09-10  Christopher Armstrong  <radix@twistedmatrix.com>
7733         * buildbot/slavecommand.py (ArglistCommand): Add new
7734         ArglistCommand that takes an argument list rather than a string as
7735         a parameter. Using a st.split() for argv is very bad.
7737         * buildbot/slavecommand.py (SVNFetch): Now has the ability to
7738         update to a particular revision rather than always checking out
7739         (still not very smart about it, there may be cases where the
7740         checkout becomes inconsistent).
7742 2003-09-10  Christopher Armstrong  <radix@twistedmatrix.com>
7744         * buildbot/{bot.py,slavecommand.py,process/step.py}: Rudimentary
7745         SVN fetch support. It can checkout (not update!) a specified
7746         revision from a specified repository to a specified directory.
7748         * buildbot/status/progress.py (Expectations.update): Fix an
7749         obvious bug (apparently created by the change described in the
7750         previous ChangeLog message) by moving a check to *after* the
7751         variable it checks is defined.
7754 2003-09-08  Brian Warner  <warner@lothar.com>
7756         * buildbot/status/progress.py (Expectations.update): hack to catch
7757         an exception TTimo sees: sometimes the update() method seems to
7758         get called before the step has actually finished, so the .stopTime
7759         is not set, so no totalTime() is available and we average None
7760         with the previous value. Catch this and just don't update the
7761         metrics, and emit a log message.
7763 2003-08-24  Brian Warner  <warner@lothar.com>
7765         * buildbot/process/base.py (BasicBuildFactory): accept 'cvsCopy'
7766         parameter to set copydir='original' in CVS commands.
7768         * buildbot/process/step.py (CVS): accept 'copydir' parameter.
7770         * buildbot/slavecommand.py (CVSCommand): add 'copydir' parameter,
7771         which tells the command to maintain a separate original-source CVS
7772         workspace. For each build, this workspace will be updated, then
7773         the tree copied into a new workdir. This reduces CVS bandwidth
7774         (from a full checkout to a mere update) while doubling the local
7775         disk usage (to keep two copies of the tree).
7777 2003-08-21  Brian Warner  <warner@lothar.com>
7779         * buildbot/status/event.py (Logfile.addEntry): if the master web
7780         server dies while we're serving a page, request.write raises
7781         pb.DeadReferenceError . Catch this and treat it like a
7782         notifyFinish event by dropping the request.
7784 2003-08-18  Brian Warner  <warner@lothar.com>
7786         * buildbot/status/words.py (IrcStatusBot.command_FORCE): complain
7787         (instead of blowing up) if a force-build command is given without
7788         a reason field
7790         * buildbot/changes/changes.py (ChangeMaster.getChangeNumbered):
7791         don't blow up if there aren't yet any Changes in the list
7793 2003-08-02  Brian Warner  <warner@lothar.com>
7795         * buildbot/bot.py (updateApplication): don't set the .tap name,
7796         since we shouldn't assume we own the whole .tap file
7798         * buildbot/bb_tap.py (updateApplication): clean up code, detect
7799         'mktap buildbot' (without a subcommand) better
7801 2003-07-29  Brian Warner  <warner@lothar.com>
7803         * buildbot/status/words.py
7804         (IrcStatusFactory.clientConnectionLost): when we lose the
7805         connection to the IRC server, schedule a reconnection attempt.
7807         * buildbot/slavecommand.py (CVSCommand.doClobber): on non-posix,
7808         use shutil.rmtree instead of forking off an "rm -rf" command.
7809         rmtree may take a while and will block until it finishes, so we
7810         use "rm -rf" if available.
7812         * docs/examples/twisted_master.py: turn off kqreactor, it hangs
7813         freebsd buildslave badly
7815         * setup.py (version): bump to 0.3.4+ while between releases
7817 2003-07-28  Brian Warner  <warner@lothar.com>
7819         * setup.py (version): Releasing buildbot-0.3.4
7821 2003-07-28  Brian Warner  <warner@lothar.com>
7823         * NEWS: update in preparation for release
7825         * buildbot/slavecommand.py (ShellCommand.doTimeout): use
7826         process.signalProcess instead of os.kill, to improve w32
7827         portability
7829         * docs/examples/twisted_master.py (twisted_app): turn off
7830         win32eventreactor: the tests hang the buildslave badly
7832         * buildbot/process/base.py (Build.buildFinished): update ETA even on
7833         failed builds, since usually the failures are consistent
7835         * buildbot/process/process_twisted.py (TwistedReactorsBuildFactory):
7836         add compileOpts/compileOpts2 to reactors build
7838         * docs/examples/twisted_master.py (twisted_app): add "-c mingw32"
7839         (twisted_app): use both default and win32eventreactor on w32 build.
7840         Use both default and kqreactor on freebsd build.
7842         * buildbot/process/process_twisted.py (FullTwistedBuildFactory):
7843         add compileOpts2, which is put after the build_ext argument. w32
7844         needs "-c mingw32" here.
7846         * buildbot/status/html.py (StatusResourceBuilder.getChild): don't
7847         touch .acqpath, it goes away in recent Twisted releases
7849         * docs/examples/twisted_master.py (twisted_app): use "python" for
7850         the w32 buildslave, not "python2.2"
7852         * buildbot/bot.py (Bot.remote_getSlaveInfo): only look in info/ if
7853         the directory exists.. should hush an exception under w32
7855         * buildbot/slavecommand.py (ShellCommandPP.processEnded): use
7856         ProcessTerminated -provided values for signal and exitCode rather
7857         than parsing the unix status code directly. This should remove one
7858         more roadblock for a w32-hosted buildslave.
7860         * test/test_mailparse.py: add test cases for Syncmail parser
7862         * Buildbot/changes/freshcvsmail.py: remove leftover code, leave a
7863         temporary compatibility import. Note! Start importing
7864         FCMaildirSource from changes.mail instead of changes.freshcvsmail
7866         * buildbot/changes/mail.py (parseSyncmail): finish Syncmail parser
7868 2003-07-27  Brian Warner  <warner@lothar.com>
7870         * NEWS: started adding new features
7872         * buildbot/changes/mail.py: start work on Syncmail parser, move
7873         mail sources into their own file
7875         * buildbot/changes/freshcvs.py (FreshCVSNotifiee): mark the class
7876         as implementing IChangeSource
7877         * buildbot/changes/freshcvsmail.py (FCMaildirSource): ditto
7879         * buildbot/interfaces.py: define the IChangeSource interface
7881 2003-07-26  Brian Warner  <warner@lothar.com>
7883         * buildbot/master.py (makeApp): docstring (thanks to Kevin Turner)
7885 2003-06-25  Brian Warner  <warner@lothar.com>
7887         * buildbot/status/words.py (IrcStatusBot.emit_last): round off
7888         seconds display
7890 2003-06-17  Brian Warner  <warner@lothar.com>
7892         * buildbot/status/words.py: clean up method usage to avoid error
7893         in silly IRC command
7894         (IrcStatusBot.emit_status): round off seconds display
7896         * buildbot/process/base.py (Build): delete the timer when saving
7897         to the .tap file, and restore it (if it should still be running)
7898         upon restore. This should fix the "next build in -34 seconds"
7899         messages that result when the master is restarted while builds are
7900         sitting in the .waiting slot. If the time for the build has
7901         already passed, start it very soon (in 1 second).
7903         * buildbot/status/words.py: more silly commands
7905         * README (REQUIREMENTS): add URLs to all required software
7907         * buildbot/status/words.py ('last'): mention results of, and time
7908         since last build
7910 2003-05-28  Brian Warner  <warner@lothar.com>
7912         * buildbot/status/words.py: add 'last' command
7913         (IrcStatusBot.emit_status): add current-small text to 'status' output
7915         * docs/examples/twisted_master.py (twisted_app): turn on IRC bot
7916         (twisted_app): remove spaces from OS-X builder name
7918         * buildbot/master.py (makeApp): add knob to turn on IRC bot
7919         * buildbot/status/words.py: IRC bot should actually be useful now
7921 2003-05-23  Brian Warner  <warner@lothar.com>
7923         * buildbot/bot.py (Bot.remote_getSlaveInfo): add routines to get
7924         "slave information" from $(slavedir)/info/* . These files are
7925         maintained by the slave administrator, and describe the
7926         machine/environment that is hosting the slave. Information from
7927         them is put into the "Builder" HTML page. Still need to establish
7928         a set of well-known filenames and meanings for this data: at the
7929         moment, *all* info/* files are sent to the master, but only
7930         'admin' and 'host' are used on that end.
7931         * buildbot/status/html.py (StatusResourceBuilder.body): ditto
7932         * buildbot/process/base.py (Builder.setRemoteInfo):  ditto
7933         * buildbot/master.py (BotPerspective.got_info):  ditto
7935 2003-05-22  Brian Warner  <warner@lothar.com>
7937         * setup.py (version): bump version to 0.3.3+ while between releases
7939 2003-05-21  Brian Warner  <warner@lothar.com>
7941         * setup.py: Releasing buildbot-0.3.3
7943 2003-05-21  Brian Warner  <warner@lothar.com>
7945         * NEWS: 0.3.3 news items
7947         * README: describe --keepalive and life behind a NAT box
7949         * buildbot/bot.py (Bot.connected): implement application-level
7950         keepalives to deal with NAT timeouts, turn them on with
7951         --keepalive option or when SO_KEEPALIVE doesn't work.
7953         * buildbot/master.py (BotPerspective): accept keepalives silently
7955         * buildbot/process/base.py (Build.buildException): CopiedFailures
7956         don't carry as much information as local ones, so don't try to
7957         create a big HTMLized version of them.
7959         * buildbot/process/step.py (InternalShellCommand.stepFailed): close
7960         log file when step fails due to an exception, such as when the slave
7961         becomes unreachable
7963         * buildbot/process/step_twisted.py (RunUnitTests): use trial's new
7964         --testmodule argument instead of grepping for test-case-name tags
7965         ourselves. Remove FindUnitTests code.
7966         * buildbot/slavecommand.py, buildbot/bot.py: remove old code
7968         * MANIFEST.in: Add docs/examples, files under test/ . Oops!
7970 2003-05-16  Brian Warner  <warner@lothar.com>
7972         * buildbot/process/base.py (BasicBuildFactory): add 'configureEnv'
7973         argument to allow things like CFLAGS=-O0 to be passed without relying
7974         upon /bin/sh processing on the slave.
7976         * buildbot/process/step.py (InternalShellCommand.start): send
7977         'env' dict to slave
7978         * buildbot/slavecommand.py (ShellCommand.start): create argv with
7979         'split' instead of letting /bin/sh do it. This should also remove
7980         the need for /bin/sh on the buildslave, making it more likely to
7981         work with win32.
7983         * buildbot/status/html.py: html-escape text in blamelist.
7984         Add "force build" button to the Builder page.
7986         * buildbot/process/step_twisted.py (countFailedTests): look at
7987         last 1000 characters for status line, as import errors can put it
7988         before the -200 point.
7990 2003-05-15  Brian Warner  <warner@lothar.com>
7992         * docs/examples/twisted_master.py: use clobber=0 for remote builds
7994         * buildbot/process/process_twisted.py (FullTwistedBuildFactory):
7995         make 'clobber' a parameter, so it is possible to have builds which
7996         do full tests but do a cvs update instead of hammering the CVS
7997         server with a full checkout each build
7999         * buildbot/process/step.py (InternalShellCommand): bump default
8000         timeout to 20 minutes
8002         * buildbot/bot.py (Bot.debug_forceBuild): utility method to ask
8003         the master to trigger a build. Run it via manhole.
8005         * buildbot/master.py (BotPerspective.perspective_forceBuild):
8006         allow slaves to trigger any build that they host, to make life
8007         easier for slave admins who are testing out new build processes
8009         * buildbot/process/process_twisted.py (TwistedReactorsBuildFactory):
8010         don't flunk cReactor or qtreactor on failure, since they fail alot
8011         these days. Do warnOnFailure instead.
8013         * buildbot/process/base.py: change Builder.buildable from a list
8014         into a single slot. When we don't have a slave, new builds (once
8015         they make it past the timeout) are now merged into an existing
8016         buildable one instead of being queued. With this change, a slave
8017         which has been away for a while doesn't get pounded with all the
8018         builds it missed, but instead just does a single build.
8020 2003-05-07  Brian Warner  <warner@lothar.com>
8022         * setup.py (version): bump version to 0.3.2+ while between releases
8024 2003-05-07  Brian Warner  <warner@lothar.com>
8026         * setup.py: Releasing buildbot-0.3.2
8028 2003-05-07  Brian Warner  <warner@lothar.com>
8030         * setup.py: fix major packaging error: include subdirectories!
8031         
8032         * NEWS: add changes since last release
8034         * README (REQUIREMENTS): update twisted/python dependencies
8036         * buildbot/status/builder.py (Builder.startBuild): change
8037         BuildProcess API: now they should call startBuild/finishBuild
8038         instead of pushing firstEvent / setLastBuildStatus. Moving towards
8039         keeping a list of builds in the statusbag, to support other kinds of
8040         status delivery.
8041         (Builder.addClient): send current-activity-small to new clients
8042         * buildbot/process/base.py (Build.startBuild, .buildFinished): use
8043         new API
8045         * buildbot/status/client.py: drop RemoteReferences at shutdown
8047         * buildbot/status/event.py (Event.stoppedObserving): oops, add it
8049         * buildbot/status/progress.py (BuildProgress.remote_subscribe):
8050         more debug messages for remote status client
8052         * buildbot/process/step.py (InternalBuildStep.stepComplete)
8053         (.stepFailed): only fire the Deferred once, even if both
8054         stepComplete and stepFailed are called. I think this can happen if
8055         an exception occurs at a weird time.
8057         * buildbot/status/words.py: work-in-progress: IRC status delivery
8059 2003-05-05  Brian Warner  <warner@lothar.com>
8061         * docs/examples/twisted_master.py (twisted_app): hush internal
8062         python2.3 distutils deprecation warnings
8063         * buildbot/process/process_twisted.py (FullTwistedBuildFactory):
8064         add compileOpts= argument which inserts extra args before the
8065         "setup.py build_ext" command. This can be used to give -Wignore
8066         warnings, to hush some internal python-2.3 deprecation messages.
8068         * buildbot/process/step_twisted.py (RunUnitTests): parameterize
8069         the ['twisted.test'] default test case to make it easier to change
8070         in subclasses
8072         * buildbot/clients/base.py: switch to pb.Cacheable-style Events
8073         * buildbot/clients/gtkPanes.py: ditto
8075         * buildbot/process/step_twisted.py (RunUnitTests): use randomly=
8076         arg to collapse RunUnitTestsRandomly into RunUnitTests
8077         * buildbot/process/process_twisted.py (FullTwistedBuildFactory):
8078         use RunUnitTests(randomly=1) instead of RunUnitTestsRandomly
8080         * buildbot/status/html.py (StatusResource): shuffle Resources
8081         around to fix a bug: both 'http://foo:8080' and 'http://foo:8080/'
8082         would serve the waterfall display, but the internal links were
8083         only valid on the trailing-slash version. The correct behavior is
8084         for the non-slashed one to serve a Redirect to the slashed one.
8085         This only shows up when the buildbot page is hanging off another
8086         server, like a Twisted-Web distributed server.
8088         * buildbot/status/event.py (Event, RemoteEvent): make Events
8089         pb.Cacheable, with RemoteEvent as the cached version. This removes
8090         a lot of explicit send-an-update code.
8091         * buildbot/status/builder.py (Builder): remove send-update code
8092         * buildbot/status/client.py (ClientBuilder): remove send-update
8093         code, and log errors that occur during callRemote (mostly to catch
8094         InsecureJelly exceptions)
8096         * buildbot/process/process_twisted.py (QuickTwistedBuildFactory):
8097         run Lore with the same python used in the rest of the build
8099         * buildbot/process/step_twisted2.py (RunUnitTestsJelly): moved
8101         * buildbot/process/step_twisted.py (HLint): accept 'python'
8102         argument. Catch rc!=0 and mark the step as failed. This marks the
8103         build orange ("has warnings").
8104         (RunUnitTestsJelly): move out to step_twisted2.py
8106         * buildbot/util.py (ignoreStaleRefs): add utility function
8108         * buildbot/master.py (DebugPerspective.perspective_setCurrentState):
8109         don't fake ETA object, it's too hard to get right
8111 2003-05-02  Brian Warner  <warner@lothar.com>
8113         * docs/examples/twisted_master.py (twisted_app): add FreeBSD builder
8115 2003-05-01  Brian Warner  <warner@lothar.com>
8117         * buildbot/status/html.py (StatusResource.body): oops, I was
8118         missing a <tr>, causing the waterfall page to be misrendered in
8119         everything except Galeon.
8121 2003-04-29  Brian Warner  <warner@lothar.com>
8123         * docs/examples/twisted_master.py: make debuild use python-2.2
8124         explicitly, now that Twisted stopped supporting 2.1
8126         * buildbot/process/step_twisted.py (BuildDebs.finishStatus): oops,
8127         handle tuple results too. I keep forgetting this, which suggests
8128         it needs to be rethought.
8130         * setup.py (setup): bump version to 0.3.1+ while between releases
8131         
8132 2003-04-29  Brian Warner  <warner@lothar.com>
8134         * setup.py: Releasing buildbot-0.3.1
8136 2003-04-29  Brian Warner  <warner@lothar.com>
8138         * README (SUPPORT): add plea to send questions to the mailing list
8140         * NEWS, MANIFEST.in: add description of recent changes
8142         * docs/examples/twisted_master.py: add the code used to create the
8143         Twisted buildmaster, with passwords and such removed out to a
8144         separate file.
8146         * buildbot/changes/changes.py, freshcvs.py, freshcvsmail.py: split
8147         out cvstoys-using bits from generic changes.py, to allow non-cvstoys
8148         buildmasters to not require CVSToys be installed.
8149         * README, docs/examples/glib_master: update to match the change
8151         * buildbot/clients/base.py, buildbot/bot.py,
8152         buildbot/changes/changes.py, buildbot/pbutil.py: copy
8153         ReconnectingPB from CVSToys distribution to remove CVSToys
8154         dependency for build slaves and status clients. Buildmasters which
8155         use FreshCVSSources still require cvstoys be installed, of course.
8157 2003-04-25  Brian Warner  <warner@lothar.com>
8159         * buildbot/process/process_twisted.py (FullTwistedBuildFactory): add
8160         runTestsRandomly arg to turn on trial -z
8162         * buildbot/process/step_twisted.py (TwistedJellyTestResults):
8163         experimental code to use trial's machine-parseable output to get
8164         more detailed test results. Still has some major issues.
8165         (RunUnitTestsRandomly): subclass to add "-z 0" option, runs tests
8166         in random sequence
8168         * buildbot/status/builder.py (Builder.setCurrentBuild):
8169         anticipating moving build history into statusbag, not used yet
8171         * buildbot/status/tests.py: code to centralize test results,
8172         doesn't work quite yet
8174         * buildbot/status/event.py (Event): use hasattr("setName") instead
8175         of isinstance for now.. need better long-term solution
8177         * buildbot/status/html.py: Remove old imports
8179 2003-04-24  Brian Warner  <warner@lothar.com>
8181         * buildbot/process/process_twisted.py (TwistedBuild.isFileImportant):
8182         ignore changes under doc/fun/ and sandbox/
8184         * buildbot/process/step_twisted.py: update pushEvent and friends.
8186         * buildbot/status/html.py (Box.td): replace event.buildername with
8187         event.parent.getSwappableName(). Needs more thought.
8189         * buildbot/status/builder.py (Builder): Replace pushEvent and
8190         getLastEvent with {set|update|addFileTo|finish}CurrentActivity.
8191         Tell events they are being pruned with event.delete().
8193         * buildbot/process/base.py (Build): Remove Builder status-handling
8194         methods. s/pushEvent/setCurrentActivity/.
8196         * buildbot/process/step.py (BuildStep): clean up status delivery.
8197         Gouse builder.statusbag methods instead of intermediate builder
8198         methods. s/updateLastEvent/updateCurrentActivity/.
8199         s/finalizeLastEvent/finishCurrentActivity/. Use
8200         addFileToCurrentActivity for summaryFunction.
8202         * buildbot/status/event.py (Logfile): put data in a Swappable when
8203         .finish is called.
8204         (Event): add more setter methods. Remove .buildername, use .parent
8205         and getSwappableName instead (needs more thought).
8207         * buildbot/util.py (Swappable):
8208         * test/test_swap.py: don't bother setting filename at __init__
8209         time, do it later. Change setFilename args to take parent first,
8210         since it provides the most significant part of the filename.
8212 2003-04-23  Brian Warner  <warner@lothar.com>
8214         * buildbot/status/event.py (Logfile.addEntry): append to previous
8215         entry, if possible
8217         * buildbot/process/step.py (BuildStep.finalizeLastEvent):
8218         anticipating Swappable
8219         (InternalShellCommand.remoteUpdate): split out various log-adding
8220         methods so subclasses can snarf stdout separately
8222         * buildbot/process/base.py (Builder.finalizeLastEvent): more code
8223         in anticipation of Swappable build logs
8224         (Builder.testsFinished): anticipating TestResults, still disabled
8226         * buildbot/status/builder.py (Builder.pruneEvents): only keep the
8227         last 100 events
8229         * buildbot/status/event.py (Logfile): add (disabled) support for
8230         Swappable, not ready for use yet
8232         * buildbot/util.py (Swappable): object which is swapped out to
8233         disk after some period of no use.
8234         * test/test_swap.py: test buildbot.utils.Swappable
8236 2003-04-14  Brian Warner  <warner@lothar.com>
8238         * buildbot/process/base.py (Builder.doPeriodicBuild): add simple
8239         periodic-build timer. Set the .periodicBuildTime on a builder
8240         instance to some number of seconds to activate it.
8242         * buildbot/master.py (BotMaster.forceBuild): change forceBuild API
8244         * buildbot/process/step.py (ShellCommand.finishStatus): use log.msg in
8245         a way that survives result tuples
8247 2003-04-12  Brian Warner  <warner@lothar.com>
8249         * buildbot/process/step.py (ShellCommand.finishStatusSummary):
8250         return a dict instead of a tuple: allow summarizers to provide
8251         multiple summaries if they want
8252         * buildbot/process/step_twisted.py (trialTextSummarizer): return dict
8253         (debuildSummarizer): summarize lintian warnings/errors
8255 2003-04-10  Brian Warner  <warner@lothar.com>
8257         * README (REQUIREMENTS): slave requires twisted-1.0.4a2
8259 2003-04-09  Brian Warner  <warner@lothar.com>
8261         * buildbot/process/step_twisted.py (trialTextSummarizer): Don't create
8262         empty summaries: happens when the tests fail so hard they don't emit
8263         a parseable summary line.
8265         * buildbot/process/step.py (ShellCommand.finishStatusSummary):
8266         Allow summaryFunction to return None to indicate no summary should
8267         be added.
8269         * buildbot/status/event.py (Logfile.removeHtmlWatcher): avoid
8270         writing to stale HTTP requests: notice when they disconnect and
8271         remove the request from the list. Also add CacheToFile from
8272         moshez, will be used later.
8274 2003-04-08  Brian Warner  <warner@lothar.com>
8276         * buildbot/process/step_twisted.py (ProcessDocs.finished): warnings
8277         should be an int, not a list of strings
8279         * buildbot/changes/changes.py (FreshCVSSource.stop): don't disconnect
8280         if we weren't actually connected
8282         * buildbot/process/step_twisted.py (trialTextSummarizer): function
8283         to show the tail end of the trial text output
8285         * buildbot/process/step.py (ShellCommand.finishStatusSummary): add
8286         hook to summarize the results of a ShellCommand
8288 2003-04-07  Brian Warner  <warner@lothar.com>
8290         * buildbot/process/step_twisted.py (RunUnitTests): consolidate all
8291         twisted test suite code into a single class.
8292         * buildbot/process/process_twisted.py: same
8294 2003-04-04  Brian Warner  <warner@lothar.com>
8296         * setup.py, MANIFEST.in: hack to make sure plugins.tml gets installed
8298         * README (SLAVE): document use of mktap to create slave .tap file
8299         (REQUIREMENTS): describe dependencies
8301         * buildbot/bb_tap.py, buildbot/plugins.tml:
8302         * buildbot/bot.py (updateApplication): Add mktap support for creating
8303         buildslave .tap files
8305 2003-03-28  Brian Warner  <warner@lothar.com>
8307         * buildbot/process/step.py (InternalShellCommand.finished): handle
8308         new tuple result values (fix embarrasing bug that appeared during
8309         PyCon demo)
8311 2003-03-27  Brian Warner  <warner@lothar.com>
8313         * docs/examples/glib_master.py, README: add sample buildmaster.tap
8314         -making program
8316 2003-03-25  Brian Warner  <warner@lothar.com>
8318         * buildbot/process/step.py (CVS, ShellCommand): add reason for failure
8319         to overall build status
8320         * buildbot/clients/base.py (Builder): improve event printing
8321         * buildbot/process/base.py (BasicBuildFactory): use specific steps
8322         instead of generic ShellCommand
8323         (Build): Add .stopBuild, use it when slave is detached
8325         * buildbot/process/step.py (Configure,Test): give the steps their
8326         own names and status strings
8328         * buildbot/status/html.py (StatusResource): add "show" argument,
8329         lets you limit the set of Builders being displayed.
8331 2003-03-20  Brian Warner  <warner@lothar.com>
8333         * buildbot/process/basic.py: removed
8335 2003-03-19  Brian Warner  <warner@lothar.com>
8337         * buildbot/process/process_twisted.py (FullTwistedBuildFactory):
8338         turn off process-docs by default
8340         * buildbot/process/base.py (Builder.getBuildNumbered): Don't blow up
8341         when displaying build information without anything in allBuilds[]
8343         * buildbot/bot.py (makeApp): really take password from sys.argv
8345 2003-03-18  Brian Warner  <warner@lothar.com>
8347         * buildbot/bot.py (buildApp): take password from sys.argv
8349         * README: replace with more useful text
8351         * setup.py: add a real one
8352         * MANIFEST.in, .cvsignore: more distutils packaging stuff
8353         
8354         * docs/PyCon-2003/: added sources for PyCon paper.
8356         * buildbot/process/base.py, step.py: revamp. BuildProcess is gone,
8357         now Build objects control the process and Builder only handles
8358         slave stuff and distribution of changes/status. A new BuildFactory
8359         class creates Build objects on demand.
8361         Created ConfigurableBuild which takes a list of steps to run. This
8362         makes it a lot easier to set up a new kind of build and moves us
8363         closer to being able to configure a build from a web page.
8365         * buildbot/process/step_twisted.py, process_twisted.py: move to
8366         new model. A lot of code went away.
8367         
8368         * buildbot/status/progress.py (BuildProgress.newProgress): Don't
8369         send lots of empty progress messages to the client.
8371         * buildbot/master.py (makeApp): enforce builder-name uniqueness
8373 2003-02-20  Brian Warner  <warner@lothar.com>
8375         * buildbot/process/step_twisted.py (BuildDebs): count lintian hits
8377         * buildbot/slavecommand.py (ShellCommand): back to usePTY=0. The
8378         Twisted bug that prevented non-pty processes from working just got
8379         fixed, and the bug that leaks ptys is still being investigated.
8381         * buildbot/process/step.py (CVS): send timeout arg to slave
8383         * buildbot/clients/gtkPanes.py: add connection-status row, handle
8384         builders coming and going
8385         * buildbot/clients/base.py: clean up protocol, move to ReconnectingPB
8386         from CVSToys, handle lost-buildmaster
8388         * buildbot/status/client.py (StatusClientService.removeBuilder):
8389         Clean up status client protocol: send builders (with references)
8390         as they are created, rather than sending a list and requiring the
8391         client to figure out which ones are new.
8392         * buildbot/master.py (BotMaster.forceBuild): Log debugclient
8393         attempts to force a build on an unknown builder
8395 2003-02-19  Brian Warner  <warner@lothar.com>
8397         * buildbot/slavecommand.py (CVSCommand): add timeout to sub-commands
8398         * buildbot/slavecommand.py (ShellCommand.start): stop using PTYs until
8399         Twisted stops leaking them.
8400         * buildbot/clients/gtkPanes.py (CompactBuilder): forget ETA when the
8401         builder goes to an idle state.
8403         * buildbot/slavecommand.py (ShellCommand.start): bring back PTYs until
8404         I figure out why CVS commands hang without them, and/or I fix the
8405         hung-command timeout
8407 2003-02-16  Brian Warner  <warner@lothar.com>
8409         * buildbot/process/step_twisted.py: bin/hlint went away, replace
8410         with 'bin/lore --output lint'. Use 'bin/trial -o' to remove
8411         ansi-color markup. Remove GenerateLore step. Count hlint warnings in
8412         GenerateDocs now that they are prefixed with WARNING:.
8414         * buildbot/status/html.py (StatusResource.body): Fix Builder link,
8415         use manual href target instead of request.childLink
8417         * buildbot/clients/gtkPanes.py: Fix progress countdown: update the
8418         display every second, but update the ETA every 5 seconds (or
8419         whenever) as remote_progress messages arrive.
8422 2003-02-12  Brian Warner  <warner@lothar.com>
8424         * *: import current sources from home CVS repository
8425         
8427 # Local Variables:
8428 # add-log-time-format: add-log-iso8601-time-string
8429 # End: