Add missing credit for Gaurav
[xapian.git] / xapian-core / ChangeLog.0
blob1d4eef048173e78cda5637370341f06fe63a1a11
1 Fri Nov 24 15:34:17 GMT 2000  Richard Boulton <richard.boulton@open.muscat.com>
3         * Declare this to be version 0.4.1
5 Fri Nov 24 14:58:27 GMT 2000  Richard Boulton <richard.boulton@open.muscat.com>
7         * Fix compile warnings when debug is off.
9 Fri Nov 24 14:20:01 GMT 2000  Richard Boulton <richard.boulton@open.muscat.com>
11         * Turn TIMING_PATCH off in cvs.
13 Fri Nov 24 14:14:58 GMT 2000  Richard Boulton <richard.boulton@open.muscat.com>
15         * Add parameter check to network databases to ensure that supplied
16           timeouts are positive.
18 Fri Nov 24 13:54:00 GMT 2000  Richard Boulton <richard.boulton@open.muscat.com>
20         * Fix problem with tcp connections: the timeout parameter wasn't
21           being passed to select() correctly, causing a timeout of zero,
22           resulting in only local connections working.
24 Fri Nov 24 10:11:05 GMT 2000 Chris Emerson <chris.emerson@open.muscat.com>
26         * Btree base files now store things in variable-length fields.
27           The format number is also now used.
28         
29         * New function sys_read_all_bytes() to read an entire file into
30           a string.
32 Thu Nov 23 19:40:31 GMT 2000  Richard Boulton <richard.boulton@open.muscat.com>
34         * Added automatic detection of fdatasync, checking if -lrt is needed,
35           and reverting to fsync if not present.
37 Thu Nov 23 18:12:59 GMT 2000  Richard Boulton <richard.boulton@open.muscat.com>
39         * Add a cancel method to QuartzTableManager(), and ensure it is
40           called if any errors occur while modifying the quartz database -
41           this prevents partial modifications being applied.
43         * QuartzTableManager::set_revision_number() and apply() now return
44           void - exceptions are thrown if errors occur.
46         * QuartzBufferedTables now free the memory they're using as soon as
47           possible when writing changes to disk.
49         * Added QuartzBufferedTable::write() method - when implemented, this
50           will write the changes so far to disk and free the memory used,
51           but not make a new revision: this is wanted for some backends where
52           no sort of the modifications is needed, so they don't need to be
53           held in memory.
55 Thu Nov 23 16:31:45 GMT 2000 Chris Emerson <chris.emerson@open.muscat.com>
57         * Re-arranged Btree::basic_open slightly to make it easier to 
58           expand the number of available revisions in the future.
60 Thu Nov 23 16:26:09 GMT 2000 Olly Betts
62         * Remote backend timeout now applies to connect() attempt too.
64 Wed Nov 22 19:01:33 GMT 2000  Richard Boulton <richard.boulton@open.muscat.com>
66         * Don't return incorrect doccount if informational entries haven't
67           yet been created in the quartz record database.
69 Wed Nov 22 18:53:33 GMT 2000  Richard Boulton <richard.boulton@open.muscat.com>
71         * A couple of missed bits of the previous change - we no longer need
72           to do an initialisation step to databases, and we no longer need
73           to subtract 2 from the item count in recordtable to get the doccount.
75 Wed Nov 22 18:44:01 GMT 2000  Richard Boulton <richard.boulton@open.muscat.com>
77         * Remove QuartzRecord::initialise() - replace by assuming initial
78           values if the TOTLEN or NEXTDID tags aren't present.  Stops having
79           a wasted revision when a database is created.
81 Wed Nov 22 18:35:56 GMT 2000  Richard Boulton <richard.boulton@open.muscat.com>
83         * Remove QuartzBufferedTable::get_tag() method - was only used to
84           check whether a tag was present, not to access the tag.  Replaced
85           with a have_tag() method.  This tidying up should help with making
86           smart pointers to point to a tag - no longer have to deal with
87           null pointers.
89 Wed Nov 22 18:28:36 GMT 2000 Chris Emerson <chris.emerson@open.muscat.com>
91         * Turned the rest of the Btree API functions into Btree member
92           functions.
93         
94         * Added a bit of const to sys_write_* and get_[u]int4
96 Wed Nov 22 15:53:16 GMT 2000 Olly Betts
98         * Removed OmPostListIterator::get_termfreq() and
99           OmPostListIterator::get_collection_freq() - you don't expect a
100           container iterator to provide a method to find the size of the
101           container, and the database provides similar methods to find this
102           information.
104 Wed Nov 22 14:59:11 GMT 2000  Richard Boulton <richard.boulton@open.muscat.com>
106         * Add configure option to enable or disable compilation of the
107           indexer library - defaults to enable: --enable-indexer
109         * Move textfile_indexer and index_utils into testsuite - not part
110           of the proper indexer.
112 Wed Nov 22 13:13:20 GMT 2000  Richard Boulton <richard.boulton@open.muscat.com>
114         * Store positionlists in quartz using difference between successive
115           positions, rather than the raw positions.
117         * Update TODO: have written collection frequency tests, and have more
118           stuff to be doing.
120 Wed Nov 22 12:25:38 GMT 2000  Richard Boulton <richard.boulton@open.muscat.com>
122         * Add missing dependency, so that todo.html gets rebuilt when
123           todo.xml is changed.
125 Wed Nov 22 11:50:21 GMT 2000  Richard Boulton <richard.boulton@open.muscat.com>
127         * Add --prefix and --exec-prefix parameters to libomus-config script.
129 Wed Nov 22 11:03:57 GMT 2000  Richard Boulton <richard.boulton@open.muscat.com>
131         * Don't build indextest if you don't have LIBXML
133 Tue Nov 21 17:49:15 GMT 2000 Chris Emerson <chris.emerson@open.muscat.com>
135         * Btree_close() -> Btree::commit() + delete B.
137 Tue Nov 21 17:19:38 GMT 2000  Richard Boulton <richard.boulton@open.muscat.com>
139         * Modified QuartzPostList::delete_entry() so that it updates the
140           counts, even though it doesn't actually delete the entry yet.
142 Tue Nov 21 15:35:47 GMT 2000 Chris Emerson <chris.emerson@open.muscat.com>
144         * Made the testsuite more colourful.
146 Tue Nov 21 15:16:00 GMT 2000 Olly Betts
148         * OmEnquire::Internal now a public class so it can be a friend to
149           OmQuery (gcc 2.95.2 incorrectly accepts it when private).
151 Tue Nov 21 14:29:46 GMT 2000 Chris Emerson <chris.emerson@open.muscat.com>
153         * Removed a rogue semi-colon introduced with the RTLD_DEFAULT fix.
155 Tue Nov 21 14:16:21 GMT 2000 Chris Emerson <chris.emerson@open.muscat.com>
157         * Made the Btree opening functions member functions (as before,
158           the Btree_* functions remain as wrappers).  They are not
159           called from the constructor because they need to signal a
160           failure without throwing an exception.
162         * The next() and prev() cursor functions were renamed to
163           next_default() and prev_default() due to a namespace collision.
165 Tue Nov 21 10:58:13 GMT 2000  Richard Boulton <richard.boulton@open.muscat.com>
167         * Implemented collection frequency stuff.  This involves:
169           - Added an OmDatabase::get_collection_freq() method.
170           - Added an OmPostListIterator::get_collection_freq() method.
171             (Also, added an OmPostListIterator::get_termfreq() method)
172           - Postlists and Databases have get_collection_freq() method.
173           - QuartzPostLists store the collection frequency at the beginning
174             of the list.
175           - Added tests to apitest and quartztest for reading collection
176             frequencies, both from a single database and from several
177             databases.
179           Collection frequencies will not work with SleepyCat, InMemory, or
180           Muscat 3.6 databases.
182         * Also, make tests clear old databases at _start_ of their test run,
183           but not in the middle, so that all the old databases are present
184           for inspection but don't interfere with the new test run.
186 Tue Nov 21 11:46:24 GMT 2000 Chris Emerson <chris.emerson@open.muscat.com>
188         * testsuite.cc should work when RTLD_DEFAULT is not defined.
190 Mon Nov 20 19:00:26 GMT 2000 Chris Emerson <chris.emerson@open.muscat.com>
192         * Added new class Btree_base encapsulating the structure of the
193           Quartz base file.
194         
195         * sys_read_bytes() and sys_read_block() now share most of their
196           code.  Some of the sys_* made available in btree_util.h.
197         
198         * Btree_create now a wrapper around Btree::create().
200 Mon Nov 20 14:27:20 GMT 2000  Richard Boulton <richard.boulton@open.muscat.com>
202         * Fix some warnings in net/socketclient.cc.  Remove an unneeded line
203           in libomus-config.nodep.in.
205 Mon Nov 20 14:22:40 GMT 2000  Richard Boulton <richard.boulton@open.muscat.com>
207         * postlist.h now declares class OmKey - was failing to declare before
208           use, causing a compiler error (but only with
209           --disable-pthread-support)
211 Mon Nov 20 14:20:20 GMT 2000  Richard Boulton <richard.boulton@open.muscat.com>
213         * Remove a compiler warning in quartz_database.cc
215 Mon Nov 20 14:13:31 GMT 2000  Richard Boulton <richard.boulton@open.muscat.com>
217         * Simple bugfix to ombatchenquire.cc so that it compiles when
218           --disable-pthread-support is specified.
220 Mon Nov 20 12:56:56 GMT 2000 Chris Emerson <chris.emerson@open.muscat.com>
222         * Removed mentions of termids from Quartz.
224 Fri Nov 17 19:00:23 GMT 2000  Richard Boulton <richard.boulton@open.muscat.com>
226         * Removed uneeded macro from quartz_types.h
228 Fri Nov 17 18:24:29 GMT 2000 Chris Emerson <chris.emerson@open.muscat.com>
230         * Bcursor is now closer to a proper class.  Bcursor_* functions
231           are now just wrappers.  Implementation moved to bcursor.cc
233         * Some of the macros, helper functions, and types from btree.cc
234           have moved into separate header files.
236 Fri Nov 17 16:43:50 GMT 2000  Richard Boulton <richard.boulton@open.muscat.com>
238         * Declare this to be version 0.4.0
240 Fri Nov 17 16:26:52 GMT 2000 Chris Emerson <chris.emerson@open.muscat.com>
242         * Annihilated a small memory leak.
244         * Fixed a problem with checking enable_shared.
246 Fri Nov 17 16:12:42 GMT 2000  Richard Boulton <richard.boulton@open.muscat.com>
248         * Remove tests to check for Berkeley DB 3.1 - we don't use Berkeley
249           DB 3.1.
251         * Made quartz compile by default - it now passes the testsuite (well,
252           apart from a small memory leak, but what's a small memory leak
253           between friends?).
255 Fri Nov 17 15:49:20 GMT 2000  Richard Boulton <richard.boulton@open.muscat.com>
257         * Change an OmUnimplementedError into an OmInvalidOperationError
258           in MSetPostList
260 Fri Nov 17 15:39:29 GMT 2000  Richard Boulton <richard.boulton@open.muscat.com>
262         * Fixes to check key length when searching for a key or adding an
263           item.  If a key which is too long is searched for, it simply
264           will not be found (but cursor operations will find first key
265           before it, as expected).  If an attempt is made to add a key
266           which is too long, an exception will be thrown.
268 Fri Nov 17 14:37:38 GMT 2000 Chris Emerson <chris.emerson@open.muscat.com>
270         * Fixed a problem with errors opening a database at a particular
271           revision throwing an exception.
273 Fri Nov 17 14:18:02 GMT 2000  Richard Boulton <richard.boulton@open.muscat.com>
275         * Fix to Bcursor_find_key() so that it reads the tag correctly when
276           searching for a key which doesn't exist, but the previous item
277           is split into multiple chunks (tag used to come from only the
278           final chunk).
280 Fri Nov 17 12:29:54 GMT 2000  Richard Boulton <richard.boulton@open.muscat.com>
282         * Fix bug with applying new empty revisions to empty DBs - blocks no
283           longer get used up by this process.
285 Fri Nov 17 11:09:56 GMT 2000  Richard Boulton <richard.boulton@open.muscat.com>
287         * Add test to quartz of applying new revision numbers multiple times
288           and checking the filesize of the DB file.
290 Thu Nov 16 19:27:20 GMT 2000 Chris Emerson <chris.emerson@open.muscat.com>
292         * Working through btree.{h,cc}:
294           Fixed compilation warnings.
296           Fixed some logic around read()/write() functions.
298           Changed ints to Btree_errors in a few places and added
299           BTREE_ERROR_NONE value.
301           Added Btree_strerror for use with Btree_errors.
303           Fixed a few FIXMEs, and added some more.
305           Did lots of tweaking to error handling.
306           
307           There are a few more occurrences to change.  In some cases things
308           can be made much cleaner when the code is objectified with
309           constructors and destructors.  Most of Btree_quit() moved
310           into Btree::~Btree().
312 Thu Nov 16 14:48:05 GMT 2000 Chris Emerson <chris.emerson@open.muscat.com>
314         * Added method str(std::string) to om_ostringstream, to set
315           the value of the internal string.
316         
317         * The testsuite now has a global om_ostringstream "tout", which
318           should be used by test functions when printing anything out.
319           Everything sent to the stream will be thrown out when the test
320           succeeds, or printed out if it fails.
321         
322         * Tests in api_db.cc modified to use tout.
324 Thu Nov 16 11:52:29 GMT 2000 Chris Emerson <chris.emerson@open.muscat.com>
326         * Added quartz_document.cc to CVS.
328 Wed Nov 15 18:14:10 GMT 2000 Chris Emerson <chris.emerson@open.muscat.com>
330         * Added QuartzDocument class, and implemented QuartzDatabase::
331           open_document().
332         
333         * Removed BerkeleyDB 3.1 bits from the Quartz Makefile.am
335 Wed Nov 15 14:52:19 GMT 2000 Chris Emerson <chris.emerson@open.muscat.com>
337         * Added stub operator new[]() and operator delete[]() to
338           testsuite.cc.  This has fixed the bizarre reported memory
339           leaks in indextest - presumably our operator delete() wasn't
340           being called for delete [] buf.
342 Wed Nov 15 14:11:21 GMT 2000 Chris Emerson <chris.emerson@open.muscat.com>
344         * Fixed the OMEXCEPT errors from indextest.  There's still a leak.
346 Tue Nov 14 19:28:18 GMT 2000 Chris Emerson <chris.emerson@open.muscat.com>
348         * Moved omnodeconnection.h from indexer/indexgraph to include/om
350         * Added new methods desc_from_file(), desc_from_string(), and
351           sort_desc() to OmIndexerBuilder interface, and get_node_info().
353         * Fixed a few warnings in node source.
355 Tue Nov 14 19:26:28 GMT 2000  Richard Boulton <richard.boulton@open.muscat.com>
357         * Fixed bug with skip_to in quartz position lists - quartz now
358           passes all but 3 api tests.  Added a dummy test to quartz to
359           remind me to implement a few more tests of the quartz position
360           lists.
362 Tue Nov 14 17:32:06 GMT 2000  Richard Boulton <richard.boulton@open.muscat.com>
364         * Add hack to malloccheck.so to allow running of gdb with the malloc
365           checking.  To run gdb, set environment variable USE_GDB to gdb
366           command: eg, USE_GDB="../libtool gdb" ./run-apitest
368 Tue Nov 14 17:22:28 GMT 2000  Richard Boulton <richard.boulton@open.muscat.com>
370         * Added new debugging category for display of messages related to
371           introspection methods.  Should have debugging completely cluttered
372           with get_description() methods now.
374 Tue Nov 14 13:33:24 GMT 2000 Chris Emerson <chris.emerson@open.muscat.com>
376         * Don't compile malloccheck if shared libraries are disabled.
378 Thu Nov  9 17:23:03 GMT 2000  Richard Boulton <richard.boulton@open.muscat.com>
380         * Added readonly implementation of posting lists.  Just need to add
381           writing for postlists, and plug it in to database, and quartz
382           should be functional.
384 Thu Nov  9 17:01:40 GMT 2000 Chris Emerson <chris.emerson@open.muscat.com>
386         * Fixed indextest on harvey.  The libxml wasn't using default
387           values for tag attributes (which may be related to the
388           lack of validation), so the test cases have the attributes
389           explicitly added.  Tidied things at the same time.
391 Wed Nov  8 19:29:01 GMT 2000  Richard Boulton <richard.boulton@open.muscat.com>
393         * TEST_EXCEPTION() now reports the location of the testcase, just
394           like all the other TEST* macros.
396 Wed Nov  8 19:25:46 GMT 2000  Richard Boulton <richard.boulton@open.muscat.com>
398         * Position lists can now be written to - all quartz tests now pass.
399           (Quartz tests do not yet check postlist behaviour however -
400           postlists are to be implemented tomorrow.)
402 Wed Nov  8 18:13:54 GMT 2000 Chris Emerson <chris.emerson@open.muscat.com>
404         * Added a couple more index tests.
406 Wed Nov  8 17:01:05 GMT 2000  Richard Boulton <richard.boulton@open.muscat.com>
408         * Added implementation of position lists to quartz - only lets
409           position lists be read as yet, no facilities for writing them.
411 Wed Nov  8 13:52:56 GMT 2000  Richard Boulton <richard.boulton@open.muscat.com>
413         * Much work on quartz - it now passes all its tests except the one
414           using position lists (which aren't implemented yet), using the
415           Btree manager.  Work remains to be done on catching error
416           conditions, but the basic structure is now done.
418 Wed Nov  8 13:40:26 GMT 2000 Chris Emerson <chris.emerson@open.muscat.com>
420         * Factored some common code out of most index tests.
422 Wed Nov 08 12:16:20 GMT 2000 Olly Betts
424         * Switched back to MSetPostList (for now at least).
426         * select() now checks for error conditions on sockets as well as
427           data available to read.
429 Tue Nov  7 18:22:16 GMT 2000 Chris Emerson <chris.emerson@open.muscat.com>
431         * Removed unnecessary FIXME comments.
433 Tue Nov  7 17:51:47 GMT 2000 Chris Emerson <chris.emerson@open.muscat.com>
435         * General indexer cleanups and FIXME fixing.
437         * OmIndexerData has new methods set_vector(), set_empty(),
438           eat_list(), and eat_element().  swap() has been made public.
439           eat_* and swap() allow more efficient manipulation of
440           indexer data when the original does not need to be preserved.
441           set_{int,double,string} have actually been implemented.
442         
443         * OmIndexerNode has new methods get_config_int(), get_config_double(),
444           get_config_vector() so the configuration parameters are more
445           useful.  Also added a set_output() variant for const OmIndexerData&,
446           for convenience.
447         
448         * OmConstantNode now supports int, double, and vector types as
449           well as string.
450         
451         * Implemented config_modified() for several nodes.
453         * OmListConcatNode makes use of more efficient data shuffling.
455         * OmStemmerNode modifies the list of words in-place rather than
456           building a new list.
458 Tue Nov  7 15:26:32 GMT 2000 Chris Emerson <chris.emerson@open.muscat.com>
460         * Documented the rest of the indexer nodes.
462 Tue Nov  7 13:37:26 GMT 2000 Chris Emerson <chris.emerson@open.muscat.com>
464         * More node documentation comments.
466 Tue Nov  7 10:38:54 GMT 2000 Chris Emerson <chris.emerson@open.muscat.com>
468         * Fixed another unterminated comment.
470 Tue Nov  7 10:25:29 GMT 2000 Chris Emerson <chris.emerson@open.muscat.com>
472         * Fixed an unterminated comment in omflattenstringnode.cc
474 Mon Nov  6 19:01:43 GMT 2000  Richard Boulton <richard.boulton@open.muscat.com>
476         * Various modifications to quartz.  Martin's library is now C++ in
477           name, slowly becoming that in style and organisation.  Quartz
478           now uses martin's library, and some of the tests even pass.
480 Mon Nov  6 18:59:33 GMT 2000 Chris Emerson <chris.emerson@open.muscat.com>
482         * Added documentation to about half of the indexer nodes.
484 Mon Nov 06 18:25:22 GMT 2000 Olly Betts
486         * Backed out changes to allow remote streamed mset to listen to
487           min_weight and skip_to messages (change was a quick hack to see
488           if it helped, but it doesn't).
490 Mon Nov 06 16:32:08 GMT 2000 Olly Betts
492         * Reinstated AssertEqDouble() - now does an epsilon test as
493           originally intended.
495 Mon Nov 06 13:31:00 GMT 2000 Olly Betts
497         * Fixed handling of min weight changes with streamed msets.
499 Fri Nov  3 18:33:20 GMT 2000  Richard Boulton <richard.boulton@open.muscat.com>
501         * Added several extra checks to cursor behaviour in quartztest.
503         * Split QuartzTableEntries::get_item_and_advance() into get_item()
504           and advance().
506         * Change AssertEqDouble to AssertEq - it works usefully for lots of
507           types.
509         * Implemented QuartzDiskTable cursor operations fully.
510           Implemented QuartzBuffTable cursors except for coping with
511           entries deleted in buffer but not on disk.
513         * Typedefed contents of QuartzTableEntries, and added iterator methods.
515         * quartztest tests of tables unlink old tables before running.
517 Fri Nov 03 17:29:05 GMT 2000 Olly Betts
519         * Remote streamed mset now listens to min_weight and skip_to
520           messages.
522 Fri Nov  3 16:23:16 GMT 2000 Chris Emerson <chris.emerson@open.muscat.com>
524         * indexerquickstart again.  Added more, and removed redundant stuff
525           which is in quickstart.html
527 Fri Nov 03 16:08:20 GMT 2000 Olly Betts
529         * Corrected '#endif' to '#else'.
531 Fri Nov 03 14:59:48 GMT 2000 Olly Betts
533         * MergePostList now reads entries from each postlist in turn unless
534           USE_MSETPOSTLIST is defined.
536 Fri Nov 03 14:29:14 GMT 2000 Jon Fielder
538         * Added 'TIMING_PATCH' for performance testing of distributed
539           searching.
541 Fri Nov  3 11:30:30 GMT 2000  Richard Boulton <richard.boulton@open.muscat.com>
543         * Add a little hack to malloc_wrapper.sh to allow tests in deeper
544           directories to find malloccheck.so.
546 Thu Nov  2 18:49:58 GMT 2000 Chris Emerson <chris.emerson@open.muscat.com>
548         * More stuff in indexerquickstart.html
550 Thu Nov  2 18:24:12 GMT 2000  Richard Boulton <richard.boulton@open.muscat.com>
552         * Add `extern "C"' to btree.h so that it will link with C++ code.
554         * QuartzDiskTable now has set_entry() and apply() methods rather than
555           a single set_entries() method - this is more flexible and neatens
556           the code considerably.
558         * Don't store btree pointers in AutoPtr's - they're not created by
559           new.
561         * Implement remaining methods in QuartzDiskTable
563         * Make quartztest compile by correcting syntax for using cursors.
565         * Add a btree regression test to quartztest.
567 Wed Nov  1 18:59:28 GMT 2000  Richard Boulton <richard.boulton@open.muscat.com>
569         * Corrected a couple of points in btree_api.txt
571         * More work on quartz - implemented cursors, and some cursor operations.
573 Wed Nov  1 18:26:53 GMT 2000 Chris Emerson <chris.emerson@open.muscat.com>
575         * Wrote more of the indexer quickstart document.
577 Wed Nov  1 13:00:33 GMT 2000  Richard Boulton <richard.boulton@open.muscat.com>
579         * Add header guards to btree.h - should fix includetest.
581 Tue Oct 31 18:23:57 GMT 2000 Olly Betts
583         * Encoding of terms changed to a scheme which takes approximately
584           half the space.
586 Tue Oct 31 18:18:36 GMT 2000 Chris Emerson <chris.emerson@open.muscat.com>
588         * More work on the indexer quickstart document.
590 Tue Oct 31 18:10:49 GMT 2000  Richard Boulton <richard.boulton@open.muscat.com>
592         * Begun changing implementation of QuartzTable to use btree stuff.
593           Currently doesn't compile.
595         * Added quartztest that opening an unavailable revision of a valid
596           database doesn't throw an exception.
598         * More updates / corrections to btree_api.txt documentation.
600 Tue Oct 31 16:25:14 GMT 2000 Olly Betts
602         * Fixed a few warnings from gcc.
604 Tue Oct 31 16:12:46 GMT 2000 Chris Emerson <chris.emerson@open.muscat.com>
606         * Added OmMakePairNode, OmMakePairsNode, OmMakeRangeNode,
607           OmSelectItemsNode
609         * OmRegexMatchNode uses empty strings rather than empty data
610           items for unmatched subexpressions.
612         * Regex object keeps track of the pattern string
614 Tue Oct 31 16:12:12 GMT 2000  Richard Boulton <richard.boulton@open.muscat.com>
616         * Remove argument of Btree_item_create().
618         * Add several tests of quartz tables, prior to replacing their
619           implementation with Btree calls.
621 Tue Oct 31 14:36:08 GMT 2000  Richard Boulton <richard.boulton@open.muscat.com>
623         * Remove a couple of statics which shouldn't have been there, causing
624           compiler warnings.
626 Tue Oct 31 14:34:19 GMT 2000 Olly Betts
628         * Revised remote protocol to be somewhat less verbose.
630 Tue Oct 31 14:18:24 GMT 2000 Olly Betts
632         * Improved output from test programs.
634 Tue Oct 31 13:12:15 GMT 2000  Richard Boulton <richard.boulton@open.muscat.com>
636         * Removed QuartzRevisionNumber class - just use the revision number
637           as an integer.  Unnecessary layer of abstraction.
639 Tue Oct 31 11:05:46 GMT 2000  Richard Boulton <richard.boulton@open.muscat.com>
641         * Add Btree implementation to quartz directory.  Not yet used.
643 Mon Oct 30 19:05:23 GMT 2000 Chris Emerson <chris.emerson@open.muscat.com>
645         * Added OmKeylistAddNode and OmRegexMatchNode.
647         * Some slightly more helpful exception messages
649         * OmTermlistAddNode and OmPrefixNode support flat strings as
650           well as lists of strings
652         * Better support for submatches in regexcommon
654 Mon Oct 30 17:37:33 GMT 2000  Richard Boulton <richard.boulton@open.muscat.com>
656         * Add a FIXME in irweight.cc
658 Mon Oct 30 17:35:17 GMT 2000  Richard Boulton <richard.boulton@open.muscat.com>
660         * Added test to quartz to check behaviour of cursor operations.
661           Test is fairly comprehensive - cursor operations don't yet work.
663 Mon Oct 30 16:13:09 GMT 2000  Richard Boulton <richard.boulton@open.muscat.com>
665         * Add entry to todo.
667 Mon Oct 30 14:20:46 GMT 2000 Chris Emerson <chris.emerson@open.muscat.com>
669         * Fixed a segfault when trying to use a non-existent node type,
670           and added a test for it.
672 Fri Oct 27 19:52:55 BST 2000 Chris Emerson <chris.emerson@open.muscat.com>
674         * New indexer nodes: omnewkeylist, omnewtermlist, and omtermlistadd
675           for managing term and key lists.  ommakedoc for combining all
676           the parts of a document in the proper format.  omconstant for
677           outputting constant (string ATM) values.
679         * Added OmIndexerData::get_description() and corresponding output
680           function.
682         * Fixed OmIndexer's interpretation of the output document message.
684         * Clarified some exception messages
686 Fri Oct 27 14:57:23 BST 2000 Olly Betts
688         * OmEnquireInternal -> OmEnquire::Internal; OmQueryInternal ->
689           OmQuery::Internal.  More work than you'd think!
691 Fri Oct 27 13:54:13 BST 2000 Chris Emerson <chris.emerson@open.muscat.com>
693         * Added OmMakeDocNode to combine data, terms, keys at the end
694           of an indexer
696         * Fixed segfault in OmRegexFilterNode
698 Thu Oct 26 18:32:36 BST 2000 Chris Emerson <chris.emerson@open.muscat.com>
700         * Start of an indexer quickstart
702 Wed Oct 25 17:03:03 BST 2000 Olly Betts
704         * RemotePostList is now filtered through a forming mset at the
705           remote end.  Min weight and skip_to messages from the client
706           currently ignored.
708 Wed Oct 25 13:00:39 BST 2000 Olly Betts
710         * Factored out MultiMatch::get_collapse_key().
712         * Matcher now exits early for boolean queries when
713           match_sort_forward is on (which it is by default).
715 Wed Oct 25 11:32:33 BST 2000 Chris Emerson <chris.emerson@open.muscat.com>
717         * Fixed a bug in the indexer dataflow checking which complained
718           when there was no problem.
720         * Enabled omlistconcat test, which was failing due to that bug.
722 Wed Oct 25 10:36:57 BST 2000 Olly Betts
724         * Switched matcher back to using MSetPostList-s for now.
726 Tue Oct 24 18:57:58 BST 2000 Chris Emerson <chris.emerson@open.muscat.com>
728         * OmIndexerData now uses vector::size_type instead of int in some
729           places dealing with vectors - gets rid of some compiler warnings.
731         * The omfilereader node works better.
733         * More tests in indextest, plus an extra text file for use with
734           the omfilereader tests.
736 Tue Oct 24 12:56:22 BST 2000 Olly Betts
738         * {skip_to,next}_handling_prune functions added to neaten up
739           handling of prunes in the postlist tree.
741         * matcher now has two stages - one to get the mset full of
742           candidates and another to continue the match with a full mset.
744 Sat Oct 21 07:54:53 BST 2000  Richard Boulton <richard.boulton@open.muscat.com>
746         * Added quartzdesign.html document to docs/
748 Fri Oct 20 18:17:21 BST 2000  Richard Boulton <richard.boulton@open.muscat.com>
750         * In quartz: store document lengths in termlists, store total
751           length in a field in the record table, and add methods to access
752           all these.  QuartzDatabase::get_avlength() now implemented.
754 Fri Oct 20 16:21:41 BST 2000 Chris Emerson <chris.emerson@open.muscat.com>
756         * The xml warn function now prints to debug rather than stderr
758         * Added more indexer tests
760 Fri Oct 20 15:14:47 BST 2000 Chris Emerson <chris.emerson@open.muscat.com>
762         * Added autoconf/definedir.m4
764 Fri Oct 20 14:55:59 BST 2000 Chris Emerson <chris.emerson@open.muscat.com>
766         * Added DATADIR define to find the arch-independent data, with
767           m4 macro AC_DEFINE_DIR.
769         * Added omindexer.dtd to the distribution.
771         * Indexer now finds the DTD by itself to use for verification,
772           either in DATADIR or by the OM_DTD_PATH environment variable.
774         * Indexer tests no longer specify the DTD in the XML descriptions.
776         * malloc_wrapper.sh sets OM_DTD_PATH.  Should probably be renamed
777           to run_test.sh or something.
779 Fri Oct 20 13:58:57 BST 2000  Richard Boulton <richard.boulton@open.muscat.com>
781         * Fixed checks for document IDs being 0 or termnames being "" in
782           API.  Changed checks in Quartz for these conditions into Asserts.
784 Fri Oct 20 13:01:26 BST 2000 Olly Betts
786         * Added `make ctags' rule.
788 Fri Oct 20 12:55:10 BST 2000  Richard Boulton <richard.boulton@open.muscat.com>
790         * Fixed refcount problem with Quartz - references were being held
791           to the QuartzDatabase member of a QuartzWritableDatabase.
792           Restructured to tidy up and avoid this:  QuartzTermLists now hold
793           a refcount pointer to the appropriate database, and store a
794           pointer to the lexicon table to use directly if required.
796 Thu Oct 19 16:47:18 BST 2000 Chris Emerson <chris.emerson@open.muscat.com>
798         * Added a few indexer tests.
800         * Made the START node's output be a wildcard type.
802 Thu Oct 19 16:03:01 BST 2000  Richard Boulton <richard.boulton@open.muscat.com>
804         * quartz_lexicons allocate new term IDs (untested).
806 Thu Oct 19 13:00:52 BST 2000  Richard Boulton <richard.boulton@open.muscat.com>
808         * Implemented quartz_lexicon, except for allocation of new term IDs.
809           Close to working correctly, except for unexplained refcount problem
810           in testsuite.
812 Thu Oct 19 09:59:15 BST 2000  Richard Boulton <richard.boulton@open.muscat.com>
814         * Added quartz_lexicon.{cc,h}.  Appropriate interface - not yet
815           implemented though.
817 Thu Oct 19 09:08:50 BST 2000  Richard Boulton <richard.boulton@open.muscat.com>
819         * QuartzTermLists now implemented, and roughly tested.  Quartz test
820           currently fails because databases don't yet have get_termfreq()
821           implemented.
823 Wed Oct 18 16:19:42 BST 2000  Richard Boulton <richard.boulton@open.muscat.com>
825         * Error handler is now set in constructor of OmEnquire - this means
826           that errors during the constructor can be handled, and also helps
827           to ensure that handler is deleted after OmEnquire.
829         * Error handler copes with (most) problems in
830           MergePostList::recalc_maxweight(), and in the event of an error it
831           can cope with, replaces the relevant postlist by an emptypostlist
832           instead of deleting it.
834         * Renamed test multidb6 to multierrhandler1.  This test now passes.
836         * omerror.h has the actual definitions of the errors split off into
837           separate file omerrortypes.h, for reuse elsewhere (eg,
838           net/omerr_string.c)
840         * network errors handle new context field.  Modified encode_tname and
841           decode_tname so that a null term is not completely empty.  Modified
842           query parser to match new termname encoding.  Incremented protocol
843           version.
845         * Added items to TODO.
847 Wed Oct 18 15:38:39 BST 2000 Olly Betts
849         * New RemotePostList which streams postings across a network
850           connection.  Show give faster remote matches when the bandwidth
851           is good.
853         * MSetPostList::get_max_weight() now returns the weight of the current
854           item once it starts being read - weights decrease down the mset, so
855           all no weight can be greater than the current one.
857         * Reverted Richard's max_possible_item change as after discussion
858           we've decided it doesn't actually work correctly.
860 Wed Oct 18 14:17:21 BST 2000 Chris Emerson <chris.emerson@open.muscat.com>
862         * Added a debug class for indexer messages
864         * Some changes to the indexer semantics.  Inputs from a given node
865           are all fetched at once, and some dataflow checking is done to
866           detect potential errors where data gets out of step.
868         * Added a test that the above checking works to indextest.
870         * Added new exception: OmDataFlowError, used in the indexer.
872         * The START node gives slightly more helpful errors when misused.
874         * Added the indexer DTD to data_DATA (and renamed it to omindexer.dtd
875           from test.dtd)
877 Tue Oct 17 18:44:43 BST 2000  Richard Boulton <richard.boulton@open.muscat.com>
879         * API Change: add error handlers.  This involves: adding an
880           OmErrorHandler base class, which should be subclassed to make a
881           custom handler; and adding a OmEnquire::set_error_handler() method.
882           OmErrors also have a new flag
884           The error handler is used in the OmEnquire object, and any errors
885           produced by this object will be passed to the handler before being
886           thrown.  The handler is also used by the matcher (in fact, by
887           MergePostList), and errors in a merge postlist may be ignored
888           and coped with as well as possible if the error handler decides
889           not to propagate the error.
891         * Added a "context" member to OmErrors - this is set to a null string
892           at the moment, but will be used to store the context which an error
893           occurred in at a later date - for example, the identity of the
894           database in which a remote error occurred.
896         * Added a parameter to InMemory databases which causes any postlists
897           to throw a database corrupt error when next is called.  Also added a
898           parameter to progserver to cause this parameter to be specified for
899           the database being opened.  This allows testing of the error handler
900           code.
902 Tue Oct 17 15:53:47 BST 2000 Olly Betts
904         * net/progserver.cc: Removed `#include "localmatch.h"' - missed this
905           file in earlier checkin.
907 Tue Oct 17 12:58:48 BST 2000 Olly Betts
909         * If OM_DEBUG_FILE contains %%, substitute the process id.
911 Tue Oct 17 12:56:56 BST 2000 Olly Betts
913         * tests/.cvsignore: added indextest.
915 Tue Oct 17 12:40:07 BST 2000 Olly Betts
917         * localmatch.h: moved from common to matcher.
919 Mon Oct 16 19:09:22 BST 2000  Richard Boulton <richard.boulton@open.muscat.com>
921         * Added OM_MAX_POSS_DOCID macro to om/om_types.h, to represent the
922           maxiumum value that a document ID may take (in a particular
923           compilation of the library.)  Use this in multimatch.cc for the
924           document ID in max_possible_item.
926 Mon Oct 16 18:59:35 BST 2000  Richard Boulton <richard.boulton@open.muscat.com>
928         * In multimatch.cc, replace w_max by max_possible_item, so that
929           early termination comparison takes document ID into account. This
930           may fix the problem with boolean queries not terminating early.
932 Mon Oct 16 16:42:17 BST 2000  Richard Boulton <richard.boulton@open.muscat.com>
934         * Added dummy implementation of get_next_entry() in quartz_table.cc
935           so that builds may proceed.
937 Mon Oct 16 15:46:31 BST 2000  Richard Boulton <richard.boulton@open.muscat.com>
939         * Added cursor operations to QuartzTable, so that we can move through
940           items in order.
942 Mon Oct 16 14:24:01 BST 2000 Olly Betts
944         * OmSocketLineBuf::do_readline: fixed core dump on time out.
946 Mon Oct 16 13:30:34 BST 2000  Richard Boulton <richard.boulton@open.muscat.com>
948         * Add quartz_termlist.cc to CVS and uncommented it in the makefile.
950 Mon Oct 16 12:21:41 BST 2000 Olly Betts
952         * indexer/indexgraph/indexerxml.cc: Quick bodge fix for XML_DTD_PATH
953           not being defined - needs the correct fix from Chris.
955 Fri Oct 13 16:03:09 BST 2000 Chris Emerson <chris.emerson@open.muscat.com>
957         * Fixed some leaks in the indexer system
959 Fri Oct 13 13:47:32 BST 2000 Olly Betts
961         * backends/quartz/Makefile.am: Commented out quartz_termlist.cc as
962           it's not yet in cvs and is blocking nightly snapshots.
964 Thu Oct 12 16:55:42 BST 2000  Richard Boulton <richard.boulton@open.muscat.com>
966         * Convert statssource pointer in LocalSubMatch into an AutoPtr, to
967           fix memory leak bug (exhibited if an exception is thrown in
968           constructor).
970 Thu Oct 12 16:49:04 BST 2000 Chris Emerson <chris.emerson@open.muscat.com>
972         * Changed the interface for creating indexer nodes.
973           Inputs are all fetched at once by request_inputs(), which must
974           be called before any call to get_input_*.  It can be called
975           more than once.
977         * The nodes now all use request_inputs()
979 Thu Oct 12 16:37:42 BST 2000  Richard Boulton <richard.boulton@open.muscat.com>
981         * DatabaseBuilder::create() now returns a RefCntPtr, rather than a
982           bare pointer, to prevent accidents involving not referring to
983           a database by refcnt, making a {post,position,term}list, and then
984           accidentally deleting the termlist when that list is deleted (and
985           decrements the refcnt on the database back to 0).
987         * Added an assert to refcnt, to ensure that a refcnt pointer isn't
988           made from `this', when this object isn't yet held by a reference
989           counted pointer.
991         * Added a termlist to Quartz.  No implementation yet.
993         * Removed some old debugging code from Quartz.
995 Thu Oct 12 14:45:03 BST 2000 Olly Betts
997         * Moved common/networkmatch.h into match/
999 Thu Oct 12 14:28:21 BST 2000 Olly Betts
1001         * NetClient: Merged set_rset() into set_query().
1003 Thu Oct 12 12:55:53 BST 2000  Richard Boulton <richard.boulton@open.muscat.com>
1005         * Attributes are now readable.  Partially tested.  Bug fixed in
1006           temporary table implementation for quartz.
1008 Wed Oct 11 18:55:39 BST 2000  Richard Boulton <richard.boulton@open.muscat.com>
1010         * Added Attributes (ie, Keys) to quartz.  Can write them, and has
1011           structure in place for reading them.  Reading not yet written,
1012           tests not yet written.
1014 Wed Oct 11 18:24:16 BST 2000 Olly Betts
1016         * Profiling now seems to be working.
1018 Wed Oct 11 17:58:34 BST 2000 Chris Emerson <chris.emerson@open.muscat.com>
1020         * Added OmVectorSplitNode (splits a vector into several messages)
1022         * Gave AutoPtr an extra assignment operator to avoid extra
1023           variables
1025         * Nodes now handle empty messages as an "end of data" better.
1027 Wed Oct 11 17:40:36 BST 2000 Chris Emerson <chris.emerson@open.muscat.com>
1029         * Wildcard types which only appear as outputs now work.
1031 Wed Oct 11 17:37:57 BST 2000 Chris Emerson <chris.emerson@open.muscat.com>
1033         * Added method OmIndexerNode::set_empty_output(), useful as
1034           a shorthand for set_output("foo",
1035           OmIndexerMessage(new OmIndexerData()))
1037 Wed Oct 11 17:35:49 BST 2000 Chris Emerson <chris.emerson@open.muscat.com>
1039         * New method is_empty() for OmIndexerData to easily check for
1040           empty messages.
1042 Wed Oct 11 17:27:49 BST 2000 Chris Emerson <chris.emerson@open.muscat.com>
1044         * Parameter strings can be kept inside <param></param> instead of
1045           the <param value=""> attribute.  The former doesn't mangle
1046           whitespace.
1048 Wed Oct 11 11:17:52 BST 2000 Olly Betts
1050         * Added profiling variant of DEBUGCALL() and DEBUGCALL_STATIC(),
1051           turned on with --enable-debug=profile switch to configure.
1052           Reported information needs more work.
1054 Tue Oct 10 17:03:07 BST 2000  Richard Boulton <richard.boulton@open.muscat.com>
1056         * Fix bug in temporary implementation of quartz_table - now stores
1057           records with weird characters correctly.
1059 Tue Oct 10 14:41:49 BST 2000  Richard Boulton <richard.boulton@open.muscat.com>
1061         * Fix documentation comment in database.h
1063 Tue Oct 10 14:14:40 BST 2000  Richard Boulton <richard.boulton@open.muscat.com>
1065         * Added quartz_block_size parameter - and pass it down to the
1066           constructor of a QuartzDiskTable, ready for use when the Btree
1067           manager is added.
1069         * Removed old quartz_{diffs,modifications}.{cc,h} files - obselete.
1071 Tue Oct 10 12:14:20 BST 2000 Olly Betts
1073         * Documents should now fetch in parallel pipelines with the remote
1074           backend.
1076 Mon Oct  9 18:13:14 BST 2000  Richard Boulton <richard.boulton@open.muscat.com>
1078         * Quartz now stores general database information in record database.
1079           Very close to allocating new document ID's correctly.
1081         * Quartz database initialisation code is separated out of table
1082           manager.
1084         * {un,}pack_uint32 functions changed to {un,}pack_uint templates -
1085           should work on different data type sizes.  Work towards using
1086           whatever datatype sizes are handy, rather than relying on any
1087           particular size.
1089 Mon Oct 09 18:09:05 BST 2000 Olly Betts
1091         * StatsSource::set_gatherer() merged into ctor;
1092           my_collection_size_is() and my_average_length_is() merged as
1093           take_my_stats().
1095 Mon Oct  9 17:19:31 BST 2000 Chris Emerson <chris.emerson@open.muscat.com>
1097         * Added OmFileReaderNode
1099 Mon Oct 09 16:19:43 BST 2000 Olly Betts
1101         * Cleaned up members of SubMatch and subclasses.
1103         * Merged NetClient::set_query() and set_options().
1105 Mon Oct 09 15:27:59 BST 2000 Olly Betts
1107         * Implemented OmEnquire::get_docs() - currently just fetches them
1108           sequentially.
1110         * Removed unused max_weight element from OmQueryInternal
1112 Mon Oct  9 14:39:34 BST 2000  Richard Boulton <richard.boulton@open.muscat.com>
1114         * Part-implemented add_document and delete_document methods in
1115           quartz - document data is now added, stored and deleted.  Terms are
1116           not dealt with, though.
1118 Mon Oct 09 14:22:04 BST 2000 Olly Betts
1120         * Added SubMatch::start_match() so we can set remote matchers going
1121           in parallel.
1123         * Added PostList::get_collapse_key() so we don't need to refetch keys
1124           for hits from an MSetPostList.
1126 Mon Oct 09 13:54:13 BST 2000 Olly Betts
1128         * IRWeight::clone() -> IRWeight::create(const OmSettings & opts)
1130 Fri Oct  6 18:43:41 BST 2000  Richard Boulton <richard.boulton@open.muscat.com>
1132         * Added QuartzWritableDatabase, which inherits from QuartzDatabase.
1133           We now open one of these instead of passing readonly=true.
1135 Fri Oct  6 17:40:38 BST 2000 Chris Emerson <chris.emerson@open.muscat.com>
1137         * Added indexer headers to <om/om.h>
1139 Fri Oct  6 17:19:07 BST 2000 Chris Emerson <chris.emerson@open.muscat.com>
1141         * Implemented the new OmIndexer::get_output()
1143 Fri Oct  6 13:15:45 BST 2000  Richard Boulton <richard.boulton@open.muscat.com>
1145         * QuartzBufferedTable::get_or_make_tag() now never returns a null
1146           pointer, as advertised.  Fixes broken test.
1148 Fri Oct  6 12:02:53 BST 2000  Richard Boulton <richard.boulton@open.muscat.com>
1150         * Add autoptr cleanup item to todo.
1152 Thu Oct  5 18:28:48 BST 2000 Chris Emerson <chris.emerson@open.muscat.com>
1154         * Renamed OmIndexer::get_output to get_raw_output and added new
1155           get_output returning an OmDocumentContents (not yet implemented)
1157         * Removed omindexer.h~, which managed to be added to CVS
1159 Thu Oct  5 18:24:02 BST 2000  Richard Boulton <richard.boulton@open.muscat.com>
1161         * Added test of QuartzBufferedTable (fails).
1163 Thu Oct  5 18:01:27 BST 2000  Richard Boulton <richard.boulton@open.muscat.com>
1165         * Corrected includes of autoptr.h in quartz files.
1167 Thu Oct  5 17:51:01 BST 2000  Richard Boulton <richard.boulton@open.muscat.com>
1169         * Made QuartzTable into a base class for QuartzDiskTable and
1170           QuartzBufferedTable.
1172         * Made QuartzTableManager into a base class for QuartzDiskTableManager
1173           and QuartzBufferedTableManager.
1175         * Removed QuartzModifications object.  We now use
1176           QuartzBufferedTables to hold changes before committing instead.
1178         * QuartzDatabase has a QuartzTableManager object, which is actually
1179           a QuartzBufferedTableManager if the database is writable.
1180           Separate pointer held to access the manager as a buffered manager
1181           in this case.  This means that updates to the database will
1182           immediately be accessible from the same quartz database object
1183           (so searches while indexing will search across all the unflushed
1184           changes too).
1186 Thu Oct 05 16:51:09 BST 2000 Olly Betts
1188         * get_weight() moved into LeafPostList instead of subclasses and now
1189           only fetches document length if it needs it.
1191         * irweight.cc: added missing licence.
1193         * IRWeight: now possible to register user weight objects (not yet
1194           externally visible).
1196 Thu Oct  5 16:43:59 BST 2000 Chris Emerson <chris.emerson@open.muscat.com>
1198         * Added omindexer.cc
1200 Thu Oct  5 15:57:30 BST 2000 Chris Emerson <chris.emerson@open.muscat.com>
1202         * Fixed some #includes.
1204 Thu Oct  5 14:32:59 BST 2000 Chris Emerson <chris.emerson@open.muscat.com>
1206         * Split indexer interface into several header files in include/om.
1208         * Hid the internal details in Internal objects.
1210         * Moved autoptr.h into include/om as AutoPtr is in the indexing
1211           interface.
1213 Thu Oct 05 13:30:49 BST 2000 Olly Betts
1215         * OmPostListIterator: added get_doclength() and get_wdf() methods;
1216           fixed reversed conditional that stopped OmPostListIterator-s from
1217           working and added regression test.
1219         * delve: extra info can be output for postlists and termlists (-v);
1220           can output one list per line or one item per line (-1); can take
1221           several database(s).
1223 Wed Oct 04 18:20:12 BST 2000 Olly Betts
1225         * Merged branch_newmatcher back into HEAD - branch ChangeLog
1226           entries were:
1228 ===============================================================================
1230 Wed Oct 04 17:24:26 BST 2000 Olly Betts
1232         * Added ExtraWeightPostList - weights from MSetPostList no longer get
1233           extra weight applied twice.
1235         * SingleMatch no longer used so removed; SubMatch moved to match.h;
1236           SubMatch::mk_weight() moved to LocalSubMatch().
1238 Wed Oct 04 15:36:09 BST 2000 Olly Betts
1240         * Removed references to multi backend since it no longer exists.
1242 Wed Oct 04 14:53:28 BST 2000 Olly Betts
1244         * Removed PostList::set_matcher().
1246 Wed Oct 04 13:15:04 BST 2000 Olly Betts
1248         * Eliminated internal friends from external headers.
1250         * Fixed two more compiler warnings.
1252 Wed Oct 04 11:43:19 BST 2000 Olly Betts
1254         * stats.h: Removed unneeded bodge.
1256         * Fixed two compiler warnings.
1258 Tue Oct 03 18:32:35 BST 2000 Olly Betts
1260         * Merged LocalMatch into MultiMatch.
1262 Tue Oct 03 17:04:17 BST 2000 Olly Betts
1264         * Now passes all tests.
1266 Mon Oct 02 18:00:20 BST 2000 Olly Betts
1268         * Cleaned up a bit.
1270 Mon Oct 02 17:28:53 BST 2000 Olly Betts
1272         * LocalMatch: Split off postlist tree generation into LocalSubMatch
1273           (temporary name).  LocalMatch now just takes a single PostList and
1274           forms an MSet from it.  Remote versions not yet implemented.
1276 Thu Sep 28 12:19:25 BST 2000 Olly Betts
1278         * Major overhaul of matcher including addition of MergePostList and
1279           MSetPostList.
1281         * Use OmDatabase instead of converting it into a MultiDatabase.
1283         * OmDatabase new methods: get_doccount(), get_avlength(),
1284           get_termfreq(), get_doclength(), term_exists().
1286         * Currently MultiMatch / LocalMatch / NetworkMatch interface is
1287           highly bodged.
1289 ===============================================================================
1291 Tue Oct  3 18:14:51 BST 2000  Richard Boulton <richard.boulton@open.muscat.com>
1293         * Changed QuartzModifiedTable to QuartzBufferedTable.
1295         * Moved QuartzDbTag and QuartzDbKey to quartz_table_entries.h, to
1296           make include dependencies possible.  These should probably have a
1297           file to themselves.
1299 Tue Oct  3 14:28:48 BST 2000  Richard Boulton <richard.boulton@open.muscat.com>
1301         * QuartzDbTable becomes QuartzDiskTable, which inherits from
1302           QuartzTable, and is a sibling of QuartzModifiedTable, which will
1303           manage a modified table.
1305 Tue Oct  3 13:56:23 BST 2000 Chris Emerson <chris.emerson@open.muscat.com>
1307         * Added a topological sort of the input nodes before building the
1308           graph, so the graph description no longer needs the nodes in
1309           the right order.
1311 Tue Oct  3 12:20:45 BST 2000  Richard Boulton <richard.boulton@open.muscat.com>
1313         * Quartz tables and table managers are no longer reference counted -
1314           one instance is held in the database class, and references will be
1315           kept to that class.  Tables are now members of table manager class,
1316           not just pointers held in that class.
1318 Tue Oct  3 11:49:10 BST 2000  Richard Boulton <richard.boulton@open.muscat.com>
1320         * Reorganise classes in Quartz, in preparation for changing Diffs
1321           objects into modified table objects.
1323 Mon Oct  2 19:36:21 BST 2000  Richard Boulton <richard.boulton@open.muscat.com>
1325         * Rename settings parameter quartz_modification_log to quartz_logfile.
1327         * Don't increment revision number when applying null modifications.
1329         * Added test for adding a document and reading it out again.
1330           (Currently fails with an unimplemented error.)
1332 Mon Oct  2 18:09:34 BST 2000 Chris Emerson <chris.emerson@open.muscat.com>
1334         * Overhauled the indexer graph type-checker.  Types which start
1335           with "*" are now wildcard types, replacing the "ANY" type, and
1336           providing more type safety than before.
1338 Mon Oct  2 17:08:44 BST 2000 Chris Emerson <chris.emerson@open.muscat.com>
1340         * operator delete now prints a slightly helpful message before
1341           aborting for a bad delete.
1343 Mon Oct  2 16:21:16 BST 2000  Richard Boulton <richard.boulton@open.muscat.com>
1345         * Improved messages to quartz log - can now make log entries when
1346           opened readonly, if requested.
1348         * quartzopen1 now checks behaviour of flush(), and time at which
1349           documents get written to database.  (Currently fails).
1351 Mon Oct  2 14:27:00 BST 2000  Richard Boulton <richard.boulton@open.muscat.com>
1353         * Added utilities to pack and unpack integers to quartz_utils.h
1355 Fri Sep 29 18:29:58 BST 2000 Chris Emerson <chris.emerson@open.muscat.com>
1357         * Split XML-specific code into a separate file and cleaned up
1358           the Makefile
1360         * Cleaned up the graph-building code (see above!)
1362         * Should now cope with comments anywhere in the XML file.
1364         * Can now build an indexer from an in-memory structure without
1365           needing an XML description (fall-out from first item)
1367 Fri Sep 29 13:38:10 BST 2000 Chris Emerson <chris.emerson@open.muscat.com>
1369         * Workaround for a bad interaction between <rxposix.h> and some C++
1370           header files like <map>
1372 Fri Sep 29 11:40:04 BST 2000 Chris Emerson <chris.emerson@open.muscat.com>
1374         * Added omregexfilternode
1376 Fri Sep 29 10:35:10 BST 2000 Chris Emerson <chris.emerson@open.muscat.com>
1378         * Removed testnodes.h, which is obsolete and broke includetest.
1380 Thu Sep 28 19:12:00 BST 2000  Richard Boulton <richard.boulton@open.muscat.com>
1382         * Add files containing generic utilities needed for quartz.
1384 Thu Sep 28 18:19:17 BST 2000 Chris Emerson <chris.emerson@open.muscat.com>
1386         * Removed some debugging code which doesn't work with some versions
1387           of libxml anyway.
1389 Thu Sep 28 17:55:30 BST 2000 Chris Emerson <chris.emerson@open.muscat.com>
1391         * regexcommon.h now has a guard for includetest
1393         * OmIndexerData no longer has a name element.
1395         * Added regex split node, translate node, and flatten-to-string node
1397         * Comments in the XML file don't confuse the graph builder as much
1398           (more wrapping needs to be done here.)
1400 Thu Sep 28 15:52:03 BST 2000  Richard Boulton <richard.boulton@open.muscat.com>
1402         * Fixed a silly memory leak in QuartzDbEntries.
1404 Wed Sep 27 19:30:34 BST 2000  Richard Boulton <richard.boulton@open.muscat.com>
1406         * Almost added ability to add an empty document to a quartz database
1407           (yay(!)).  Added test for this, too.
1409 Wed Sep 27 19:04:10 BST 2000 Chris Emerson <chris.emerson@open.muscat.com>
1411         * Added a regex replace node.
1413 Wed Sep 27 17:12:13 BST 2000 Chris Emerson <chris.emerson@open.muscat.com>
1415         * Fixed bug in timeout code
1417 Wed Sep 27 13:26:47 BST 2000  Richard Boulton <richard.boulton@open.muscat.com>
1419         * Fixed bug in database.cc - only implicit sessions get implicitly
1420           ended.
1422         * Implemented quartztest which opens a new database and adds an empty
1423           document to it.
1425 Wed Sep 27 11:52:09 BST 2000 Chris Emerson <chris.emerson@open.muscat.com>
1427         * Compatibility tweak for older libxml
1429 Tue Sep 26 18:17:38 BST 2000  Richard Boulton <richard.boulton@open.muscat.com>
1431         * Added dummy implementation of quartz tables, storing stuff in
1432           files and reading it all into memory, pretending its in a tree
1433           structure.
1435 Tue Sep 26 18:17:11 BST 2000 Olly Betts
1437         * Removed superfluous MergePostList:: qualification.
1439 Tue Sep 26 17:12:44 BST 2000 Olly Betts
1441         * OmTermListIterator: operator* now const; added get_wdf() and
1442           get_termfreq() methods.
1444 Tue Sep 26 13:30:42 BST 2000  Richard Boulton <richard.boulton@open.muscat.com>
1446         * Remove a comment referring to auto_ptr
1448 Tue Sep 26 13:28:13 BST 2000  Richard Boulton <richard.boulton@open.muscat.com>
1450         * Added retries and suchlike for opening quartz databases.  Tables
1451           are now not opened by QuartzDbTable constructor - separate open
1452           method.  Allows reopening, and a return value.
1454 Tue Sep 26 12:40:31 BST 2000 Chris Emerson <chris.emerson@open.muscat.com>
1456         * omstopword node now properly configurable.
1458         * Improved handling of default properties
1460 Tue Sep 26 10:12:23 BST 2000 Chris Emerson <chris.emerson@open.muscat.com>
1462         * Added omstopword node
1464 Mon Sep 25 18:00:01 BST 2000 Olly Betts
1466         * MergePostList: now working - just need to sort out how it works
1467           with the remote backend.
1469 Mon Sep 25 15:36:17 BST 2000 Chris Emerson <chris.emerson@open.muscat.com>
1471         * Added omprefixnode
1473 Mon Sep 25 15:11:41 BST 2000 Chris Emerson <chris.emerson@open.muscat.com>
1475         * Added omsplitternode and omlistconcatnode
1477 Mon Sep 25 12:05:59 BST 2000 Olly Betts
1479         * Updated a couple of .cvsignore files.
1481 Sun Sep 24 13:53:03 BST 2000 Chris Emerson <chris.emerson@open.muscat.com>
1483         * Added node_reg.h and register_core.h to Makefile.am
1485 Sat Sep 23 16:17:10 BST 2000 Chris Emerson <chris.emerson@open.muscat.com>
1487         * Passed srcdir into make_register.pl
1489 Fri Sep 22 18:24:00 BST 2000 Olly Betts
1491         * mergepostlist.{cc,h}: started to rework matcher in earnest.
1493 Fri Sep 22 18:19:13 BST 2000 Chris Emerson <chris.emerson@open.muscat.com>
1495         * Now have a scheme for registering all the core indexer nodes
1496           semi-automatically.
1498 Fri Sep 22 14:59:20 BST 2000 Olly Betts
1500         * Tiny tweak to threadtest.
1502 Fri Sep 22 14:44:06 BST 2000 Olly Betts
1504         * Fixed typo in DEBUGLINE() in localmatch.cc.
1506 Fri Sep 22 13:26:54 BST 2000  Richard Boulton <richard.boulton@open.muscat.com>
1508         * Enable malloc checking to be turned off by setting OM_NO_MALLOCCHECK
1510 Fri Sep 22 12:20:38 BST 2000 Olly Betts
1512         * Renamed PostList::intro_term_description() to get_description()
1513           for consistency with other classes.
1515 Fri Sep 22 10:41:08 BST 2000 Olly Betts
1517         * Updated docs in irweight.h; tweaked multimatch.cc.
1519 Thu Sep 21 18:56:23 BST 2000  Richard Boulton <richard.boulton@open.muscat.com>
1521         * Added more frobs to quartz: adding stuff to test revision number
1522           semantics, and the usage of revision numbers.
1524 Thu Sep 21 18:33:16 BST 2000 Chris Emerson <chris.emerson@open.muscat.com>
1526         * Added OmStemmerNode
1528 Thu Sep 21 17:08:35 BST 2000  Richard Boulton <richard.boulton@open.muscat.com>
1530         * Fix typo in tests/Makefile.am
1532 Thu Sep 21 16:25:21 BST 2000  Richard Boulton <richard.boulton@open.muscat.com>
1534         * Remove unwanted set_entries() method from QuartzDbTable - must now
1535           specify new revision explicitly.  Updated testsuite accordingly.
1537 Thu Sep 21 15:53:30 BST 2000 Olly Betts
1539         * Very minor changes to LocalMatch.
1541 Thu Sep 21 15:38:05 BST 2000  Richard Boulton <richard.boulton@open.muscat.com>
1543         * More robust table opening for Quartz, and fixed testsuite.
1545 Thu Sep 21 15:06:55 BST 2000 Chris Emerson <chris.emerson@open.muscat.com>
1547         * Renamed Record to OmIndexerData and Message to OmIndexerMessage.
1549 Thu Sep 21 13:05:58 BST 2000 Olly Betts
1551         * Removed unused variable `weights' from LocalMatch class.
1553 Thu Sep 21 13:00:08 BST 2000 Chris Emerson <chris.emerson@open.muscat.com>
1555         * A fix for building on Solaris with gcc.
1557 Thu Sep 21 12:58:18 BST 2000 Olly Betts
1559         * LocalMatch again.  Now that mopts is stored, we don't need to read
1560           out most of the contents until we use them.
1562 Thu Sep 21 11:37:39 BST 2000  Richard Boulton <richard.boulton@open.muscat.com>
1564         * Make dist will now fail if Perl XML parser is not available - this
1565           means that TODO's in the distribution should always be present and
1566           up-to-date.
1568 Thu Sep 21 11:16:22 BST 2000  Richard Boulton <richard.boulton@open.muscat.com>
1570         * Various work making distclean remove all the files it should.  Still
1571           leaves Makefiles in directories optionally configured off there,
1572           automake bug perhaps?
1574 Thu Sep 21 11:08:21 BST 2000 Chris Emerson <chris.emerson@open.muscat.com>
1576         * Some tweaks to AutoPtr.
1578 Wed Sep 20 19:07:30 BST 2000 Olly Betts
1580         * More LocalMatch work.
1582 Wed Sep 20 18:57:55 BST 2000  Richard Boulton <richard.boulton@open.muscat.com>
1584         * Make quartztest compile again.  (Though it fails)
1586 Wed Sep 20 18:56:26 BST 2000  Richard Boulton <richard.boulton@open.muscat.com>
1588         * docs/Makefile.am, only build apidocs when making a dist, leave full
1589           documentation for a local install.
1591 Wed Sep 20 18:26:33 BST 2000  Richard Boulton <richard.boulton@open.muscat.com>
1593         * Updated Quartz to use AutoPtr
1595 Wed Sep 20 17:52:06 BST 2000 Olly Betts
1597         * More work on LocalMatch.
1599 Wed Sep 20 17:49:23 BST 2000  Richard Boulton <richard.boulton@open.muscat.com>
1601         * Updated NEWS
1603 Wed Sep 20 16:48:20 BST 2000 Olly Betts
1605         * genacinclude.sh now lives in autoconf subdirectory.  List of .m4
1606           files is now in buildall and autoconf/Makefile.am.
1608         * Started to tease apart LocalMatch - created SubMatch class to hold
1609           Database and associated StatsSource.
1611 Wed Sep 20 16:04:21 BST 2000  Richard Boulton <richard.boulton@open.muscat.com>
1613         * Declare this to be version 0.3.1
1615 Wed Sep 20 16:03:51 BST 2000  Richard Boulton <richard.boulton@open.muscat.com>
1617         * Set up a DIST_SUBDIRS in backends/Makefile.am to ensure that
1618           everything that should goes into a distribution.
1620 Wed Sep 20 15:56:40 BST 2000  Richard Boulton <richard.boulton@open.muscat.com>
1622         * More fettling to Quartz - databases now have logic to ensure that
1623           correct revisions get opened, and that recovery gets performed
1624           if needed.  Tables can now return the currently opened revision
1625           number and the latest available.  A log object is always created,
1626           but throws away messages if readonly or no path specified.
1628 Wed Sep 20 15:48:22 BST 2000 Chris Emerson <chris.emerson@open.muscat.com>
1630         * Changed std::auto_ptr to AutoPtr everywhere except Quartz
1632 Wed Sep 20 14:27:55 BST 2000 Olly Betts
1634         * IRDatabase renamed to just plain ol' Database.
1636 Wed Sep 20 13:31:31 BST 2000 Chris Emerson <chris.emerson@open.muscat.com>
1638         * Added untested AutoPtr template (auto_ptr clone)
1640 Wed Sep 20 13:11:30 BST 2000 Chris Emerson <chris.emerson@open.muscat.com>
1642         * malloc_wrapper.sh now passes parameters in
1644 Wed Sep 20 13:02:22 BST 2000 Olly Betts
1646         * *PostList: Put back in Assert-s re at_end() not being valid before
1647           next() or skip_to().
1649         * OmPositionListIterator: postincrement and skip_to now return void.
1651         * Added DEBUGAPICALL to OmDocumentTerm, OmDocumentContents,
1652           OmSettings, OmPositionListIterator, OmTermListIterator.
1654         * Some work on getting Java auto-translation of apitest to work
1655           again [actually checked in with previous changes].
1657 Wed Sep 20 11:53:16 BST 2000 Olly Betts
1659         * Disabled special casing of postlists with termfreq == 0 when
1660           building AND and OR trees.
1662         * Removed "get_maxweight()" and "recalc_maxweight()" implementations
1663           from in EmptyPostList.
1665 Wed Sep 20 10:36:26 BST 2000 Chris Emerson <chris.emerson@open.muscat.com>
1667         * Added malloc-wrapper.sh to the distribution.
1669 Tue Sep 19 20:47:21 BST 2000  Richard Boulton <richard.boulton@open.muscat.com>
1671         * Various modifications to Quartz.  Work towards making sure that
1672           consistent revisions get opened, and that recovery is performed
1673           when needed.
1675 Tue Sep 19 19:13:02 BST 2000  Richard Boulton <richard.boulton@open.muscat.com>
1677         * Added OmNeedRecoveryError, to signal that a database needs a
1678           recovery step to be performed.
1680         * Use $(LN_S) instead of ln -s in test/Makefile.am
1682 Tue Sep 19 18:42:51 BST 2000  Richard Boulton <richard.boulton@open.muscat.com>
1684         * Implement get_maxweight() and recalc_maxweight() in EmptyPostList
1685           so that they don't attempt to use an invalid IRWeight object.
1686           This fixes an assertion error if a list of terms which are not
1687           in the database are combined in a query.
1689 Tue Sep 19 15:55:34 BST 2000 Olly Betts
1691         * api_db.cc: Added query() helper functions
1693         * Added rsetmultidb3 to demonstrate assertion failiure in stats.h.
1695 Tue Sep 19 15:50:26 BST 2000 Olly Betts
1697         * testsuite.cc: output newline after skipped test.
1699 Tue Sep 19 15:33:24 BST 2000 Chris Emerson <chris.emerson@open.muscat.com>
1701         * Now run apitest and internaltest with malloccheck if possible
1703 Tue Sep 19 13:42:57 BST 2000 Chris Emerson <chris.emerson@open.muscat.com>
1705         * Fixed a memory leak in the Sleepycat backend.
1707 Tue Sep 19 13:16:29 BST 2000 Chris Emerson <chris.emerson@open.muscat.com>
1709         * malloc tracking now copes with free(0).
1711         * Added OM_MALLOC_TRAP[_COUNT], similar to OM_NEW_TRAP[_COUNT].
1713         * Moved an Assertion in OmStem to somewhere more useful.
1715         * Fixed a memory leak in the French stemmer
1717 Tue Sep 19 12:40:21 BST 2000  Richard Boulton <richard.boulton@open.muscat.com>
1719         * Add CME_FIND_HSTRERROR to acinclude.m4, by adding it to lists in
1720           buildall and configure.in.
1722 Tue Sep 19 12:11:58 BST 2000 Olly Betts
1724         * More work on tests.
1726 Tue Sep 19 10:50:43 BST 2000 Olly Betts
1728         * More tests in apitest and includetest changed to use TEST_* macros.
1730 Tue Sep 19 10:14:32 BST 2000 Olly Betts
1732         * Include genacinclude.sh in the distribution from the correct
1733           directory.
1735 Mon Sep 18 19:13:03 BST 2000  Richard Boulton <richard.boulton@open.muscat.com>
1737         * Various work on Quartz - logfiles, putting general structure in
1738           place, etc.
1740 Mon Sep 18 19:10:23 BST 2000 Chris Emerson <chris.emerson@open.muscat.com>
1742         * Slightly more accurate malloc/realloc implementation
1744 Mon Sep 18 18:35:32 BST 2000 Olly Betts
1746         * Many tests in apitest changed to use TEST_* macros.
1748 Mon Sep 18 18:23:50 BST 2000 Chris Emerson <chris.emerson@open.muscat.com>
1750         * Can now add checking for memory leaks in testsuite via
1751           LD_PRELOAD of malloccheck.so.  Seems to have a few problems
1752           at the moment, though.
1754         * Added a test for the malloc tracking to internaltest.
1756 Mon Sep 18 17:38:38 BST 2000 Olly Betts
1758         * All api tests now have a number suffix.
1760         * apitest_parser.pm cope with tests being declared "static".
1762 Mon Sep 18 17:19:32 BST 2000 Olly Betts
1764         * Efficiency tweak to max_or_terms comparator - don't call
1765           get_maxweight() if get_termfreq() is zero.
1767         * More minor rearrangments in preparation for merging LocalMatch and
1768           MultiMatch.
1770 Mon Sep 18 15:43:46 BST 2000 Olly Betts
1772         * A testsuite programs asked to run test "foo" will now run tests
1773           "foo1", "foo2", ... if they exist.
1775 Mon Sep 18 14:36:13 BST 2000 Olly Betts
1777         * Implemented API side of OmDatabase::positionlist_{begin,end} -
1778           still needs support in backends.
1780 Mon Sep 18 14:03:58 BST 2000 Olly Betts
1782         * Sorted out wrinkles with geacinclude.sh.
1784 Mon Sep 18 13:02:36 BST 2000 Olly Betts
1786         * Added tests for skip_to on {Post,Term}ListIterator.
1788 Mon Sep 18 12:59:39 BST 2000 Chris Emerson <chris.emerson@open.muscat.com>
1790         * Keep a count of the skipped tests.
1792 Mon Sep 18 12:31:05 BST 2000 Olly Betts
1794         * acinclude.m4 generation moved from buildall to a separate script
1795           so that the Makefile can regenerate acinclude.m4 if necessary.
1797         * Use AC_CONFIG_AUX_DIR to reduce the clutter in the top level
1798           directory.
1800 Mon Sep 18 12:26:48 BST 2000 Chris Emerson <chris.emerson@open.muscat.com>
1802         * Tests in the testsuite can now be skipped, and avoid being
1803           counted as either a pass or a fail.
1805         * Leak detection code partly separated out.
1807 Mon Sep 18 11:55:53 BST 2000 Chris Emerson <chris.emerson@open.muscat.com>
1809         * malloccheck now includes a naive memory allocation function to
1810           use before malloc() and friends are found.  This removes the
1811           gross dependency on glibc2 internals.
1813 Mon Sep 18 10:57:16 BST 2000 Chris Emerson <chris.emerson@open.muscat.com>
1815         * Added malloccheck.c to the distribution.
1817 Fri Sep 15 19:02:48 BST 2000 Chris Emerson <chris.emerson@open.muscat.com>
1819         * Added an LD_PRELOADable library to do some malloc() etc checking.
1820           (Currently doesn't yet do leak checking, but does the accounting.)
1821           May not work on non-glibc2 systems.
1823         * Simplified omerr_tostring so that it uses OmError::get_type().
1825 Fri Sep 15 18:53:31 BST 2000  Richard Boulton <richard.boulton@open.muscat.com>
1827         * Fix minor bug in newly altered weighting formula, and update tests
1828           to expect new values.
1830 Fri Sep 15 18:14:37 BST 2000  Richard Boulton <richard.boulton@open.muscat.com>
1832         * Allow users to set the parameters used in the BM25 and traditional
1833           weighting schemes.  Documented, but not tested.
1835 Fri Sep 15 15:02:49 BST 2000 Chris Emerson <chris.emerson@open.muscat.com>
1837         * Moved todo.xml to docs/
1839         * TODO is now generated from a rule in the root directory
1841         * TODO and docs/todo.html not generated if XML::Parser isn't
1842           installed.
1844 Fri Sep 15 13:26:16 BST 2000 Chris Emerson <chris.emerson@open.muscat.com>
1846         * Added an AC_MSG_WARN if validation is not supported
1848 Fri Sep 15 12:59:17 BST 2000 Chris Emerson <chris.emerson@open.muscat.com>
1850         * Hopefully fixed problems with older libxml not supporting
1851           validation.
1853 Fri Sep 15 12:01:34 BST 2000 Olly Betts
1855         * TODO and todo.html now generated from master todo.xml.
1857 Fri Sep 15 09:07:04 BST 2000 Olly Betts
1859         * HTML TODO list coloured by priority.
1861 Thu Sep 14 19:46:44 BST 2000  Richard Boulton <richard.boulton@open.muscat.com>
1863         * Add some tests for QuartzDbEntries object.  Need more.
1865         * Changed QuartzDbTable so that its methods merely Assert that keys
1866           have non-zero length, rather than throwing exceptions.  This
1867           condition should never arise.
1869 Thu Sep 14 18:38:46 BST 2000 Olly Betts
1871         * Overhauled DEBUGCALL macros - now you can just use RETURN(...)
1872           instead of return(...) in a method and the return value is dealt
1873           with automatically.
1875 Thu Sep 14 18:15:29 BST 2000 Chris Emerson <chris.emerson@open.muscat.com>
1877         * Added new exception OmInvalidDataError for bad data which
1878           isn't really an API misuse.
1880         * Cleaned up the use of silly exceptions in the indexer code.
1882         * Indexer graph checks the XML source for validity.
1884         * Modified the DTD to allow list parameters as well as string.
1886 Thu Sep 14 17:33:05 BST 2000  Richard Boulton <richard.boulton@open.muscat.com>
1888         * Completed implementation of QuartzDbEntries.
1890 Thu Sep 14 17:20:41 BST 2000 Olly Betts
1892         * Fixed some compiler warnings in stemmer code.
1894 Thu Sep 14 17:09:53 BST 2000  Richard Boulton <richard.boulton@open.muscat.com>
1896         * Rename QuartzDbBlocks to QuartzDbEntries and finish specifying the
1897           interface.  Implementation is incomplete, but compiles.
1899           This also removes the duplicate definition which was causing
1900           includetest to fail.
1902         * QuartzDbDiffs now has a non-virtual apply() method - implementation
1903           will be identical for all subclasses.
1905 Thu Sep 14 15:06:24 BST 2000  Richard Boulton <richard.boulton@open.muscat.com>
1907         * Fix the problem with max_or_terms and termfreqs of 0.  Test
1908           maxorterms4 now passes.
1910 Thu Sep 14 15:03:40 BST 2000  Richard Boulton <richard.boulton@open.muscat.com>
1912         * Add a test for doing max_or_terms when one of the query terms is
1913           not in the database.
1915 Wed Sep 13 19:07:11 BST 2000  Richard Boulton <richard.boulton@open.muscat.com>
1917         * Small typo in DbTermList::get_termfreq() corrected.  Now works
1918           correctly - multiexpand1 passes. :)
1920 Wed Sep 13 18:49:27 BST 2000  Richard Boulton <richard.boulton@open.muscat.com>
1922         * Fix apitest so that the OmBatchEnquire::query_desc structure gets
1923           created.
1925         * Attempt to fix DbTermLists handling of term frequencies: if the
1926           termfreq was not present it was being mishandled.  However,
1927           multiexpand1 still fails. :(
1929 Wed Sep 13 18:05:19 BST 2000  Richard Boulton <richard.boulton@open.muscat.com>
1931         * QuartzDbTable now has a get_entry_count() method to ... count its
1932           entries.  Also added a test for this.
1934 Wed Sep 13 18:02:38 BST 2000 Chris Emerson <chris.emerson@open.muscat.com>
1936         * includetest.o now compiled with LIBXML_CFLAGS
1938 Wed Sep 13 17:52:12 BST 2000  Richard Boulton <richard.boulton@open.muscat.com>
1940         * QuartzDbTables now implemented (as maps) and pass testsuite.
1942 Wed Sep 13 17:34:03 BST 2000 Olly Betts
1944         * test programs can now take a list of tests to on the command line.
1946 Wed Sep 13 15:34:18 BST 2000  Richard Boulton <richard.boulton@open.muscat.com>
1948         * OmBatchEnquire::query_desc now initialised its elements to values
1949           which will avoid random segfaults in unwary user code.
1951 Wed Sep 13 15:33:35 BST 2000 Chris Emerson <chris.emerson@open.muscat.com>
1953         * Some changes to Python (and general SWIG) bindings to support
1954           new OmDatabase and OmSettings.  There's a bug in there somewhere
1955           though.
1957 Wed Sep 13 15:23:26 BST 2000 Chris Emerson <chris.emerson@open.muscat.com>
1959         * Added the native part of the OmSettings Java wrappers.  (Oops!)
1961 Wed Sep 13 15:13:53 BST 2000 Chris Emerson <chris.emerson@open.muscat.com>
1963         * OmPostListIterator::get_description() doesn't dump core when
1964           internal is 0.
1966 Wed Sep 13 14:42:03 BST 2000 Olly Betts
1968         * Updated TODO.
1970         * Fettled localmatch.cc in preparation for major rework.
1972 Wed Sep 13 14:28:52 BST 2000 Chris Emerson <chris.emerson@open.muscat.com>
1974         * Fix reversed test bug in OmIndexer::set_node_config()
1976 Wed Sep 13 13:14:23 BST 2000  Richard Boulton <richard.boulton@open.muscat.com>
1978         * Add lots of tests of the QuartzDbTables.  Currently these fail due
1979           to a missing implementation.  In the short term they'll be pointing
1980           at a map, but will prove useful when Martin's stuff replaces that.
1982 Wed Sep 13 12:31:25 BST 2000 Olly Betts
1984         * OmRefCnt* -> RefCnt*; omrefcnt.h -> refcnt.h; OmSettingsData ->
1985           SettingsData.
1987 Wed Sep 13 11:28:18 BST 2000 Olly Betts
1989         * Use libtool's -export-symbols-regex switch to cut down on junk
1990           symbols in library.  Doesn't really work as we'd hope as we get to
1991           play with the mangled symbols.
1993 Wed Sep 13 10:08:25 BST 2000 Olly Betts
1995         * Updated TODO.
1997         * OmDatabase::postlist_begin/end now throw OmInvalidArgumentError
1998           if passed a zero length termname.
2000         * Fixed up OmPostListIterator so copy and assignment work;  end now
2001           uses NULL internal rather than an EmptyPostList.
2003         * Om*Iterator::skip_to now returns void.
2005         * Added postlist[123] tests for OmPostListIterator.
2007         * Now run localdb tests on da and db backends (multiexpand1 currently
2008           fails for db).
2010 Wed Sep 13 00:47:55 BST 2000  Richard Boulton <richard.boulton@open.muscat.com>
2012         * Quartz:  database tables now have a class to store revision numbers
2013           in, which ensures that they are only compared for equality and
2014           thus avoids issues with eventual wrap-around.  Testsuite also now
2015           tests this class, and passes the test.
2017 Tue Sep 12 19:01:42 BST 2000  Richard Boulton <richard.boulton@open.muscat.com>
2019         * More Quartz modifications.  Now has QuartzDbTable class reasonably
2020           fully specified.
2022 Tue Sep 12 17:48:49 BST 2000  Richard Boulton <richard.boulton@open.muscat.com>
2024         * Quartztest compiles and works.  (Passing is not yet likely, though)
2026 Tue Sep 12 17:45:40 BST 2000  Richard Boulton <richard.boulton@open.muscat.com>
2028         * term_exists() methods in each backend now assert that the termname
2029           passed in is not of zero length.  The API should throw exceptions
2030           before a null term gets down to this level (though currently the
2031           post and position iterators don't do this...).
2033 Tue Sep 12 17:33:01 BST 2000 Chris Emerson <chris.emerson@open.muscat.com>
2035         * Implemented OmIndexerNode::set_config_string() and added
2036           OmIndexer::set_node_config() to make it useful.
2038 Tue Sep 12 17:12:30 BST 2000 Chris Emerson <chris.emerson@open.muscat.com>
2040         * The Java bindings now seem to work again, although the automatic
2041           apitest converter doesn't.
2043 Tue Sep 12 16:36:41 BST 2000  Richard Boulton <richard.boulton@open.muscat.com>
2045         * Removed final bits of Berkeley DB from Quartz, and conditional
2046           compile around header files (which was for includetest's benefit).
2048         * Added yet more classes to Quartz.  Still doesn't do anything.
2050 Tue Sep 12 16:32:30 BST 2000 Olly Betts
2052         * Added reference counting to an instantiation of SleepycatTermList
2053           which I'd missed.
2055 Tue Sep 12 15:23:09 BST 2000 Olly Betts
2057         * Oops, AndMaybePostList didn't compile...
2059 Tue Sep 12 14:44:26 BST 2000 Olly Betts
2061         * Fixed problem with OrPostList decomposing into AndMaybePostList at
2062           the very start (only happens with a percentage cut-off threshold).
2064 Tue Sep 12 14:15:13 BST 2000 Olly Betts
2066         * includetest.cc now depends on findheaders.pl.
2068         * findheaders.pl now copes with wrapped lines in Makefile.in (cvs
2069           automake leaves them wrapped - last release version unwrapped them).
2071 Tue Sep 12 12:35:49 BST 2000 Olly Betts
2073         * *PostList and *TermList now keep a reference to their parent database
2074           so they'll continue to work if all other references to the database
2075           die (tested by termlist3).
2077 Tue Sep 12 12:34:40 BST 2000 Chris Emerson <chris.emerson@open.muscat.com>
2079         * The Java stuff now actually compiles.
2081 Tue Sep 12 09:21:48 BST 2000  Richard Boulton <richard.boulton@open.muscat.com>
2083         * Remove dependency of quartz on Berkeley DB 3.1, in configure.in
2085         * Small changes to quartz - added a QuartzDbTable class for managing
2086           database tables.
2088 Mon Sep 11 18:39:58 BST 2000 Chris Emerson <chris.emerson@open.muscat.com>
2090         * Some updates to Java half of the Java bindings.  The native half
2091           still needs some fixing, as do the test classes.
2093 Mon Sep 11 18:34:30 BST 2000  Richard Boulton <richard.boulton@open.muscat.com>
2095         * Fix from Martin for DB database skip_to problem - reenabled skip_to
2096           in DBPostList.
2098 Mon Sep 11 17:48:50 BST 2000  Richard Boulton <richard.boulton@open.muscat.com>
2100         * OmRefCntPtr updated to deal with conversions between different
2101           pointer types.
2103 Mon Sep 11 17:43:13 BST 2000 Olly Betts
2105         * Added test to internaltest to reproduce OmRefCntPtr::BypassRefStart
2106           problem.
2108 Mon Sep 11 16:15:54 BST 2000 Olly Betts
2110         * Removed useless default value for dest_ on OmRefCntPtr
2111           BypassRefStart constructor.
2113 Mon Sep 11 14:57:42 BST 2000 Chris Emerson <chris.emerson@open.muscat.com>
2115         * Stopped OmDatabase::postlist_{begin,end} from being virtual.
2117 Mon Sep 11 14:00:04 BST 2000 Olly Betts
2119         * Added .daflimsy, .db, and .dbflimsy to .cvsignore.
2121 Mon Sep 11 13:31:38 BST 2000 Olly Betts
2123         * Fixed OmTermListIterator so termlist2 test passes.
2125 Mon Sep 11 12:28:13 BST 2000  Richard Boulton <richard.boulton@open.muscat.com>
2127         * If a test fails and leaks, then don't rerun it (ie, only rerun if
2128           it passes but leaks)
2130 Mon Sep 11 11:56:29 BST 2000 Chris Emerson <chris.emerson@open.muscat.com>
2132         * Implemented OmIndexerNode::invalidate_outputs()
2134         * Added new methods get_element() (the same as operator[]) and
2135           append_element() to Record.
2137         * Made the output of operator<<(ostream &, Record) more compact.
2139 Mon Sep 11 11:21:27 BST 2000 Olly Betts
2141         * Fixed compiler warning in string_to_ommsetitems in non-debug builds.
2143 Mon Sep 11 10:28:43 BST 2000 Olly Betts
2145         * Test suite now exercises flimsy version of da backend, and both
2146           heavy duty and flimsy versions of db backend.
2148 Fri Sep  8 20:10:06 BST 2000  Richard Boulton <richard.boulton@open.muscat.com>
2150         * Fix problem with OmPostListIterator's internals not being reference
2151           counted, and copy still being allowed; internals are refcnt again,
2152           and copy and assignment operations are fully defined.
2153           OmTermListIterators and OmPositionListIterators are still broken.
2155 Fri Sep  8 18:42:49 BST 2000  Richard Boulton <richard.boulton@open.muscat.com>
2157         * In delve, ensure that recno's are in sorted order.
2159 Fri Sep  8 18:41:19 BST 2000  Richard Boulton <richard.boulton@open.muscat.com>
2161         * In MultiPostList::skip_to(), don't call get_docid() if already
2162           at_end().
2164 Fri Sep  8 17:31:28 BST 2000  Richard Boulton <richard.boulton@open.muscat.com>
2166         * Change implementation of DBPostList::skip_to to repeatedly call
2167           next(), as temporary work around for a bug.
2169 Fri Sep 08 16:41:17 BST 2000 Olly Betts
2171         * Om*Iterator ought to now work as STL iterators; added test termlist2
2172           for this - but it currently fails so is disabled.
2174         * Martin has fixed problem in makeDA so termlist1 now passes with da
2175           backend.
2177 Fri Sep  8 16:34:23 BST 2000  Richard Boulton <richard.boulton@open.muscat.com>
2179         * Delve can now display several termlists, several postlists, or
2180           lots of positionlists.
2182 Fri Sep  8 12:02:05 BST 2000  Richard Boulton <richard.boulton@open.muscat.com>
2184         * Fix Asserts in MultiPostList::skip_to(), and small bug in
2185           MultiPostList::next();
2187         * debugging info to DBDatabase::skip_to().
2189         * delve now displays lists of docids or terms one per line, for easier
2190           post-processing.
2192 Fri Sep 08 11:02:53 BST 2000 Olly Betts
2194         * Reenabled termlist1 for DA backend so Martin can investigate bug.
2196 Fri Sep 08 10:44:53 BST 2000 Olly Betts
2198         * Removed a number of superfluous semicolons.
2200 Fri Sep  8 09:26:00 BST 2000  Richard Boulton <richard.boulton@open.muscat.com>
2202         * Add debugging to all methods of OmPostListIterator, and make
2203           get_description tell the current position.
2205         * Fix MultiPostList - it was never getting off the initial position.
2207         * Correct some messages in db_database.cc which reported being from
2208           a DA database.
2210 Thu Sep  7 23:30:39 BST 2000  Richard Boulton <richard.boulton@open.muscat.com>
2212         * Add to PostList next() and skip_to() methods which don't take a
2213           minimum weight, for use outside the matcher, or when moving
2214           postlists to beginning for a MultiPostList.
2216 Thu Sep  7 23:05:54 BST 2000  Richard Boulton <richard.boulton@open.muscat.com>
2218         * Extra debugging stuff added to OmPostListIterators.
2220         * Remove assertions in termlist, positionlist and postlist at_end()
2221           methods which check that list is not at beginning.  Calling at_end()
2222           at the beginning of such lists is now valid, (and returns false, even
2223           if the list is empty).
2225 Thu Sep  7 18:44:51 BST 2000  Richard Boulton <richard.boulton@open.muscat.com>
2227         * Added debug information to DB database reading code.
2229         * Fix a typo in matcher.  (om_weight -> om_docid)
2231 Thu Sep 07 17:44:24 BST 2000 Olly Betts
2233         * net/socketcommon.cc: Improved a couple of exception messages.
2235 Thu Sep 07 16:15:17 BST 2000 Olly Betts
2237         * Fixed a problem with distributing NEAR and PHRASE.
2239 Thu Sep  7 13:45:21 BST 2000  Richard Boulton <richard.boulton@open.muscat.com>
2241         * Change om_tostring(double) so that it doesn't pad with spaces,
2242           fixing all the network stuff.  (Whoops)
2244 Thu Sep  7 11:50:39 BST 2000  Richard Boulton <richard.boulton@open.muscat.com>
2246         * Various other fixes needed to compile with --disable-pthread-support
2248 Thu Sep  7 11:03:32 BST 2000  Richard Boulton <richard.boulton@open.muscat.com>
2250         * Fix to make omdebug.cc compile when --disable-pthread-support
2251           is specified to configure.
2253 Thu Sep  7 01:40:40 BST 2000  Richard Boulton <richard.boulton@open.muscat.com>
2255         * Added extra debugging to matcher to help track down reported
2256           bug.
2258         * Changed value of C in bm25weight to 0 to see if this helps Webtop
2259           performance in pathological cases.
2261         * Fixed threadtest.cc so that it runs again.
2263 Wed Sep  6 17:44:04 BST 2000 Chris Emerson <chris.emerson@open.muscat.com>
2265         * <param> added to the test.dtd
2267         * mt_vector added as a message type separate from mt_record
2269 Wed Sep 06 17:37:50 BST 2000 Olly Betts
2271         * Tom Mortimer gets a well deserved mention in the AUTHORS list for
2272           bug reporting.
2274 Wed Sep 06 16:32:01 BST 2000 Olly Betts
2276         * website now uses viewcvs - another TODO bites the dust.
2278 Wed Sep  6 15:43:31 BST 2000 Chris Emerson <chris.emerson@open.muscat.com>
2280         * Outputs other than "out" can be used for the output of the whole
2281           network.
2283         * Added <param> tags to pass configuration info to nodes from the
2284           XML description.  OmIndexerNode::get_config_string() actually
2285           implemented, plus OmIndexerNode constructor now takes an
2286           OmSettings.
2288         * OmIndexerNode methods set_output_{string,int,double,record} renamed
2289           to overloaded set_output.
2291         * New Record constructor for initialising from a vector, along with
2292           accessor functions get_vector_length() and operator[].  The
2293           stream insertion operator uses these to recursively print out the
2294           values.
2296 Wed Sep 06 13:34:24 BST 2000 Olly Betts
2298         * Opening a termlist for a document which is not present now always
2299           throws OmDocNotFoundError (da and db backends need checking)
2301         * Updated TODO.
2303 Wed Sep 06 11:31:00 BST 2000 Olly Betts
2305         * Fixed problems with distributing NEAR/PHRASE over subexpressions.
2307 Wed Sep 06 09:28:04 BST 2000 Olly Betts
2309         * Added omtermlistiteratorinternal.h to list of files to distribute.
2311 Tue Sep  5 18:36:43 BST 2000 Chris Emerson <chris.emerson@open.muscat.com>
2313         * Added a new setting "remote_timeout", used to configure the
2314           timeout (in milliseconds) used before giving up on network
2315           connections.  (The default is 10,000 milliseconds or 10 seconds)
2317         * Added new option --timeout to set the timeout on the tcp server
2318           side.
2320 Tue Sep 05 15:51:07 BST 2000 Olly Betts
2322         * Added some items to TODO.
2324 Tue Sep  5 15:21:13 BST 2000  Richard Boulton <richard.boulton@open.muscat.com>
2326         * Correct directory tag in indexer/indexgraph/dir_contents
2328 Tue Sep 05 14:28:40 BST 2000 Olly Betts
2330         * apitest: Added multidb5 - test of AND with multidatabase.
2332         * multi backend tweaks.
2334         * NetworkDatabase: pruned dead code.
2336         * Minor doc comment corrections.
2338         * apitest: multidb* tests were searching for "inmemory" unstemmed -
2339           corrected.
2341 Tue Sep  5 11:48:54 BST 2000 Chris Emerson <chris.emerson@open.muscat.com>
2343         * Fixed a double-deleting bug in indexer
2345 Tue Sep 05 11:25:21 BST 2000 Olly Betts
2347         * apitest: Added multidb5 - test of AND with multidatabase.
2349 Tue Sep  5 10:49:18 BST 2000 Chris Emerson <chris.emerson@open.muscat.com>
2351         * Re-added OmTypeError with slightly different comment.
2353 Tue Sep 05 08:29:04 BST 2000 Olly Betts
2355         * Added missing class: OmTypeError.
2357 Mon Sep  4 18:30:39 BST 2000 Chris Emerson <chris.emerson@open.muscat.com>
2359         * Reduced the number of copies of messages needed in indexing
2360           networks.
2362         * Added some type safety to the Record class.
2364 Mon Sep 04 17:40:18 BST 2000 Olly Betts
2366         * Updated TODO.
2368 Mon Sep 04 17:22:29 BST 2000 Olly Betts
2370         * Overhauled MultiDatabase and MultiPostList: Complexity used to
2371           be O(# of subdatabases) in many operations, now constant time;
2372           Removed termname cache (no evidence that same termname is often
2373           looked up more than once).
2375         * Fixed a couple of stupid compiler warnings in localmatch.cc.
2377 Mon Sep  4 16:48:51 BST 2000 Chris Emerson <chris.emerson@open.muscat.com>
2379         * Cleaned up the registration of new indexer nodes a bit.
2381         * Prefixed some of the types with "Om".
2383 Mon Sep 04 14:42:56 BST 2000 Olly Betts
2385         * Implemented MultiPostList::get_position_list.
2387 Mon Sep 04 12:05:40 BST 2000 Olly Betts
2389         * Moved multidbN tests together.
2391 Mon Sep 04 09:30:38 BST 2000 Olly Betts
2393         * Implemented OmTermListIterator.
2395         * delve now implemented using only API calls.
2397 Sun Sep 03 15:58:07 BST 2000 Olly Betts
2399         * Implemented OmPositionListIterator.
2401         * Fixed up operator== on OmPostListIterator.
2403         * Updated delve to use new Om*Iterator classes.
2405 Sun Sep 03 13:06:31 BST 2000 Olly Betts
2407         * Added OmPostListIterator::get_description method.
2409         * Fixed maxorterms1 test to work with da backend.
2411 Sun Sep 03 11:55:33 BST 2000 Olly Betts
2413         * Checked in missing new sources.
2415 Sat Sep 02 18:30:48 BST 2000 Olly Betts
2417         * Implemented OmPostListIterator.
2419 Fri Sep 01 18:36:09 BST 2000 Olly Betts
2421         * apitest: Split off api_db.cc - test requiring a database.
2423 Fri Sep 01 18:18:08 BST 2000 Olly Betts
2425         * apitest: Split off api_posdb.cc - tests requiring positional info.
2427 Fri Sep 01 16:51:52 BST 2000 Olly Betts
2429         * apitest: pctcutoff1 now works with DA backend; tests which need
2430           document length are now a separate category.
2432 Fri Sep 01 15:52:06 BST 2000 Olly Betts
2434         * apitest: Split off nodb tests into api_nodb.cc.
2436         * Testsuite "-f" switch is now pointless - removed.
2438 Fri Sep 01 13:22:33 BST 2000 Olly Betts
2440         * apitest now uses test helpers in many more tests.
2442 Fri Sep  1 13:12:09 BST 2000  Richard Boulton <richard.boulton@open.muscat.com>
2444         * Change find invocations to be portable, in docs/Makefile.am and
2445           docs/mkdocs.pl.in
2447 Fri Sep  1 12:57:59 BST 2000  Richard Boulton <richard.boulton@open.muscat.com>
2449         * Correct sense of test for presence of doxygen.  How we never
2450           noticed this before eludes me...
2452 Fri Sep 01 11:20:03 BST 2000 Olly Betts
2454         * Moved some test helper functions from apitest.cc to testsuite.cc.
2456 Fri Sep 01 10:06:00 BST 2000 Olly Betts
2458         * testutils.h and testsuite.h moved from common to testsuite.
2460 Thu Aug 31 18:07:33 BST 2000 Chris Emerson <chris.emerson@open.muscat.com>
2462         * Implemented the OmIndexerNode bits to handle primitive types
2463           as well as records.  Primitive types are converted to/from
2464           records as needed.
2466         * Added support for "ANY" type which is compatible with any
2467           other.  (Used for "split" node, for example)
2469 Thu Aug 31 17:50:00 BST 2000 Olly Betts
2471         * Headers to be used by include test are now found by parsing
2472           Makefile.in-s which fixes several niggles.
2474 Thu Aug 31 16:08:00 BST 2000 Olly Betts
2476         * Added tests for NEAR/PHRASE distributing over sub-expressions.
2478 Thu Aug 31 15:43:07 BST 2000 Chris Emerson <chris.emerson@open.muscat.com>
2480         * Sorted out some of the enum bits in OmIndexer
2482         * Check that the same node type isn't registered more than once.
2484         * Stop building of "nodetest" in indexer which depends on libomus
2486         * Building without remote backend should now work.
2488 Thu Aug 31 15:36:00 BST 2000 Olly Betts
2490         * Should now distribute NEAR/PHRASE over sub-expressions - untested.
2492 Thu Aug 31 11:41:00 BST 2000 Olly Betts
2494         * Window size for NEAR and PHRASE now defaults to number of
2495           subqueries.
2497         * NEAR and PHRASE can now be built with OmQuery pair constructor.
2499 Thu Aug 31 13:29:20 BST 2000 Chris Emerson <chris.emerson@open.muscat.com>
2501         * OmIndexer type-checking now seems to work.
2503 Thu Aug 31 12:20:27 BST 2000 Chris Emerson <chris.emerson@open.muscat.com>
2505         * Added checking for hstrerror in -lresolv (needed by Solaris)
2507         * Added HAVE_LIBXML define
2509         * indexer/indexgraph/ now built if libxml is found
2511         * indexer/indexgraph/ skipped from includetest (since it can't find
2512           parser.h)
2514         * stemtest.pl will skip checking with the random data/text if
2515           $OM_STEMTEST_SKIP_RANDOM is set.
2517 Thu Aug 31 11:41:00 BST 2000 Olly Betts
2519         * Updated TODO.
2521 Thu Aug 31 11:29:00 BST 2000 Olly Betts
2523         * Removed strange special case which allows assignment of an
2524           OmWritableDatabase to an OmDatabase which is actually a reference
2525           to an OmWritableDatabase.
2527         * Make OmWritableDatabase::get_document() into a const method in the
2528           code as well as the header.
2530         * Added database assignment test.
2532 Wed Aug 30 19:15:29 BST 2000 Chris Emerson <chris.emerson@open.muscat.com>
2534         * Partially implemented type-checking in OmIndexer
2536 Wed Aug 30 18:21:02 BST 2000  Richard Boulton <richard.boulton@open.muscat.com>
2538         * Add a test to the quartz testsuite - currently doesn't compile.
2540 Wed Aug 30 17:50:42 BST 2000  Richard Boulton <richard.boulton@open.muscat.com>
2542         * Make OmWritableDatabase::get_document() into a const method -
2543           doesn't change anything.
2545 Wed Aug 30 15:10:09 BST 2000 Chris Emerson <chris.emerson@open.muscat.com>
2547         * Put guards in indexergraph header file to make it empty if
2548           libxml is not available.  (For includetest)
2550 Wed Aug 30 15:10:00 BST 2000 Olly Betts
2552         * Added guards to sleepycat headers so that they are empty if
2553           sleepycat is disabled - this is to make includetest pass.
2555 Wed Aug 30 14:49:00 BST 2000 Olly Betts
2557         * tests/Makefile.am: use ${srcdir} to find sources for extra CXXFLAGS
2558           rules so compiling outside the source tree works.
2560 Wed Aug 30 14:34:07 BST 2000  Richard Boulton <richard.boulton@open.muscat.com>
2562         * Put in guards to headerfiles in quartz so that the files are
2563           empty if quartz isn't configured on - this is to make includetest
2564           pass.
2566 Wed Aug 30 14:13:19 BST 2000  Richard Boulton <richard.boulton@open.muscat.com>
2568         * Add a quartztest testsuite in the Quartz database directory.  That
2569           should save me some compile time...
2571 Wed Aug 30 12:49:00 BST 2000 Olly Betts
2573         * apitest: declare tests static - we then get a warning when a test
2574           isn't used and it may speed up linking.
2576 Wed Aug 30 12:34:23 BST 2000 Chris Emerson <chris.emerson@open.muscat.com>
2578         * Now pass query length information in remote matches.
2580         * Incremented remote protocol version.
2582 Wed Aug 30 11:03:11 BST 2000 Chris Emerson <chris.emerson@open.muscat.com>
2584         * Bug fixes to the modified indexing framework mini-test
2586 Wed Aug 30 10:37:00 BST 2000 Olly Betts
2588         * tests/Makefile.am: use CXXCOMPILE and LTCXXCOMPILE for compiling
2589           with extra CXXFLAGS.
2591 Tue Aug 29 19:22:52 BST 2000 Chris Emerson <chris.emerson@open.muscat.com>
2593         * Partially implemented the new indexer interface
2595 Fri Aug 25 16:58:39 BST 2000 Chris Emerson <chris.emerson@open.muscat.com>
2597         * Moved stuff around for the new indexing stuff.
2599 Fri Aug 25 12:08:00 BST 2000 Olly Betts
2601         * Minor tweaks to apitest and matcher.
2603 Thu Aug 24 19:16:53 BST 2000  Richard Boulton <richard.boulton@open.muscat.com>
2605         * More modifications to Quartz - now passes modifications made to
2606           PostLists and PositionLists into an object designed to store and
2607           manage them - nothing written to databases still, though.
2609 Thu Aug 24 16:55:59 BST 2000  Richard Boulton <richard.boulton@open.muscat.com>
2611         * Added a documentation comment, a fixme and a todo.
2613 Thu Aug 24 15:53:50 BST 2000 Chris Emerson <chris.emerson@open.muscat.com>
2615         * Fixed potential core-dump bug in OmSocketLineBuf
2617 Thu Aug 24 15:04:04 BST 2000  Richard Boulton <richard.boulton@open.muscat.com>
2619         * Various modifications to quartz database: compiles again.
2621 Thu Aug 24 13:31:19 BST 2000  Richard Boulton <richard.boulton@open.muscat.com>
2623         * Add new, private, constructor of OmRefCntPtr, and make the pointed
2624           to class a friend, so that a class can give out refcntpointers
2625           to itself, even after someone else already has such a pointer.
2627 Thu Aug 24 12:58:00 BST 2000 Olly Betts
2629         * Fixed two missed uses of get_irdatabase().
2631 Thu Aug 24 11:14:55 BST 2000  Richard Boulton <richard.boulton@open.muscat.com>
2633         * Change OmDatabase::InternalInterface::get_irdatabase() to
2634           OmDatabase::InternalInterface::get_multi_database().  Return more
2635           helpful error if a multi db is asked for without specifying any
2636           databases.
2638 Thu Aug 24 11:05:44 BST 2000  Richard Boulton <richard.boulton@open.muscat.com>
2640         * Updated HTML docs generated by gvim.
2642 Wed Aug 23 15:29:00 BST 2000 Olly Betts
2644         * Updated docs to reflect OmDatabaseGroup merging into OmDatabase.
2645           Can't update HTML generated from C++ by gvim though.
2647 Wed Aug 23 15:10:00 BST 2000 Olly Betts
2649         * WARNING: Incompatible changes to API!
2651         * OmDatabaseGroup merged into OmDatabase.  Upgrading your code should
2652           just be a matter of replacing OmDatabaseGroup with OmDatabase.
2654 Wed Aug 23 13:11:59 BST 2000  Richard Boulton <richard.boulton@open.muscat.com>
2656         * Added classes to store a set of modified quartz database blocks.
2658         * Various other mods to quartz database.
2660 Wed Aug 23 11:28:00 BST 2000 Olly Betts
2662         * omsettings.h: added list of valid backends to doc comment.
2664 Tue Aug 22 19:02:14 BST 2000 Chris Emerson <chris.emerson@open.muscat.com>
2666         * Python bindings partly moved into the present.
2668 Tue Aug 22 18:26:00 BST 2000 Olly Betts
2670         * apitest now tests query length and within query frequency (wqf).
2672         * Fixed max_or_terms to preserve the query_size when an OR collapses
2673           to just one sub-query.
2675         * The query length now makes it through to IRWeight (was always
2676           passing 1).
2678         * remote backend currently fails test qlen1 because the query length
2679           isn't currently passed in the serialisation of an OmQuery.
2681 Tue Aug 22 18:19:16 BST 2000  Richard Boulton <richard.boulton@open.muscat.com>
2683         * Add class to hold modified blocks in a quartz DB.  Doesn't compile
2684           yet, but then, its not linked into the build system either. ;-)
2686 Tue Aug 22 17:00:49 BST 2000 Chris Emerson <chris.emerson@open.muscat.com>
2688         * Added some proof-of-concept XML-generated indexer network code.
2690 Tue Aug 22 16:59:11 BST 2000  Richard Boulton <richard.boulton@open.muscat.com>
2692         * Fix documentation comment in omsettings to refer to remote instead
2693           of network.
2695 Tue Aug 22 11:40:00 BST 2000 Olly Betts
2697         * Rearranged the file layout of the OmDatabase* classes to be rather
2698           more sane.
2700 Mon Aug 21 17:16:26 BST 2000  Richard Boulton <richard.boulton@open.muscat.com>
2702         * Declare this to be version 0.3.0
2704 Mon Aug 21 17:13:00 BST 2000 Olly Betts
2706         * Now use within query frequency and query length information in
2707           match.
2709 Mon Aug 21 16:55:57 BST 2000  Richard Boulton <richard.boulton@open.muscat.com>
2711         * Add release note to NEWS.
2713 Mon Aug 21 16:18:00 BST 2000 Olly Betts
2715         * Added a few items to TODO.
2717 Mon Aug 21 15:28:00 BST 2000 Olly Betts
2719         * WARNING: Incompatible changes to API!
2721         * om_queryop -> OmQuery::op, OM_MOP_* -> OmQuery::OP_*
2723 Mon Aug 21 15:03:00 BST 2000 Olly Betts
2725         * Overhauled TODO list and added difficulty column.
2727 Mon Aug 21 14:12:00 BST 2000 Olly Betts
2729         * Make apitest actually run implicitendsession test.
2731 Mon Aug 21 13:52:34 BST 2000  Richard Boulton <richard.boulton@open.muscat.com>
2733         * Update html versions of simpleexample code, to reflect new API.
2735         * Add quartz_modifications.cc so that quartz db will link.
2737 Mon Aug 21 13:16:00 BST 2000 Olly Betts
2739         * Added test that sessions get ended correctly if class is destroyed
2740           without end_session() being explicitly called (test only works in a
2741           debug build).
2743         * MultiMatch::match() -> MultiMatch::get_mset()
2745 Mon Aug 21 12:44:32 BST 2000  Richard Boulton <richard.boulton@open.muscat.com>
2747         * using_stemmers.html updated, to use void * rather than struct
2748           <foo> *, and to make the example code compile and work correctly.
2750 Mon Aug 21 12:13:00 BST 2000 Olly Betts
2752         * Removed lingering traces of get_max_weight().
2754         * Pruned TODO.
2756 Mon Aug 21 11:57:00 BST 2000 Olly Betts
2758         * OmDocumentTerm::add_posting now first checks for the case where it
2759           can simply append the new positional info (since positions are
2760           usually added in increasing order)
2762 Mon Aug 21 11:30:00 BST 2000 Olly Betts
2764         * LocalMatch::get_max_weight() isn't externally visible, so removed it
2765           entirely
2767 Sun Aug 20 18:09:00 BST 2000 Olly Betts
2769         * Corrected minor typos, etc in documentation.
2771 Sun Aug 20 17:35:00 BST 2000 Olly Betts
2773         * All externally visibile references to "net"/"network" backend now
2774           call it "remote".
2776 Sun Aug 20 17:12:00 BST 2000 Olly Betts
2778         * Started to rename net/network backend to remote (passes make check
2779           at this point).
2781 Sun Aug 20 16:17:00 BST 2000 Olly Betts
2783         * Overhaul of LocalMatch: get_max_weight deprecated and now just
2784           throws OmUnimplementedError; various class members now just local
2785           to get_mset; renamed recalculate_maxweight to recalculate_w_max
2786           since it forces recalculation of w_max and not max_weight.
2788         * includetest now checks that found headers are actually files
2789           and ignores any headers in bindings (not just java related ones).
2791 Sun Aug 20 14:19:00 BST 2000 Olly Betts
2793         * Added support for muscat36 da backend to backendmanager (uses
2794           makeDA program, so only works on Linux).  Some tests won't work
2795           with this backend as it doesn't support word-based positional
2796           information or document lengths.
2798         * Sucked repeated code for running tests in apitest into a macro.
2800         * Can now restrict apitest to use one backend like so:
2801           OM_TEST_BACKEND=inmemory ./apitest
2803 Sat Aug 19 19:24:00 BST 2000 Olly Betts
2805         * nettest now guesses srcdir like apitest does.
2807 Sat Aug 19 18:39:00 BST 2000 Olly Betts
2809         * Added testcase for handling of multiple postings of a term at the
2810           same position (adddoc1).
2812         * Fixed wdf handling in inmemory backend.
2814         * Fixed handling of writable databases in BackendManager (they can't
2815           safely be reused as the previous test may have altered the
2816           contents).
2818         * Added new test category to apitest: tests that need a writable
2819           database.
2821 Sat Aug 19 15:01:00 BST 2000 Olly Betts
2823         * Muscat36 db backend now autodetects flimsy vs heavyduty
2825 Sat Aug 19 12:30:00 BST 2000 Olly Betts
2827         * Naming consistency - now always say "sleepycat" never "sleepy".
2828           Only externally visible effect is in options to configure.
2830         * A few header multiple inclusion guards were misnamed - fixed.
2832 Fri Aug 18 17:49:00 BST 2000 Olly Betts
2834         * Pruned completed and no-longer-relevant tasks from TODO.
2836         * DatabaseBuilder now throws OmFeatureUnavailableError rather than
2837           OmOpeningError if you try to use a backend which isn't compiled in.
2839         * Added checks for correct handling of unknown and unavailable
2840           backends by DatabaseBuilder.
2842 Fri Aug 18 16:22:00 BST 2000 Olly Betts
2844         * WARNING: Incompatible (minor) changes to API!
2846         * OmSettings::get_value* -> OmSettings::get*
2847           OmSettings::set_value -> OmSettings::set
2849 Fri Aug 18 16:03:39 BST 2000  Richard Boulton <richard.boulton@open.muscat.com>
2851         * Fix to configuration system so that it runs the test programs -
2852           it should now complain if the wrong versions of sleepycat libraries
2853           are lying about.
2855 Fri Aug 18 15:39:00 BST 2000 Olly Betts
2857         * WARNING: Incompatible (minor) changes to API!
2859         * OmMatchDecider::operator() now takes a const reference rather than
2860           a const pointer.  Removed warning that arguments to this method
2861           are highly likely to change.
2863         * Changed a few methods to take const references to avoid
2864           unnecessary object copying (changes API, but code using API won't
2865           need changing).
2867 Fri Aug 18 14:31:00 BST 2000 Olly Betts
2869         * OmBatchEnquire::batch_result no longer public - instead
2870           OmBatchEnquire::Internal is a friend class.
2872 Fri Aug 18 13:58:00 BST 2000 Olly Betts
2874         * Added documentation of valid settings to OmSettings doc comments.
2876 Fri Aug 18 12:34:00 BST 2000 Olly Betts
2878         * Dervied classes of IRDatabase now implement do_open_post_list,
2879           with open_post_list now a wrapper in the base class which checks
2880           whether the term exists and returns EmptyPostList if it doesn't.
2882         * LocalMatch: EmptyPostList-s now always have a weight.
2884         * apitest: Added maxorterms3 to check that maxorterms doesn't affect
2885           results if no term are discarded; fixed qterminfo1 as non-existent
2886           terms now *do* have a weight.
2888         * backendmanager.cc: Now close and reopen a freshly built sleepycat
2889           database as a workaround for problems with the sleepycat backend.
2891         * testsuite.cc: Now exit after display syntax message.
2893 Thu Aug 17 20:47:48 BST 2000  Richard Boulton <richard.boulton@open.muscat.com>
2895         * Fix some documentation comments in common/database.h and
2896           include/om/omdatabase.h
2898         * Begun to implement structure for organising database modifications
2899           in Quartz database - added QuartzModifcations.  Also added a mutex
2900           to protect the QuartzDatabase class from concurrent access.
2902         * Ensure that all database types won't have an exception thrown
2903           from their destructors: catch any thrown by internal_end_session()
2904           and discard them.  Is this safe? - is possible to have two
2905           exceptions in progress at once; one causing the destructor to
2906           be called, and one inside the destructor (although this won't
2907           escape the destructor).
2909 Thu Aug 17 17:16:00 BST 2000 Olly Betts
2911         * Merged select_query_terms into build_query_tree
2913 Thu Aug 17 16:58:12 BST 2000  Richard Boulton <richard.boulton@open.muscat.com>
2915         * Added QuartzDBManager, to manage the databases files and
2916           environments in use.
2918 Thu Aug 17 16:46:00 BST 2000 Olly Betts
2920         * A few tweaks to NetworkMatch
2922 Thu Aug 17 16:14:00 BST 2000 Olly Betts
2924         * Weighting scheme now specified in OmSettings; termweights now
2925           deleted by LeafPostList rather than LocalMatch.  No changes to
2926           external APIs this time!
2928 Thu Aug 17 14:54:00 BST 2000 Olly Betts
2930         * To speed things up with debug builds, DEBUG_CALL and
2931           DEBUG_CALL_STATIC now check debug type earlier and avoid building
2932           strings if this debug message is disabled.
2934 Wed Aug 16 21:18:03 BST 2000  Richard Boulton <richard.boulton@open.muscat.com>
2936         * Quartz throws OmInimplementedError from all its public methods.
2938         * Added a FIXME in all IRDatabase (and subclass) destructors - mustn't
2939           throw exceptions.
2941 Wed Aug 16 17:12:00 BST 2000 Olly Betts
2943         * WARNING: Incompatible changes to API!
2945         * Replaced OmMatchOptions and OmExpandOptions with OmSettings.
2947 Wed Aug 16 17:05:04 BST 2000 Chris Emerson <chris.emerson@open.muscat.com>
2949         * Fixed a bug which could cause a TCP server to loop nastily if
2950           an exception were thrown.
2952 Wed Aug 16 13:53:00 BST 2000 Olly Betts
2954         * Fixed up a few mismatched OmSettings parameter names.
2956 Wed Aug 16 12:41:00 BST 2000 Olly Betts
2958         * WARNING: Incompatible changes to API!
2960         * OmSettings used to replace DatabaseBuilderParams and ad-hoc
2961           passing of database parameters as vector<string>.
2963         * Added OmSettings::get_description() and macros so it can be
2964           written to streams
2966         * OmSettings values can now also be bool or vector<string>
2968         * Backend types da_flimsy/da_heavy replaced by da with heavyduty
2969           parameter.  Similarly for db_* backends.
2971 Wed Aug 16 12:08:00 BST 2000 Olly Betts
2973         * stemtest.pl now complains if srcdir isn't set
2975 Tue Aug 15 21:13:22 BST 2000  Richard Boulton <richard.boulton@open.muscat.com>
2977         * Various bits of work done to Quartz.  Now opens a DB environment,
2978           or would if it were given an appropriate path.
2980 Tue Aug 15 20:39:45 BST 2000  Richard Boulton <richard.boulton@open.muscat.com>
2982         * Correct library name to link against for BerkeleyDB 3.1, from libdb
2983           to libdb_cxx
2985 Tue Aug 15 20:24:19 BST 2000  Richard Boulton <richard.boulton@open.muscat.com>
2987         * Added OmFeatureUnavailableError exception, to be thrown when a
2988           feature is not compiled in, or otherwise unavailable.
2990 Tue Aug 15 15:19:45 BST 2000 Chris Emerson <chris.emerson@open.muscat.com>
2992         * Incorporated Jon Fielder's patches to TcpServer - it's now a
2993           forking server rather than serving connections one at a time.
2995 Tue Aug 15 14:47:06 BST 2000  Richard Boulton <richard.boulton@open.muscat.com>
2997         * Link quartz database into DatabaseBuilder and testsuite.  Now
2998           ready to begin writing it. :)
3000 Tue Aug 15 11:27:04 BST 2000  Richard Boulton <richard.boulton@open.muscat.com>
3002         * Added initial (empty) quartz_database.{cc,h} files, so that
3003           distcheck will work again.
3005 Tue Aug 15 11:24:51 BST 2000  Richard Boulton <richard.boulton@open.muscat.com>
3007         * Removed netprogs/omnetclient.cc - unused file.
3009 Mon Aug 14 19:11:03 BST 2000 Chris Emerson <chris.emerson@open.muscat.com>
3011         * Python tests up to 25 pass, 3 fail (plus test_alwaysfail).
3013 Mon Aug 14 18:42:05 BST 2000 Chris Emerson <chris.emerson@open.muscat.com>
3015         * Java and SWIG bindings brought up to date with recent changes
3016           to OmWritableDatabase
3018         * Python version of apitest.cc now has 29 tests converting, of which
3019           21 pass.
3021 Mon Aug 14 15:50:00 BST 2000 Olly Betts
3023         * MultiDatabase::MultiDatabase(const DatabaseBuilderParams & params)
3024           now always throws OmInvalidOperationError.  The other constructor
3025           is a much less awkward way to construct a multidatabase and
3026           removing it greatly simplifies DatabaseBuilderParams.
3028 Mon Aug 14 15:13:00 BST 2000 Olly Betts
3030         * Removed default stuff from OmSettings and added methods to read and
3031           write integer and real values.
3033 Mon Aug 14 12:36:01 BST 2000  Richard Boulton <richard.boulton@open.muscat.com>
3035         * Added directory and build stuff for new backend - quartz.  Not
3036           compiled by default (but then, there's no code there yet either...)
3038 Fri Aug 11 19:59:32 BST 2000  Richard Boulton <richard.boulton@open.muscat.com>
3040         * IRDatabase destructor no longer tries to end session, since
3041           derived classes will have been destroyed: added (protected)
3042           internal_end_session() instead, which derived class destructors
3043           should call.
3045         * Fix failure to initialise IRDatabase::session_in_progress and
3046           IRDatabase::transaction_in_progress
3048 Fri Aug 11 19:25:10 BST 2000  Richard Boulton <richard.boulton@open.muscat.com>
3050         * Add to internaltest a test that nested exceptions work correctly.
3052 Fri Aug 11 19:09:30 BST 2000  Richard Boulton <richard.boulton@open.muscat.com>
3054         * API change:  Replaced OmWritableDatabase::end_transaction() by
3055           OmWritableDatabase::commit_transaction() and
3056           OmWritableDatabase::cancel_transaction().
3058         * IRDatabase no longer inherits from IndexerDestination: obselete
3059           class.
3061         * Modified IRDatabase to support new writable database API model,
3062           giving it public methods to match.  These public methods ensure
3063           that the sessions and transactions are appropriately started
3064           and ended, and then call private virtual do_* methods, which
3065           are overridden to perform the actions.
3067         * Modified backend Database classes to have stub methods so the
3068           system works with the new writable database model.
3070 Fri Aug 11 18:42:23 BST 2000 Chris Emerson <chris.emerson@open.muscat.com>
3072         * Yet more Python updates.  17 out of the 20 tests currently
3073           translated into Python pass.
3075 Fri Aug 11 14:14:28 BST 2000 Chris Emerson <chris.emerson@open.muscat.com>
3077         * More Python updates - 9 out of the 20 tests now pass.
3079 Thu Aug 10 18:05:52 BST 2000 Chris Emerson <chris.emerson@open.muscat.com>
3081         * Updates the Python/SWIG bindings.  3 tests (out of 20 which are
3082           translated) currently pass.
3084 Thu Aug 10 17:12:31 BST 2000  Richard Boulton <richard.boulton@open.muscat.com>
3086         * Add stub implementations for new methods in OmWritableDatabase,
3087           which throw OmUnimplementedError exceptions, so that the python
3088           port can proceed.
3090 Thu Aug 10 12:01:18 BST 2000  Richard Boulton <richard.boulton@open.muscat.com>
3092         * Declare this to be version 0.2.1
3094 Wed Aug  9 17:21:33 BST 2000 Chris Emerson <chris.emerson@open.muscat.com>
3096         * Removed annoying exception messages from omprogsrv (which turned
3097           up in net->absentfile1 test)
3099 Wed Aug  9 17:05:52 BST 2000 Chris Emerson <chris.emerson@open.muscat.com>
3101         * Apitest now runs with the network backend by default.  Two of the
3102           tests are only run for the local databases.
3104 Wed Aug  9 15:29:58 BST 2000  Richard Boulton <richard.boulton@open.muscat.com>
3106         * Documentation comment fix in OmMSet.
3108 Wed Aug  9 15:09:14 BST 2000 Chris Emerson <chris.emerson@open.muscat.com>
3110         * Cleaned up the MSet passing internals.  The various get_mset
3111           functions now pass things around in OmMSets rather than as parts.
3113         * mbound now works with network backend.
3115         * Fixed the match options serialisation.
3117 Wed Aug  9 14:54:30 BST 2000  Richard Boulton <richard.boulton@open.muscat.com>
3119         * Add detection of BerkeleyDB version 3.1 to configure.in, ready
3120           for new backend.
3122 Tue Aug  8 17:50:47 BST 2000  Richard Boulton <richard.boulton@open.muscat.com>
3124         * Use auto_ptr's and similar to protect TermLists being manipulated by
3125           OmExpand so that they're not leaked if an exception happens.
3127 Tue Aug  8 16:36:18 BST 2000  Richard Boulton <richard.boulton@open.muscat.com>
3129         * Add test of mbound.
3131 Tue Aug  8 16:24:27 BST 2000  Richard Boulton <richard.boulton@open.muscat.com>
3133         * Add automatic detection of socklen_t, so that we don't get nasty
3134           warnings on Linux just because of solaris.
3136 Tue Aug  8 16:04:09 BST 2000  Richard Boulton <richard.boulton@open.muscat.com>
3138         * Patch to log where connections are from in tcpserver.cc, by
3139           Jonathan Fielder of Webtop.
3141 Tue Aug  8 15:58:59 BST 2000 Chris Emerson <chris.emerson@open.muscat.com>
3143         * Implemented some more of the support code for Python apitest
3145 Tue Aug  8 14:49:46 BST 2000  Richard Boulton <richard.boulton@open.muscat.com>
3147         * Implement do_get_all_keys() for DA and DB databases.  Untested.
3149 Tue Aug  8 12:26:13 BST 2000  Richard Boulton <richard.boulton@open.muscat.com>
3151         * Fix potential concurrency problem in big file descriptor stuff:
3152           although it was very unlikely to have actually caused a problem.
3154 Mon Aug  7 18:41:10 BST 2000 Chris Emerson <chris.emerson@open.muscat.com>
3156         * Progress on apitest Python translation.  test_trivial runs.
3158 Mon Aug  7 18:03:16 BST 2000  Richard Boulton <richard.boulton@open.muscat.com>
3160         * API addition: added OmInvalidOperationError to report invalid
3161           API usage, for example, ending a session when one hasn't been
3162           begun.
3164         * API Change: changed OmWritableDatabase considerably, so that it
3165           has begin_session() and end_session() methods instead of lock()
3166           and unlock() methods, amongst other things.
3168 Fri Aug  4 18:52:56 BST 2000 Chris Emerson <chris.emerson@open.muscat.com>
3170         * Split apitest_to_java into the separate packages it contained
3172         * Started work on the Python apitest module
3174 Fri Aug  4 15:32:30 BST 2000 Chris Emerson <chris.emerson@open.muscat.com>
3176         * More tests work from Java.  (31 pass)
3178 Fri Aug  4 12:38:59 BST 2000 Chris Emerson <chris.emerson@open.muscat.com>
3180         * Now 25 tests pass in Java, and test_alwaysfail has been disabled.
3182 Fri Aug  4 11:43:00 BST 2000 Chris Emerson <chris.emerson@open.muscat.com>
3184         * Fixed an indexing buglet which caused results of the simplequery2 to
3185           be different under Java.  Now 22 pass, 4 fail (including alwaysfail)
3187 Thu Aug  3 17:40:38 BST 2000 Chris Emerson <chris.emerson@open.muscat.com>
3189         * Now 21 tests pass, 5 fail (including alwaysfail) - databases
3190           weren't being flushed properly when created.
3192         * ApiTestFuncs.main() now understands some of the normal testsuite
3193           command-line options.
3195 Thu Aug  3 14:39:58 BST 2000 Chris Emerson <chris.emerson@open.muscat.com>
3197         * Java automatically converted apitest now runs 25 tests (and fails
3198           14 of those).
3200 Wed Aug  2 18:36:03 BST 2000 Chris Emerson <chris.emerson@open.muscat.com>
3202         * Some more improvements to the apitest converter for Java.
3204 Wed Aug  2 18:09:43 BST 2000  Richard Boulton <richard.boulton@open.muscat.com>
3206         * Added OmDatabaseCorruptError - for when a database is corrupt.
3208 Wed Aug  2 14:29:08 BST 2000 Chris Emerson <chris.emerson@open.muscat.com>
3210         * Added description of OM_NEW_TRAP[_COUNT] environment variables to
3211           HACKING.
3213 Wed Aug  2 13:28:29 BST 2000  Richard Boulton <richard.boulton@open.muscat.com>
3215         * Fix problem in internaltests checking of the testsuites leak
3216           detection.
3218 Wed Aug  2 12:45:11 BST 2000  Richard Boulton <richard.boulton@open.muscat.com>
3220         * Added instructions for compiling with STLport to INSTALL.
3222 Wed Aug  2 12:13:39 BST 2000  Richard Boulton <richard.boulton@open.muscat.com>
3224         * If a test appears to have had a memory leak, the testsuite runs the
3225           test a second time to find out if it happens again - and if not
3226           decides that everything it fine.
3228 Tue Aug  1 19:05:41 BST 2000  Richard Boulton <richard.boulton@open.muscat.com>
3230         * Testsuite displays addresses in hex.
3232 Tue Aug  1 19:00:56 BST 2000 Chris Emerson <chris.emerson@open.muscat.com>
3234         * Added ar-wrapper-solaris to the distribution.
3236 Tue Aug  1 18:16:04 BST 2000 Chris Emerson <chris.emerson@open.muscat.com>
3238         * Hacked libtool (actually ltconfig) to support building under
3239           Solaris CC.  Also added an ar wrapper for the same reason.
3241 Tue Aug  1 17:37:57 BST 2000  Richard Boulton <richard.boulton@open.muscat.com>
3243         * Changed even more DebugMsgs with endls into DEBUGLINEs: now
3244           compiles library.
3246         * Disable support for adding endl() and flush() to a om_ostringstream.
3247           This was very hackily done, and broke with different compilers or
3248           STL port.
3250         * Fix typo in RJB_FIND_STLPORT macro, so that the correct path is
3251           given for finding the library.
3253 Tue Aug  1 17:12:03 BST 2000  Richard Boulton <richard.boulton@open.muscat.com>
3255         * Changed more DebugMsgs with endls into DEBUGLINEs: backends now
3256           finished.
3258 Tue Aug  1 17:07:10 BST 2000  Richard Boulton <richard.boulton@open.muscat.com>
3260         * Add explicit std:: to things in sleepycat backend, so that it will
3261           compile with stricter compilers.  Convert some DebugMsgs with endls
3262           into DEBUGLINEs.
3264 Tue Aug  1 16:08:04 BST 2000 Chris Emerson <chris.emerson@open.muscat.com>
3266         * stemtest and delve now compile under Solaris CC.
3268 Tue Aug  1 15:41:23 BST 2000  Richard Boulton <richard.boulton@open.muscat.com>
3270         * Add autoconf support for compiling with STLport.
3272 Tue Aug  1 15:39:50 BST 2000  Richard Boulton <richard.boulton@open.muscat.com>
3274         * Change C++ style comments in acconfig.h into C style comments.
3276 Mon Jul 31 19:05:43 BST 2000 Chris Emerson <chris.emerson@open.muscat.com>
3278         * Updates to the Perl and Python test scripts, and an extra
3279           Makefile dependency.
3281 Mon Jul 31 15:41:37 BST 2000 Chris Emerson <chris.emerson@open.muscat.com>
3283         * Fixes and updates to the SWIG bindings.  Perl5 has done its
3284           first actual query (using an inmemory database).
3286 Fri Jul 21 14:37:01 BST 2000 Chris Emerson <chris.emerson@open.muscat.com>
3288         * A couple of tweaks for Solaris.
3290 Fri Jul 21 12:26:20 BST 2000 Chris Emerson <chris.emerson@open.muscat.com>
3292         * Fixed a reported memory leak in apitest on Solaris
3294         * Extra debugging facilities for finding memory allocation problems
3295           in testsuite programs.
3296           If OM_NEW_TRAP is set in the environment with a hex value, then
3297           global operator new() will abort() when that address is allocated.
3298           If OM_NEW_TRAP_COUNT is set to a number n, then only abort on the
3299           nth allocation returning the above address.
3301 Thu Jul 20 19:08:53 BST 2000 Chris Emerson <chris.emerson@open.muscat.com>
3303         * Progress on the apitest-to-Java script and support stuff.  A
3304           few helper functions need adding, but about half of the test
3305           functions translate ok.
3307 Thu Jul 20 16:39:00 BST 2000 Olly Betts
3309         * Tweaks to doxygen makefile stuff.
3311 Thu Jul 20 15:56:13 BST 2000  Richard Boulton <richard.boulton@open.muscat.com>
3313         * In DEBUGCALL, make sure that "this" is displayed as a pointer,
3314           not as the description of an API object.
3316 Thu Jul 20 15:03:38 BST 2000  Richard Boulton <richard.boulton@open.muscat.com>
3318         * More work on omstringstream, now understands char *, std::endl and
3319           std::flush and a few new types.
3321         * Make omlocks include stdio.h
3323 Thu Jul 20 13:01:51 BST 2000 Chris Emerson <chris.emerson@open.muscat.com>
3325         * stemtest.pl now has new options:
3327           --no-random avoids running the tests with randomly generated junk
3329           languages can be specified on the command line to only run tests
3330           on one (or more) specified language.
3332 Wed Jul 19 18:14:48 BST 2000 Chris Emerson <chris.emerson@open.muscat.com>
3334         * Added a script to convert apitest into other languages.  So far
3335           has a mostly working Java backend.
3337 Wed Jul 19 17:38:23 BST 2000  Richard Boulton <richard.boulton@open.muscat.com>
3339         * Replace om_inttostring and doubletostring by (overloaded)
3340           om_tostring methods.  Implement for several other types.
3342         * Redo om_ostringstream class so that it is self contained, and
3343           doesn't depend on the system's streambuf; hopefully enabling
3344           us to get debugging output in multithreaded situations...
3346 Wed Jul 19 17:35:16 BST 2000 Chris Emerson <chris.emerson@open.muscat.com>
3348         * The Java apitest now correctly runs test_pctcutoff1, with either
3349           the sleepy or inmemory backend.
3351 Wed Jul 19 15:59:31 BST 2000 Chris Emerson <chris.emerson@open.muscat.com>
3353         * Added get_description to Java OmMSet wrapper.
3355 Wed Jul 19 11:17:00 BST 2000 Olly Betts
3357         * backends/sleepy/dir_contents: updated information about sleepycat
3358           backend.
3360 Tue Jul 18 19:14:45 BST 2000 Chris Emerson <chris.emerson@open.muscat.com>
3362         * The beginnings of a Java apitest.  One test implemented, which
3363           doesn't seem to work.  Updates to BackendManager and a few
3364           related bits.
3366 Tue Jul 18 18:48:05 BST 2000  Richard Boulton <richard.boulton@open.muscat.com>
3368         * Change threadtests output so that it doesn't use om_stringstream.
3370 Tue Jul 18 17:12:49 BST 2000 Chris Emerson <chris.emerson@open.muscat.com>
3372         * Debug system now prints out the (currently numeric) debug type
3373           before the output, to make it easier to tune OM_DEBUG_TYPES
3375         * OM_DEBUG_TYPES=0 now means no debugging output, instead of all.
3377 Mon Jul 17 19:35:05 BST 2000 Chris Emerson <chris.emerson@open.muscat.com>
3379         * The testsuite now has improved reporting of test failures.  It
3380           tells you whether it was an exception, a normal fail, or a
3381           memory leak (and some combinations).
3383         * Solaris portability tweaks.
3385 Mon Jul 17 19:13:13 BST 2000 Chris Emerson <chris.emerson@open.muscat.com>
3387         * BackendManager now working from Java, at least for sleepy databases.
3389 Sat Jul 15 11:05:00 BST 2000 Olly Betts
3391         * Updated AUTHORS file
3393 Fri Jul 14 18:44:22 BST 2000 Chris Emerson <chris.emerson@open.muscat.com>
3395         * Even closer to BackendManager working in Java.
3397 Fri Jul 14 18:27:25 BST 2000 Chris Emerson <chris.emerson@open.muscat.com>
3399         * Protect dubious tests in internaltest from compilers without
3400           -fno-access-control
3402         * More portability fixes for the Solaris compiler.
3404 Fri Jul 14 15:35:24 BST 2000  Richard Boulton <richard.boulton@open.muscat.com>
3406         * Use -D_REENTRANT if pthreads are being used (fixes bugs on Linux,
3407           at the least).
3409         * Remove further reference to C++ style IO in threadtest.
3411 Fri Jul 14 14:16:27 BST 2000  Richard Boulton <richard.boulton@open.muscat.com>
3413         * Rework debugging system so that it uses C style IO, and has
3414           various other improvements.
3416 Fri Jul 14 14:07:00 BST 2000 Olly Betts
3418         * Updated .cvsignore-s
3420 Fri Jul 14 14:03:00 BST 2000 Olly Betts
3422         * Removed trailing whitespace from various files.
3424 Fri Jul 14 12:28:00 BST 2000 Olly Betts
3426         * apitest: near1 and phrase1 now run boolean queries since we only
3427           care which documents are returned, and not the ordering; added
3428           regression test for PHRASE order bug fixed yesterday to phrase1
3430 Thu Jul 13 19:13:15 BST 2000 Chris Emerson <chris.emerson@open.muscat.com>
3432         * Now well on the way to reimplementing BackendManager in java, so
3433           that we can run some real tests.
3435 Thu Jul 13 18:21:00 BST 2000 Olly Betts
3437         * inmemory_positionlist.cc: removed suprious `;'.
3439         * localmatch.cc: fixed problem with phrase being passed vector of
3440           PostList-s in wrong order.
3442         * Created delve utility to inspect posting lists, term lists, and
3443           position lists.
3445 Wed Jul 12 18:48:52 BST 2000 Chris Emerson <chris.emerson@open.muscat.com>
3447         * Work on java bindings - OmWritableDatabase added.
3448           OmDocumentContents still needs adding.
3450 Wed Jul 12 17:19:25 BST 2000  Richard Boulton <richard.boulton@open.muscat.com>
3452         * Added test_msetzeroitems1 to apitest, to check that statistics are
3453           correctly returned when an empty mset is requested.
3455 Wed Jul 12 17:05:26 BST 2000  Richard Boulton <richard.boulton@open.muscat.com>
3457         * Added much debugging information to weight calculation, and
3458           term frequency and weight stuff now appears to work.
3460 Wed Jul 12 14:38:43 BST 2000  Richard Boulton <richard.boulton@open.muscat.com>
3462         * More work on returning term frequency and weight information.
3463           Should now return correct term frequency, but all weights appear
3464           to be 0. :(
3466 Tue Jul 11 18:35:27 BST 2000  Richard Boulton <richard.boulton@open.muscat.com>
3468         * More work on returning term frequency and weight information.
3469           Might even work now.
3471 Tue Jul 11 13:04:00 BST 2000 Olly Betts
3473         * Changed various OmStem methods to take "const string &" instead of
3474           "string"
3476 Tue Jul 11 12:56:57 BST 2000 Chris Emerson <chris.emerson@open.muscat.com>
3478         * Restored automake dependency checking for C files.
3480 Tue Jul 11 12:54:15 BST 2000  Richard Boulton <richard.boulton@open.muscat.com>
3482         * Added test to apitest to check the get_term{freq,weight} methods
3483           of OmMSet.  Currently fails, since these are unimplemented.
3485 Tue Jul 11 11:37:00 BST 2000 Olly Betts
3487         * Added threadtest to .cvsignore
3489 Tue Jul 11 11:04:00 BST 2000 Olly Betts
3491         * Added TODO for get_position_list() method on operators
3493 Mon Jul 10 19:12:08 BST 2000 Chris Emerson <chris.emerson@open.muscat.com>
3495         * More Solaris portability fixes.
3497 Mon Jul 10 18:35:27 BST 2000  Richard Boulton <richard.boulton@open.muscat.com>
3499         * Added Norwegian stemming algorithm, and linked it into the build
3500           system.
3502 Mon Jul 10 18:19:28 BST 2000  Richard Boulton <richard.boulton@open.muscat.com>
3504         * Add an internal interface to OmMSet, to allow access to the
3505           term frequency and weight information internally for setting it.
3506           Add code so that LocalMatch is passed the map to store the
3507           information in.
3509         * Fix tests so that internaltest compiles with CVS automake.
3510           Hopefully it will still work with old automake.
3512 Mon Jul 10 17:45:57 BST 2000 Chris Emerson <chris.emerson@open.muscat.com>
3514         * Added more code to RunTest.java
3516 Sat Jul  8 14:26:00 BST 2000 Olly Betts
3518         * struct ByQueryIndexCmp -> class ByQueryIndexCmp so doxygen will
3519           document it
3521 Fri Jul  7 18:18:07 BST 2000 Chris Emerson <chris.emerson@open.muscat.com>
3523         * Added OmDatabase to java bindings
3525 Fri Jul  7 17:31:23 BST 2000  Richard Boulton <richard.boulton@open.muscat.com>
3527         * Added OmMSet::get_termfreq() and OmMSet::get_termweight() methods,
3528           for getting information about the terms involved in the query.
3529           Implemented the methods, but not yet the process of putting the
3530           information they require into the OmMSet.
3532 Fri Jul  7 15:44:18 BST 2000  Richard Boulton <richard.boulton@open.muscat.com>
3534         * Remove MultiMatch::get_max_weight()
3536 Thu Jul  6 19:01:32 BST 2000  Richard Boulton <richard.boulton@open.muscat.com>
3538         * Fix concurrency problem ... in threadtest.  D'oh!
3540 Thu Jul  6 18:01:23 BST 2000 Chris Emerson <chris.emerson@open.muscat.com>
3542         * More portability fixes.
3544 Thu Jul  6 16:46:09 BST 2000  Richard Boulton <richard.boulton@open.muscat.com>
3546         * Fix deadlock when calling get_matching_terms()
3548 Thu Jul  6 16:33:45 BST 2000 Chris Emerson <chris.emerson@open.muscat.com>
3550         * Fix to the Solaris portability fixes.
3552 Thu Jul  6 15:39:36 BST 2000 Chris Emerson <chris.emerson@open.muscat.com>
3554         * More Solaris portability fixes.
3556 Thu Jul  6 13:49:20 BST 2000  Richard Boulton <richard.boulton@open.muscat.com>
3558         * Correct concurrency problems in Muscat 3.6 databases.  Should now
3559           be threadsafe (ie, multiple threads may safely access the same
3560           database object - only one thread should access each derived
3561           postlist object, however these are really iterators and this
3562           can never happen when using the API, anyway.)
3564 Thu Jul  6 13:18:21 BST 2000 Chris Emerson <chris.emerson@open.muscat.com>
3566         * A few more OmQuery uses added to RunTest.java
3568         * NEAR and PHRASE queries now supported from Java.
3570 Thu Jul  6 12:23:26 BST 2000 Chris Emerson <chris.emerson@open.muscat.com>
3572         * The OmQuery constructors taking vector iterators now accept
3573           FILTER, XOR, etc. as long as there are exactly two subqueries.
3575         * OmError exceptions are now also part of the debug logs.  (With
3576           new tag OM_DEBUG_EXCEPTION)
3578         * includetest is now only compiled, not linked and run.
3580 Thu Jul  6 10:55:43 BST 2000 Chris Emerson <chris.emerson@open.muscat.com>
3582         * Fixed a problem stopping OmLineBuf from compiling.
3584         * Removed Test.java, which shouldn't have been there in the first
3585           place.
3587 Wed Jul  5 18:44:11 BST 2000 Chris Emerson <chris.emerson@open.muscat.com>
3589         * More work towards compiling on Solaris with non-gcc.
3591 Wed Jul  5 17:38:20 BST 2000  Richard Boulton <richard.boulton@open.muscat.com>
3593         * Fix bug when OmDatabaseGroups are assigned (mutex was deleted
3594           before its sentry)
3596         * Fix potential bug in omdebug.h
3598 Wed Jul  5 16:51:51 BST 2000 Chris Emerson <chris.emerson@open.muscat.com>
3600         * Fixed buglet in -Wno-long-long checking for the C compiler.
3602 Wed Jul  5 15:17:29 BST 2000 Chris Emerson <chris.emerson@open.muscat.com>
3604         * Made some progress towards things compiling with Sun's CC.
3606 Wed Jul  5 14:57:10 BST 2000  Richard Boulton <richard.boulton@open.muscat.com>
3608         * More debugging stuff: flush after each message, and correct a
3609           couple of formatting wonkinesses.
3611 Wed Jul  5 13:12:09 BST 2000  Richard Boulton <richard.boulton@open.muscat.com>
3613         * Implement OmDocumentTerm::get_description() and
3614           OmDocumentContents::get_description()
3616 Wed Jul  5 12:22:32 BST 2000 Chris Emerson <chris.emerson@open.muscat.com>
3618         * More updates to the build system for java backends - the native
3619           headers are now autogenerated
3621         * Added get_description() method to the OmQuery wrapper
3623         * Start of new Java test program
3625 Wed Jul  5 11:43:29 BST 2000  Richard Boulton <richard.boulton@open.muscat.com>
3627         * Added danish stemming algorithm.
3629 Wed Jul  5 11:33:00 BST 2000 Olly Betts
3631         * backends/database_builder.cc: backend list now in alphabetical
3632           order; removed OM_ prefix from OM_DBTYPE_* (since they're now
3633           internal to this file).
3635 Wed Jul  5 11:10:56 BST 2000 Chris Emerson <chris.emerson@open.muscat.com>
3637         * Fixed incorrect test in apitest
3639 Tue Jul  4 19:19:20 BST 2000  Richard Boulton <richard.boulton@open.muscat.com>
3641         * Added more debugging output for API calls.
3643 Tue Jul  4 18:50:39 BST 2000  Richard Boulton <richard.boulton@open.muscat.com>
3645         * Added macros DEBUGAPICALL and DEBUGAPIRETURN for displaying
3646           debugging messages tracing API calls.  Used for all appropriate
3647           classes in omenquire.cc
3649 Tue Jul  4 17:43:28 BST 2000 Chris Emerson <chris.emerson@open.muscat.com>
3651         * More java makefile tweaks.
3653         * New test program for java bindings, which so far checks that it
3654           can stem a word.
3656 Tue Jul  4 16:58:08 BST 2000  Richard Boulton <richard.boulton@open.muscat.com>
3658         * Added comments to ensure that things are changed in sync in omstem.
3660         * Changed type of window parameter in OmQuery constructors to
3661           (consistently) be om_termpos.
3663 Tue Jul  4 15:56:35 BST 2000 Chris Emerson <chris.emerson@open.muscat.com>
3665         * Nasty automakefile hackery to get java stuff to compile properly.
3667 Tue Jul  4 12:16:36 BST 2000  Richard Boulton <richard.boulton@open.muscat.com>
3669         * Fix OmStem::get_available_languages(), and test it.
3671 Tue Jul  4 11:28:23 BST 2000 Chris Emerson <chris.emerson@open.muscat.com>
3673         * Some tweaks to the Java bindings - now compiles and a test class
3674           will run and fail to find a database.
3676 Mon Jul  3 18:39:29 BST 2000  Richard Boulton <richard.boulton@open.muscat.com>
3678         * Add introspection to OmStem.
3680 Mon Jul  3 17:32:51 BST 2000 Chris Emerson <chris.emerson@open.muscat.com>
3682         * Fixed a bug in apitest - the nullquery1() test was in the wrong
3683           list of tests (it _does_ depend on a backend) and wasn't really
3684           strict enough (so still passed with a void database).
3686 Mon Jul  3 16:52:52 BST 2000  Richard Boulton <richard.boulton@open.muscat.com>
3688         * Added get_type() method to OmError, to return a string describing
3689           the class.
3691         * Changed omerror.h to use a macro to define the error classes, due
3692           to excessive code replication.
3694 Mon Jul  3 16:04:05 BST 2000 Chris Emerson <chris.emerson@open.muscat.com>
3696         * testsuite.cc wasn't compiling with debug disabled.
3698 Mon Jul  3 15:18:55 BST 2000  Richard Boulton <richard.boulton@open.muscat.com>
3700         * Implemented InMemoryPostList::get_position_list()
3702         * SleepyPositionList is now replaced by an InMemoryPostList -
3703           implementation is same, only difference is where the initialising
3704           values come from.
3706 Mon Jul  3 14:28:06 BST 2000 Chris Emerson <chris.emerson@open.muscat.com>
3708         * Fixed ProgClient's destructor (was throwing an exception duplicating
3709           work being done elsewhere, causing an abort under some circumstances.)
3711 Mon Jul  3 14:11:23 BST 2000 Chris Emerson <chris.emerson@open.muscat.com>
3713         * Fixed stemtest so that it now works with the swedish data set.
3715 Mon Jul  3 13:51:53 BST 2000  Richard Boulton <richard.boulton@open.muscat.com>
3717         * Fix fake memory leak being reported in some conditions, due to
3718           failure to initialise the debug object fully before starting the
3719           testsuite.
3721         * Run phrase and near tests on each backend, but fail.  Inmemory to
3722           be fixed in a moment: network failure doesn't matter yet, but
3723           should be fixed soon.
3725 Mon Jul  3 12:38:11 BST 2000  Richard Boulton <richard.boulton@open.muscat.com>
3727         * Change some FIXME's to \todo's - the new doxygen tag.  This should
3728           be used in most situations where we used to use FIXME, now.
3730 Mon Jul  3 12:29:10 BST 2000  Richard Boulton <richard.boulton@open.muscat.com>
3732         * Added get_description() methods to all API objects, returning
3733           a human readable description of the contents of the object.
3735         * Added output operators for API objects, so that you can do
3736           "cout << omenquire;"
3738         * Improved debug messages when displaying API calls, so that full
3739           information is given about the parameters and return types.
3741 Sun Jul  2 17:17:14 BST 2000  Richard Boulton <richard.boulton@open.muscat.com>
3743         * Updated doxygen configuration files for doxygen 1.1.5.
3745         * Configure now checks for dot tool, and sets doxygen config files
3746           accordingly.
3748 Fri Jun 30 16:04:19 BST 2000 Chris Emerson <chris.emerson@open.muscat.com>
3750         * Added an om_stringstream class as a simple implementation of
3751           something like std::stringstream.
3753         * Debug messages now have a finer-grain lock to avoid entangling
3754           of messages or deadlocks.
3756 Fri Jun 30 12:48:34 BST 2000  Richard Boulton <richard.boulton@open.muscat.com>
3758         * Fixes to Makefile dependencies for internaltest.
3760 Thu Jun 29 03:39:46 BST 2000  Richard Boulton <richard.boulton@open.muscat.com>
3762         * Fix tests/Makefile.am so that internaltest links again.
3764         * Fix some deadlocks caused by Debugging mutex.  Then remove the
3765           debugging mutex, because it causes more problems than it solves.
3767 Thu Jun 29 03:13:12 BST 2000  Richard Boulton <richard.boulton@open.muscat.com>
3769         * Display an initial debugging message before starting a test run,
3770           thus avoiding a mistaken complaint of a memory leak.
3772 Thu Jun 29 03:06:12 BST 2000  Richard Boulton <richard.boulton@open.muscat.com>
3774         * Fix typo causing nettests to fail: was trying to open network
3775           databases as writable.
3777 Thu Jun 29 02:44:39 BST 2000  Richard Boulton <richard.boulton@open.muscat.com>
3779         * Protected output of debug messages with a mutex, so messages
3780           aren't tangled up.  Added DEBUGLINE() macro, which displays a
3781           message which has a line to itself, said line starting with an
3782           indication of the thread the message comes from.  Could add
3783           time message was generated as well.
3785         * Added APICALL debug message type, and made many of the API calls
3786           produce messages of this type.  Task for tomorrow is to make
3787           all api calls produce such messages, and fully display their
3788           parameters, and return values.
3790 Wed Jun 28 20:14:54 BST 2000  Richard Boulton <richard.boulton@open.muscat.com>
3792         * Make threadtest use a dlist file.
3794 Wed Jun 28 17:58:50 BST 2000  Richard Boulton <richard.boulton@open.muscat.com>
3796         * Make testsuite's memory checking threadsafe.
3798 Wed Jun 28 16:24:49 BST 2000  Richard Boulton <richard.boulton@open.muscat.com>
3800         * Fix deadlock in da_database.cc.
3802 Wed Jun 28 15:23:07 BST 2000  Richard Boulton <richard.boulton@open.muscat.com>
3804         * Fixed configure so that --enable-debug=full actually _does_ select
3805           verbose output.
3807 Wed Jun 28 12:24:18 BST 2000  Richard Boulton <richard.boulton@open.muscat.com>
3809         * API addition - Add a OmEnquire::get_query() method, to retrieve the
3810           query which was set.
3812 Wed Jun 28 09:13:26 BST 2000  Richard Boulton <richard.boulton@open.muscat.com>
3814         * Add an OmLock, and sentries to the public methods in DADatabase.
3816         * Add "threadtest", a testsuite for checking thread safety.
3817           Currently has no (completed) tests.
3819         * Compile various things only if network databases are compiled in.
3820           (currently doesn't work correctly).
3822 Wed Jun 28 03:58:42 BST 2000  Richard Boulton <richard.boulton@open.muscat.com>
3824         * Don't compile network stuff if it's configured off.
3826 Tue Jun 27 17:37:16 BST 2000  Richard Boulton <richard.boulton@open.muscat.com>
3828         * Added ability to get writable databases from database manager.
3830 Tue Jun 27 11:19:01 BST 2000  Richard Boulton <richard.boulton@open.muscat.com>
3832         * Added test for requiring -nsl (eg, on solaris).
3833           Only add network libraries if compiling in network code.
3834           Change configure options for specifying debugging levels.
3836 Tue Jun 27 10:09:13 BST 2000  Richard Boulton <richard.boulton@open.muscat.com>
3838         * Changed "test -e" to "test -f" in Makefiles - test -e is not
3839           portable.
3841 Mon Jun 26 15:04:37 BST 2000  Richard Boulton <richard.boulton@open.muscat.com>
3843         * Added a swedish stemming algorithm.
3845 Mon Jun 26 14:12:19 BST 2000  Richard Boulton <richard.boulton@open.muscat.com>
3847         * Change debug class so that it has an operator<<, rather than
3848           exposing a stream.  This is somewhat more portable.
3850 Sat Jun 24 03:11:43 BST 2000  Richard Boulton <richard.boulton@open.muscat.com>
3852         * Removed need for om_debug object to be initialised, since it wasn't
3853           being on Solaris.
3855 Fri Jun 23 18:56:13 BST 2000  Richard Boulton <richard.boulton@open.muscat.com>
3857         * Removed use of a static object to do string to type conversion
3858           (for stemming algorithm language specification, and for database
3859           type specification).
3861 Fri Jun 23 14:08:00 BST 2000 Olly Betts
3863         * Updated TODO
3865 Thu Jun 22 15:01:00 BST 2000 Olly Betts
3867         * OM_DBTYPE_* now internal to database_manger.cc - use strings
3868           elsewhere
3870         * Added "auto" database type which takes a directory and tries to
3871           deduce what sort of database lives there
3873         * Moved file_exists() and files_exist() into utils.cc
3875 Thu Jun 22 11:33:57 BST 2000  Richard Boulton <richard.boulton@open.muscat.com>
3877         * In Muscat36: throw exception if a keyfile is specified, but cannot
3878           be opened.
3880 Wed Jun 21 15:23:00 BST 2000 Olly Betts
3882         * apitest: if srcdir not set, sanity check our guess by seeing if
3883           apitest.cc is there.
3885 Wed Jun 21 15:35:58 BST 2000  Richard Boulton <richard.boulton@open.muscat.com>
3887         * In configure, actually try to link the test with the Dbt object
3888           and db_cxx.h, to check that the library is properly installed.
3890 Wed Jun 21 15:23:00 BST 2000 Olly Betts
3892         * Fixed bug in PhrasePostList; added regression test to apitest
3894         * Cleaned up PhrasePostList and NearPostList by eliminating PosList
3895           and subclasses (added index member to PositionList instead)
3897 Wed Jun 21 13:40:26 BST 2000  Richard Boulton <richard.boulton@open.muscat.com>
3899         * Add a --enable-quiet option to configure to turn off libtool
3900           messages if they're not wanted.
3902         * Add a Dbt object to the test for db_cxx.h, to check that the
3903           right library is being linked with.
3905         * Set datestamp in mkdoc.pl to consitent format with rest of
3906           documentation.
3908 Wed Jun 21 13:40:03 BST 2000 Chris Emerson <chris.emerson@open.muscat.com>
3910         * Stoped the "undefined reference to SocketServer type_info node"
3911           (or similar) linking errors with includetest.
3913 Wed Jun 21 13:35:37 BST 2000 Chris Emerson <chris.emerson@open.muscat.com>
3915         * _Really_ stopped referring to OmSettings.
3917 Tue Jun 20 18:27:55 BST 2000 Chris Emerson <chris.emerson@open.muscat.com>
3919         * Stop compiling OmSettings in, at least for now.
3921 Tue Jun 20 15:51:00 BST 2000 Chris Emerson <chris.emerson@open.muscat.com>
3923         * Added a test for basic exception handling.
3925 Tue Jun 20 14:53:28 BST 2000 Chris Emerson <chris.emerson@open.muscat.com>
3927         * The lex parser used for queries should no longer interfere
3928           with other lexers.  (I was having problems in examples)
3930 Tue Jun 20 14:49:54 BST 2000 Chris Emerson <chris.emerson@open.muscat.com>
3932         * Portability fixes - network bits now stand a better chance
3933           of compiling under Solaris.
3935 Tue Jun 20 14:41:00 BST 2000 Olly Betts
3937         * PhrasePostList: added incomplete and disabled code for more
3938           efficient implementation
3940         * added bindings/java/native/.cvsignore
3942 Tue Jun 20 14:09:00 BST 2000 Olly Betts
3944         * apitest: TEST_EXPECTED_DOCS() changed to make use less verbose
3946 Tue Jun 20 11:20:00 BST 2000 Olly Betts
3948         * apitest now tries to guess srcdir from argv[0] if it isn't in env
3950 Tue Jun 20 10:31:00 BST 2000 Olly Betts
3952         * Removed NearOrPhrasePostList - code shared was negligible
3954 Tue Jun 20 09:38:00 BST 2000 Olly Betts
3956         * Tweaked some FIXME comments
3958 Mon Jun 19 18:26:50 BST 2000 Chris Emerson <chris.emerson@open.muscat.com>
3960         * Some work towards getting the Java bindings into the make system.
3962 Mon Jun 19 15:56:00 BST 2000 Olly Betts
3964         * Updated TODO
3966 Mon Jun 19 15:46:00 BST 2000 Olly Betts
3968         * Tidied up near/phrase a bit
3970 Mon Jun 19 14:48:00 BST 2000 Olly Betts
3972         * Fixed languages/porter/.cvsignore
3974 Mon Jun 19 14:30:00 BST 2000 Olly Betts
3976         * Fixed various typos in ChangeLog and TODO
3978 Mon Jun 19 14:09:00 BST 2000 Olly Betts
3980         * Improved near1 and phrase1 tests; fixed problems thrown up by more
3981           demanding test cases.
3983 Mon Jun 19 13:48:40 BST 2000 Chris Emerson <chris.emerson@open.muscat.com>
3985         * The Python interface now passes the OmBatchEnquire test.
3987 Mon Jun 19 12:55:20 BST 2000 Chris Emerson <chris.emerson@open.muscat.com>
3989         * Added the Porter stemmer (without the recent improvements in the
3990           current English stemmer)
3992 Mon Jun 19 13:03:00 BST 2000 Olly Betts
3994         * SleepyPositionList now asserts !at_end() in get_position()
3996 Fri Jun 16 18:11:03 BST 2000 Chris Emerson <chris.emerson@open.muscat.com>
3998         * Now most of the way through getting a working OmBatchEnquire in
3999           Python.
4001 Fri Jun 16 15:43:00 BST 2000 Olly Betts
4003         * PHRASE now works; added test `phrase1' to apitest
4005 Fri Jun 16 14:57:00 BST 2000 Olly Betts
4007         * Rearranged to create PhrasePostList (currently a clone of
4008           NearPostList).  Shared code is in super classes.
4010         * `nearpostlist.*' renamed to `phrasepostlist.*'.
4012         * Fixed warning about declaration vs initialisation order in
4013           OmQueryInternal
4015 Fri Jun 16 12:49:00 BST 2000 Olly Betts
4017         * NEAR now works with distributed searching
4019 Fri Jun 16 11:33:00 BST 2000 Olly Betts
4021         * NEAR now working; added NEAR test (near1) to apitest
4023         * OmQueryInternal copy constructor now copies max_weight
4025 Thu Jun 15 18:43:29 BST 2000 Chris Emerson <chris.emerson@open.muscat.com>
4027         * OmLineBuf subclasses no longer need to implement wait_for_data()
4029 Thu Jun 15 14:44:37 BST 2000 Chris Emerson <chris.emerson@open.muscat.com>
4031         * OmLineBuf now an abstract base class, with the functionality
4032           moved to OmSocketLineBuf.
4034         * SocketServer can now take an OmLineBuf instead of a file
4035           descriptor.
4037 Thu Jun 15 13:33:00 BST 2000 Olly Betts
4039         * More work on NEAR/PHRASE
4041 Thu Jun 15 12:16:00 BST 2000 Olly Betts
4043         * NEAR almost working - just need to do pushback of pos info
4045 Wed Jun 14 18:26:00 BST 2000 Olly Betts
4047         * Added docs/todo.html to .cvsignore
4049 Wed Jun 14 18:14:00 BST 2000 Olly Betts
4051         * PostListAndTermWeight scrapped; use get_maxweight() instead.
4052           Fixes bug: max_or_terms now works with non-LeafPostlist-s;
4053           regression test maxorterms2 added to apitest
4055         * Stub get_wdf() now in PostList
4057         * Documented PLPCmpLt and PLPCmpGt
4059         * More work on NEAR and PHRASE
4061 Wed Jun 14 18:08:53 BST 2000  Richard Boulton <richard.boulton@open.muscat.com>
4063         * Remove complicated class hierarchy for Stemming algorithms: replace
4064           by OmStem::Internal, which has function pointers.  Necessitated
4065           changing parameters taken by each stemming algorithm to a void *
4066           instead of a specific struct pointer.
4068 Wed Jun 14 18:07:43 BST 2000  Richard Boulton <richard.boulton@open.muscat.com>
4070         * Added test of OmStem::get_available_langs() to apitest: currently
4071           disabled, since this is unimplemented.
4073 Wed Jun 14 17:37:01 BST 2000 Chris Emerson <chris.emerson@open.muscat.com>
4075         * All classes except Om*Decider now added, although some are
4076           incomplete.  OmBatchEnquire, OmDocumentContents, and
4077           OmDocumentTerm need more work, but the rest should be
4078           usable, at least from Python.
4080 Wed Jun 14 17:02:06 BST 2000 Chris Emerson <chris.emerson@open.muscat.com>
4082         * Added docs/distributed.txt to the distribution tarfile. (Oops!)
4084 Wed Jun 14 14:24:20 BST 2000 Chris Emerson <chris.emerson@open.muscat.com>
4086         * Added OmDatabase, OmWritableDatabase, and OmExpandOptions to
4087           SWIG interface.
4089 Wed Jun 14 12:14:42 BST 2000 Chris Emerson <chris.emerson@open.muscat.com>
4091         * Added OmDocument, OmRSet, OmESet, OmEnquire::get_eset(), and
4092           OmEnquire::get_doc() to SWIG bindings, and implemented bits
4093           needed for Python.
4095 Tue Jun 13 18:04:43 BST 2000 Chris Emerson <chris.emerson@open.muscat.com>
4097         * Added OmEnquire::get_matching_terms() and OmMatchOptions to
4098           SWIG bindings.
4100 Tue Jun 13 17:37:00 BST 2000 Olly Betts
4102         * Added get_wdf() method to PostList
4104         * Tweaked MultiPostList::get_weight()
4106         * Added OM_MOP_PHRASE (not yet implemented)
4108 Tue Jun 13 17:24:22 BST 2000  Richard Boulton <richard.boulton@open.muscat.com>
4110         * Added script to generate an HTML version of the TODO list.
4112 Tue Jun 13 16:49:13 BST 2000 Chris Emerson <chris.emerson@open.muscat.com>
4114         * The scripting wrappers can now make queries with operations
4115           other than OR and AND.
4117         * OM_MOP_NEAR added to the list of operations available.
4119 Tue Jun 13 16:47:47 BST 2000 Chris Emerson <chris.emerson@open.muscat.com>
4121         * Stopped includetest from importing the header files in bindings/java
4123 Tue Jun 13 15:03:13 BST 2000  Richard Boulton <richard.boulton@open.muscat.com>
4125         * Add detection of SWIG to the configure script.  Don't attempt to
4126           build SWIG stuff if swig isn't available.
4128 Tue Jun 13 14:53:51 BST 2000 Chris Emerson <chris.emerson@open.muscat.com>
4130         * First cleanup of the java stuff.
4132 Tue Jun 13 14:31:42 BST 2000  Richard Boulton <richard.boulton@open.muscat.com>
4134         * Add include path to common/Makefile.am.  Whoops.
4136 Tue Jun 13 14:31:00 BST 2000 Olly Betts
4138         * Factored out code to build optimal AND and OR trees into separate
4139           methods
4141 Tue Jun 13 14:22:06 BST 2000 Chris Emerson <chris.emerson@open.muscat.com>
4143         * Added the java stuff to the bindings.  Needs some work to get it
4144           nicely integrated.
4146 Tue Jun 13 13:07:27 BST 2000  Richard Boulton <richard.boulton@open.muscat.com>
4148         * Made multiexpand1 slightly more rigorous.
4150 Tue Jun 13 12:44:01 BST 2000  Richard Boulton <richard.boulton@open.muscat.com>
4152         * API change: renamed OmExpandOptions::use_query_terms() to
4153           OmExpandOptions::set_use_query_terms().  This is to be consistent
4154           with OmMatchOptions' naming scheme.
4156         * API addition: added OmExpandOptions::use_exact_termfreq() to
4157           allow disabling of termfreq approximation in ExpandWeight.
4159         * Update apitest to test API addition - enabled "multiexpand1": now
4160           passes (but isn't as rigorous as I'd like).
4162 Tue Jun 13 12:04:15 BST 2000  Richard Boulton <richard.boulton@open.muscat.com>
4164         * Change ExpandWeight::get_bits() to take a document length, rather
4165           than a normalised document length.  Normalise document lengths
4166           across collection rather than across each sub-database.
4168         * Add an option to ExpandWeight to use the exact term frequency,
4169           rather than approximate it.  (Currently set to false)
4171         * Fix formatting of output from testsuite.cc
4173 Mon Jun 12 18:45:56 BST 2000  Richard Boulton <richard.boulton@open.muscat.com>
4175         * Fix to omdebug.cc to get around a compiler brokenness.
4177 Mon Jun 12 18:35:54 BST 2000 Chris Emerson <chris.emerson@open.muscat.com>
4179         * Added initial OmEnquire and OmDatabaseGroup stuff to
4180           Python/Perl5 bindings.  Python works, but Perl5 crashes.
4182 Mon Jun 12 18:22:00 BST 2000 Olly Betts
4184         * NEAR now works
4186 Mon Jun 12 17:36:00 BST 2000 Olly Betts
4188         * get_position_list() now returns a pointer instead of a reference
4190         * More work on NEAR operator
4192 Mon Jun 12 16:58:00 BST 2000 Olly Betts
4194         * Added NEAR operator (currently compiles but doesn't working)
4196 Mon Jun 12 16:17:00 BST 2000 Olly Betts
4198         * Added skip_to() method to PositionList class
4200 Mon Jun 12 15:37:45 BST 2000 Chris Emerson <chris.emerson@open.muscat.com>
4202         * Fixed an assertion in inmemory with no documents.
4204 Mon Jun 12 14:04:00 BST 2000  Olly Betts
4206         * Added a NEWS file and removed "foreign" from Makefile.am-s
4208 Mon Jun 12 13:00:00 BST 2000  Olly Betts
4210         * configure.in: Changed explicit use of echo to AC_MSG_xxx()
4212 Mon Jun 12 12:32:00 BST 2000  Olly Betts
4214         * tests/stemtest.pl.in: Use -s instead of stat to find filesize
4215         (more readable)
4217 Mon Jun 12 12:20:18 BST 2000  Richard Boulton <richard.boulton@open.muscat.com>
4219         * Document the intended purpose of the debug message types, and
4220           make the expand code emit typed debug messages.
4222 Mon Jun 12 12:10:00 BST 2000  Olly Betts
4224         * Probe for -Wno-long-long with C compiler as well as C++ compiler
4226 Fri Jun  9 17:51:16 BST 2000  Richard Boulton <richard.boulton@open.muscat.com>
4228         * Added lock() and unlock() methods to databases.
4230         * Added LOCK and API debug types.
4232         * Added new exception: OmDatabaseLockError.
4234         * Added type for timeout times: om_timeout.
4236 Fri Jun  9 16:09:43 BST 2000 Chris Emerson <chris.emerson@open.muscat.com>
4238         * Stemming interface working with tcl8, and guile (but with some
4239           tweaks to the generated code.).
4241 Thu Jun  8 18:59:55 BST 2000 Chris Emerson <chris.emerson@open.muscat.com>
4243         * Initial guile bits.  (Not yet functional)
4245 Thu Jun  8 16:28:07 BST 2000 Chris Emerson <chris.emerson@open.muscat.com>
4247         * Perl5 and Python now both have more-or-less working OmQuery
4248           interface.
4250         * Both interfaces can be built from the Makefiles (still more work
4251           getting it working properly with automake and autoconf.
4253         * The "perl" directory has been renamed to "perl5".
4255 Thu Jun  8 14:43:51 BST 2000  Richard Boulton <richard.boulton@open.muscat.com>
4257         * Create an OmDebug object to manage debug messages.  This allows
4258           the level of debug message to be selected and the output file for
4259           debug messages to be set using OM_DEBUG_FILE and OM_DEBUG_TYPES
4260           environment variables.
4262 Thu Jun  8 11:32:11 BST 2000 Chris Emerson <chris.emerson@open.muscat.com>
4264         * Removed some warnings from BackendManager.
4266 Wed Jun  7 18:26:17 BST 2000  Richard Boulton <richard.boulton@open.muscat.com>
4268         * Fix bug in Muscat3.6 backends causing an Assertion to fail when
4269           the termfrequency of a term not in the database was requested
4270           (should have returned 0).
4272 Wed Jun  7 18:08:04 BST 2000 Chris Emerson <chris.emerson@open.muscat.com>
4274         * More work on scripting languages.  OmQuery _nearly_ works with
4275           python.
4277 Wed Jun  7 18:06:58 BST 2000 Chris Emerson <chris.emerson@open.muscat.com>
4279         * Hopefully fixed a nasty refcount pointer bug.
4281 Wed Jun  7 15:40:34 BST 2000  Richard Boulton <richard.boulton@open.muscat.com>
4283         * Declare this to be version 0.2.0
4285 Wed Jun  7 15:10:34 BST 2000  Richard Boulton <richard.boulton@open.muscat.com>
4287         * Rename inttostring() to om_inttostring() to avoid conflicts.
4289 Wed Jun  7 12:26:27 BST 2000  Richard Boulton <richard.boulton@open.muscat.com>
4291         * Update licences.  Copyright is now held by BrightStation, which
4292           is the new name for the part of what used to be Dialog which is
4293           running this project.
4295 Wed Jun  7 11:32:19 BST 2000  Richard Boulton <richard.boulton@open.muscat.com>
4297         * Alter testsuite so that the nettests can work with sleepycat
4298           databases if desired.
4300 Tue Jun  6 19:10:26 BST 2000  Richard Boulton <richard.boulton@open.muscat.com>
4302         * Fix nettest to use backend managers rather than inmemory's indexing.
4304 Tue Jun  6 18:54:43 BST 2000 Chris Emerson <chris.emerson@open.muscat.com>
4306         * Updated socketclient / socketserver to pass the collapse key
4307           around with the mset items.
4309 Tue Jun  6 18:34:36 BST 2000  Richard Boulton <richard.boulton@open.muscat.com>
4311         * Update BackendManager to accept arbitrary numbers of database
4312           parameters, and to cope properly if the datadir isn't specified
4313           (ie, leave the filenames alone).
4315         * Turn off indexing code built into InMemory databases: they now need
4316           to have their indexing done for them externally.
4318         * Add debugging code to net_document.cc
4320         * Make omprogsrv use a backend manager to perform its indexing.
4322 Tue Jun  6 16:59:57 BST 2000  Richard Boulton <richard.boulton@open.muscat.com>
4324         * Separate BackendManager from rest of code in apitest, and put it
4325           into testsuite, ready for use in other tests.
4327 Tue Jun  6 15:38:30 BST 2000  Richard Boulton <richard.boulton@open.muscat.com>
4329         * Implemented a version of SleepyDatabase::do_get_all_keys().
4330           Untested as yet.
4332 Tue Jun  6 15:01:09 BST 2000 Chris Emerson <chris.emerson@open.muscat.com>
4334         * Added exception handling to scripting language bindings.
4336 Tue Jun  6 13:11:15 BST 2000 Chris Emerson <chris.emerson@open.muscat.com>
4338         * Stop using vectors of OmKeys, now use map<om_keyno, OmKey>
4339           everywhere.
4341 Tue Jun  6 13:08:58 BST 2000 Chris Emerson <chris.emerson@open.muscat.com>
4343         * Beginnings of Perl5 bindings.
4345 Tue Jun  6 12:57:54 BST 2000  Richard Boulton <richard.boulton@open.muscat.com>
4347         * Implemented reading and writing of keys in sleepycat.  All tests
4348           now pass on sleepycat: added this into the default testsuite run.
4350 Tue Jun  6 11:59:39 BST 2000  Richard Boulton <richard.boulton@open.muscat.com>
4352         * Added a database to store keys in to sleepycat, and pass those keys
4353           into document creation methods.  Now just need to write code to
4354           read and write the keys.
4356 Mon Jun  5 19:12:13 BST 2000  Richard Boulton <richard.boulton@open.muscat.com>
4358         * Fix internaltest again (due to further change in sleepylists) and
4359           turn off network tests in apitest, which accidentally got turned
4360           on.
4362 Mon Jun  5 18:59:49 BST 2000  Richard Boulton <richard.boulton@open.muscat.com>
4364         * Moved implementation of OmExpand::get_bits() out of the header file.
4366         * Use actual normalised length in SleepyTermList for calculating
4367           weight.  Now produces same result as InMemoryTermList.
4369         * Test that an expand across a multidatabase produces same result as
4370           an equivalent expand across a single database.  This test fails,
4371           because normalised lengths are not shared across databases.  This is
4372           part and parcel of the need to restructure the way expand is
4373           performed, which will take some time to accomplish, so the test
4374           is disabled for now.
4376 Mon Jun  5 18:54:14 BST 2000 Chris Emerson <chris.emerson@open.muscat.com>
4378         * Added proof-of-concept Python bindings for OmStem (using SWIG).
4380 Mon Jun  5 17:41:14 BST 2000  Richard Boulton <richard.boulton@open.muscat.com>
4382         * Make sleepylist optionally store termfreqency information in
4383           list.  Make sleepy_termlists not store termfrequency information:
4384           it will get looked up in the database instead.
4386 Mon Jun  5 16:35:42 BST 2000  Richard Boulton <richard.boulton@open.muscat.com>
4388         * Added apitest for correct wdf values in termlists (indirectly,
4389           by performing an expand on two different relevant documents of
4390           the same length, and comparing the weights for a common term).
4391           Fails for sleepycat, as expected.
4393 Mon Jun  5 16:12:19 BST 2000 Chris Emerson <chris.emerson@open.muscat.com>
4395         * Updated apitest's indexing to include keys, so the inmemory
4396           tests now all work again.
4398 Mon Jun  5 14:51:56 BST 2000  Richard Boulton <richard.boulton@open.muscat.com>
4400         * SleepyPostLists now use the document length when calculating weights.
4402 Mon Jun  5 14:36:28 BST 2000  Richard Boulton <richard.boulton@open.muscat.com>
4404         * Fix internaltest to cope with changed SleepyListItem parameters.
4406 Mon Jun  5 14:31:50 BST 2000 Chris Emerson <chris.emerson@open.muscat.com>
4408         * Inmemory database now supports "keys" properly.
4410 Mon Jun  5 14:26:11 BST 2000  Richard Boulton <richard.boulton@open.muscat.com>
4412         * Enable storage of the sum of the wdfs in a SleepyList in the list.
4413           Use this to implement SleepyDatabase::get_doclength(), which reads
4414           the wdfsum from the termlist.
4416 Mon Jun  5 14:22:33 BST 2000  Richard Boulton <richard.boulton@open.muscat.com>
4418         * Implement PostList::get_doclength() in each branchpostlist rather
4419           than actually in the BranchPostList base class, since each
4420           implementation needs to be different (both sub-postlists are
4421           not always valid)
4423         * Use PostList::get_doclength() rather than the database version, to
4424           get the document length in the matcher.
4426 Sat Jun  3 00:31:19 BST 2000  Richard Boulton <richard.boulton@open.muscat.com>
4428         * Attempt to make LocalMatch asks the query for the document length,
4429           rather than the database.  This code currently commented out,
4430           because it causes test failures and a segfault.
4432 Sat Jun  3 00:18:50 BST 2000  Richard Boulton <richard.boulton@open.muscat.com>
4434         * Added a get_doclength() method to postlists.  Some return the
4435           result of calling the get_doclength() method of the corresponding
4436           database, branch ones return the result from one of the sub-branches,
4437           and the sleepycat one returns the value stored in the postlist.
4438           SleepyDatabase::get_doclength() is still unimplemented, however.
4440 Sat Jun  3 00:01:55 BST 2000  Richard Boulton <richard.boulton@open.muscat.com>
4442         * Improved configuration for finding c++ interface to sleepycat.  Now
4443           works at home again...
4445 Fri Jun  2 19:09:41 BST 2000  Richard Boulton <richard.boulton@open.muscat.com>
4447         * Now stores document lengths in postlists.  Not yet accessible,
4448           however.
4450 Fri Jun  2 19:09:00 BST 2000 Chris Emerson <chris.emerson@open.muscat.com>
4452         * Implemented NetworkDatabase::open_document().  Tests still fail
4453           from some lack of support in other backends.
4455 Fri Jun  2 18:22:03 BST 2000 Chris Emerson <chris.emerson@open.muscat.com>
4457         * Added get_all_keys() method to LeafDocument
4459         * Implemented in subclasses by throwing OmUnimplementedError.
4461 Fri Jun  2 18:12:05 BST 2000  Richard Boulton <richard.boulton@open.muscat.com>
4463         * Many fixes to sleepycat:
4465           o Implemented document count and average document length
4466             information.  (involves using a new "stats" database)
4468           o Fix problem with calling get_termfreq for a term which doesn't
4469             exist (used to throw: now returns 0)
4471           o More useful debugging messages.  Better assertion checks.
4473 Fri Jun  2 18:05:23 BST 2000  Richard Boulton <richard.boulton@open.muscat.com>
4475         * Don't use terms with zero length names (ie, "") in the test
4476           databases.
4478         * Add checks to API to complain about zero length termnames, and
4479           assertions elsewhere in the code.
4481 Fri Jun  2 18:00:25 BST 2000 Chris Emerson <chris.emerson@open.muscat.com>
4483         * Added a text file explaining how to do distributed searches.
4485 Fri Jun  2 13:27:01 BST 2000  Richard Boulton <richard.boulton@open.muscat.com>
4487         * Added a stats database to sleepycat, to store things such as
4488           document count and length information.
4490 Thu Jun  1 18:10:12 BST 2000  Richard Boulton <richard.boulton@open.muscat.com>
4492         * Implemented max_or_terms.  Activated test in apitest to check that
4493           it is working.
4495 Thu Jun  1 16:40:03 BST 2000 Chris Emerson <chris.emerson@open.muscat.com>
4497         * ProgClient now reaps its child, so no more zombie buildup.
4499 Thu Jun  1 15:33:29 BST 2000 Chris Emerson <chris.emerson@open.muscat.com>
4501         * TcpServer no longer inherits from SocketServer, but uses it.
4503         * omtcpsrv now handles more than one connection by default
4504           (sequentially).
4506 Wed May 31 16:05:06 BST 2000 Chris Emerson <chris.emerson@open.muscat.com>
4508         * Added support for default settings.
4510 Tue May 30 17:52:43 BST 2000 Chris Emerson <chris.emerson@open.muscat.com>
4512         * Stopped unnecessary options copying.
4514 Tue May 30 17:49:56 BST 2000 Chris Emerson <chris.emerson@open.muscat.com>
4516         * Fixed #ifdef misplacement in internaltest.cc
4518 Tue May 30 17:15:00 BST 2000 Chris Emerson <chris.emerson@open.muscat.com>
4520         * OmRefCntBase now has a (protected) copy constructor and a
4521           ref_count_get() method.
4523         * OmSettings fixed.
4525 Tue May 30 16:41:39 BST 2000 Chris Emerson <chris.emerson@open.muscat.com>
4527         * Implemented OmSettings and added some tests (one still fails.)
4529 Tue May 30 14:05:10 BST 2000 Chris Emerson <chris.emerson@open.muscat.com>
4531         * New class OmSettings for "global" options.  Not yet implemented
4532           or used.
4534 Fri May 26 11:58:24 BST 2000 Chris Emerson <chris.emerson@open.muscat.com>
4536         * Hopefully better detection of Sleepy C++ bits.
4538 Thu May 25 17:47:35 BST 2000  Richard Boulton <richard.boulton@open.muscat.com>
4540         * Added max_weight member to OmQueryInternal, so we can store the
4541           termweight there when calculating elite terms.
4543 Thu May 25 17:28:52 BST 2000 Chris Emerson <chris.emerson@open.muscat.com>
4545         * Implemented Termlist fetching for net backend.
4547 Thu May 25 15:23:11 BST 2000  Richard Boulton <richard.boulton@open.muscat.com>
4549         * Attempt to build sleepycat support by default.  Also, try and make
4550           it more obvious when something can't be found which is needed for
4551           building requested support.
4553 Thu May 25 15:22:10 BST 2000  Richard Boulton <richard.boulton@open.muscat.com>
4555         * More useful exception message when support for a particular
4556           database type is not compiled in.
4558 Thu May 25 14:33:20 BST 2000 Chris Emerson <chris.emerson@open.muscat.com>
4560         * Socketserver now updated to use the modified MultiMatch
4561           interface.
4563 Thu May 25 14:21:07 BST 2000  Richard Boulton <richard.boulton@open.muscat.com>
4565         * Made all MultiMatch::set_* methods private.  These are now called
4566           from the constructor, based the arguments supplied to it.
4568         * MultiMatch now calls its submatchers prepare_match() at the end
4569           of its constructor: this should fix the problems lately experienced
4570           with network queries.
4572 Thu May 25 12:07:29 BST 2000  Richard Boulton <richard.boulton@open.muscat.com>
4574         * Add a simple test of the max_or_terms feature to apitest.
4576 Thu May 25 12:06:06 BST 2000  Richard Boulton <richard.boulton@open.muscat.com>
4578         * Add max_or_terms member to localmatch, to store option in.
4580 Wed May 24 17:55:52 BST 2000  Richard Boulton <richard.boulton@open.muscat.com>
4582         * Separated collection of statistics and building of the query
4583           tree in LocalMatch.  Added method which will be used to select
4584           terms for use in the query when max_or_terms is in effect.
4586 Wed May 24 16:37:16 BST 2000 Chris Emerson <chris.emerson@open.muscat.com>
4588         * Implemented get_doccount and get_avlength in NetworkDatabase.
4589           Only 4 tests left failing with the net backend...
4591 Wed May 24 12:50:19 BST 2000 Chris Emerson <chris.emerson@open.muscat.com>
4593         * Exceptions are now propagated over the net link.
4595         * OmError's get_msg() method is now const.
4597 Tue May 23 17:51:27 BST 2000  Richard Boulton <richard.boulton@open.muscat.com>
4599         * Add a LocalMatch::gather_query_statistics() method, to be called
4600           before building the query tree, so that the tree can be pruned
4601           based on the termweights of some of the probabilistic terms.
4603 Tue May 23 17:34:30 BST 2000 Chris Emerson <chris.emerson@open.muscat.com>
4605         * Fixed max_attain for net backend.
4607 Tue May 23 16:57:44 BST 2000 Chris Emerson <chris.emerson@open.muscat.com>
4609         * Made RSets work with network db.
4611 Tue May 23 16:36:25 BST 2000  Richard Boulton <richard.boulton@open.muscat.com>
4613         * Fix bug due to uninitialised members in OmDocumentTerm.
4615 Tue May 23 14:51:10 BST 2000 Chris Emerson <chris.emerson@open.muscat.com>
4617         * Fixed boolean queries with the net backend.
4619 Tue May 23 14:06:40 BST 2000 Chris Emerson <chris.emerson@open.muscat.com>
4621         * apitest sleepy tests now remove the generated indexes before
4622           running.
4624 Tue May 23 12:18:31 BST 2000 Chris Emerson <chris.emerson@open.muscat.com>
4626         * SocketServer now correctly handles more than one query.
4628 Tue May 23 12:00:38 BST 2000  Richard Boulton <richard.boulton@open.muscat.com>
4630         * Added a NetworkTermList object.  Currently a fair way from working
4631           correctly, but it does compile:  uses lots of unimplemented
4632           methods.
4634         * General work on termlists (documentation comments, code tidying),
4635           and expand.
4637 Mon May 22 18:36:43 BST 2000 Chris Emerson <chris.emerson@open.muscat.com>
4639         * ProgClient and omprogsrv can both now take more than one database
4640           argument.
4642         * Net stuff now doesn't bomb out from SIGPIPE.
4644         * Miscellaneous bug fixes
4646         * apitest has code to run tests on the net backend.
4648 Mon May 22 15:31:12 BST 2000 Chris Emerson <chris.emerson@open.muscat.com>
4650         * Moved inline functions from testutils.h to testutils.cc
4652         * Separated out the non-backend-using tests from apitest to
4653           avoid running them more than once when more than one backend
4654           is compiled in.
4656 Mon May 22 14:53:25 BST 2000 Chris Emerson <chris.emerson@open.muscat.com>
4658         * FAIL_TEST macro in testsuite.h now takes notice of the verbose
4659           flag.
4661         * In theory, the sleepy tests are only run if the sleepy backend
4662           is compiled in (as well as the #if 0)
4664 Mon May 22 13:44:21 BST 2000 Chris Emerson <chris.emerson@open.muscat.com>
4666         * Slightly improved summary reporting in apitest.
4668 Mon May 22 13:28:26 BST 2000 Chris Emerson <chris.emerson@open.muscat.com>
4670         * Fixed a memory leak in SleepyDatabase (when database doesn't
4671           exist).
4673 Mon May 22 13:08:37 BST 2000 Chris Emerson <chris.emerson@open.muscat.com>
4675         * apitest can now run all the tests against sleepycat as well as
4676           inmemory tables.  The actual call is currently protected by
4677           #if 0.
4679 Fri May 19 18:35:33 BST 2000 Chris Emerson <chris.emerson@open.muscat.com>
4681         * Abstracted all database access in apitest to one function, so that
4682           it can easily be made to run with different backends.
4684 Fri May 19 16:30:53 BST 2000 Chris Emerson <chris.emerson@open.muscat.com>
4686         * Changed raw uses of "cout" and "cerr" in net code to use
4687           DebugMsg instead.
4689 Fri May 19 15:58:11 BST 2000  Richard Boulton <richard.boulton@open.muscat.com>
4691         * Add test to nettest to try to do an expand.  Currently fails, since
4692           this isn't implemented.
4694 Fri May 19 11:48:15 BST 2000  Richard Boulton <richard.boulton@open.muscat.com>
4696         * MultiMatch::get_max_weight() now returns the maximum of the
4697           max_weights from the submatchers, rather than just the first one.
4698           This ensures that the correct value is returned in the case of
4699           a multimatch with relevant documents in some of the submatchers.
4701         * Fix some test cases so that they test the correct things.
4703 Fri May 19 11:43:09 BST 2000  Richard Boulton <richard.boulton@open.muscat.com>
4705         * Further test to check that rset weights are getting distributed
4706           correctly in multidatabase cases.
4708 Thu May 18 18:11:16 BST 2000  Richard Boulton <richard.boulton@open.muscat.com>
4710         * MultiMatch now splits up RSets appropriately for each of its sub
4711           databases, so multimatch stuff works correctly with RSets.
4713 Thu May 18 17:14:52 BST 2000  Richard Boulton <richard.boulton@open.muscat.com>
4715         * Work on testsuite.  Many useful macros produced, tests simplified,
4716           and tests can now report failure by throwing an exception instead
4717           of by returning "false".
4719 Thu May 18 15:08:09 BST 2000  Richard Boulton <richard.boulton@open.muscat.com>
4721         * Added test for Rsets in a multimatch.  (Currently fails)
4723 Thu May 18 12:11:50 BST 2000 Chris Emerson <chris.emerson@open.muscat.com>
4725         * Added support for using RSets with the network matches
4727         * Better timeouts when remote end unresponsive
4729 Thu May 18 11:20:58 BST 2000  Richard Boulton <richard.boulton@open.muscat.com>
4731         * Added test that setting an rset has appropriate effect on match
4732           results (relevant document comes to top).
4734 Thu May 18 11:15:36 BST 2000 Chris Emerson <chris.emerson@open.muscat.com>
4736         * Added new exception OmInternalError for really weird problems.
4738 Wed May 17 18:12:53 BST 2000 Chris Emerson <chris.emerson@open.muscat.com>
4740         * Added simple test for RSet usage.
4742 Wed May 17 17:52:22 BST 2000  Richard Boulton <richard.boulton@open.muscat.com>
4744         * Fix memory leak in rset.cc
4746 Wed May 17 17:26:41 BST 2000  Richard Boulton <richard.boulton@open.muscat.com>
4748         * BM25Weight and TradWeight now ask their statssource for information
4749           about the RSet, rather than asking the rset directly.  As a result,
4750           they no longer have or need an "RSet * rset" member.
4752 Wed May 17 17:09:35 BST 2000  Richard Boulton <richard.boulton@open.muscat.com>
4754         * RSet now has a give_stats_to_statssource() method, used by
4755           localmatch to pass the statistics to the stats system for
4756           sharing and merging.
4758 Wed May 17 15:56:52 BST 2000  Richard Boulton <richard.boulton@open.muscat.com>
4760         * Pass relevance sets around as OmRSets, only creating an RSet within
4761           LocalMatch.  RSet now has a method to tell it to calculate the
4762           statistics, which is called after the query has been constructed,
4763           paving the way for integration with StatsSources.
4765 Wed May 17 15:56:36 BST 2000  Richard Boulton <richard.boulton@open.muscat.com>
4767         * Ensure that the a refcount pointer is not made from a standard pointer
4768           more than once.
4770 Tue May 16 16:29:25 BST 2000  Richard Boulton <richard.boulton@open.muscat.com>
4772         * apitest now performs its own indexing for tests.  Next step is to
4773           stop nettest using the internal indexing in InMemoryDatabase and
4774           then stop InMemoryDatabase accepting path parameters.
4776 Tue May 16 15:07:46 BST 2000  Richard Boulton <richard.boulton@open.muscat.com>
4778         * Added add_database() method to OmDatabaseGroup which takes an
4779           OmDatabase object, instead of parameters for opening a database.
4781 Tue May 16 12:48:40 BST 2000  Richard Boulton <richard.boulton@open.muscat.com>
4783         * Assignment operators for OmDatabase and OmWritableDatabase are
4784           now safe: assignment of a OmDatabase to an OmWritableDatabase
4785           will either fail to compile or throw an exception, all other
4786           possibilities will work.
4788 Tue May 16 12:22:33 BST 2000 Chris Emerson <chris.emerson@open.muscat.com>
4790         * Now pass match options over the net link.  (Untested so far)
4792 Tue May 16 12:06:23 BST 2000  Richard Boulton <richard.boulton@open.muscat.com>
4794         * Created an OmDatabase object.  This represents a database,
4795           and is a base class for OmWritableDatabase, which is a database
4796           which can be written to.  Implemented, except for assignment
4797           operators which may operate incorrectly.
4799 Mon May 15 13:34:39 BST 2000  Richard Boulton <richard.boulton@open.muscat.com>
4801         * Moved OmDatabaseGroup into a separate header file.
4803 Mon May 15 12:23:16 BST 2000  Richard Boulton <richard.boulton@open.muscat.com>
4805         * Bugfix: MultiDatabases term existence cache no longer grows
4806           arbitrarily.  (But not an efficient implementation)
4808         * SingleMatch now inherits from OmRefCntBase, so we can use
4809           reference counted pointers to it.
4811         * More work tidying up structure of MultiDatabase and MultiMatch.
4813 Mon May 15 11:34:16 BST 2000 Chris Emerson <chris.emerson@open.muscat.com>
4815         * Now use SO_REUSEADDR in TCP server
4817         * Added the first tcp test to nettest.
4819 Fri May 12 19:18:43 BST 2000 Chris Emerson <chris.emerson@open.muscat.com>
4821         * Bug fixes to the TCP server
4823 Fri May 12 18:48:14 BST 2000  Richard Boulton <richard.boulton@open.muscat.com>
4825         * Make OmDatabaseGroup now stores opened databases, rather than
4826           their parameters.
4828         * OmDatabaseGroup::InternalInterface now uses a method in
4829           OmDatabaseGroup::Internal to get_multidatabase.  Same MultiDatabase
4830           is returned after each call, unless a database has been added.
4831           Pthread locking is also sorted out.
4833 Fri May 12 18:29:01 BST 2000 Chris Emerson <chris.emerson@open.muscat.com>
4835         * New class OmDatabaseGroup::InternalInterface, used to extend
4836           the OmDatabaseGroup interface for internal use.
4838         * ProgServer's implementation mostly moved into new SocketServer.
4840         * New class TcpServer deriving from SocketServer
4842 Fri May 12 16:10:44 BST 2000  Richard Boulton <richard.boulton@open.muscat.com>
4844         * Remove set_root() method and "root" member from IRDatabase, and
4845           subclasses.  This is now catered for by stats and weighting
4846           objects.
4848 Thu May 11 18:51:22 BST 2000  Richard Boulton <richard.boulton@open.muscat.com>
4850         * Add constructor to MultiDatabase, taking a vector of IRDatabase
4851           pointers.
4853         * Store subdatabases in MultiDatabase in a vector of reference
4854           counted pointers, rather than as pointers.  This has no actual
4855           effect yet, but will do when we extend the use of these pointers
4856           to the rest of the code (currently we pass them out as standard
4857           pointers)
4859 Thu May 11 17:05:11 BST 2000  Richard Boulton <richard.boulton@open.muscat.com>
4861         * Add rule so that internaltest will compile with special CFLAGS,
4862           to ignore access control.
4864 Thu May 11 16:40:30 BST 2000  Richard Boulton <richard.boulton@open.muscat.com>
4866         * Make OmRefCntBase::ref_count mutable, and ref_increment() and
4867           ref_decrement() into const methods, so that we can have reference
4868           counted access to const objects.
4870         * Make DATerm and DBTerm objects reference counted, and store
4871           reference count pointers to them in the term cache.  This results
4872           in removing the possibility of open_post_list() having the Term
4873           object it is dealing with deleted from underneath it due to
4874           concurrent access.
4876 Thu May 11 16:38:05 BST 2000 Chris Emerson <chris.emerson@open.muscat.com>
4878         * Made the internals of OmRefCntBase private, and moved
4879           increment() and decrement() from OmRefCntPtr to OmRefCntBase,
4880           where they belong.
4882         * Made OmRefCntPtr::operator *() return a reference as it should,
4883           rather than a pointer as it did previously.
4885 Wed May 10 17:34:16 BST 2000 Chris Emerson <chris.emerson@open.muscat.com>
4887         * Added (untested) TcpClient class.
4889 Wed May 10 15:26:37 BST 2000 Chris Emerson <chris.emerson@open.muscat.com>
4891         * Split all the generic socket stuff from ProgClient into a
4892           SocketClient base class.
4894 Tue May  9 17:30:46 BST 2000  Richard Boulton <richard.boulton@open.muscat.com>
4896         * Added collapse code to MultiMatch.  Could be considerably more
4897           efficient, but appears to work correctly.
4899 Tue May  9 16:37:04 BST 2000  Richard Boulton <richard.boulton@open.muscat.com>
4901         * Refactored mset merging code in MultiMatch::match() into separate
4902           methods.  Now ready to add collapse code.
4904 Tue May  9 16:16:06 BST 2000 Chris Emerson <chris.emerson@open.muscat.com>
4906         * Network stuff should now time out if there is no response.
4908 Tue May  9 14:45:44 BST 2000  Richard Boulton <richard.boulton@open.muscat.com>
4910         * OmMSetItems now have a collapse_key member, which the key used
4911           for removal of duplicates is stored in.  This allows MultiMatch
4912           to see these keys, and thus to remove duplicates across several
4913           matchers, and also lets the user see the keys used.
4915 Tue May  9 13:12:58 BST 2000 Chris Emerson <chris.emerson@open.muscat.com>
4917         * New exception: OmNetworkTimeoutError.
4919 Tue May  9 12:21:35 BST 2000  Richard Boulton <richard.boulton@open.muscat.com>
4921         * MultiMatch::match() now returns all its results in its OmMSet
4922           parameter, which is thus now fully set by this method.
4924 Tue May  9 11:52:05 BST 2000  Richard Boulton <richard.boulton@open.muscat.com>
4926         * MultiMatch::match() takes an OmMSet instead of a vector<OmMSetItem>.
4927           Next step is to make all the elements of the MSet get set correctly,
4928           not just the items.
4930 Mon May  8 19:42:48 BST 2000  Richard Boulton <richard.boulton@open.muscat.com>
4932         * Stop MultiMatch going into a tight loop when waiting for sub
4933           matchers to prepare_match() or get_mset(), by doing one pass of
4934           non blocking IO, and then blocking IO for subsequent calls.
4936         * Refactor MultiMatch::match() into more separate methods.
4938 Mon May  8 19:14:19 BST 2000  Richard Boulton <richard.boulton@open.muscat.com>
4940         * In MultiMatch::match(), factor out adding of a new mset to
4941           a separate method, add_next_sub_mset().
4943 Mon May  8 16:42:24 BST 2000  Richard Boulton <richard.boulton@open.muscat.com>
4945         * Moved specification of mset comparison method into Match Options.
4946           Renamed the comparator class OmMSetCmp (from MSetCmp), and created
4947           a method in OmMatchOptions to return an appropriate instance.
4948           Made comparator a member of LocalMatch and MultiMatch, which gets
4949           set by the set_options() method.
4951 Mon May  8 16:33:16 BST 2000 Chris Emerson <chris.emerson@open.muscat.com>
4953         * Moved testsuite module to a new directory.  Tests within the
4954           other source directories should be able to link to it easily.
4956 Mon May  8 14:34:21 BST 2000 Chris Emerson <chris.emerson@open.muscat.com>
4958         * Moved mostly common implementation of test suite main() functions
4959           into test_driver::main().
4961 Fri May  5 18:55:31 BST 2000  Richard Boulton <richard.boulton@open.muscat.com>
4963         * Pass MatchOptions object down to LocalMatch, rather than
4964           interpreting at API level.
4966 Fri May  5 16:55:57 BST 2000  Richard Boulton <richard.boulton@open.muscat.com>
4968         * Add option to MatchOptions to set a maximum number of terms to
4969           OR together in large probabilistic queries.
4971 Thu May  4 16:58:08 BST 2000 Chris Emerson <chris.emerson@open.muscat.com>
4973         * ProgClient::get_mset() now returns actual results rather than
4974           accidentally made up numbers.
4976 Thu May  4 16:26:34 BST 2000 Chris Emerson <chris.emerson@open.muscat.com>
4978         * The testsuite driver now supports running a single test by name.
4980         * apitest and internaltest now support an extra argument which
4981           specifies the name of a single test to run.
4983 Tue May  2 18:56:20 BST 2000 Chris Emerson <chris.emerson@open.muscat.com>
4985         * get_mset() now actually asynchronous.
4987 Tue May  2 18:22:31 BST 2000 Chris Emerson <chris.emerson@open.muscat.com>
4989         * The framework for making get_mset() asynch is there.
4991 Tue May  2 16:21:57 BST 2000 Chris Emerson <chris.emerson@open.muscat.com>
4993         * prepare_match() is now actually asynchronous
4995 Tue May  2 14:35:01 BST 2000 Chris Emerson <chris.emerson@open.muscat.com>
4997         * Changed signature of Match::prepare_match() to allow for
4998           asynchronous processing.
5000 Fri Apr 28 18:55:12 BST 2000  Richard Boulton <richard.boulton@open.muscat.com>
5002         * Begun process of making OmDatabaseGroup use reference counted
5003           databases, rather than just the parameters, so that we can add
5004           opened database objects to a database group.
5006 Fri Apr 28 17:51:06 BST 2000 Chris Emerson <chris.emerson@open.muscat.com>
5008         * Added configure checking for getopt.h
5010 Fri Apr 28 17:17:23 BST 2000  Richard Boulton <richard.boulton@open.muscat.com>
5012         * Add insure and purify configure options.
5014 Fri Apr 28 16:22:56 BST 2000 Chris Emerson <chris.emerson@open.muscat.com>
5016         * Added checking for -lsocket on Solaris
5018 Fri Apr 28 10:27:06 BST 2000 Chris Emerson <chris.emerson@open.muscat.com>
5020         * ProgServer exits when it receives "QUIT"
5022         * ProgClient sends "QUIT" before exiting.
5024 Thu Apr 20 18:00:36 BST 2000 Chris Emerson <chris.emerson@open.muscat.com>
5026         * StatsSource now has two variants - LocalStatsSource and
5027           NetworkStatsSource
5029         * Some changes to the prototype protocol
5031         * ProgClient and ProgServer use OmLineBuf to share code
5033         * Some code moved around
5035 Thu Apr 20 17:52:49 BST 2000 Chris Emerson <chris.emerson@open.muscat.com>
5037         * New OmLineBuf object to handle line buffering over a connection
5039 Thu Apr 20 15:38:39 BST 2000  Richard Boulton <richard.boulton@open.muscat.com>
5041         * Declare this to be version 0.1.3
5043 Thu Apr 20 14:37:14 BST 2000  Richard Boulton <richard.boulton@open.muscat.com>
5045         * Fixed main part of bug with MSet docid merging in MultiMatch.
5046           Will still fail to do collapse operation across multiple databases.
5048 Thu Apr 20 13:20:33 BST 2000 Chris Emerson <chris.emerson@open.muscat.com>
5050         * Fixed some memory leaks.
5052 Thu Apr 20 13:06:49 BST 2000  Richard Boulton <richard.boulton@open.muscat.com>
5054         * Added a test for multimatch's document ID merging to apitest
5056 Thu Apr 20 12:53:12 BST 2000 Chris Emerson <chris.emerson@open.muscat.com>
5058         * Added some memory leak checking in the test suite driver.
5060 Thu Apr 20 12:06:18 BST 2000  Richard Boulton <richard.boulton@open.muscat.com>
5062         * Stopped SleepyDatabase aborting nastily when an attempt to
5063           open in a non existent directory is performed.
5065 Wed Apr 19 18:45:21 BST 2000  Richard Boulton <richard.boulton@open.muscat.com>
5067         * parameter checks when opening databases now throw
5068           OmInvalidArgumentError exceptions, rather than just being Asserts.
5070 Wed Apr 19 18:10:31 BST 2000  Richard Boulton <richard.boulton@open.muscat.com>
5072         * Changed PostList::get_position_list() to be non-const, since it
5073           modifies the PostList in many implementations.
5075         * Implemented SleepyPositionList.
5077 Wed Apr 19 16:47:49 BST 2000  Richard Boulton <richard.boulton@open.muscat.com>
5079         * Added a PositionList base class, and methods to return position
5080           lists from postlists.  No actual PositionLists yet implemented.
5082         * Fixed a resource (memory and file descriptor) leak in Muscat36
5083           backends.
5085 Tue Apr 18 16:42:03 BST 2000  Richard Boulton <richard.boulton@open.muscat.com>
5087         * Made OmDocumentContents contain OmDatas and OmKeys rather than
5088           strings.  Added constructors to OmData and OmKey.
5090 Tue Apr 18 15:43:30 BST 2000 Chris Emerson <chris.emerson@open.muscat.com>
5092         * StatsGatherer now knows about its associated StatsSource objects.
5094         * StatsGatherer is now responsible for calling
5095           StatsSource::contrib_my_stats() on all its children, instead
5096           of LocalMatch::prepare_match().
5098 Mon Apr 17 17:48:48 BST 2000  Richard Boulton <richard.boulton@open.muscat.com>
5100         * Implemented sleepycat termlists.
5102 Fri Apr 14 17:22:04 BST 2000  Richard Boulton <richard.boulton@open.muscat.com>
5104         * Added quickstart guide to documentation.
5106         * Declare this to be Version 0.1.2
5108 Thu Apr 13 11:05:31 BST 2000  Richard Boulton <richard.boulton@open.muscat.com>
5110         * Document data storage implementation done.  Sleepydatabase now
5111           functions for simple retrieval: missing is general database
5112           statistics (eg, get_doccount() always returns 1), and storage of
5113           keys.
5115 Thu Apr 13 01:37:41 BST 2000  Richard Boulton <richard.boulton@open.muscat.com>
5117         * Added SleepyDocument class, to store keys and document data.
5118           Implementation not yet done.
5120 Wed Apr 12 19:31:21 BST 2000  Richard Boulton <richard.boulton@open.muscat.com>
5122         * API change - added a termfreq member to OmDocumentTerm.
5124         * SleepyDatabase now adds entries to postlists and termlists.  Doesn't
5125           yet store documents, or correct already existing wdfs in termlists.
5127 Wed Apr 12 17:36:58 BST 2000  Richard Boulton <richard.boulton@open.muscat.com>
5129         * Added internal test to check that SleepyList packs and unpacks
5130           correctly.
5132 Wed Apr 12 16:22:39 BST 2000  Richard Boulton <richard.boulton@open.muscat.com>
5134         * libomus-config now gives flags required to link with dependent
5135           libraries (as determined by libtool).
5137 Wed Apr 12 15:50:41 BST 2000  Richard Boulton <richard.boulton@open.muscat.com>
5139         * add_document methods now all return a om_docid value (rather than
5140           void)
5142 Wed Apr 12 15:49:17 BST 2000 Chris Emerson <chris.emerson@open.muscat.com>
5144         * MultiMatch now takes an optional StatsGatherer argument to
5145           its constructor.
5147 Wed Apr 12 14:03:52 BST 2000  Richard Boulton <richard.boulton@open.muscat.com>
5149         * IRDatabase now inherits from OmRefCntBase: we have multiple
5150           inheritance!  This means that we can now have reference counted
5151           access to databases from the API.
5153         * OmWritableDatabase is now implemented in the API, opens the
5154           database, and is well defined.  add_document() is the only method
5155           not yet implemented, and simply throws an exception.
5157         * simpleindex example now compiles, links, runs, and reports an
5158           exception.
5160 Wed Apr 12 13:22:26 BST 2000 Chris Emerson <chris.emerson@open.muscat.com>
5162         * Sorted out the mutex situation with Om/LeafDocument.
5164 Tue Apr 11 22:01:03 BST 2000  Richard Boulton <richard.boulton@open.muscat.com>
5166         * Renamed DocumentContents and DocumentTerm to OmDocumentContents and
5167           OmDocumentTerm, and added these classes to the API.  Moved these
5168           from "common/document_contents.h" to "include/om/omindexdoc.h"
5170         * Added a OmWritableDatabase class to the API.  Implemented some of
5171           the needed methods.
5173 Tue Apr 11 21:14:18 BST 2000  Richard Boulton <richard.boulton@open.muscat.com>
5175         * SleepyDatabase now knows how to allocate a new term ID for a new
5176           term, and does some of the needed actions to add a new document to
5177           the database.
5179 Tue Apr 11 19:18:34 BST 2000  Richard Boulton <richard.boulton@open.muscat.com>
5181         * Backwards incompatible API CHANGE:
5182           OmDatabase renamed to OmDatabaseGroup, since this is what it is,
5183           and better to change it sooner than later.
5184           No work other than renaming the class should be necessary to fix
5185           old code.
5187 Tue Apr 11 18:05:51 BST 2000  Richard Boulton <richard.boulton@open.muscat.com>
5189         * Rework of indexer classes.  The indexer destination interface now
5190           has only one method, which is add_document.  This gets passed
5191           a DocumentContents, so the whole document is added to the database
5192           at once.  Works for all backend types except sleepycat.  (Although
5193           all except InMemory throw an OmUnimplemented exception.)
5195 Tue Apr 11 13:59:24 BST 2000  Richard Boulton <richard.boulton@open.muscat.com>
5197         * More detection stuff for sleepycat library: now works on all my
5198           machines, but isn't really generic enough yet.
5200         * SleepyList now has methods to iterate through the list.
5202 Thu Apr  6 00:57:46 BST 2000  Richard Boulton <richard.boulton@open.muscat.com>
5204         * More sleepycat stuff:
5205           o) Generic list implementation now allows items to be added, lists
5206              to be written to databases, and lists to be read back from
5207              databases.  Doesn't yet allow iteration through lists.
5208           o) PostLists can be opened using the list implementation, and sizes
5209              returned, but all other functionality not there yet.
5211         * Modifications to the configure system: now picks up sleepycat stuff
5212           on my home machine.
5214 Tue Apr  4 18:49:15 BST 2000  Richard Boulton <richard.boulton@open.muscat.com>
5216         * Generic list implementation for sleepycat is now almost complete
5217           (doesn't yet write lists, but all the other code is there).  Fully
5218           untested, obviously.
5220 Tue Apr  4 14:49:09 BST 2000 Chris Emerson <chris.emerson@open.muscat.com>
5222         * A really hacked network multimatch gets the same results as
5223           the multidb1 test in apitest.  Much cleanup needed.
5225 Mon Apr  3 17:55:04 BST 2000  Richard Boulton <richard.boulton@open.muscat.com>
5227         * Removed open() method from IRDatabase().  Use constructor to open
5228           database instead: this is _much_ cleaner.
5230 Fri Mar 31 19:00:50 BST 2000 Chris Emerson <chris.emerson@open.muscat.com>
5232         * First remote mset retrieved.  Still doesn't complete the whole
5233           match process, but getting there.
5235 Wed Mar 29 18:01:46 BST 2000  Richard Boulton <richard.boulton@open.muscat.com>
5237         * Split sleepycat database stuff into separate files, and made it
5238           compile on a debian system.  (Needs autoconf detection of sleepycat
5239           db.)
5241 Tue Mar 28 18:43:16 BST 2000  Richard Boulton <richard.boulton@open.muscat.com>
5243         * Lots of documentation comments in database.h
5245         * Changed signature of IRDatabase::open_post_list() so that it
5246           doesn't take an rset:  was never used (weight is told directly
5247           instead.)
5249 Tue Mar 28 14:07:21 BST 2000  Richard Boulton <richard.boulton@open.muscat.com>
5251         * Fix for a bug with setting query from vector.
5253         * Added test case for the bug.
5255 Tue Mar 28 11:17:23 BST 2000  Richard Boulton <richard.boulton@open.muscat.com>
5257         * Now builds query tree when prepare_match() is called, so correct
5258           stats get shared again.
5260 Mon Mar 27 18:36:06 BST 2000  Richard Boulton <richard.boulton@open.muscat.com>
5262         * Renamed SingleMatch::match() to SingleMatch::get_mset()
5264         * Added SingleMatch::prepare_match() to be called before get_mset()
5265           or get_max_weight(), which flushes the statistics with the
5266           StatsGatherer.
5268 Fri Mar 24 17:56:41 GMT 2000 Chris Emerson <chris.emerson@open.muscat.com>
5270         * Added a NetClient interface for remote matchers
5272         * Implemented ProgClient as a convenient test implementation
5274         * Added an OmNetworkError exception class
5276         * Documentation doesn't get built by default
5278 Fri Mar 24 17:39:37 GMT 2000  Richard Boulton <richard.boulton@open.muscat.com>
5280         * Added OmDocumentParams class, to provide opaque but clean way
5281           to give parameters to OmDocument constructor.
5283         * Cleaned up various OmLock mutexes; made them private and made the
5284           classes lock them when public methods are called, rather than
5285           expecting the calling class to lock them.
5287         * Now follow policy of not calling public methods from within
5288           same class.
5290         * Added many documentation comments, mainly to API code, but also
5291           generally.
5293 Fri Mar 24 13:41:17 GMT 2000 Chris Emerson <chris.emerson@open.muscat.com>
5295         * Added net/ directory with (very) start of remote match code.
5297 Thu Mar 23 15:00:54 GMT 2000 Chris Emerson <chris.emerson@open.muscat.com>
5299         * MultiMatch now takes care of its own StatsGatherer
5301         * MultiMatch now owns the RSet and SingleMatch objects given
5302           to it, and will delete them.
5304 Thu Mar 23 12:49:03 GMT 2000  Richard Boulton <richard.boulton@open.muscat.com>
5306         * Changed OmKey to use a string rather than an integer for the
5307           key value.
5309         * Added ability for DA and DB databases to read keys from a fast
5310           access separate keyfile, falling back to reading from the record
5311           if the keyfile isn't present, or doesn't contain enough keys.
5313         * Changed parameters for DA and DB database slightly.  Change is
5314           backwards compatible.
5316 Wed Mar 22 18:39:03 GMT 2000 Chris Emerson <chris.emerson@open.muscat.com>
5318         * Added configure option to turn on profiling.
5320 Tue Mar 21 15:41:49 GMT 2000  Richard Boulton <richard.boulton@open.muscat.com>
5322         * Tidy up structure of LeafMatch a great deal.
5324         * Fix bug causing a segfault when a term which doesn't exist comprises
5325           the entire query.
5327 Tue Mar 21 15:26:03 GMT 2000  Richard Boulton <richard.boulton@open.muscat.com>
5329         * Test behaviour when searching for terms not in database.
5331 Tue Mar 21 15:08:11 GMT 2000 Chris Emerson <chris.emerson@open.muscat.com>
5333         * Implemented OmQueryInternal::operator=()
5335 Tue Mar 21 11:42:39 GMT 2000  Richard Boulton <richard.boulton@open.muscat.com>
5337         * Fixes to m4 macro.  Now works correctly in both installed and
5338           uninstalled cases.
5340 Mon Mar 20 13:02:37 GMT 2000  Richard Boulton <richard.boulton@open.muscat.com>
5342         * Removed old Match::boolmatch() methods - superseded.
5344 Mon Mar 20 12:50:40 GMT 2000  Richard Boulton <richard.boulton@open.muscat.com>
5346         * Made OmEnquire use reversebool when specified in moptions.
5347           All tests now pass!
5349 Mon Mar 20 12:23:03 GMT 2000  Richard Boulton <richard.boulton@open.muscat.com>
5351         * Made OmEnquire use BoolWeight to get result for boolean queries.
5352           Doesn't yet pass correctness tests.
5354 Mon Mar 20 12:21:19 GMT 2000 Chris Emerson <chris.emerson@open.muscat.com>
5356         * Added an internaltest test for the refcounted pointers
5358 Fri Mar 17 18:55:40 GMT 2000  Richard Boulton <richard.boulton@open.muscat.com>
5360         * Added BoolWeight object, returns zero for all methods, for pure
5361           boolean queries.
5363 Fri Mar 17 18:38:18 GMT 2000  Richard Boulton <richard.boulton@open.muscat.com>
5365         * Added set_weighting() method to match, to set weighting scheme
5366           to be used (as a value from the IRWeight::weight_type enum).
5367           Updated OmEnquire to use this: ability to set weight is just
5368           one little step away from the API and the user now.
5370 Fri Mar 17 13:39:10 GMT 2000  Richard Boulton <richard.boulton@open.muscat.com>
5372         * Declare this to be version 0.1.1
5374 Thu Mar 16 17:33:36 GMT 2000 Chris Emerson <chris.emerson@open.muscat.com>
5376         * New program "internaltest" added to the test suite, for
5377           testing code behind the API.
5379         * Can now disable pthread support via configure
5381 Thu Mar 16 13:01:46 GMT 2000  Richard Boulton <richard.boulton@open.muscat.com>
5383         * Fixes for uninitialised memory problems.  (malloc was being
5384           assumed to zero the returned memory.)
5386 Thu Mar 16 12:49:44 GMT 2000 Chris Emerson <chris.emerson@open.muscat.com>
5388         * New OmDocument which is copyable, and is actually a wrapper
5389           around LeafDocument.
5391         * Added reference-counted smart pointer, used in above.
5393 Wed Mar 15 18:27:10 GMT 2000  Richard Boulton <richard.boulton@open.muscat.com>
5395         * Now uses a MultiMatch object to do match.  Doesn't yet use more
5396           than one LeafMatch for this object though.
5398 Tue Mar 14 18:46:17 GMT 2000  Richard Boulton <richard.boulton@open.muscat.com>
5400         * Match now has the appropriate virtual methods, which are
5401           implemented by LeafMatch, and will be implemented by MultiMatch.
5402           Some work in OmEnquire, so that I can test this.
5404 Tue Mar 14 13:33:43 GMT 2000  Richard Boulton <richard.boulton@open.muscat.com>
5406         * Make sure we don't have -g in compile line if debugging is off.
5408 Thu Mar  9 17:12:16 GMT 2000  Richard Boulton <richard.boulton@open.muscat.com>
5410         * Declare this to be version 0.1.0
5412 Thu Mar  9 17:48:02 GMT 2000  Richard Boulton <richard.boulton@open.muscat.com>
5414         * Fix many spurious debugging messages
5416 Thu Mar  9 17:03:35 GMT 2000 Chris Emerson <chris.emerson@open.muscat.com>
5418         * Added test for OmBatchEnquire (and fixed a bug in it)
5420 Thu Mar  9 16:00:18 GMT 2000 Chris Emerson <chris.emerson@open.muscat.com>
5422         * Don't use -O6 when debugging is turned on.  Debug compiles
5423           are much faster now.
5425 Thu Mar  9 15:46:17 GMT 2000 Chris Emerson <chris.emerson@open.muscat.com>
5427         * Stemtest.pl now cleans up after itself a bit better.
5429 Thu Mar  9 15:17:47 GMT 2000  Richard Boulton <richard.boulton@open.muscat.com>
5431         * Use Stats objects to pass statistics needed for the match around,
5432           instead of directly asking the database.
5434         * Change parameters for BM25Weight: attach less importance to
5435           document length.
5437         * Now copes with empty sub-databases rather better.
5439         * Calculate max_possible_weight (and thus percentages) correctly
5440           when using BM25Weight.  (Had forgotten additive parameter.)
5442         * More debugging messages available.
5444 Thu Mar  9 11:20:55 GMT 2000 Chris Emerson <chris.emerson@open.muscat.com>
5446         * Removed inline from omenquireinternal methods.
5448 Wed Mar  8 18:24:27 GMT 2000 Chris Emerson <chris.emerson@open.muscat.com>
5450         * Added OmBatchEnquire for batch queries.
5452 Tue Mar  7 18:09:36 GMT 2000 Chris Emerson <chris.emerson@open.muscat.com>
5454         * Added configure option to use error-checking mutexes instead
5455           of the (portable) default.
5457 Tue Mar  7 12:20:08 GMT 2000 Chris Emerson <chris.emerson@open.muscat.com>
5459         * Sleepycat backend now compiles, although undoubtedly isn't
5460           going to work properly.
5462 Tue Mar  7 12:17:47 GMT 2000 Chris Emerson <chris.emerson@open.muscat.com>
5464         * Added OmRangeError and OmDatabaseError exceptions.
5466 Mon Mar  6 18:05:17 GMT 2000 Chris Emerson <chris.emerson@open.muscat.com>
5468         * stemtest.pl now handles the child getting a Ctrl-C nicely.
5470 Fri Mar  3 15:25:42 GMT 2000  Richard Boulton <richard.boulton@open.muscat.com>
5472         * Added to one of the tests in apitest a check that the weights
5473           returned by a query are as expected.  This will fail if weighting
5474           schemes are changed, deliberately or accidentally.
5476 Fri Mar  3 11:25:36 GMT 2000 Chris Emerson <chris.emerson@open.muscat.com>
5478         * OmQuery now does a better job of collapsing sub-queries
5479           with the same operator.  Yet another test now passes.
5481 Thu Mar  2 17:47:29 GMT 2000 Chris Emerson <chris.emerson@open.muscat.com>
5483         * Moved omenquire and omstem into new directory api
5485         * Split omenquire.cc into omenquire, omquery, and omdatabase
5487 Thu Mar  2 14:53:47 GMT 2000 Chris Emerson <chris.emerson@open.muscat.com>
5489         * Removed all mentions of virtual inheritance.
5491 Thu Mar  2 10:58:19 GMT 2000  Richard Boulton <richard.boulton@open.muscat.com>
5493         * Begun to abstract statistics requesting and collecting operations
5494           (common/stats.h)
5496         * Made hierarchy of Match objects: Match, LeafMatch, MultiMatch.
5498 Thu Mar  2 10:39:20 GMT 2000 Chris Emerson <chris.emerson@open.muscat.com>
5500         * Added locks to OmDatabase methods
5502 Wed Mar  1 19:14:02 GMT 2000 Chris Emerson <chris.emerson@open.muscat.com>
5504         * Separated OmDatabase out from OmEnquire, and fixed the tests.
5506 Tue Feb 29 17:41:32 GMT 2000  Richard Boulton <richard.boulton@open.muscat.com>
5508         * Change OmMatch to LeafMatch.  Make LeafMatch inherit from Match,
5509           which is currently an empty class, but will be a base class for
5510           all match objects.
5512 Tue Feb 29 10:49:54 GMT 2000 Chris Emerson <chris.emerson@open.muscat.com>
5514         * Fixed apitest following the stemming changes
5516         * Fixed a bug which broke query length calculation
5518 Mon Feb 28 17:26:01 GMT 2000 Chris Emerson <chris.emerson@open.muscat.com>
5520         * Added a test for the query collapsing, along with a fix.
5522 Mon Feb 28 16:32:22 GMT 2000 Chris Emerson <chris.emerson@open.muscat.com>
5524         * Queries now combine identical terms into a single term
5525           with the sum of the wqfs in some cases.
5527 Mon Feb 28 13:09:18 GMT 2000 Chris Emerson <chris.emerson@open.muscat.com>
5529         * Query lengths are now automatically calculated
5531         * Some tests of the query length calculation are now in apitest
5533 Fri Feb 25 16:38:46 GMT 2000 Chris Emerson <chris.emerson@open.muscat.com>
5535         * Added a test for -Wno-long-long in configure.in
5537 Fri Feb 25 14:29:00 GMT 2000 Chris Emerson <chris.emerson@open.muscat.com>
5539         * Separated most of OmQuery into an OmQueryInternal class.
5541         * Locks in the OmQuery methods
5543 Thu Feb 24 20:10:28 GMT 2000  Richard Boulton <richard.boulton@open.muscat.com>
5545         * Added test for behaviour when trying to use a file which doesn't
5546           exist.
5548 Thu Feb 24 16:12:16 GMT 2000  Richard Boulton <richard.boulton@open.muscat.com>
5550         * Changed DBPostlist to LeafPostlist.
5552         * Added DBDatabase and related classes, for reading DB format (old
5553           muscat) databases.
5555 Thu Feb 24 14:36:45 GMT 2000 Chris Emerson <chris.emerson@open.muscat.com>
5557         * Added locking to OmStem
5559 Thu Feb 24 14:18:29 GMT 2000 Chris Emerson <chris.emerson@open.muscat.com>
5561         * Cleaned up the public/private separation in OmEnquire{Internal}
5563         * Added exclusive locks to all public methods
5565 Wed Feb 23 19:00:10 GMT 2000 Chris Emerson <chris.emerson@open.muscat.com>
5567         * Added initial pthread locking support.  More does need to be
5568           done.
5570 Wed Feb 23 17:33:43 GMT 2000 Chris Emerson <chris.emerson@open.muscat.com>
5572         * Added a test "includetest" which simply checks that a program
5573           which includes all headers in the project compiles.
5575 Wed Feb 23 14:46:16 GMT 2000  Richard Boulton <richard.boulton@open.muscat.com>
5577         * Muscat36 backend now replaces DA backend.
5578           Should be able to cope with both flimsy and heavy duty DA files.
5579           DB stuff will be added shortly.
5581 Wed Feb 23 14:44:58 GMT 2000 Chris Emerson <chris.emerson@open.muscat.com>
5583         * Added (mostly private unimplemented) copy-constructors and
5584           assignment operators to several classes.  Also added some
5585           virtual destructors where needed.
5587 Mon Feb 21 18:07:14 GMT 2000 Chris Emerson <chris.emerson@open.muscat.com>
5589         * Attempts to build a query with a boolean subquery throws an
5590           exception for now.
5592 Mon Feb 21 15:33:10 GMT 2000 Chris Emerson <chris.emerson@open.muscat.com>
5594         * Added test for OmEnquire::get_matching_terms()
5596         * Fixed OmEnquire::get_matching_terms
5598 Mon Feb 21 14:38:30 GMT 2000 Chris Emerson <chris.emerson@open.muscat.com>
5600         * Made OmQuery::get_terms() public, tightened the specification,
5601           and made it conform to the specification.
5603         * Added a test for the above to apitest
5605         * Fixed a bug in OmQuery::initialise_from_copy() to make the above
5606           test work.
5608 Fri Feb 18 18:06:21 GMT 2000  Richard Boulton <richard.boulton@open.muscat.com>
5610         * Databases now have a get_doclength() method, to return the length
5611           of a given document.  There may be efficiency issues with using
5612           this during the search, however.
5614         * Extra constant terms, such as that in BM25Weight, now used
5615           and accounted for in min weight calculations.
5617 Fri Feb 18 17:49:13 GMT 2000 Chris Emerson <chris.emerson@open.muscat.com>
5619         * OmQuery::get_terms now returns the terms in termpos order.
5621 Fri Feb 18 13:53:34 GMT 2000  Richard Boulton <richard.boulton@open.muscat.com>
5623         * Added second test for reversed boolean queries.
5624           (When the full mset is not returned.)
5626 Fri Feb 18 13:54:37 GMT 2000 Chris Emerson <chris.emerson@open.muscat.com>
5628         * Implemented match functors
5630         * IRDocument is now OmDocument, on <om/omdocument.h>
5632 Fri Feb 18 13:53:34 GMT 2000  Richard Boulton <richard.boulton@open.muscat.com>
5634         * Added test for reversed boolean queries.
5636 Thu Feb 17 18:13:24 GMT 2000 Chris Emerson <chris.emerson@open.muscat.com>
5638         * Added a test for collapsing on a key
5640 Thu Feb 17 16:57:42 GMT 2000 Chris Emerson <chris.emerson@open.muscat.com>
5642         * Added interface to stemming algorithms to API (OmStem class)
5644 Thu Feb 17 12:00:33 GMT 2000  Richard Boulton <richard.boulton@open.muscat.com>
5646         * Header files now get installed in a subdirectory (om/)
5648 Tue Feb 15 17:03:31 GMT 2000 Chris Emerson <chris.emerson@open.muscat.com>
5650         * Implemented the "allow query terms" option for Expand Terms.
5652         * Added some useful ExpandDeciders to omenquire.h
5654 Tue Feb 15 12:59:43 GMT 2000 Chris Emerson <chris.emerson@open.muscat.com>
5656         * The dvi documentation is now automatically built and added
5657           to the distribution.
5659 Mon Feb 14 17:23:38 GMT 2000 Chris Emerson <chris.emerson@open.muscat.com>
5661         * Implemented OmQuery::get_terms()
5663         * Implemented OmEnquire::get_matching_terms()
5665 Mon Feb 14 13:37:56 GMT 2000 Chris Emerson <chris.emerson@open.muscat.com>
5667         * Added tests for OmExpandOptions and OmMSet.max_attained
5669 Fri Feb 11 18:40:39 GMT 2000 Chris Emerson <chris.emerson@open.muscat.com>
5671         * Fixed the percent cutoff test in apitest.
5673 Fri Feb 11 17:52:42 GMT 2000 Chris Emerson <chris.emerson@open.muscat.com>
5675         * Added percent cutoff to the API, and added a test to apitest
5676           for it.
5678 Fri Feb 11 16:44:34 GMT 2000 Chris Emerson <chris.emerson@open.muscat.com>
5680         * The api docs now go into the distribution tarball.
5682 Thu Feb 10 18:53:33 GMT 2000 Chris Emerson <chris.emerson@open.muscat.com>
5684         * Added OmEnquire::get_matching_terms() to the API.
5686 Thu Feb 10 18:02:37 GMT 2000 Chris Emerson <chris.emerson@open.muscat.com>
5688         * Added tests to apitest for the match and expand decision functors,
5689           and added another shorthand function to reduce code duplication.
5691 Thu Feb 10 16:04:45 GMT 2000  Richard Boulton <richard.boulton@open.muscat.com>
5693         * More documentation in omenquire.h
5695         * Changed isnull to isdefined (note change of sense), since this makes
5696           more sense, and is hopefully less likely to confuse.
5698 Thu Feb 10 14:17:31 GMT 2000  Richard Boulton <richard.boulton@open.muscat.com>
5700         * Lots more documentation comments in omerror.h and omenquire.h
5702         * Added API calls to set decision functors for matcher - not yet
5703           implemented, however.
5705 Wed Feb  9 17:11:13 GMT 2000  Richard Boulton <richard.boulton@open.muscat.com>
5707         * Implemented far enough for it to compile.
5708           (Doesn't calculate query length automatically)
5710 Wed Feb  9 16:45:19 GMT 2000  Richard Boulton <richard.boulton@open.muscat.com>
5712         * Added calls to specify within query frequency, positional
5713           information, and query length.  Not yet implemented.  (So, won't
5714           compile.)
5716         * Can set boolean flag on a query directly.
5718         * Many documentation comments added to header files in include/
5720 Wed Feb  9 16:42:08 GMT 2000 Chris Emerson <chris.emerson@open.muscat.com>
5722         * stemtest.pl handling of random input data improved:
5724           o doesn't bother regenerating the random data every time.
5726           o the seed is actually generated from the hostname, rather
5727             than being hard-coded to 1.
5729           o support for running the test with a specified seed
5731           o some basic tests that the output is sensible
5733 Wed Feb  9 14:52:54 GMT 2000  Richard Boulton <richard.boulton@open.muscat.com>
5735         * Rename all exception classes to have names ending in Error
5737 Wed Feb  9 14:48:48 GMT 2000 Chris Emerson <chris.emerson@open.muscat.com>
5739         * Added and implemented get_doc_data in OmEnquire
5741         * Now get msets and esets by return value rather than reference
5742           argument.
5744 Wed Feb  9 11:18:48 GMT 2000 Chris Emerson <chris.emerson@open.muscat.com>
5746         * Fixed the header guards (now all caps, should be unique, and don't
5747           start with underscores).
5749 Tue Feb  8 20:04:34 GMT 2000  Richard Boulton <richard.boulton@open.muscat.com>
5751         * Changed prefix OM to Om in all class names.
5753 Tue Feb  8 19:17:53 GMT 2000  Richard Boulton <richard.boulton@open.muscat.com>
5755         * Changed OMMSet::max_weight to OMMSet::max_possible.
5756           Added OMMSet::max_attained, which is weight of top match, (not
5757           necessarily top item in MSet)
5759         * Allow user to specify decision function for expand.
5761         * Also allow user to specify that query terms should not be returned
5762           by expand, by calling OMExpandOptions::use_query_terms().                       This does not yet work, however.
5764         * Add many code comments, and make doc++ stuff work better.
5766 Tue Feb  8 19:13:43 GMT 2000 Chris Emerson <chris.emerson@open.muscat.com>
5768         * Added some more tests.
5770 Tue Feb  8 16:51:22 GMT 2000 Richard Boulton <richard.boulton@open.muscat.com>
5772         * Fixed boolean only querying.
5774           o) Made isbool get set correctly (was being unset by
5775             initialise_from_copy)
5777           o) Set max_weight correctly.
5779 Tue Feb  8 16:28:48 GMT 2000 Chris Emerson <chris.emerson@open.muscat.com>
5781         * Added the stemmer test script, stemtest.pl
5783 Mon Feb  7 19:17:25 GMT 2000 Chris Emerson <chris.emerson@open.muscat.com>
5785         * Prefix all the types in omtypes.h with "om_".
5787 Mon Feb  7 17:37:52 GMT 2000 Chris Emerson <chris.emerson@open.muscat.com>
5789         * Added a test of boolean-only queries to apitest, which fails.
5791 Mon Feb  7 15:56:43 GMT 2000 Chris Emerson <chris.emerson@open.muscat.com>
5793         * Improved exception hierarchy:
5795           o Exceptions are all split between `OmLogicError' and
5796             `OmRuntimeError'.
5798           o Plain `OmError' exceptions are no longer allowed.
5800           o All exception classes are prefixed with `Om'.
5802 Mon Feb  7 12:57:12 GMT 2000 Richard Boulton <richard.boulton@open.muscat.com>
5804         * Make get_eset()'s max_items parameter work.
5805           (Changed max_esize in OMExpand from a member to a parameter of
5806           expand() )
5808         * Implemented add_database() correctly in OMEnquire: can now do
5809           multi database stuff.
5811 Mon Feb  7 12:53:33 GMT 2000  Chris Emerson <chris.emerson@open.muscat.com>
5813         * Added tests to apitest for maxitems parameters and null queries
5815 Mon Jan 31 17:00:18 GMT 2000  Richard Boulton <richard.boulton@open.muscat.com>
5817         * OMMatch stores query in a pointer rather than the historical
5818           remnants of a stack.
5819           OMEnquire updated accordingly.
5821         * OMEnquire deallocates RSet correctly.
5823         * querygui example compiles and works.
5825 Fri Jan 28 16:44:49 GMT 2000  Richard Boulton <richard.boulton@open.muscat.com>
5827         * Fixed problems with assigning to a query (old query elements were
5828           left in place.)  Implemented automatic merging of OR and AND nodes
5829           into a single list of terms to be ORed or ANDed.
5831 Fri Jan 28 15:53:53 GMT 2000  Richard Boulton <richard.boulton@open.muscat.com>
5833         * Added introspection methods to OMQuery.
5835 Fri Jan 28 13:41:20 GMT 2000  Richard Boulton <richard.boulton@open.muscat.com>
5837         * Started ChangeLog
5839         * Previous state of code:
5841           o An API for searching has just been created, but is undocumented,
5842             will change in various ways in the coming weeks, and isn't quite
5843             implemented correctly when building queries containing more than
5844             one term.
5846           o Stemming algorithms for dutch, english, french, german, italian,
5847             portuguese and spanish added and tested.
5849           o Searching through DA databases, raw text files (with naive
5850             indexer) and multiple databases implemented.
5852           o Documentation in a reasonably sorry state.  Next week is
5853             documentation week.