Fixed path separator in classpath variable

Added voldemort-convert-bdb batch file to upgrade from 1.1.x pre-versions
Minor fixes in other batch files

Added Null pointer check in teardown of ReadOnlyStorageEngineTest

Added bigger timeout to testNoSlopsOnAllReplicaFailures test and doing better exception handling in HintedHandoffFailureTest

Adding another Hinted handoff failure test to ensure main thread returns with failure when all replicas dont respond

Forklift tool fix to equally spread fetches

Clarifying arbitrary choice to return BEFORE for equal vector clocks.

Adding unit test for fork lift tool

Tool to forklift data over for store migrations

Bug fixes to HintedHandoffFailureTest and added more tests to handle 3-2-2 config. Removed SleepyForceFailStore

Added unit tests to ensure that slops are registered for different asynchronous put operation failures

make run-class.sh working in Mac per ctasada

https://github.com/voldemort/voldemort/issues/132

- Added GetAll and Delete implementations on the Coordinator (and the temporary rest client)
- Converted Coordinator into an AbstractService and added CoordinatorConfig
- Refactored Composite Voldemort request into different types

Moving thin client to contrib. Also fixing Benchmark to use DefaultStoreClient instead of Thin client

Adding the missing R2Store file

A working implementation of the Coordinator and thin client. Includes following things:
- Creating AbstractStore and AbstractStorageEngine to refactor
  the corresponding Store and StorageEngine interfaces.
- Refactored the fat client to accomodate dynamic per call timeout.
- Isolated Fat client wrapper to safeguard multitenancy
- Autobootstrap mechanism added to the Coordinator service
- Basic HTTP request/response parsing and Error handling

Fixed .classpath which had an illegal entry

First working version of Coordinator service. Includes REST request and response handling, Error handling, automatic checking of metadata changes, fat client config management

Creating FatClientWrapper for Thread pool isolation.

Added the coordinator package. Modified Benchmark to use thin client

Basic working prototype for Coordinator and Sample Thin client

fixed run-class.sh to take absolute paths

Updated release number

Updated release notes

last commit did not pick up the actual fix for the test case-- checking ti in

Minor changes to test case# Please enter the commit message for your changes. Lines starting

Added test case to test runtime exceptions
Cleaned up the try catch  logic

Adding test cases whch simulate intermittent exceptions etc
in the hdfsfetcher and simulate retry logic
this ensures checksum calculation is robust

Adding an extra catch block for Exception and Throwable types. This is used to catch the ClassNotFound exceptions

Using a per file checksum generator in the file copy in HdfsFetcher. This is used to handle the case where we might retry the copy in case of a Filesystem (hdfs) error.

Reduce chatter in logs while a node is unavailable (from INFO to DEBUG level output).

Fix to log4j set up in bin/run-class.sh that should correctly configure log4j.

Added pending release notes for this merge to 

TODOs for refactoring and copyright header updates.

Addressed all code review comments for KeySampler and KeyVersionFetcher. Renamed many classes and methods related to FetchStreamRequestHandler.

- All sub-classes of FetchStreamRequestHandler have been renamed to have a more consistent nomenclature.
- Did some further refactoring in the FullScan* classes to move more work from leaf classes to FullScanFetchRequestHandler.java
- moved scan accounting to overall bae class
- Added getNodesPartitionIdForKey method to StoreInstance to help with some fetch logic

Interim commit to rename a bunch of files.

Addressed review feedback and TODOs for KeyVersionSamplerCLI (and renamed it to KeyVersionFetcherCLI).

- mostly usability changes about command line options...
- one copyright fix

Addressed all review feedback and TODOs for KeySamplerCLI

KeySamplerCLI
- added options: --store-names, --partition-ids, --keys-per-second-limit, and --progress-period-ops
- got rid of unnecessary (and weird) retry loop. Can add seomthing like that later if needed.
- pass all partitions to fetcher now instead of one-at-a-time

Also did cosmetic fixes for KeyVersionSamplerCLI and Entropy.java

Correctness fixes and significant refactoring of Fetch*StreamRequestHandlers. Expanded AdminFetchTest.

Added more common helper methods to common base class of all fetchers FetchStreamRequestHandler.

Added abstract base classes for partition-based fetching and non-partition-based fetching:
- FetchPartitionStreamRequestHandler (partition-based)
- FetchItemsStreamRequestHandler (non-partition-based)

Refactored some code up to abstract base classes and made implementations as similar as possible (without heroic efforts) across all fetchers:
- FetchEntriesStreamRequestHandler
- FetchKeysStreamRequestHandler
- FetchPartitionEntriesStreamRequestHandler
- FetchPartitionKeysStreamRequestHandler

Significant better test coverage in AdminFetchTest
- tests fetching keys as well as fetching entries
- tests partition-aware and non-partition-aware servers
- tests per-partition limits on entries/keys fetched

All of this clean up and additional testing lead to minor correctness fixes.

Minor other clean ups of comments, override annotations, and fixes for KeySamplerCLI.

change maxRecords to recordsPerPartition in fetch API and protobuf

These are cosmetic changes. The client-side and server-side code does not properly do recordsPerPartition yet.

Added a few TODOs in the code too.

remove skipRecords from fetching API and protobuf

AFAIK skipRecords was never used. By inspection, the code that would have been exercised if it had been used has never been correct. Removing skipRecords from the code base.

Also:
- Added a number of TODOs to the code from the reviews
- Changed some variable names

Minor fixes for tests that broke due to changes elsewhere in the code.

Minor fix for change to AdminClient

src/java/voldemort/client/protocol/admin/AdminClient.java
- do not close down AdminStoreClient from queryKeys

test/unit/voldemort/client/AdminServiceBasicTest.java
- added some additional checks to test to confirm (non)existence of exceptions&values

Many minor tweaks to ConsistencyFix code and related files to address minor review feedback.

build.xml
- fixed commenting out of 'protobuff' target

src/java/voldemort/client/protocol/admin/AdminClient.java
- add ClientConfig to constructor. This is needed for AdminStoreClient creation. It is confusing that we need both an AdminClientConfig and ClientConfig, but that is because the *ClientConfig code is so clumsy.
- changed ".stop()" methods to ".close()" to be consistent with other interfaces.

et cetera
- Updated all copyright notices that have changed on this branch since December. This touched a ton of files...
- annotated some TODOs with "(refactor)" to make refactoring todos easier to find.

Added unit tests for ConsistencyFix, ConsistencyFixWorker, and QueryKeyResult.

Many other fixes and cleanup:

src/java/voldemort/utils/ConsistencyFix.java
- tweak many variable names
- add close method to stop adminClient
- broke out BadKey to wrap a key with its string representation st failed fixes of badkey's can be dumped in full to file to be retried (without any additional effort)
- marked 'parseVersion' as deprecated since, if we do this again, we should dump bytes not strings
- track obsolete version exceptions and various statuses in Stats

src/java/voldemort/utils/ConsistencyFixCLI.java
- clean up of arguments, variable names, etc.
- cleanly close down fixer...

src/java/voldemort/utils/ConsistencyFixWorker.java
- more logger.trace output
- minor cleanup

test/common/voldemort/TestUtils.java
- added getVersioned() helper method

test/common/voldemort/config/stores.xml
- added consistency-fix store

test/unit/voldemort/store/routed/ReadRepairerTest.java
- marked all tests as @Test

test/unit/voldemort/utils/ConsistencyCheckTest.java
- update copyright notice

Actually adding files KeySamplerCLI and KeyVersionSamplerCLI.

Documented correct method of compiling protobuffs by hand.

Added KeySampler and KeyVersionSampler tools as a first step towards replacing "entropy" tool. Added another argument to bulk fetch operations that specifies maxRecords so that server can fetch a subset of a partition.

src/java/voldemort/utils/KeySamplerCLI.java
- Samples keys from a cluster

src/java/voldemort/utils/KeyVersionSamplerCLI.java
- Given file that lists keys per store, samples versions from each "responsible node" for that key

src/java/voldemort/client/protocol/admin/AdminClient.java
- passed maxRecords through
- TODO for future clean up of some types

src/java/voldemort/client/protocol/pb/VAdminProto.java
- auto generated!

src/java/voldemort/server/protocol/admin/AdminServiceRequestHandler.java
- white space

src/java/voldemort/server/protocol/admin/FetchStreamRequestHandler.java
src/java/voldemort/server/protocol/admin/FetchEntriesStreamRequestHandler.java
src/java/voldemort/server/protocol/admin/FetchKeysStreamRequestHandler.java
- handle maxRecords

src/java/voldemort/server/protocol/admin/FetchPartitionKeysStreamRequestHandler.java
src/java/voldemort/server/protocol/admin/FetchPartitionEntriesStreamRequestHandler.java
- handle maxRecords
- fixed usage of skipRecords

src/java/voldemort/utils/Entropy.java
- added maxRecords

src/proto/voldemort-admin.proto
- added mac_records to protobuff definition

test/unit/voldemort/client/AdminFetchTest.java
- added maxRecords field to test

Made rebalance --show-plan slightly more verbose and added yet another analysis for cluster balance ("zone primary").

src/java/voldemort/client/rebalance/RebalancePartitionsInfo.java
- print out hostname within plan to make it easier to read (rather than having to lookup node ID)

src/java/voldemort/utils/ClusterInstance.java
- calculate "zone primary" balance to understand which hosted partitions act as pseudo-master when zoned routing is used.

Review and cleanup of consistency checker.

- added required argument for an output file name for bad keys
- changed Reporter to print out 'just the key' to the output file; it
  outputs more info at DEBUG level in general.
- removed 'quiet' option
- throw exceptions:
  - if # partitions differ across clusters
  - if replication factor is hinky
  - if isExpired encounters unknown type
- main catches exceptions and fails fast
- changed system.out debugging to logger.trace

Added more info to cluster dump to track which nodes host 'hot' partitions.

Tweaked Rebalancer --output-dir again to better name interim metadata files for each batch.

Changed Rebalancer --output-dir option to append numbers to each .xml file it outputs so that we have access to interim cluster configs.

Refactored Consistency Check

Added server-put tracking to progress bar.

Default to printing out BADKEYs from ConsistencyCheck. Cleaned up debug/trace messages in ConsistencyFix.java.

Fixed hashmap issues in AdminClient raised during code review. Added '--parse-only' option to ConsistencyFix.

src/java/voldemort/client/protocol/admin/AdminClient.java
- Added hashCode & equals methods to AdminClient.Nodestore
- cleaned up getSocketStore to not leak concurrently created socket stores.

src/java/voldemort/utils/ConsistencyFix(CLI).java
- added parse only flag which limits that actions of the fixer to bootstrapping and parsing the input file.

Added 'dry-run' option and cleaned up help message.

'--dry-run' option goes through all of the read paths (reading files, reading from servers) and calculates what to write where, but does not actually do any writes!

Should combine --dry-run with these log4j settings:

log4j.logger.voldemort.utils.ConsistencyFix=TRACE
log4j.logger.voldemort.utils.ConsistencyFixWorker=DEBUG

Code fixes for the fixing of orphans.

src/java/voldemort/utils/ConsistencyFix.java
- added .trace output for parsing of ugly input
- pass the correct key-type into constructor

src/java/voldemort/utils/ConsistencyFixWorker.java
- substantially more .debug output to trace operation

Missed afile when doing the hand merge of consistency check stuff.

Actually invoke the BadKeyOrphanReader. Also committing a bunch of
TODOs for later cleanup.

Added basic code for repairing orphaned key,values.

src/java/voldemort/utils/ConsistencyFix.java
- added BadKeyOrphanReader extends BadKeyReader to consume different
  input file

src/java/voldemort/utils/ConsistencyFixCLI.java

- added "orphan-format" flag to indicate that the 'bad-key-file-in' is
  of orphaned key/values.

src/java/voldemort/utils/ConsistencyFixWorker.java
- added constructor to take QueryKeyResult of orphaned keys
- modified resolveReadConflicts to add orphaned key/values to
  imaginary nodes for the sake of determine the value/version to be
  repaired

Added per-server throttling to the Consistency Fixer.

Added a map of EventThrottle objects such that repair traffic to each server can be throttled. We care about throttling write rate because of its potential impact on GC and cleaning.

Re-commiting a series of ZWu's commits to the consistency fix in a single batch. The other commits were not made against the same master and so this is easier than trying to figure out what went wrong in the merge/rebase.

Complete implementation of consistency fixer.

src/java/voldemort/utils/ConsistencyFix.java
- added Execute method that orchestrates all the threads
- switched pattern of thread execution:
  - one thread for reading bad keys file that submits to ...
  - a thread pool of workers that enqueues badkeys for the ...
  - one thread writing still bad keys
  - note: construct thread pool with a blocking queue
- switched to logging (rather than System.out/err)
- added Stats tracking
- moved methods that do complicated work (getting & repairing keys) out

src/java/voldemort/utils/ConsistencyFixWorker.java
- moved methods that do complicated work (getting & repairing keys) in

src/java/voldemort/utils/ConsistencyFixCLI.java
- added 'progress-bar' option
- got rid of 'verbose' option
- moved all thread orchestration to ConsistencyFix

Heavily refactored ConsistencyFix. Some key outstanding TODOs remain.

src/java/voldemort/utils/ConsistencyFix.java
- split out much functionality
- switched from having entirely static interfaces to being a normal non-static class

src/java/voldemort/utils/ConsistencyFixCLI.java
- split out CLI aspect from ConsistencyFix

src/java/voldemort/utils/ConsistencyFixKeyGetter.java
- split out thread for getting bad keys from ConsistencyFix

src/java/voldemort/utils/ConsistencyFixRepairPutter.java
- split out thread for repairing bad keys from ConsistencyFix

Parallelized the consistency fixer. Interim checkin. Need to refactor into separate files.

src/java/voldemort/utils/ConsistencyFix.java
- 1 thread for reading  file of bad keys
- 1 thread for writing any bad keys that are not fixed
- thread pool for sending gets
- thread pool for sending puts

Separate simple admin ops from streaming ops and clean up ConsistencyFix

src/java/voldemort/client/protocol/admin/AdminClient.java
- separated simple StoerOperations from StreamingOperations
- note: renamed 'StreamingStoreOperations storeOps' to 'StreamingOperations streamingOps'
- pulled the exception handling logic out of queryKeys/repairEntries and reanmed to more generic names (getNodeKey and putNodeKeyValue).

src/java/voldemort/client/protocol/admin/QueryKeyResult.java
- made CTors public

src/java/voldemort/utils/ConsistencyFix.java
- significant clean up & refactoring
- match changes in voldemortadmintool

other
- some other TODOS
- other files touched due to renames within AdminClient

Added AdminStoreClient helper class to AdminClient.

src/java/voldemort/client/protocol/admin/AdminClient.java
- added AdminStoreClient which manages a ClientRequestExecutorPool and caches pertinent SocketStore (Store<ByteArray, byte[], byte[]>) objects. This allows the admin client to re-use connections when doing basic store operations (put, get, etc) against individual servers.
- added TODOs about other methods I think should be cleaned up
- significantly revised repairEntry
- added a queryKey method that uses the AdminStoreclient

src/java/voldemort/client/protocol/admin/RepairEntryResult.java
- return type for AdminClient.StreamingStoreOperations.repairEntry()

src/java/voldemort/utils/ConsistencyFix.java b/src/java/voldemort/utils/ConsistencyFix.java
- clean up to keep up with changes to AdminClient interfaces & types
- cleaned up TODOs

Fix errors introduced during rebase process.

Rebase with master was ugly. Picked up a bunch of AdminClient refactoring. These changes conflicted with many changes on the persistency-check branch. Had to fix the return type of AdminClient.queryKeys by hand (to iterator<QueryKeyResult>).

Added some TODO comments to AdminClient.HelperOperations methods that should move into ClusterInstance.

Also updated some copyright dates.

Minor comment/todo clean up.

Moved AdminClient.QueryKeyResult into its own file.

src/java/voldemort/client/protocol/admin/QueryKeyResult.java
- A more complete, proper class based on the inner class that had been in AdminClient.java

Added more TODOs from code review feedback.

Further refactoring.

src/java/voldemort/utils/ConsistencyFix.java
- rename inner class VoldemortInstance to ConsistencyFixContext
- Drop methods that were duplicated in StoreInstance

src/java/voldemort/utils/StoreInstance.java
- clean up comments for method getNodeIdListForPartitionIdList

Significant refactoring of util methods. Added helper classes ClusterInstance, StoreInstance, and StoreDefinitionUtil.

ClusterInstance wraps up a Cluster and List<StoreDefinition> object
and provides helper methods that operate on these objects together.

StoreInstance wraps up a Cluster and a StoreDefinition object
and provides helper methods that operate on these objects together.

StoreDefinitionUtil provides helper method that operate on either
StoreDefinition or List<StoreDefinition> objects.

Many methods have migrated out of RebalanceUtils into these new
classes.

Minor fix due to merging of persistency-check and rebalance-bug-fix branches

Minor tweak to dealing with contiguous runs of partitions.

- Hard code 10 repeated attempts to get rid of contiguous partitions.
- Added a TODO to do something perfect at some unspecified time in the future...

Fixed minor issue with tests in AdminServiceBasicTest. They were not including an appropriate zone list when constructing a cluster.

Update copyright notices.

Minor tweaks and refactoring

src/java/voldemort/utils/ClusterUtils.java
- added method to pretty print partition lists
- added methods to determine histogram of contiguous partition run lengths and pretty print
- moved verbose pretty printing of cluster details from ClusterRebalanceUtils to here

src/java/voldemort/utils/RebalanceClusterUtils.java
- randomized order in which zones are processed for shuffle algorithms

Module level refactor: split methods out of RebalanceUtils and RebalanceClusterUtils.java into new modules NodeUtils.java and ClusterUtils.java.

Any helper methods that operate on individual clusters or on individual (sets of) nodes are now in the appropriate util class.

Module level refactor : split bunch of stuff out of RebalanceUtils.java into new file RebalanceClusterUtils.java

All of the algorithms to generate a new cluster.xml that is (more) balanced has been moved into this new util class.

Addressed code review feedback on rebalance utility and cleaned up code

src/java/voldemort/client/rebalance/RebalanceCLI.java
- Changed pattern for boolean command line options to be cleaner
- Added more options to control when cross zone moves are checked
- Added more tests to confirm the specified sub-options for generate are mutually compatible
- Revised expansive secondary documentation of various options to cover all options

src/java/voldemort/client/rebalance/RebalanceClientConfig.java
- minor varaible rename

src/java/voldemort/cluster/Cluster.java
- add members and methods to track partitions & nodes by zone

src/java/voldemort/cluster/Node.java
- minor fix

src/java/voldemort/utils/RebalanceUtils.java
- refactored many of the methods I added to break them into smaller pieces
- by moving helper methods into Cluster.java, got rid of lots of redundant code
- cleaned up javadoc comments for the methods
- now prints out analysis for each try that improves balance
- validates num partitions for modified cluster same as original cluster

test/unit/voldemort/utils/RebalanceUtilsTest.java
- tests for some of the complicated/nuanced helper methods

Improvements to greedy swapping algorithm.

The completely greedy algorithm was too expensive. Have balanced the greedy approach with optional randomness & limits on number of swaps attempted in each round.

Exposed options all the way through the CLI.

Initial implementation of a greedy swapping algorithm.

Greedy swapping is unbelievably expensive because it tests every
possible pair-wise partition swap within a zone before making a single
swap. The goal is to get the most improvement possible with each swap
(to minimize the number of swaps total and so the amount of data
movement).

complete transition to max/min ratio for balancing cluster.

Tweaked rebalance swapping algorithm to improve effectiveness. Cleaned up code.

Changed logic of random swapping to iterate over zones while randomly swapping. Because of the dependencies between zones, this appears to work much better.

Cleaned up comments, TODOs, and so on to prepare for code review.

Added more rebalance options and refactored some of the rebalance utils code

- added random swap option that swaps random partitions between random nodes within a zone. This is a poor version of "simulated annealing". It produced some good results though in initial tests.

- Extended the cross zone partition move code that ensures there are no long contiguous runs of partitions within a single zone. Now, this code is followed by code that can balance the number of partitions in each zone. All of this code now runs in a loop until no further cross zone moves are performed. (A single pass of cross zone moves followed by balancing # of partitions per zone runs the risk of having contiguous partitions again.)

- Made most parameters that control these features command line options for the rebalancing --generate option.

Add option to limit the number of contiguous partitions within a zone.

- code to better balance partitions between zones is currently added
  to the main rebalance code. this may not be the right place for this
  code.

- TODO outstanding to figure out if the contig partitions manipulation
  can be done and then the rest of rebalancing can
  continue. Currently, the rest of the code gets broken and a separate
  instantiion of rebalancing needs to be done.

Made analyze cluster option much more verbose. Dumps all partition maps and summarizes some aggregate partitions per node information.

Add many options to vary how generating partitions works.

- turn on/off check to keep primary partitions within same zone
- turn on/off check for other partitions that move zones
- specify amount of randomness among num partitions per node (w/in zone)

Re-wrote logic for re-balancing partitions in RebalanceUtils.generateMinCluster().

* Separates stealer nodes from donor nodes within each zone based on a goal of evenly distributing partitions within a zone across all nodes within that zone.
* Permits rebalancing logic to be run for a target cluster.xml that does not include any new nodes.
* Much more verbose output
* A few TODOs outstanding for review discussion
  - Do multiple tries serve any purpose?
  - Does the change that may make an existing node a stealer to smooth out the partition distribution break any other rebalance logic?
  - Why does RebalanceUtils.getCrossZoneMoves sometimes return 0? This tool code be sped up by many orders of magnitude for large clusters if we could avoid calling RebalanceUtils.getCrossZoneMoves

Hack to better balance stealing/donation

Initial work on fixing out rebalance to more evenly distributed stealing and donating.

Cleaned up initial implementation of ConsistencyFix for preliminary code review.

src/java/voldemort/client/protocol/admin/AdminClient.java
- annotated repairEntry method with TODO items to get review feedback on
- Created new type QueryKeyResult to get rid of a struct of type  Pair<ByteArray, Pair<List<Versioned<byte[]>>, Exception>>

src/java/voldemort/utils/ConsistencyFix.java
- added output file to list non-fixed keys in
- modulate output based on verbose flag
- refactored giant method(s) into smaller methods
- cleaned up TODO comments for review feedback

test/unit/voldemort/client/AdminServiceBasicTest.java
- uses QueryKeyResult type

src/java/voldemort/VoldemortAdminTool.java
- uses QueryKeyResult type

Added multiple-key options to ConsistencyFix tool.

src/java/voldemort/utils/ConsistencyFix.java
- Options for keys:
  --key : single key
  --keys : list of keys on command line
  --key-file : file of keys, one per line.
  keys are in hexadecimal.
- A bunch of TODOs for next step code cleanup, hardening, improving.

First step towards a consistency fixer tool.

src/java/voldemort/utils/ConsistencyFix.java
- CLI and initial implementation of fixer
- each invocation fixes one key for one store on one cluster

src/java/voldemort/client/protocol/admin/AdminClient.java
- added repairEntry method. Very much a work-in-progress.

src/java/voldemort/utils/ByteUtils.java
- added fromHexString helper function. (Sister function of toHexString)

test/unit/voldemort/utils/ByteUtilsTest.java
- improved tests for to/from HexString

Updated ConsistencyCheck.java for new feature

Added consistency check tool. Support single partition only

Added non-zoned cluster(multiple bootstrap url) support for consistency check; This uses value hash for comparing values instead of version object