Add complete set of dependency generation flags.
[charm.git] / CHANGES
blob9eb7b9fc44bdb58b1baf8f5f5468d36ca452250f
1 This file describes the most significant changes. For more detail, use
2 'git log' on a clone of the charm repository.
4 ================================================================================
5 What's new in Charm++ 6.8.0
6 ================================================================================
8 Over 600 bug fixes, improvements, and cleanups have been applied
9 across the entire system. Major changes are described below:
11 Charm++ Features
13 - Calls to entry methods taking a single fixed-size parameter can now
14   automatically be aggregated and routed through the TRAM library by
15   marking them with the [aggregate] attribute.
17 - Calls to parameter-marshalled entry methods with large array
18   arguments can ask for asynchronous zero-copy send behavior with an
19   `rdma' tag in the parameter's declaration.
21 - The runtime system now integrates an OpenMP runtime library so that
22   code using OpenMP parallelism will dispatch work to idle worker
23   threads within the Charm++ process.
25 - Applications can ask the runtime system to perform automatic
26   high-level end-of-run performance analysis by linking with the
27   `-tracemode perfReport' option.
29 - Added a new dynamic remapping/load-balancing strategy,
30   GreedyRefineLB, that offers high result quality and well bounded
31   execution time.
33 - Improved and expanded topology-aware spanning tree generation
34   strategies, including support for runs on a torus with holes, such
35   as Blue Waters and other Cray XE/XK systems.
37 - Charm++ programs can now define their own main() function, rather
38   than using a generated implementation from a mainmodule/mainchare
39   combination. This extends the existing Charm++/MPI interoperation
40   feature.
42 - Improvements to Sections:
44   * Array sections API has been simplified, with array sections being
45   automatically delegated to CkMulticastMgr (the most efficient implementation
46   in Charm++). Changes are reflected in Chapter 14 of the manual.
48   * Group sections can now be delegated to CkMulticastMgr (improved performance
49   compared to default implementation). Note that they have to be manually
50   delegated. Documentation is in Chapter 14 of Charm++ manual.
52   * Group section reductions are now supported for delegated sections
53   via CkMulticastMgr.
55   * Improved performance of section creation in CkMulticastMgr.
57   * CkMulticastMgr uses the improved spanning tree strategies. See above.
59 - GPU manager now creates one instance per OS process and scales the
60   pre-allocated memory pool size according to the GPU memory size and
61   number of GPU manager instances on a physical node.
63 - Several GPU Manager API changes including:
65   * Replaced references to global variables in the GPU manager API with calls to
66   functions.
68   * The user is no longer required to specify a bufferID in dataInfo struct.
70   * Replaced calls to kernelSelect with direct invocation of functions passed
71   via the work request object (allows CUDA to be built with all programs).
73 - Added support for malleable jobs that can dynamically shrink and
74   expand the set of compute nodes hosting Charm++ processes.
76 - Greatly expanded and improved reduction operations:
78   * Added built-in reductions for all logical and bitwise operations
79   on integer and boolean input.
81   * Reductions over groups and chare arrays that apply commutative,
82   associative operations (e.g. MIN, MAX, SUM, AND, OR, XOR) are now
83   processed in a streaming fashion. This reduces the memory footprint of
84   reductions. User-defined reductions can opt into this mode as well.
86   * Added a new `Tuple' reducer that allows combining multiple reductions
87   of different input data and operations from a common set of source
88   objects to a single target callback.
90   * Added a new `Summary Statistics' reducer that provides count, mean,
91   and standard deviation using a numerically-stable streaming algorithm.
93 - Added a `++quiet' option to suppress charmrun and charm++ non-error
94   messages at startup.
96 - Calls to chare array element entry methods with the [inline] tag now
97   avoid copying their arguments when the called method takes its 
98   parameters by const&, offering a substantial reduction in overhead in
99   those cases.
101 - Synchronous entry methods that block until completion (marked with
102   the [sync] attribute) can now return any type that defines a PUP
103   method, rather than only message types.
105 - Static (non-generated) header files are now warning-free for
106   gcc -Wall -Wextra -pedantic.
108 - Deprecated setReductionClient and CkSetReductionClient in favor of
109   explicitly passing callbacks to contribute calls.
111 - On C++ standard library implementations with support for
112   std::is_constructible (e.g. GCC libstdc++ >4.5), chare array
113   elements only need to define a constructor taking CkMigrateMessage*
114   if it will actually be migrated.
116 - The PUP serialization framework gained support for some C++11
117   library classes, including unique_ptr and unordered_map, when the
118   underlying types have PUP operators.
120 AMPI Features
122 - More efficient implementations of message matching infrastructure, multiple
123   completion routines, and all varieties of reductions and gathers.
125 - Support for user-defined non-commutative reductions, MPI_IN_PLACE, cancelling
126   receive requests, MPI_THREAD_FUNNELED, PSCW synchronization for RMA, and more.
128 - Fixes to AMPI's extensions for load balancing and to Isomalloc on SMP builds.
130 - More robust derived datatype support, optimizations for truly contiguous types.
132 - ROMIO is now built on AMPI and linked in by ampicc by default.
134 Platforms and Portability
136 - The runtime system code now requires compiler support for C++11
137   R-value references and move constructors. This is not expected to be
138   incompatible with any currently supported compilers.
140 - The next feature release (anticipated to be 6.9.0 or 7.0) will require
141   full C++11 support from the compiler and standard library.
143 - Added support for IBM POWER8 systems with the PAMI communication API,
144   such as development/test platforms for the upcoming Sierra and Summit
145   supercomputers at LLNL and ORNL. Contributed by Sameer Kumar of IBM.
147 - Mac OS (darwin) builds now default to the modern libc++ standard
148   library instead of the older libstdc++.
150 - Blue Gene/Q build targets have been added for the `bgclang' compiler.
152 - Charm++ can now be built on Cray's CCE 8.5.4+.
154 - Charm++ will now build without custom configuration on Arch Linux
156 - Charmrun can automatically detect rank and node count from
157   Slurm/srun environment variables.
159 - Many obsolete architecture, network, and compiler support files have
160   been removed. These include:
161   * IBM Blue Gene/P
162   * Sony/Toshiba/IBM Cell (including PlayStation 3)
163   * Cray XT
164   * Intel IA-64 (Itanium)
165   * Intel x86-32 for Windows, Mac OS X (darwin), and Solaris
166   * Cygwin for Windows
167   * Older IBM AIX/POWER configurations
168   * GCC 3 and KAI compilers
169   * Sun/Oracle Solaris
171 ================================================================================
172 What's new in Charm++ 6.7.1
173 ================================================================================
175 Changes in this release are primarily bug fixes for 6.7.0. The major exception
176 is AMPI, which has seen changes to its extension APIs and now complies with more
177 of the MPI standard. A brief list of changes follows:
179 Charm++ Bug Fixes
181 - Startup and exit sequences are more robust
183 - Error and warning messages are generally more informative
185 - CkMulticast's set and concat reducers work correctly
187 AMPI Features
189 - AMPI's extensions have been renamed to use the prefix AMPI_ instead of MPI_
190   and to generally follow MPI's naming conventions
192 - AMPI_Migrate(MPI_Info) is now used for dynamic load balancing and all fault
193   tolerance schemes (see the AMPI manual)
195 - AMPI officially supports MPI-2.2, and also implements the non-blocking
196   collectives and neighborhood collectives from MPI-3.1
198 Platforms and Portability
200 - Cray regularpages build target has been fixed
202 - Clang compiler target for BlueGene/Q systems added
204 - Comm. thread tracing for SMP mode added
206 - AMPI's compiler wrappers are easier to use with autoconf and cmake
208 ================================================================================
209 What's new in Charm++ 6.7.0
210 ================================================================================
212 Over 120 bugs fixed, spanning areas across the entire system
214 Charm++ Features
216 - New API for efficient formula-based distributed sparse array creation
218 - CkLoop is now built by default
220 - CBase_Foo::pup need not be called from Foo::pup in user code anymore - runtime
221   code handles this automatically
223 - Error reporting and recovery in .ci files is greatly improved, providing more
224   precise line numbers and often column information
226 - Many data races occurring under shared-memory builds (smp, multicore) were
227   fixed, facilitating use of tools like ThreadSanitizer and Helgrind
229 AMPI Enhancements
231 - Further MPI standard compliance in AMPI allows users to build and run
232   Hypre-2.10.1 on AMPI with virtualization, migration, etc.
234 - Improved AMPI Fortran2003 PUP interface 'apup', similar to C++'s STL PUP
236 Platforms and Portability
238 - Compiling Charm++ now requires support for C++11 variadic templates. In GCC,
239   this became available with version 4.3, released in 2008
241 - New machine target for multicore Linux ARM7: multicore-linux-arm7
243 - Preliminary support for POWER8 processors, in preparation for the upcoming
244   Summit and Sierra supercomputers
246 - The charmrun process launcher is now much more robust in the face of slow
247   or rate-limited connections to compute nodes
249 - PXSHM now auto-detects the node size, so the '+nodesize' is no longer needed
251 - Out-of-tree builds are now supported
253 Deprecations
255 - CommLib has been removed.
257 - CmiBool has been dropped in favor of C++'s bool
260 ================================================================================
261 What's new in Charm++ 6.6.1
262 ================================================================================
264 Changes in this release are primarily bug fixes for 6.6.0. A concise list of
265 affected components follows:
267 - CkIO
269 - Reductions with syncFT
271 - mpicxx based MPI builds
273 - Increased support for macros in CI file
275 - GNI + RDMA related communication
277 - MPI_STATUSES_IGNORE support for AMPIF
279 - Restart on different node count with chkpt
281 - Immediate msgs on multicore builds
283 ================================================================================
284 What's new in Charm++ 6.6.0
285 ================================================================================
287 - Machine target files for Cray XC systems ('gni-crayxc') have been added
289 - Interoperability with MPI code using native communication interfaces on Blue
290   Gene Q (PAMI) and Cray XE/XK/XC (uGNI) systems, in addition to the universal
291   MPI communication interface
293 - Support for partitioned jobs on all machine types, including TCP/IP and IB
294   Verbs networks using 'netlrts' and 'verbs' machine layers
296 - A substantially improved version of our asynchronous library, CkIO, for
297   parallel output of large files
299 - Narrowing the circumstances in which the runtime system will send
300   overhead-inducing ReductionStarting messages
302 - A new fully distributed load balancing strategy, DistributedLB, that produces
303   high quality results with very low latency
305 - An API for applications to feed custom per-object data to specialized load
306   balancing strategies (e.g. physical simulation coordinates)
308 - SMP builds on LRTS-based machine layers (pamilrts, gni, mpi, netlrts, verbs)
309   support tracing messages through communication threads
311 - Thread affinity mapping with +pemap now supports Intel's Hyperthreading more
312   conveniently
314 - After restarting from a checkpoint, thread affinity will use new
315   +pemap/+commap arguments
317 - Queue order randomization options were added to assist in debugging race
318   conditions in application and runtime code
320 - The full runtime code and associated libraries can now compile under the C11
321   and C++11/14 standards.
323 - Numerous bug fixes, performance enhancements, and smaller improvements in the
324   provided runtime facilities
326 - Deprecations
327   * The long-unsupported FEM library has been deprecated in favor of ParFUM
328   * The CmiBool typedefs have been deleted, as C++ bool has long been universal
329   * Future versions of the runtime system and libraries will require some degree
330     of support for C++11 features from compilers
332 ================================================================================
333 What's new in Charm++ 6.5.0
334 ================================================================================
336 - The Charm++ manual has been thoroughly revised to improve its organization,
337   comprehensiveness, and clarity, with many additional example code snippets
338   throughout.
340 - The runtime system now includes the 'Metabalancer', which can provide
341   substantial performance improvements for applications that exhibit dynamic
342   load imbalance. It provides two primary benefits. First, it automatically
343   optimizes the frequency of load balancer invocation, to avoid work stoppage
344   when it will provide too little benefit. Second, calls to AtSync() are made
345   less synchronous, to further reduce overhead when the load balancer doesn't
346   need to run. To activate the Metabalancer, pass the option +MetaLB at
347   runtime. To get the full benefits, calls to AtSync() should be made at every
348   iteration, rather than at some arbitrary longer interval as was previously
349   common.
351 - Many feature additions and usability improvements have been made in the
352   interface translator that generates code from .ci files:
353   * Charmxi now provides much better error reports, including more accurate
354     line numbers and clearer reasons for failure, including some semantic
355     problems that would otherwise appear when compiling the C++ code or even at
356     runtime.
357   * A new SDAG construct 'case' has been added that defines a disjunction over a
358     set of 'when' clauses: only one 'when' out of a set will ever be triggered.
359   * Entry method templates are now supported. An example program can be found
360     in tests/charm++/method_templates/.
361   * SDAG keyword "atomic" has been deprecated in favor of the newly supported
362     keyword "serial". The two are synonymous, but "atomic" is now provided only
363     for backward compatibility.
364   * It is no longer necessary to call __sdag_init() in chares that contain SDAG
365     code - the generated code does this automatically. The function is left as
366     a no-op for compatibility, but may be removed in a future version.
367   * Code generated from .ci files is now primarily in .def.h files, with only
368     declarations in .decl.h. This improves debugging, speeds compilation,
369     provides clearer compiler output, and enables more complete encapsulation,
370     especially in SDAG code.
371   * Mainchare constructors are expected to take CkArgMsg*, and always have
372     been. However, charmxi would allow declarations with no argument, and
373     assume the message. This is now deprecated, and generates a warning.
375 - Projections tracing has been extended and improved in various ways
376   * The trace module can generate a record of network topology of the nodes in
377     a run for certain platforms (including Cray), which Projections can
378     visualize.
379   * If the gzip library (libz) is available when Charm++ is compiled, traces
380     are compressed by default.
381   * If traces were flushed as a results of filled buffers during the run, a
382     warning will be printed at exit to indicate that the user should be wary of
383     interference that may have resulted.
384   * In SMP builds, it is now possible to trace message progression through the
385     communication threads. This is disabled by default to avoid overhead and
386     potential misleading interpretation.
388 - Array elements can be block-mapped at the SMP node level instead of at the
389   per-PE level (option "+useNodeBlkMapping").
391 - AMPI can now privatize global and static variables using TLS. This is
392   supported in C and C++ with __thread markings on the variable declarations
393   and definitions, and in Fortran with a patched version of the gfortran
394   compiler. To activate this feature, append '-tls' to the '-thread' option's
395   argument when you link your AMPI program.
397 - Charm can now be built to only support message priorities of a specific data
398   type. This enables an optimized message queue within the the runtime
399   system. Typical applications with medium sized compute grains may not benefit
400   noticeably when switching to the new scheduler. However, this may permit
401   further optimizations in later releases.
403   The new queue is enabled by specifying the data type of the message
404   priorities while building charm using --with-prio-type=dtype. Here, dtype can
405   be one of char, short, int, long, float, double and bitvec. Specifying bitvec
406   will permit arbitrary-length bitvector priorities, and is the current default
407   mode of operation. However, we may change this in a future release.
409 - Converse now provides a complete set of wrappers for
410   fopen/fread/fwrite/fclose to handle EINTR, which is not uncommon on the
411   increasingly-popular Lustre. They are named CmiF{open,read,write,close}, and
412   are available from C and C++ code.
414 - The utility class 'CkEntryOptions' now permits method chaining for cleaner
415   usage. This applies to all its set methods (setPriority, setQueueing,
416   setGroupDepID). Example usage can be found in examples/charm++/prio/pgm.C.
418 - When creating groups or chare arrays that depend on the previous construction
419   of another such entity on the local PE, it is now possible to declare that
420   dependence to the runtime. Creation messages whose dependence is not yet
421   satisfied will be buffered until it is.
423 - For any given chare class Foo and entry method Bar, the supporting class's
424   member CkIndex_Foo::Bar() is used to lookup/specify the entry method
425   index. This release adds a newer API for such members where the argument is a
426   function pointer of the same signature as the entry method. Those new
427   functions are used like CkIndex_Foo::idx_Bar(&Foo::Bar). This permits entry
428   point index lookup without instantiating temporary variables just to feed the
429   CkIndex_Foo::Bar() methods. In cases where Foo::Bar is overloaded, &Foo::Bar
430   must be cast to the desired type to disambiguate it.
432 - CkReduction::reducerType now have PUP methods defined; and can hence be
433   passed as parameter-marshalled arguments to entry methods.
435 - The runtime option +stacksize for controlling the allocation of user-level
436   threads' stacks now accepts shorthanded annotation such as 1M.
438 - The -optimize flag to the charmc compiler wrapper now passes more aggressive
439   options to the various underlying compilers than the previous '-O'.
441 - The charmc compiler wrapper now provides a flag -use-new-std to enable
442   support for C11 and C++11 where available. To use this in application code,
443   the runtime system must have been built with that flag as well.
445 - When using, CmiMemoryUsage(), the runtime can be instructed not to use the
446   underlying mallinfo() library call, which can be inaccurate in settings where
447   usage exceeds INT_MAX. This is accomplished by setting the environment
448   variable "MEMORYUSAGE_NO_MALLINFO".
450 - Experimental Features
451   * Initial implementation of a fast message-logging protocol. Use option
452     'mlogft' to build it.
453   * Message compression support for persistent message on Gemini machine layer.
454   * Node-level inter-PE loop/task parallelization is now supported through
455     CkLoop
456   * New temperature/CPU frequency aware load balancer
457   * Support interoperation of Charm++ and native MPI code through dynamically
458     switching control between the two
459   * API in centralized load balancers to get and set PE speed
460   * A new scheme for optimization of double in-memory checkpoint/restart.
461   * Message combining library for improved fine-grained communication
462     performance
463   * Support for partitioning of allocated nodes into subsets that run
464     independent Charm++ instances but can interact with each other.
466 Platform-Specific Changes
467 -------------------------
469 - Cray XE/XK
470   * The gemini_gni network layer has been heavily tuned and optimized,
471     providing substantial improvements in performance, scalability, and
472     stability.
473   * The gemini_gni-crayxe machine layer supports a 'hugepages' option at build
474     time, rather than requiring manual configuration file editing.
475   * Persistent message optimizations can be used to reduce latency and
476     overheads
477   * Experimental support for 'urgent' sends, which are sent ahead of any other
478     outgoing messages queued for transmission.
480 - IBM Blue Gene Q: Experimental machine-layer support for the native PAMI
481   interface and MPI, with and without SMP support. This supports many new
482   systems, including LLNL's Sequoia, ALCF's Mira, and FZ Juelich's Juqueen.
484   There are three network-layer implementations for these systems: 'mpi',
485   'pami', and 'pamilrts'. The 'mpi' layer is stable, but its performance and
486   scalability suffers from the additional overhead of using MPI rather than
487   driving the interconnect directly. The 'pami' layer is well tested for NAMD,
488   but has shown instability for other applications. It is likely to be replaced
489   by the 'pamilrts' layer, which is more generally stable and seems to provide
490   the same performance, in the next release.
492   In addition to the common 'smp' option to build the runtime system with
493   shared memory support, there is an 'async' option which sometimes provides
494   better performance on SMP builds. This option passes tests on 'pamilrts', but
495   is still experimental.
497   Note: Applications that have large number of messages may crash in default
498   setup due to overflow in the low-level FIFOs. Environment variables
499   MUSPI_INJFIFOSIZE and PAMI_RGETINJFIFOSIZE can be set to avoid application
500   failures due to large number of small and large messages respectively. The
501   default value of these variable is 65536 which is sufficient for 1000
502   messages in flight.
504 - Infiniband Verbs: Better support for more flavors of ibverbs libraries
506 - MPI Network Layer
507   * Experimental rendezvous protocol for better performance above some MPI
508     implementations.
509   * Some tuning parameters ("+dynCapSend" and "+dynCapRecv") are now
510     configurable at job launch, rather than Charm++ compilation.
512 - PGI C++: Disable automatic 'using namespace std;'
514 - Charm++ now supports ARM, both non-smp and smp.
516 - Mac OS X: Compilation options to build and link correctly on newer versions
519 ================================================================================
520 What's new in Charm++ 6.4.0
521 ================================================================================
523 --------------------------------------------------------------------------------
524 Platform Support
525 --------------------------------------------------------------------------------
527 - Cray XE and XK systems using the Gemini network via either MPI
528   (mpi-crayxe) or the native uGNI (gemini_gni-crayxe)
530 - IBM Blue Gene Q, using MPI (mpi-bluegeneq) or PAMI (pami-bluegeneq)
532 - Clang, Cray, and Fujitsu compilers
534 - MPI-based machine layers can now run on >64k PEs
536 --------------------------------------------------------------------------------
537 General Changes
538 --------------------------------------------------------------------------------
540 - Added a new [reductiontarget] attribute to enable
541   parameter-marshaled recipients of reduction messages
543 - Enabled pipelining of large messages in CkMulticast by default
545 - New load balancers added:
546   * TreeMatch
547   * Zoltan
548   * Scotch graph partitioning based: ScotchLB and Refine and Topo variants
549   * RefineSwap
551 - Load balancing improvements:
553   * Allow reduced load database size using floats instead of doubles
554   * Improved hierarchical balancer
555   * Periodic balancing adapts its interval dynamically
556   * User code can request a callback when migration is complete
557   * More balancers properly consider object migratability and PE
558     availability and speed
559   * Instrumentation records multicasts
561 - Chare arrays support options that can enable some optimizations
563 - New 'completion detection' library for parallel process termination
564   detection, when the need for modularity excludes full quiescence
565   detection
567 - New 'mesh streamer' library for fine-grain many-to-many collectives,
568   handling message bundling and network topology
570 - Memory pooling allocator performance and resource usage improved
571   substantially
573 - AMPI: More routines support MPI_IN_PLACE, and those that don't check
574   for it
576 ================================================================================
577 What's new in Charm++ 6.2.1 (since 6.2.0)
578 ================================================================================
580 --------------------------------------------------------------------------------
581 New Supported Platforms:
582 --------------------------------------------------------------------------------
584 POWER7 with LAPI on Linux
586 Infiniband on PowerPC
588 --------------------------------------------------------------------------------
589 General Changes
590 --------------------------------------------------------------------------------
592 - Better support for multicasts on groups
593 - Topology information gathering has been optimized
594 - Converse (seed) load balancers have many new optimizations applied
595 - CPU affinity can be set more easily using +pemap and +commap options
596   instead of the older +coremap
597 - HybridLB (hierarchical balancing for very large core-count systems)
598   has been substantially improved
599 - Load balancing infrastructure has further optimizations and bug fixes
600 - Object mappings can be read from a file, to allow offline
601   topology-aware placement
602 - Projections logs can be spread across multiple directories, speeding
603   up output when dealing with thousands of cores (+trace-subdirs N
604   will divide log files evenly among N subdirectories of the trace
605   root, named PROGNAME.projdir.K)
606 - AMPI now implements MPI_Issend
607 - AMPI's MPI_Alltoall uses a flooding algorithm more agressively,
608   versus pairwise exchange
609 - Virtualized ARMCI support has been extended to cover the functions
610   needed by CAF
612 --------------------------------------------------------------------------------
613 Architecture-specific changes
614 --------------------------------------------------------------------------------
616 - LAPI SMP has many new optimizations applied
618 - Net builds support the use of clusters' mpiexec systems for job
619   launch, via the ++mpiexec option to charmrun
621 ================================================================================
622 What's new in Charm++ 6.2.0 (since 6.1)
623 ================================================================================
625 --------------------------------------------------------------------------------
626 New Supported Platforms:
627 --------------------------------------------------------------------------------
629 64-bit MIPS, such as SiCortex, using mpi-linux-mips64
631 Windows HPC cluster, using mpi-win32/mpi-win64
633 Mac OSX 10.6, Snow Leopard (32-bit and 64-bit).
635 --------------------------------------------------------------------------------
636 General Changes
637 --------------------------------------------------------------------------------
639 Runtime support
640  - Smarter build/configure scripts
641  - A new interface for model-based load balancing
642  - new CPU topology API
643  - a general implementation of CmiMemoryUsage()
644  - Bug fix: Quiescence detection (QD) works with immediate messages
645  - New reduction functions implemented in Converse
646  - CCS (Converse Client-Server) can deliver message to more than one processor
647  - Added a memory-aware adaptive scheduler, which can be optionally
648    compiled in to charm
649  - Added preliminary support for automatic message prioritization
650    (disabled by default)
652 Charm++
653  - Cross-array and cross-group sections
654  - Structured Dagger (SDAG): Support templated arguments properly
655  - Plain chares support checkpoint/restart (both in-memory and disk-based)
656  - Conditional packing of messages and parameters in SMP scenario
657  - Changes to the CkArrayIndex class hierarchy
658    -- sizeof() all CkArrayIndex* classes is now the same
659    -- Codes using custom array indices have to use placement-new to construct
660       their custom index. Refer example code: examples/charm++/hello/fancyarray/
661    -- *** Backward Incompatibility ***
662       CkArrayIndex[4D/5D/6D]::index are now of type int (instead of short)
663       However the data is stored as shorts. Access by casting
664       CkArrayIndexND::data() appropriately
665    -- *** Deprecated ***
666       The direct use of public data member
667       CkArrayIndexND::index (N=1..6) is deprecated. We reserve the right to
668       change/remove this variable in future releases of Charm++.
669       Instead, please access the indices via member function:
670       int CkArrayIndexND::data()
672 Adaptive MPI (AMPI)
673  - Compilers renamed to avoid collision with host MPI (ampicc, ampiCC,
674    ampif77, ampif90)
675  - Improved MPI standard conformance, and documentation of non-conformance
676    * Bug fixes in: MPI_Ssend, MPI_Cart_shift, MPI_Get_count
677    * Support MPI_IN_PLACE in MPI_(All)Reduce
678    * Define various missing constants
679  - Return the received message's tag in response to a non-blocking
680    wildcard receive, to support SuperLU
681  - Improved tracing for BigSim
683 Multiphase Shared Arrays (MSA)
684  - Typed handles to enforce phases
685  - Split-phase synchronization to enable message-driven execution
686  - 3D arrays
688 TCharm
689  - Automatic tracing of API calls for simulation and analysis
691 Debugging
692  - Wider support for architectures other than net- (in particular MPI layers)
693  - Improved support for large scale debugging (better scalability)
694  - Enhanced record/replay stability to handle various events, and to
695    signal unexpected messages
696  - New detailed record/replay: The full content of messages can be
697    recorded, and a single processor can be re-executed outside of the
698    parallel application
700 Performance analysis
701  - Tracing of nested entry methods
703 Automatic Performance Tuning
704  - Created an automatic tuning framework [still for experimental use only]
706 CkMulticast
707  - Network-topology / node aware spanning trees used internally for and
708    lower bytes on the network and improved performance in multicasts and
709    reductions delegated to this library
711 Comlib
712  - Improved OneTimeMulticastStrategy classes
714 BigSim
715  - Out-of-core support, with prefetching capability
716  - Detailed tracing of MPI calls
717  - Detailed record/replay support at emulation time, capable of
718    replaying any emulated processor after obtained recorded logs.
720 --------------------------------------------------------------------------------
721 Architecture-specific changes
722 --------------------------------------------------------------------------------
724 Net-*
725  - Can run jobs with more than 1024 PEs
727 Net-Linux
728  - New charmrun option ++no-va-randomization to disable address space
729    randomization (ASLR). This is most useful for running AMPI with
730    isomalloc
733  - Default to using ampicxx instead of mpiCC
735 MPI-SMP
736  - The +p option now has the same semantics as in other smp builds
738 Power 7
739  - Support for VSX in SIMD abstraction API
741 Blue Gene/L
742  - Compilers and options have been updated to the latest ones
744 Blue Gene/P
745  - Added routines for measuring performance counters on BG/P.
746  - Updated to support latest DCMF driver version. On ANL's Intrepid, you may
747    need to set BGP_INSTALL=/bgsys/drivers/V1R4M1_460_2009-091110P/ppc in your
748    environment. This is the default on ANL's Surveyor.
750 Cray XT
751  - cputopology information is now available on XT3/4/5
753 Infiniband (ibverbs)
754  - Bug fix: plug memory leaks that caused failures in long runs
755  - Optimized to reduce startup delays
757 LAPI
758  - Support for SMP (experimental)
761 ================================================================================
762 Note that changes from 5.9, 6.0, and 6.1 are not documented here. A partial list
763 can be found on the charm download page, or by reading through version control
764 logs.
766 ================================================================================
767 What's New since Charm++ 5.4 release 1
768 ================================================================================
770 --------------------------------------------------------------------------------
771 New Supported Platforms:
772 --------------------------------------------------------------------------------
773 1. Charm++ ported to IA64 Itanium running Win2K and Linux, Charm++ also support
774    Intel C/C++ compilers;
776 2. Charm++ ported to Power Macintosh powerpc running Darwin;
778 3. Charm++ ported to Myrinet networking with GM API;
780 --------------------------------------------------------------------------------
781 Summary of New Features:
782 --------------------------------------------------------------------------------
783 1. Structure Dagger
784    Structured Dagger is a coordination language built on top of CHARM++.
785    Structured Dagger allows easy expression of dependences among messages and 
786    computations and also among computations within the same object using 
787    when-blocks and various structured constructs. 
789 2. Entry functions support parameter marshalling
790    Now you can declare and invoke remote entry functions using parameter 
791    marshalling instead of defining messages.
793 3. Easier running - standalone mode
794    For net-* version running locally, you can now run Charm programs without 
795    charmrun. Running a node program directly from command line is now the
796    same as "charmrun +p1 <program>"; for SMP version, you can also specify 
797    multiple (local) processors, as in "program +p2".
798    
800 --------------------------------------------------------------------------------
801 Summary of Changes:
802 --------------------------------------------------------------------------------
803 1. "build" changed for compilation of Charm++
804    To build Charm++ from scratch, we now take additional command line options
805    to compile with addon features and using different compilers other than gcc.
806    For example, to build Linux IA64 with Myrinet support, type command:
807    ./build net-linux-ia64  gm
810                 *******   Old Change histories *******
813 ================================================================================
814 What's New in Charm++ 5.4 release 1 since 5.0
815 ================================================================================
817 --------------------------------------------------------------------------------
818 New Supported Platforms:
819 --------------------------------------------------------------------------------
821 1. Win9x/2000/NT:  with Visual C++ or Cygwin gcc/g++, you can compile and run 
822    Charm++ programs on all Win32 platforms.
823    
824 2. Scyld Beowulf:  Charm++ has been ported to the Linux-based Scyld Beowulf 
825    operating system. For more information on Scyld, see <http://www.scyld.com>
827 3. MPI with VMI:   Charm++ has been ported to NCSA's Virtual Machine Interface,
828    which is an efficient messaging library for heterogeneous cluster 
829    communication.
832 --------------------------------------------------------------------------------
833 Summary of New Features:
834 --------------------------------------------------------------------------------
835 1. Dynamic Load balancing:
836    Chare migration is supported in the new release. Migration-based dynamic 
837    load balancing framework with various load balancing strategies library has 
838    been added.
840 2. Chare Array
841    Charm++ array is supported. You can now create an array of Chare objects
842    and use array index to refer the Charm++ array elements. A reduction
843    library on top of Chare array has been implemented and included.
845 3. Projections
846    Projections, a Java application for Charm++ program performance analysis and 
847    visualization, has been included and distributed in the new release. Two
848    trace modes are available: trace-projections and trace-summary. Trace-summary
849    is a light-weight trace library compared to trace-projections.
851 4. AMPI
852    AMPI is a load-balancing based library for porting legacy MPI applications 
853    to Charm++. With few changes in the original MPI code to AMPI, the new
854    legacy MPI application on Charm++ will gain from Charm++'s adptive 
855    load balancing ability.
857 5. Easier invocation
858    "Charmrun" is now available on all platforms, with a uniform command line 
859    syntax. You can forget the difference between net-* versions and MPI versions,
860    and run charm++ application with this same charmrun command syntax. 
861    ++local option is added in charmrun for net-* version, it provides
862    simple local use of Charm and no longer require the ability to 
863    "rsh localhost" or a nodelist file in order to run charm only on the local
864    machine. This is especially attractive when you run Charm++ on Windows.
866 6. New libraries:
867    Many new libraries have been added in this release. They include:
868    1) master-slave library: for writing manager-worker paradigm programs.
869    2) receiver library: provide asynchronous communication mode for chare array.
870    3) f90charm:  provides Fortran90 bindings for Charm++ Array.
871    4) BlueGene:  a Charm++/Converse emulator for IBM proposed Blue Gene.
873 --------------------------------------------------------------------------------
874 Summary of Changes:
875 --------------------------------------------------------------------------------
876 1. message declaration syntax in .ci file:
877    The message declaration syntax for packed/varsize messages has been changed.
878    The packed/varsize keywords are eliminated, and you can specify the actual
879    actual varsize arrays in the interface file and have the translator generate
880    alloc, pack and unpack.
883 Here is the detailed list of Changes:
885 --------------------------------------------------------------------------------
886 Major Features:
887 --------------------------------------------------------------------------------
889 10/06/1999      rbrunner        Added migration-based dynamic load balancing
890                                 framework.
891 11/15/1999      olawlor         Added reduction support foe Charm++ arrays
892 02/06/2000      milind          Added AMPI, an implementation of MPI with
893                                 dynamic load balancing
894 02/18/2000      paranjpy        New platforms supported: net-win32, and                                         net-win32-smp
895 04/04/2000      olawlor         Added arbitrarily indexed Charm++ arrays.
896                                 Also, added translator support for new arrays.
897 04/15/2000      olawlor         Added "puppers" for packing and unpacking 
898                                 objects.
899 06/14/2000      milind          Added the threaded FEM framework.
901 --------------------------------------------------------------------------------
902 Minor Features:
903 --------------------------------------------------------------------------------
905 10/09/1999      rbrunner        Added packlib, a library for C and C++ to 
906                                 pack-unpack data to/from Charm++ messages.
907 10/13/1999      gzheng          New LB strategy: RefineLB
908 10/13/1999      paranjpy        New LB Strategy: Heap
909 10/14/1999      milind          New LB Strategy: Metis
910 10/19/1999      olawlor         New test program for testing LB strategies.
911 10/21/1999      gzheng          New trace mode: trace-summary
912 10/28/1999      milind          New supported platform: net-sol-x86
913 10/29/1999      milind          Added runtime checks for ChareID assignment.
914 11/10/1999      rbrunner        Added Neighborhood base strategy for LB 
915                                 framework.
916 11/15/1999      olawlor         conv-host now reads in a startup file 
917                                 ~/.conv-hostrc
918 11/15/1999      olawlor         New test program for testing array reductions.
919 11/16/1999      rbrunner        Added processor-speed checking functions to
920                                 LB framework
921 11/19/1999      milind          Mapped SIGUSR to a Ccd condtion handler
922 11/22/1999      rbrunner        New LB strategy: WSLB
923 11/29/1999      ruiliu          Modified Metis LB strategy to deal with 
924                                 different processor speeds
925 12/16/1999      rbrunner        New LB strategy: GreedyRef
926 12/16/1999      rbrunner        New LB strategy: RandRef
927 12/21/1999      skumar2         New LB strategy: CommLB
928 01/03/2000      rbrunner        New LB strategy: RecBisectBfLB
929 01/08/2000      skumar2         New LB strategy: Comm1LB, with varying processor
930                                 speeds
931 01/18/2000      milind          Modified SM library syntax, and added a test
932                                 program for SM.
933 01/19/2000      gzheng          Added irecv, a library to simplify conversion
934                                 of message-passing programs to Charm++
935 02/20/2000      olawlor         Added preliminary broadcast support to Charm++
936                                 arrays.
937 02/23/2000      paranjpy        Added converse-level quiescence detection
938 03/02/2000      milind          Added ++server-port option to pre-specify
939                                 CCS port.
940 03/10/2000      wilmarth        Random seed-based load balancer now uses
941                                 bit-vector for active PEs.
942 03/21/2000      gzheng          Added support for marking user-defined events 
943                                 in trace-summary.
944 03/28/2000      wilmarth        Added CMK_TRUECRASH. Very helpful for
945                                 post-mortem debugging of Charm++ programs on
946                                 net-* versions.
947 03/31/2000      jdesouza        Added Fortran90 support to the Charm++ 
948                                 interface translator.
949 03/09/2000      milind          Added support for -LANG and -rpath options 
950                                 in charmc for Origin2000.
951 04/28/2000      milind          Added prioritized converse threads.
952 05/01/2000      milind          Added test programs for TeMPO, AMPI and irecv.
953 05/04/2000      milind          New supported platform: mpi-sp.
954 05/04/2000      gzheng          Added irecv pingpong program.
955 05/17/2000      olawlor         Each chare, group and array element now has to
956                                 have migration constructor.
957 05/24/2000      milind          Added Jacobi3D programs for irecv and AMPI both.
958 05/24/2000      milind          Made migratable an optional attribute of 
959                                 chares, groups, and nodegroups.  
960                                 Arrays are by default migratable.
961 05/29/2000      paranjpy        Added pup methods to arrays, reductions etc 
962                                 internal objects.
963 06/13/2000      milind          Made CtvInitialize idempotent.  That is, it 
964                                 can be called by any number of threads now, 
965                                 only the first one will actually do 
966                                 CtvInitialize.
967 06/20/2000      milind          Added a simple test program for the FEM 
968                                 framework.
969 07/06/2000      milind          Imported Metis 4.0 sources in the CVS tree. 
970                                 Also added code to make metis libraries and 
971                                 executables to Makefile.
972 07/07/2000      milind          Added more meaningfull error messages using 
973                                 perror in addition to a cryptic error codes in
974                                 net-* versions.
975 07/10/2000      milind          fem and femf are now recognized as "languages" 
976                                 by charmc.
977 07/10/2000      saboo           Added the derived datatypes library.
978 07/13/2000      milind          Added +idle_timeout functionality. It takes a 
979                                 commandline parameter denoting milliseconds of 
980                                 maximum consecutive idle time allowed per 
981                                 processor.
982 07/14/2000      milind          Added group multicast. Added 
983                                 CkSendMsgBranchMulti, CldEnqueueMulti, and 
984                                 translator changes to support it.
985 07/14/2000      milind          SUPER_INSTALL now takes "-*" arguments prior 
986                                 to the target, that will be passed to make as 
987                                 "makeflags". This makes it easy to suppress 
988                                 make's output of commands etc (with the -s 
989                                 flag). As a result of this, several Makefiles 
990                                 have been massaged.
991 07/18/2000      milind          Added support for using "dbx" on suns as 
992                                 debugger.
993 07/19/2000      milind          Added ability to tracemode projections which 
994                                 produces binary trace files. Use flag 
995                                 +binary-trace on the command line.
996 07/26/2000      milind          Separated AMPI from TeMPO.
997 07/28/2000      milind          Added test programs to test reduce, alltoall 
998                                 and allreduce functionality of AMPI.
999 08/02/2000      milind          Added an option to let the user specify which 
1000                                 "xterm" to use.  For example, on some systems 
1001                                 (CDE), only dtterm is installed.  So, by 
1002                                 putting ++xterm dtterm on the conv-host 
1003                                 commandline, one can use dtterm when ++in-xterm
1004                                 option is specified on conv-host commandline.
1005 08/14/2000      milind          FEM Framework: Added capabilities to handle 
1006                                 esoteric meshes to standalone offline programs.
1007                                 Makefile now produces gmap and fgmap programs, 
1008                                 which are used for this purpose.  They convert 
1009                                 the mesh to a graph before partitioning it 
1010                                 using Metis.
1011 08/24/2000      milind          Added the 2D crack propagation program as a 
1012                                 test program for FEM framework.
1013 08/25/2000      milind          Initial implementation of isomalloc-based 
1014                                 threads.  This implementation uses a fixed 
1015                                 stack size for all threads (can be set at 
1016                                 runtime.)
1017 08/26/2000      milind          Added a macro CtvAccessOther that lets you 
1018                                 get/set a Ctv variable of any thread.  It 
1019                                 should be invoked as CtvAccessOther(thread,
1020                                 varname); Added CthGetData function to each of 
1021                                 the threads implementation.  This function is 
1022                                 used in the CtvAccessOther macro.
1023 08/27/2000      milind          FEM Framework: Separated mesh to graph 
1024                                 conversion capability into a separate program.
1025                                 This way, the generated graph can be partitioned
1026                                 repeatedly.
1027 09/04/2000      milind          Added the class static readonly variables to 
1028                                 ci file syntax.
1029 09/05/2000      milind          FEM Framework: A very fast O(n) algorithm for 
1030                                 mesh2graph , uses more memory, but the tradeoff
1031                                 was worth it. Coded by Karthik Mahesh, minor 
1032                                 optimizations by Milind.
1033 09/05/2000      milind          Added a barebones charm kernel scheduling 
1034                                 overhead measurement program.
1035 09/15/2000      milind          Added pup support for AMPI and FEM framework.
1036 09/20/2000      olawlor         Added capability to have an array of base type 
1037                                 where individual element could be of derived 
1038                                 types.
1039 10/03/2000      gzheng          New supported platform: net-linux-axp
1040 10/05/2000      skumar2         Added program littleMD to the test suite.
1041 10/07/2000      skumar2         New job scheduler (Faucets projects).
1042 10/15/2000      milind          Improved support for Fortran90 in charmc.
1043 11/04/2000      jdesouza        Made the Faucets scheduler multi-threaded.
1044 11/05/2000      olawlor         FEM Framework: supports multiple element types,
1045                                 mesh re-assembly, etc.
1046 11/15/2000      gzheng          New platform support: net-cygwin
1047 11/18/2000      gzheng          conv-host no longer needs /bin/csh to start 
1048                                 remote program.  set 
1049                                 CMK_CONV_HOST_CSH_UNAVAILABLE to 1 to use 
1050                                 /bin/sh instead.
1051 11/25/2000      milind          Finished experimental implementation of 
1052                                 converse-threads based on co-operative pthreads.
1053 11/25/2000      milind          Added a benchmark suite of all pingpongs in
1054                                 Charm++.
1055 11/28/2000      milind          Removed deletion of _idx at the end of every 
1056                                 send or doneInserting call.  Instead now it is 
1057                                 in the destructor of the proxy. This allows us 
1058                                 to cache proxies, when proxy creation becomes 
1059                                 a bottleneck.
1060 11/28/2000      olawlor         Added "seek blocks" to puppers.  This should 
1061                                 allow out-of-order pup'ing without the ugliness
1062                                 of getBuf; and in a way that works with all 
1063                                 PUP::ers.
1064 11/29/2000      olawlor         Simplified and regularized command-line-argument
1065                                 handling.
1066 11/29/2000      milind          AMPI: Added multiple-communicators capability.
1067 12/05/2000      gzheng          Now /bin/sh is default shell to fork node 
1068                                 program on remote machines.
1069 12/13/2000      olawlor         Added charmrun wrapper for poe on mpi-sp.
1070 12/14/2000      milind          Added bluegene emulator sources and test 
1071                                 programs.  Added "bluegene" as a language known
1072                                 to charmc.  Makefile now has a target called 
1073                                 bluegene.  Added preliminary bluegene 
1074                                 documentation.  (copied from Arun's webpage.)
1075 12/15/2000      gzheng          f90charm addition to Makefile and charmc. Also,
1076                                 added fixed size arrays support to f90charm. A 
1077                                 test program f90charm/hello is checked in.
1078 12/17/2000      milind          Added rtest test program. Contributed by jim to
1079                                 test Converse message transmission.
1080 12/20/2000      olawlor         Added charmconfig script. Enables automatic 
1081                                 determination of C++ compiler properties, 
1082                                 replacing the verbose and error-prone 
1083                                 conv-mach.h entries for CMK_BOOL, 
1084                                 CMK_STL_USE_DOT_H, CMK_CPP_CAST_OK, ...
1085 12/20/2000      olawlor         Charm++ Arrays optimizations: Key and object 
1086                                 now variable-length fields, instead of pointers.
1087                                 This extra flexibility lets us save many 
1088                                 dynamic allocations in the array framework.
1089 12/20/2000      olawlor         Added PUP::able support-- dynamic type 
1090                                 identification, allocation, and deletion.  
1091                                 Allows you to write:   p(objPtr); and 
1092                                 objPointer will be properly identified, 
1093                                 allocated, packed, and deallocated (depending 
1094                                 on the PUP::er).  Requires you to register any 
1095                                 such classes with DECLARE_PUPable and 
1096                                 DEFINE_PUPable.
1097 12/20/2000      olawlor         Arrays optimizations: Made CkArrayIndex 
1098                                 fixed-size.  This significantly improves 
1099                                 messaging speed (7 us instead of 10 us 
1100                                 roundtrip).  Move spring cleaning check into a 
1101                                 CcdCallFnAfter, which gains more speed (down to
1102                                 4 us roundtrip).
1103 12/20/2000      olawlor         More optimizations: Minor speed tweaks-- 
1104                                 conv-ccs.c uses hashtable for handler lookup; 
1105                                 conv-conds skips timer test until needed; 
1106                                 convcore.c scheduler loop optmizations (no 
1107                                 superfluous EndIdle calls); threads.c 
1108                                 CMK_OPTIMIZE-> no mprotect.
1109 12/20/2000      olawlor         More Optimizations: Minor speed tweaks-- ck.C 
1110                                 groups cldEnqueue skip; init.h defines 
1111                                 CkLocalBranch inline; and supporting changes.
1112 12/22/2000      gzheng          IA64 support for Converse user level threads.
1113 01/02/2001      olawlor         CCS: Minor update-- enabled CcsProbe, cleaned 
1114                                 up superflous debug messages in server, added 
1115                                 Java interface (originally written for 
1116                                 AppSpecter).
1117 01/09/2001      gzheng          charmconfig converted to autoconf style, need 
1118                                 to change configure.in and conv-autoconfig.h.in,
1119                                 and run autoconf to get configure and copy to 
1120                                 charmconfig.  added fortran subroutine name 
1121                                 test and get libpthread.a
1122 01/10/2001      milind          Added telnet method of getting libpthread.a 
1123                                 from charm webserver.
1124 01/11/2001      olawlor         Moved projections files here from 
1125                                 CVSROOT/projections-java.  Added fast Java 
1126                                 versions of the .log file input routines in 
1127                                 LogReader, LogLoader, LogAnalyzer, and 
1128                                 UsageCalc.  Added "U.java" user interface 
1129                                 utility file, allowing times to be input in 
1130                                 seconds, milliseconds, or microseconds, 
1131                                 instead of just microseconds.
1132 01/15/2001      gzheng          add +trace-root to specify the directory to 
1133                                 put log files in. this is need in Scyld cluster
1134                                 where there is no NFS mounting and no i/o 
1135                                 access to home directory sharing on nodes.
1136 01/15/2001      milind          Made AMPI into a f90 module instead of 
1137                                 'ampif.h' inclusion.  AMPI f90 bindings are 
1138                                 now more inclusive.  Fixed argc,argv handling 
1139                                 bugs in ArgsInfo message.  Fixed a bug in pup 
1140                                 that caused thread not to be sized, but was 
1141                                 packed nevertheless. Moved irecv to waitall 
1142                                 instead of at in ampi_start.  Made 
1143                                 AMPI_COMM_WORLD to be 0, because it clashed 
1144                                 with wildcard(-1).  AMPI_COMM_UNIVERSE is now 
1145                                 handled properly in the AMPI module.  
1146                                 C/C++ data members are NOT visible to 
1147                                 Fortran 90.
1148 01/18/2001      gzheng          New supported platform: net-linux-scyld
1149 01/20/2001      olawlor         Moved array index field from CMessage_* to the 
1150                                 Ck envelope itself.  This is the right thing 
1151                                 to do, because any message may be sent to/from 
1152                                 an array element.  To reduce the wasted space 
1153                                 in a message, a union is used to overlay the 
1154                                 fields for the various possible message types.
1155 01/29/2001      olawlor         Freed charmrun on net-* version from using
1156                                 remote shell to fork off processes. One can now
1157                                 use a daemon provided in the distribution.
1158 02/07/2001      olawlor         Added debugging support to puppers.
1159 02/13/2000      gzheng          Added ++local option to charmrun to start node 
1160                                 program locally without any daemon; fix the 
1161                                 hang program if you type wrong pgm name in 
1162                                 scyld version, and redirect all output to 
1163                                 /dev/null, otherwise all node program can send 
1164                                 its output to console in scyld. Also implemented                                ++local in net-win32 version.
1165 02/26/2000      milind          Changed the varsize syntax. Now one can specify
1166                                 actual varsize arrays in the interface file
1167                                 and have the translator generate alloc, pack 
1168                                 and unpack.
1170 --------------------------------------------------------------------------------
1171 Bug Fixes:
1172 --------------------------------------------------------------------------------
1174 10/29/1999      milind          Replaced jmemcpy by memcpy in net versions, as
1175                                 it was causing a bit to flip (bug reported
1176                                 by jim.)
1177 10/29/1999      milind          Fixed multiline macros in all header files.
1178 02/05/2000      milind          Fixed linking errors by getting the order of
1179                                 libraries right from the charmc command-line.
1180 02/18/2000      paranjpy        Fixed Charm++ initialization bug on SMPs.
1181 02/21/2000      milind          Fixed a context-switching bug in mipspro version
1182                                 of QuickThreads.
1183 02/25/2000      milind          Charm++ interface translator was segfaulting
1184                                 on interface file errors. Fixed that. Also,
1185                                 added linenumbers to error messages.
1186 03/02/2000      milind          Made CCS work on SMPs.
1187 03/07/2000      milind          Made ConverseInit consistent with the manual on
1188                                 Origin2000 version.
1189 04/18/2000      milind          Fixed a bug in CkWaitFuture, which was caching 
1190                                 a variable locally, while it was changed by 
1191                                 another thread.
1192 05/04/2000      paranjpy        Fixed argv deletion bug on net-win32-smp.
1193 06/08/2000      milind          sp3 version: changed optimization flags, which 
1194                                 where power2 processor-specific.
1195 06/20/2000      milind          mpi-* versions: Fixed ConverseExit since it was
1196                                 not obeying the following statement in the MPI 
1197                                 standard: The user must ensure that all pending
1198                                 communications involving a process completes 
1199                                 before the process calls MPI_FINALIZE.
1200 07/05/2000      milind          Fixed a nasty bug in charmc in the -cp option. 
1201                                 It used to append the name provided to -o flag 
1202                                 to the directory provided to the -cp flag.  
1203                                 Thus, -o ../pgm -cp ../bin options meant that 
1204                                 the pgm would be copied to ../bin/.., which is 
1205                                 not the expected behavior. This fix correctly 
1206                                 copies pgm to ../bin.
1207 07/07/2000      milind          Removed variable arg_myhome, as it was not 
1208                                 being used anywhere, and also, setting it was 
1209                                 causing problems of env var HOME was not set.
1210 07/27/2000      milind          thishandle for the arrayelement was not being 
1211                                 correctly set.  Bug was reported by Neelam.
1212 08/26/2000      milind          Origin2000: Changed the page alignment to 
1213                                 reflect the mmap alignment.  The mmap man page 
1214                                 specifically states that it is not the same as 
1215                                 page size.
1216 09/02/2000      milind          Fixed a bug in code generated for threaded 
1217                                 (void) entry methods of array elements. The 
1218                                 dummy message that is passed to that method in 
1219                                 a thread has to be deleted before calling the 
1220                                 object method, because upon object method's 
1221                                 return, the thread might have migrated.
1222 09/03/2000      olawlor         Minor fix-fixes: 1.) Change to LBObjid hash 
1223                                 function would fail for >4-int object indices.
1224                                 Replaced with proper function, which also 
1225                                 preserves the 1-int case.  2.) Array element 
1226                                 sends must go via the message queue to prevent 
1227                                 stack build-up for deep single-processor call 
1228                                 chains. These might happen, e.g., in a driver 
1229                                 element calling itself for the main time loop.
1230                                 Messages are now properly noted as sent, then 
1231                                 wait through the queue for delivery.  This 
1232                                 entailed minor reorganization of the message 
1233                                 delivery subsystem.
1234 09/21/2000      olawlor         Tiny SMP thread fix-- registrations of a 
1235                                 thread-private variable now reserve space on 
1236                                 calls after the first.  This wastes space for 
1237                                 multiple CthInitialize's-- it's a quick hack to
1238                                 get threads working again on SMP versions.
1239 10/16/2000      olawlor         A few CCS fixes:   -Added split-phase reply 
1240                                 (delay reply indefinitely)  -Cleaned up error
1241                                 handling -Pass user data as "void *" instead of
1242                                 "char *"
1243 11/03/2000      wilmarth        Removed 0 size array allocation in Charm++ 
1244                                 quiescence detection.
1245 11/20/2000      gzheng          Rewrote part of Fiber thread, including a bug 
1246                                 fix for a the non thread-safe function, and a 
1247                                 different fiber free strategy.
1248 11/29/2000      gzheng          The LB init procedure tried to allocate 
1249                                 65536*160 as initial size, which is 10M memory 
1250                                 for communication table, which is too big. 
1251                                 Cut it down to roughly 1M, and it can expand 
1252                                 in later code.
1253 12/05/2000      gzheng          In many cases, conv-host exits without print 
1254                                 out the error message from remote shell. try 
1255                                 to fix it by calling sync to flush the pipe 
1256                                 before exit 1.
1257 12/10/2000      milind          net-linux: Made static linking the default 
1258                                 option because dynamic linking runtime causes 
1259                                 isomalloc threads to crash.
1260 12/18/2000      milind          Increased portability of isomalloc threads by 
1261                                 removing dependence on alloca.
1262 12/28/2000      milind          Fixed ctrl-getone abort bug on SMP.
1263 12/28/2000      milind          Made _groupTable a pointer on which a 
1264                                 constructor is explicitly called.  Since it 
1265                                 was a Cpv variable, its constructor was not 
1266                                 called by default in case of an SMP version.
1267 12/29/2000      olawlor         Prevent infinite copy constructor recursion on 
1268                                 Origin2000.
1269 01/10/2001      olawlor         Added "explicit" keyword to remove ambiguity 
1270                                 for KCC, which was confused by the private 
1271                                 PUP::er(int) "cast" constructor and the operator
1272                                 |(PUP::er &p,T &t) into rejecting all operator|
1273                                 (int,int) as ambiguous.
1274 2001/01/17      gzheng          fix the charmconfig bug on paragon-red: the 
1275                                 failure testing of fortran won't stop the 
1276                                 compilation.
1277 01/20/2001      olawlor         Arrays reduction:  Fixed bug-- reduction may end
1278                                 because all contributors migrate away. 
1279 01/29/2001      olawlor         Fix heap-corrupting bug-- call ->init() on 
1280                                 nodeGroupTable, which sets the "pending" 
1281                                 message queue to NULL.  This prevents a nasty 
1282                                 delete-unitialized-data bug later on.  Also 
1283                                 delayed queue creation until messages actually 
1284                                 arrive.
1286 --------------------------------------------------------------------------------
1287 Documentation Changes:
1288 --------------------------------------------------------------------------------
1290 01/31/2000      milind          Installation manual: Fixed bugs pointed out by
1291                                 quantum TA
1292 02/28/2000      wilmarth        Added a new look Charm++ manual.
1293 06/20/2000      milind          Added pdflatex support to generate PDF versions
1294                                 of manuals from LaTeX sources.
1295 12/05/2000      milind          Added Orion's FEM manual. Converted from HTML.
1296 12/10/2000      milind          Added pplmanual.sty for all manuals.
1297 12/17/2000      milind          Added master-slave library documentation to
1298                                 convext manual.
1299 12/21/2000      saboo           Added DDT documentation.
1300 01/02/2001      olawlor         Updated for new CCS version.
1302 --------------------------------------------------------------------------------
1303 Other Changes:
1304 --------------------------------------------------------------------------------
1306 10/24/1999      olawlor         charmc is changed to Bourne shell script 
1307                                 instead of csh. All conv-mach.csh are
1308                                 replaced by conv-mach.sh.
1309 10/25/1999      olawlor         SUPER_INSTALL is converted to use bourne shell.
1310 10/28/1999      milind          All Makefiles now take OPTS commandline
1311                                 arguments.
1312 01/16/2000      olawlor         Simplified Charm++ interface translator.
1313 02/23/2000      ruiliu          Changed rand() calls from all over the codes
1314                                 to the new Converse random number generator.
1315 02/26/2000      milind          Simplified the converse scheduler loop by 
1316                                 combining the maxmsgs and poll modes.
1317 08/31/2000      milind          Imported system documentation into the CVS tree.
1318                                 Also added super_install target for docs with 
1319                                 necessary Makefile modifications.
1320 09/08/2000      olawlor         Made soft links use relative pathnames instead 
1321                                 of absolute.  This lets you move a charm++ 
1322                                 installation without having to recompile 
1323                                 anything.
1324 09/11/2000      olawlor         Grouped commonly needed code in the new util
1325                                 directory. Also, added pup_c a C wrapper for
1326                                 puppers.
1327 09/11/2000      olawlor         Slightly reorganized header structure.  Now no 
1328                                 headers should need to be listed twice (once in
1329                                 ALLHEADERS, again in CKHEADERS).  Now headers 
1330                                 are soft-linked instead of copied.  This makes 
1331                                 development much easier.  Added support for the
1332                                 new Common/util directory.
1333 09/21/2000      olawlor         Major reorganization of net-* codes. Now all 
1334                                 the TCP socket routines are in separate files.
1335                                 Also combined windoes NT code with unix codes.
1336 09/21/2000      olawlor         Major rewrite of CCS-- underlying protocol is 
1337                                 now binary (send/recv binary data everywhere); 
1338                                 conv-host forwards requests to nodes; and 
1339                                 source has been significantly re-arranged.  
1340                                 (especially if NODE_0_IS_CONVHOST).
1341 11/22/2000      milind          Removed IDL translator from distribution.
1342 12/01/2000      olawlor         Renamed conv-host charmrun; added test for 
1343                                 script conv-host. Also added charmrun for most 
1344                                 other machines.
1345 12/17/2000      milind          Moved List related data structures into 
1346                                 cklists.h in util. Removed most of the redundant
1347                                 list implementations.
1348 12/20/2000      gzheng          SUPER_INSTALL: format the output of list of 
1349                                 versions and make the help page fit into one 
1350                                 page of xterm.
1351 12/24/2000      milind          Added test-{charm,converse,ampi,fem} targets to 
1352                                 super_install.
1353 12/28/2000      milind          net-sol-smp now uses pthreads.
1354 01/29/2001      olawlor         Merged windowsNT and unix build procedures by
1355                                 basing the Windows build on cygwin. Added 
1356                                 scripts to deal with unix and windows 
1357                                 differences.