Add check for Cross Memory Attach in configure to enable SHM using CMA

Change-Id: Id27349da97cdcb5656e87ae407d14ca67c29237d

Basic Infrastructure for using Cross Memory Attach for non-network IPC

Change-Id: I1a24f89f07edba71c4891836399b494f2a3625b3

Add contents of hwloc-1.11.8.tar.gz to 'contrib' dir

This excludes certain folders not used by embedded builds.

Change-Id: I577ae11c7600ae1b5a36507751c0d24fa7150c0b

Run autotools when packaging a tarball

Change-Id: I11222f565ea0dd1b60f7461eca1e41fe0d8d9400

Discard autotools outputs that get regenerated during build process

Change-Id: I7597756a4c5217cabcfa345b0f09b1d518459679

Teach Makefile how to generate autotools outputs

Co-authored-by: Evan Ramos <evan@hpccharm.com>
Change-Id: I92cf71f2f3d3e6b124e2b8400f443450d3c1d474

mv configure.in configure.ac

Change-Id: Ib65b41042a4dd605c735dca3ca58acb3ac77f342

README: update build examples for deprecated and renamed layers

Change-Id: I982cf8925b6eec9c71a03fbaccb8ba4a4100d0bb

Bug #1714: Fix crash at deregistration in OFI RDMA Entry Method API

The crash was occuring intermittently for SMP and "--with-production"
version of examples/zerocopy/pingpong. The race condition arose because
the deregistration code was using a data structure that was a part of
the initial charm message allocated in ckrdma.C. Since the call to the
converse message handler was before the deregistration, there was a
possibility of the worker thread executing the entry method using the
charm message and later deallocating the message before the deregistration.
This caused a segfault while accessing the deallocated data structure in
the deregistration code. The fix was to remove the dependency on the charm
message and store the required field in a stack variable to access it during
deregistration.

Change-Id: I29e0fcb04f0ae1450b13d630adb0859938bd27d4

Update Short and Eager message cutoffs for pami on non-BGQ architectures

Change-Id: I50553da8ffb8eff3f246288754ff0e69d860c37e

AMPI: make default OFI RDMA threshold 64KB

Change-Id: I9628128998b86a48101aa59a51206b5cfe6a65b7

CHANGES: Remove caveat about now-fixed bug

Change-Id: I3ab682d04fb1fae5e26303ce5e1289e5712fcc02

Feature #1637: Zero-copy send support in the OFI layer

Change-Id: I082cd4ab93138bdde7f3761e63fe0b7359808e32

Bug #1706: make MPI_Abort kill all replicas

Change-Id: If1386cd99ddfe48bcae8df7d04daf34e968828ee

Bug #1705 kmeans example: Don't let FP associativity variation cause an infinite loop

Change-Id: I9494846efc4b990837cf8b478c435cc51a8655fe

Bug #1675: Fix replicas hang for NAMD on OFI layer.

This patch fixes the hang/early crash observed in NAMD while using
'+replicas' support on OFI layer.

Change-Id: I5de315f5475376d2c40db56de9b9fb323dd278e2

CHANGES: Add release notes for 6.8.1

Change-Id: I3fcf86cf7ed019083485316f3f28941f97480172

Add distribution tarball generator script

Change-Id: Id114e1fe2fd8d778cf720a8242f59354b8a233be

Fix warning: implicit declaration of function 'get_topo_tree_nbs'

Change-Id: I6f60b6dd62e0033d89ccc2fcbcb3e1eb38f642e8

Avoid warnings about xlc compiler not recognizing -Q flag on Power8

Change-Id: I1868d5000fecc342e8255a7620ba5aa818f18df3

Update charm++ to the latest Spectrum MPI and PAMI libraries.

Changes for PAMI async progress. Charm++ build target pami-linux-ppc64le-async-smp.
While megatest passes, this code path is still in development.
It is missing immediate message support.

Change-Id: I0ed295ca11bfc3030ea85dc2407bd93d995ec278

Add memory fence instructions in CkLoop for Power8 platform

Co-Authored-By: Nitin Bhat <nbhat4@illinois.edu>
Change-Id: Icf6a6a6f61ed8c7f30be85e99fd8ac3b35aa4be5

Fix minor bugs for pami machine layer

Fix includes adding return statements for methods and setting
destination rank for messages sent through machineFreeListSendFn

Co-Authored-By: Nitin Bhat <nbhat4@illinois.edu>
Change-Id: I66b70a5334c31608c2744ad4e15da20e5878cbd3

Update timers for PPC64 with new timer routines

Co-Authored-By: Nitin Bhat <nbhat4@illinois.edu>
Change-Id: I8c55c367d89302e0f5a1004aa4c0fcaef54d3077

Guard BGQ specific changes under CMK_BLUEGENEQ

Co-Authored-By: Nitin Bhat <nbhat4@illinois.edu>
Change-Id: Ie99df9b4135d36e247e91ad91df2d87351aaf15d

Enable converse headers and specific macros for CMK_PAMI_LINUX_PPC8

Co-Authored-By: Nitin Bhat <nbhat4@illinois.edu>
Change-Id: I5e2b0b4ff18d9ebddc04f3b3a6af7076d4606611

AMPI: improve non-contiguous datatype copies

Change-Id: I22cca2662883f543bc4e1f356d7ef2b56794a82c

Cleanup #566: Delete archaic [accel] examples for STI Cell CPUs

Change-Id: I71dbc14f13db5df7f5296b870aa7a6d21b0a4057

Bug #1081: Report an error on command-line flags that expect a wholly-missing integer argument

Change-Id: Ie5acf2edf8be33514b75ddc2b2d1f4ba056eaa3d

Bug #1680 Updating docs to reflect what consitutes a valid module name

Change-Id: I08dd538f12c29893047c750dd675fd43053e6933

Bug #1683 charmc: Don't try linking into a named output file in the absence of inputs

Change-Id: I0cfb1d59f624872bd64701fce5864056ff44a396

Bug #1680 charmxi: Show error messages if ci file parsing fails.

* These changes are made to print error messages in case the parsing of ci file fails.
* These changes handle any parsing failures which result in a call to the yyerror method.
* Example scenarios and their corresponding error messages:
    => A '-' in the module name: [PARSE-ERROR] Unexpected/missing token at line <line-number>. Current token being parsed: '-'.
    => A missing '{' after a module name: [PARSE-ERROR] Unexpected/missing token at line <line-number>. Current token being parsed: '<next-token-being-parsed>'.
* Only the grammar file has been modified (xi-grammar.y).
* The changes in other files are because these are auto generated. They are being built with a newer version of bison 3.0.4 (I wasn't able to build the 2.5 version of bison with which it was compiled earlier).

Change-Id: I4ed53447b4954e8e55e2d0859460732e57b20d3f

Fix RefineSwapLB to properly handle non-migratable objects

Change-Id: I7621641b99836edc9fb6a6928ed4ff2073f247dc

Cleanup #567: Charm++ barnes-charm example cleanup

Change-Id: I17b7bdb890a46640f63754c4c32563b365fc8505

Bug #1437: CkLoop worker traces to previous entry on pe rather than
caller

This patch fixes the CkLoop Work to point to its creator on Projections.
Other converse based constructs can refer to this change to make their
work shown on Projections correctly.

Change-Id: I2536408d91f09fa1973c29fda3ac9c60b36a45a3

Support #1534: Print out the job output, error and log for failed jobs in BGQ charmrun

Change-Id: Ic27fdc978df5f7e7f4796179f002a7b00fb08bf8

Bug #1687 charmxi: distinguish absent and empty template argument lists

Change-Id: I2e4d2dbb592bd6008a3bb905c8a614408b88b745

Bug #1441: lies at startup about "The comm. thread both sends and receives messages"

Fix for pamilrts-bluegeneq-smp layer, which doesn't have a comm. thread

Change-Id: Ia31a65a3233ca08c0654570b82697ba2320362ad

Bug #1690: Modify /zerocopy/simpleZeroCopy/Makefile to run test with fewer chares

This bug caused the verbs-smp crash in autobuild. The crash occurred because of the
default send tokens in verbs being insufficient for the previous test argument i.e 200.
For this reason, the test argument was changed from 200 chares to 32 chares, which works
with the default number of send tokens (1000 send tokens).

Change-Id: I13a75b9a15c62d432af5bb05132fd524379e1be1

Bug #1544 pami-linux-ppc64le: Use getrusage for timers until variable-speed CPU intrinsic can be fixed up

Change-Id: I7ffa2b68aba0badb65a4fd6243d178ffa20c96dd

Bug #1661: Add error/abort if papi is selected and the library isn't found

Change-Id: I34417f44314990c09a7b6b37fee5fe855dab2331

Fix grammar for MPI library in configure script

Change-Id: I35f2d1af19677282d6d6f6874cdb59614f8a2304

charmc: Remove vestigial entry for bglmachine.C

Change-Id: Ice13e7bff985d3b2cdb044093c1c2460694da120

AMPI: include <algorithm> to use std::min on Windows

Change-Id: I6b35ff02babc2f114a8f0a298ddd7d36ce808876

AMPI: fix Sendrecv_replace to not overwrite sendbuf

Change-Id: I16e00d4c09e4d27f8ebe3788498a045bc09e02f8

AMPI: avoid erring on internal MPI_ATA_TAG usage in Sendrecv_replace

Change-Id: I62a0536892e05043d57fb67ecf93351977d53e9c

AMPI: use pairwise sendrecv_replace for Alltoall{v,w} in place

Change-Id: I2812abf26076b5baeaaa99478e882a87b83fae66

AMPI: add throttle to Alltoall impl to limit memory use

Change-Id: I9b0965aa793ad99e607992de9ebf7f306d9cd325

AMPI: add ATAReq type able to contain any type of MPI_Request

Change-Id: I3d48824081f908c9ab1cb50ee4bed422a9525adc

AMPI: eliminate sources of potential deadlock on blocking sends inside AMPI

Non-blocking collectives that use pt2pt sends to multiple ranks are
made non-blocking in the following commit that adds ATAReqs (gerrit #2943).

Change-Id: I4d012f2a362064fbe5c3f8e4ef445419086c50e1

Set CPU affinity explicity for failing converse/pingpong test

As CmiInitCPUAffinity is called from initCharm, it isn't set for
converse programs. Temporary fix was to explicity set it from the
converse program. Need to work on a more permanent solution. This
bug was caught in the nightly build for SMP mode targets.

Change-Id: Iade30506dcb0e4dc72e918d664e12bc2ea8338aa

examples/mpi-coexist Makefile: Fix typo that broke build

Change-Id: I2bed6192a94d2056ac16035edb77af402a2d3f9d

AMPI: fix definition of predefined MPI_Op's

MPI_OP_NULL and MPI_INFO_NULL happen to both be -1 so it worked.

Change-Id: I2cdc341c0b5be791683d3421656217acafa6a328

AMPI: add support for freeing non-predefined MPI_Op's

Change-Id: I3eb0feb721497858180b0e994a38a7bc3c813974

Disabled topo-trees for broadcast and reductions with bigsim

Change-Id: I48697d180ba37ab6efddf61be763aa916bfaa42b

Bug #1663: fix wrong page size definitions on conv-mach.h files

Change-Id: If6f3e5fc490f6666afd15dd653d3c4de619103ed

Enable topology (or physical node) aware spanning tree for array reductions

Change-Id: I77c3ad8609d8ce49ed1616ea74256e4758d7118e

Bug #1494: Enable topology (or physical node) aware spanning tree for broadcasts

Affects converse broadcasts (e.g. CmiSyncBroadcastAllAndFree), group
and array broadcasts.

This should affect most architectures, but some might specialize their
own broadcast mechanism (i.e. use something other than machine-broadcast.c)

Change-Id: I7e4ef54e2c2abae0d27a924d61d23895fac62b21

Feature #975: Add new OFI LRTS machine.

For this commit, both the machine specific metadata cache and the mempool
are disabled. This commit is also missing a Zero copy API implementation
of the OFI layer, which will be added as a separate commit in the future
Change-Id: Iaa547751e94bf2fce77f0008398de1fde49b7074

Move addition of CMK_DEFS to conv-config.sh

Change-Id: I88b1958404d0dd187e99b37679d9e2d54a13b458

Move CMK_LD_LIBRARY_PATH to cc-gcc.sh

Change-Id: I9d37dba835394f61607a241f8a7879265905ef48

Remove hard coded -fPIC flag

Change-Id: I1bb30a1538b6d0793f604d0ae4183b800776cb8e

Move CMK_PIC to cc-gcc.sh

Change-Id: I0e81b35e50bb10d67a024c02f1348c87e85c2375

Move common definitions from verbs-linux-ppc64le to cc-gcc.sh

This is in line with commits d452cbf9dc9814172cc4d637b891eb7359ea432e through
bab9e188daad2ac1d40752f269f21033ab79e8d1.

Change-Id: I699b400f88655b8abe2d7a37191839a2e9db90d7

Make build and smart-build.pl work properly when the cwd is not their location

Change-Id: Iec1ae518374e129efaa35684a3dc192f4b7234dc

Fix CMK_LD_LIBRARY_PATH in gni-cray builds

Change-Id: I63fd1b3addcd80418db39e643b0829f4617ef719

TRAM follow-up on 2902: Fix routing to self making a bad assumption about virtual mesh coordinate

Change-Id: Ie93b7969d39cfcf3e12d4407f0f4bdfea2096d40

TRAM uth: Fix message counting in follow-up to Change 2902

Change-Id: I9f3c7034263b0178d1d55a203180991f92cc88a8

initCharm: obtain topo-tree rooted at node 0

Every node obtains its information (its parent and children) in topo-tree
(obtained with ST_RecursivePartition) rooted at 0.

Change-Id: Ib815d94c8a99422ea7193f3755477645305abd43

GreedyRefine: improvements for concurrent=false and HybridLB integration

This enables GreedyRefine support for HybridLB and integrates it in
HybridLB.

For now, it will be used from HybridLB in concurrent=false mode.

Change-Id: I8ce130fcecdceb77a61f4d06aba29d47eac247b3

Fix misspelling of CommonLBs in Makefile

Change-Id: I4e5efdab9fed0a345715f54f407e138fb69cd858

Bug #1649: NullLB shouldnt wait for LB period

Change-Id: Ic15bd14f0cb53b498f816c3e90c3b0dd3476ee5c

Replaced uses of CkIndex with CkReductionTarget in examples.

Change-Id: Ie5a4971d2e4c5d0a9743af1b4d6eac7e2db2a238

Bug #1239: Cleaned up uses of ckSetReductionClient in tests.

Change-Id: Ia71e82f959c53a81d51e39df5a91cf9e1850fe4d

Bug #1239: Cleaned up uses of ckSetReductionClient in examples.

Change-Id: I7b3ee9330a2f3d1a0d52306b5a02164fd32ef12e

Follow-up to #2950: do not include valgrind.h on Windows

Change-Id: I992c6d66e1b6acb2c1836bbe9e5f21a04dfff8f9

Feature #1434: optimize degenerate CkLoop cases

Change-Id: I7d0737d8bb4140a2dc5c0d933edf0c501930705f

AMPI: remove references to unsupported architectures in the manual

Change-Id: I8b89e572f955709e96a06825103ff71b8164e9fa

Tell Valgrind about our ULT stacks so it doesn't get confused

This avoids reporting false-positive errors like the following:

==25331== Warning: client switching stacks?  SP change: 0xfff000508 --> 0x5a30a18
==25331==          to suppress, use: --max-stackframe=68608129776 or greater
==25331==
==25331== Invalid read of size 8
==25331==    at 0x569E4AC: swapcontext (swapcontext.S:93)
==25331==    by 0x56A07FF: ??? (in /lib/x86_64-linux-gnu/libc-2.19.so)
==25331==  Address 0x5a30bd0 is 256 bytes inside a block of size 1,064 alloc'd
==25331==    at 0x4C2AB80: malloc (in /usr/lib/valgrind/vgpreload_memcheck-amd64-linux.so)
==25331==    by 0x5E80E4: CthCreateInner (libthreads-default.c:1714)
==25331==    by 0x5E828F: CthCreate (libthreads-default.c:1780)
==25331==    by 0x5E8E7C: ConverseInit (machine.c:331)
==25331==    by 0x51D9DD: main (main.C:18)

The Valgrind documentation explicitly recommends copying the header
included here into the client source tree, to avoid an external
dependency. The license is specifically geared to support this.

Change-Id: I26004af3edb7ac47931b80e78930c92857e31f67

Bug #1658 QD: Ensure that created/processed counts from phases 1 and 2 match to avoid firing prematurely

Change-Id: I5ded1d37ca4ee8077d8646da3e99a4d72b08b11f

Disable inline delivery as the default option for TRAM.

Change-Id: I152ee83bac64aa3cda5e865be1e50eb513b99be4

AMPI #1651: fix support for persistent sends and recvs

Get rid of the PersReq derived class in favor of making 'persistence'
an attribute of a (recv, send, or ssend) request type.

Change-Id: I1b0f65553b8b9a58f0e1714b7ce5441f53d31ef2

DDT: fix (H)Indexed_Block ::getEnvelope() and ::getContents()

Change-Id: I0f095edb1dc531f2f5526531e523c33c71d94e53

AMPI: fix Comm_split to handle Graph topologies

Change-Id: I2637e492f827b265e579d1b87571210fc4d54643

Revert "AMPI: bug fix for mempool + isomalloc interaction - cannot free the mempool till"

This reverts commit 7ec7f0e9d0a60ad2b0f66a54bb5a008de925dd07.

By reverting it, we ensure that memory is returned to the mempool and
it is munmap'ed properly when migrating.

Change-Id: I6f5037192a112fdbfb34a2eefbdb117e53012b95

Testing: drop lb_test dependency on EveryLB being built

EveryLB is only built when the 'LIBS' target is built, not 'charm++'.

Change-Id: I182afe0ab9abafc5cf6ef0cda2f2d18a707c8a0c

AMPI: fix Exscan to actually exclude rank 0 from recving anything

Change-Id: I183df0d75624634abc686d7adb744afb07662ae0

AMPI: change MPI_BOTTOM's definition to avoid confusing it with NULL

Change-Id: Ibedf01f927f93ddbc6bde826a01e05d487391364

AMPI #1639: correct MPI_IN_PLACE handling in collective routines

handle_MPI_IN_PLACE() sets sendbuf equal to recvbuf if sendbuf is
MPI_IN_PLACE. For collective routines, we also need to set the
sendcount, sendtype, and send displacements to their recv counterparts.

For the gather routines, extra care must be taken to set the sendbuf
to the correct displacement in the recvbuf. For the alltoall routines,
all send count/type/displ info must be changed too.

Also avoid error reporting false positives, and add early return to
copyDatatype to avoid copying in place.

Change-Id: Idf46a78a3ba4e38ece99c872bfd9316b966e7d01

AMPI: add definition of missing built-in attribute MPI_LASTUSEDCODE

Change-Id: I91e2070cf4ebe9bcc21d230b6a5571fe2669f60a

AMPI: fix Group support for MPI_GROUP_EMPTY and MPI_GROUP_NULL

Change-Id: Ie49264bddf1df7b8a2b069f346c453439d833aa0

AMPI: handle MPI_PROC_NULL entries in MPI_Group_translate_ranks

Change-Id: I1b30a9d9707325cb5a07535dcf13b5e69dbcbd26

AMPI: Fix MPI_Comm_dup to copy Graph topo info

Change-Id: I35d19425eaf44eb1d9c9dd29e5991f0337787dc0

AMPI: support Cartesian comms that are 0-D or subsets of oldcomm

Change-Id: I83624c914d9a351782269cd0edaa20b5a9b49175

AMPI: fix MPI_Graph_map for ranks outside comm

Change-Id: If03a89e459f9f6df07d0832d932ea92eeda14b8c

AMPI: fix MPI_Cart_map to make ranks outside comm MPI_UNDEFINED

Change-Id: Icf1591bda366b6e2681b304b72f8ca66291d8515

AMPI: MPI_Dims_create should return dims sorted in non-increasing order

Change-Id: I421cd8be8ca0fe42956a7efe41591a2b19993e99

AMPI: fix MPI_Graph_create when num nodes in graph is zero

Change-Id: If0722037932c15b45cd1a97b303dd97170ee69d9

Update examples/converse/pingpong to include warmup phase

Additionally, add support for taking command line parameters and
fix incorrect indentation

Change-Id: Ifc874d49aee90332d5e1682973457a668a608332

AMPI: correctly nullify objects passed to MPI_*_free routines

Change-Id: I8ca69b6ff8d679abc719bf9deac337d12b8cea98