src/conv-com/3dgridrouter.C

   1 /**
   2    @addtogroup ConvComlibRouter
   3    @{
   4    @file
   5    @brief Grid (3d grid) based router
   6    @Author Sameer Kumar
   7 */
   8
   9
  10
  11
  12
  13 #include "3dgridrouter.h"
  14 //#define NULL 0
  15
  16 #define gmap(pe) {if (gpes) pe=gpes[pe];}
  17
  18 /**The only communication op used. Modify this to use
  19  ** vector send */
  20 #if CMK_COMLIB_USE_VECTORIZE
  21 #define GRIDSENDFN(kid, u1, u2, knpe, kpelist, khndl, knextpe)  \
  22         {int len;\
  23         PTvectorlist newmsg;\
  24         newmsg=PeGrid->ExtractAndVectorize(kid, u1, knpe, kpelist);\
  25         if (newmsg) {\
  26           CmiSetHandler(newmsg->msgs[0], khndl);\
  27           CmiSyncVectorSendAndFree(knextpe, -newmsg->count, newmsg->sizes, newmsg->msgs);\
  28         }\
  29         else {\
  30           SendDummyMsg(kid, knextpe, u2);\
  31         }\
  32 }
  33 #else
  34 #define GRIDSENDFN(kid, u1, u2, knpe, kpelist, khndl, knextpe)  \
  35         {int len;\
  36         char * newmsg;\
  37         newmsg=PeGrid->ExtractAndPack(kid, u1, knpe, kpelist, &len);\
  38         if (newmsg) {\
  39           CmiSetHandler(newmsg, khndl);\
  40           CmiSyncSendAndFree(knextpe, len, (char *)newmsg);\
  41         }\
  42         else {\
  43           SendDummyMsg(kid, knextpe, u2);\
  44         }\
  45 }
  46 #endif
  47
  48 #define ROWLEN COLLEN
  49
  50 #define RowLen(pe) ColLen3D(pe)
  51 #define PELISTSIZE ((ROWLEN-1)/sizeof(int)+1)
  52
  53 inline int ColLen3D(int npes)
  54 {
  55     int len= (int)cubeRoot((double)npes);
  56     //    ComlibPrintf("%d:collen len = %d\n", CkMyPe(), len);
  57     if (npes > (len * len * len)) len++;
  58     return(len);
  59 }
  60
  61 inline int Expect1(int gpe, int gnpes)
  62 {
  63     int i, len=ColLen3D(gnpes);
  64     int pe = gpe % (len * len);
  65
  66     int npes = len * len;
  67     if((gnpes - 1)/(len * len) == gpe / (len * len))
  68         npes = ((gnpes - 1) % (len*len)) + 1;
  69
  70     for (i=len-1;i>=0;i--) {
  71         int myrow=pe/len;
  72         int toprep=i*len;
  73         int offset=pe-myrow*len;
  74         if ((toprep+offset) <= (npes-1)) return(i+1);
  75     }
  76     return 0;
  77     //return(len);
  78 }
  79
  80 inline int Expect2(int gpe, int gnpes) {
  81     int len=RowLen(gnpes);
  82     int myplane = gpe / (len * len);
  83     int lastplane = (gnpes - 1)/(len * len);
  84
  85     if(myplane < lastplane)
  86         return len;
  87
  88     int pe = gpe % (len * len);
  89     int myrow = pe / len;
  90     int lastrow = ((gnpes - 1) % (len * len)) / len;
  91
  92     if (myrow < lastrow)
  93         return len;
  94
  95     int ret = ((gnpes - 1) % (len * len)) - myrow * len + 1;
  96     if(ret < 0)
  97         ret = 0;
  98     return ret;
  99 }
 100
 101
 102 inline int LPMsgExpect(int gpe, int gnpes)
 103 {
 104     int i;
 105     int row = RowLen(gnpes);
 106     int col = ColLen3D(gnpes);
 107     int len = (int)ceil(((double)gnpes) / (row * col));
 108
 109     for (i=len-1;i>=0;i--) {
 110         int toprep=i*(row * col);
 111
 112         if ((toprep + (gpe % (row * col))) <= (gnpes-1)) return(i+1);
 113     }
 114     return(len);
 115 }
 116
 117 /****************************************************
 118  * Preallocated memory=P ints + MAXNUMMSGS msgstructs
 119  *****************************************************/
 120 D3GridRouter::D3GridRouter(int n, int me, Strategy *parent) : Router(parent)
 121 {
 122     ComlibPrintf("PE=%d me=%d NUMPES=%d\n", CkMyPe(), me, n);
 123
 124     NumPes=n;
 125     MyPe=me;
 126     gpes=NULL;
 127
 128     COLLEN=ColLen3D(NumPes);
 129
 130     recvExpected[0] = 0;
 131     recvExpected[1] = 0;
 132     routerStage = 0;
 133
 134     int myrow = (MyPe % (ROWLEN * COLLEN)) / COLLEN;
 135     int myrep = myrow * COLLEN + MyPe - (MyPe % (ROWLEN * COLLEN));
 136     int numunmappedpes=myrep+ROWLEN-NumPes;
 137     int nummappedpes=ROWLEN;
 138
 139     if (numunmappedpes >0) {
 140         nummappedpes=NumPes-myrep;
 141         int i=NumPes+MyPe-myrep;
 142         while (i<myrep+ROWLEN) {
 143             recvExpected[0] += Expect1(i, NumPes);
 144             i+=nummappedpes;
 145         }
 146     }
 147
 148     if((NumPes % (COLLEN * ROWLEN) != 0) && ((NumPes - 1)/(ROWLEN*COLLEN) - MyPe/(ROWLEN*COLLEN) == 1)){
 149         if(myrep + ROWLEN * COLLEN >= NumPes)
 150             recvExpected[0] += Expect1(MyPe + ROWLEN*COLLEN, NumPes);
 151
 152         if(MyPe + ROWLEN * COLLEN >= NumPes)
 153             recvExpected[1] += Expect2(MyPe + ROWLEN*COLLEN, NumPes);
 154         ComlibPrintf("%d: here\n");
 155     }
 156
 157     recvExpected[0] += Expect1(MyPe, NumPes);
 158     recvExpected[1] += Expect2(MyPe, NumPes);
 159
 160     LPMsgExpected = LPMsgExpect(MyPe, NumPes);
 161     //ComlibPrintf("%d LPMsgExpected=%d\n", MyPe, LPMsgExpected);
 162
 163     PeGrid = new PeTable(/*CkNumPes()*/NumPes);
 164
 165     nplanes = (int)ceil(((double)NumPes) / (ROWLEN * COLLEN));
 166
 167     oneplane = new int*[COLLEN];
 168     psize = new int[COLLEN];
 169     for(int count = 0; count < COLLEN; count ++) {
 170         oneplane[count] = new int[nplanes * ROWLEN];
 171
 172         int idx = 0;
 173
 174         for (int j=0;j< ROWLEN;j++)
 175             for(int k = 0; k < nplanes; k++) {
 176                 int dest = count * ROWLEN + j + ROWLEN * COLLEN * k;
 177                 if(dest < NumPes) {
 178                     oneplane[count][idx++] = dest;
 179                 }
 180                 else break;
 181             }
 182         psize[count] = idx;
 183     }
 184
 185     zline = new int[nplanes];
 186
 187     InitVars();
 188     ComlibPrintf("%d:%d:COLLEN=%d, ROWLEN=%d, recvexpected=%d,%d\n", CkMyPe(), MyPe, COLLEN, ROWLEN, recvExpected[0], recvExpected[1]);
 189 }
 190
 191 D3GridRouter::~D3GridRouter()
 192 {
 193     delete PeGrid;
 194     delete[] zline;
 195     for(int count = 0; count < COLLEN; count ++)
 196         delete[] oneplane[count];
 197
 198     delete[] oneplane;
 199 }
 200
 201 void D3GridRouter :: InitVars()
 202 {
 203     recvCount[0]=0;
 204     recvCount[1]=0;
 205
 206     LPMsgCount=0;
 207 }
 208
 209 void D3GridRouter::NumDeposits(comID, int num)
 210 {
 211 }
 212
 213 void D3GridRouter::EachToAllMulticast(comID id, int size, void *msg, int more)
 214 {
 215     int npe=NumPes;
 216     int * destpes=(int *)CmiAlloc(sizeof(int)*npe);
 217     for (int i=0;i<npe;i++) destpes[i]=i;
 218     EachToManyMulticast(id, size, msg, npe, destpes, more);
 219 }
 220
 221 void D3GridRouter::EachToManyMulticast(comID id, int size, void *msg, int numpes, int *destpes, int more)
 222 {
 223     int i;
 224
 225     //Buffer the message
 226     if (size) {
 227         PeGrid->InsertMsgs(numpes, destpes, size, msg);
 228     }
 229
 230     if (more) return;
 231
 232     routerStage = 0;
 233     ComlibPrintf("All messages received %d %d\n", CkMyPe(), COLLEN);
 234
 235     //Send the messages
 236     int firstproc = MyPe - (MyPe % (ROWLEN * COLLEN));
 237     for (i=0;i<COLLEN;i++) {
 238
 239         ComlibPrintf("ROWLEN = %d, COLLEN =%d first proc = %d\n",
 240                      ROWLEN, COLLEN, firstproc);
 241
 242         //int MYROW = (MyPe % (ROWLEN * COLLEN))/ROWLEN;
 243         int nextrowrep = firstproc + i*ROWLEN;
 244         int nextpe = (MyPe % (ROWLEN * COLLEN)) % ROWLEN + nextrowrep;
 245         int nummappedpes=NumPes-nextrowrep;
 246
 247         if (nummappedpes <= 0) { // looks for nextpe in the previous plane
 248             nextpe -= ROWLEN * COLLEN;
 249             if(nextpe < 0)
 250                 continue;
 251         }
 252
 253         if (nextpe >= NumPes) {
 254             int mm=(nextpe-NumPes) % nummappedpes;
 255             nextpe=nextrowrep+mm;
 256         }
 257
 258         if (nextpe == MyPe) {
 259             ComlibPrintf("%d calling recv directly\n", MyPe);
 260             recvCount[0]++;
 261             RecvManyMsg(id, NULL);
 262             continue;
 263         }
 264
 265         //ComlibPrintf("nummappedpes = %d, NumPes = %d, nextrowrep = %d, nextpe = %d, mype = %d\n", nummappedpes, NumPes, nextrowrep,  nextpe, MyPe);
 266
 267         gmap(nextpe);
 268         ComlibPrintf("sending to column %d and dest %d in %d\n", i, nextpe, CkMyPe());
 269         GRIDSENDFN(id, 0, 0, psize[i], oneplane[i],CkpvAccess(RouterRecvHandle), nextpe);
 270     }
 271 }
 272
 273 void D3GridRouter::RecvManyMsg(comID id, char *msg)
 274 {
 275     ComlibPrintf("%d recvcount=%d,%d recvexpected = %d,%d\n", MyPe, recvCount[0],  recvCount[1], recvExpected[0],recvExpected[1]);
 276     int stage = 0;
 277     if (msg) {
 278         stage = PeGrid->UnpackAndInsert(msg);
 279         recvCount[stage]++;
 280     }
 281
 282     if ((recvCount[0] == recvExpected[0]) && (routerStage == 0)){
 283         routerStage = 1;
 284         int myrow = (MyPe % (ROWLEN * COLLEN)) / COLLEN;
 285         int myrep = myrow*ROWLEN + MyPe - (MyPe % (ROWLEN * COLLEN));
 286         for (int i=0;i<ROWLEN;i++) {
 287             int nextpe = myrep + i;
 288
 289             //if (nextpe >= NumPes || nextpe==MyPe) continue;
 290
 291             if(nextpe == MyPe) {
 292                 recvCount[1]++;
 293                 RecvManyMsg(id, NULL);
 294                 continue;
 295             }
 296
 297             if(nextpe >= NumPes) {
 298                 nextpe -= ROWLEN * COLLEN;
 299                 if(nextpe < 0)
 300                     continue;
 301             }
 302
 303             int *pelist = zline;
 304             int k = 0;
 305
 306             //ComlibPrintf("recv:myrow = %d, nplanes = %d\n", myrow, nplanes);
 307             //ComlibPrintf("recv:%d->%d:", MyPe, nextpe);
 308             for(k = 0; k < nplanes; k++) {
 309                 int dest = myrow * ROWLEN + i + ROWLEN * COLLEN * k;
 310                 //ComlibPrintf("%d,", dest);
 311                 if(dest >= NumPes)
 312                     break;
 313                 zline[k] = dest;
 314             }
 315             //ComlibPrintf(")\n");
 316
 317             ComlibPrintf("Before gmap %d\n", nextpe);
 318
 319             gmap(nextpe);
 320
 321             //ComlibPrintf("After gmap %d\n", nextpe);
 322             ComlibPrintf("%d:sending recv message %d %d\n", MyPe, nextpe, myrep);
 323             GRIDSENDFN(id, 1, 1, k, pelist, CkpvAccess(RouterRecvHandle), nextpe);
 324         }
 325     }
 326
 327     if((recvCount[1] == recvExpected[1]) && (routerStage == 1)){
 328         routerStage = 2;
 329         for (int k=0; k < nplanes; k++) {
 330             int nextpe = (MyPe % (ROWLEN * COLLEN)) + k * ROWLEN * COLLEN;
 331
 332             if (nextpe >= NumPes || nextpe==MyPe) continue;
 333
 334             int gnextpe = nextpe;
 335             int *pelist = &gnextpe;
 336
 337             ComlibPrintf("Before gmap %d\n", nextpe);
 338
 339             gmap(nextpe);
 340
 341             //ComlibPrintf("After gmap %d\n", nextpe);
 342
 343             ComlibPrintf("%d:sending proc message %d %d\n", MyPe, nextpe, nplanes);
 344             GRIDSENDFN(id, 2, 2, 1, pelist, CkpvAccess(RouterProcHandle), nextpe);
 345         }
 346         LocalProcMsg(id);
 347     }
 348 }
 349
 350 void D3GridRouter::DummyEP(comID id, int stage)
 351 {
 352     if (stage == 2) {
 353         ComlibPrintf("%d dummy calling lp\n", MyPe);
 354         LocalProcMsg(id);
 355     }
 356     else {
 357         recvCount[stage]++;
 358         ComlibPrintf("%d dummy calling recv\n", MyPe);
 359         RecvManyMsg(id, NULL);
 360     }
 361 }
 362
 363 void D3GridRouter:: ProcManyMsg(comID id, char *m)
 364 {
 365     PeGrid->UnpackAndInsert(m);
 366     ComlibPrintf("%d proc calling lp\n", MyPe);
 367     LocalProcMsg(id);
 368 }
 369
 370 void D3GridRouter:: LocalProcMsg(comID id)
 371 {
 372     ComlibPrintf("%d local procmsg called\n", MyPe);
 373
 374     LPMsgCount++;
 375     PeGrid->ExtractAndDeliverLocalMsgs(MyPe, container);
 376
 377     if (LPMsgCount==LPMsgExpected) {
 378         PeGrid->Purge();
 379         InitVars();
 380         routerStage = 0;
 381         ComlibPrintf("%d:Round Done\n", CkMyPe());
 382         Done(id);
 383     }
 384 }
 385
 386 void D3GridRouter :: SetMap(int *pes)
 387 {
 388     gpes=pes;
 389 }
 390
 391 /*@}*/