test/ScheduleOptimizer/pattern-matching-based-opts_7.ll

   1 ; RUN: opt %loadPolly -polly-opt-isl -polly-pattern-matching-based-opts=true \
   2 ; RUN: -polly-target-throughput-vector-fma=1 \
   3 ; RUN: -polly-target-latency-vector-fma=8 \
   4 ; RUN: -analyze -polly-ast -polly-target-1st-cache-level-associativity=8 \
   5 ; RUN: -polly-target-2nd-cache-level-associativity=8 \
   6 ; RUN: -polly-target-1st-cache-level-size=32768 \
   7 ; RUN: -polly-target-vector-register-bitwidth=256 \
   8 ; RUN: -polly-target-2nd-cache-level-size=262144 < %s \
   9 ; RUN: | FileCheck %s
  10 ;
  11 ;    /* C := A * B + C */
  12 ;    /* Elements of the matrices A, B, C have the float type. */
  13 ;    /* The type size of elements of the matrix multiplication operands is used
  14 ;       to determine the parameters of the code produced by the optimization
  15 ;       of the matrix multiplication (e.g. bounds of the loops of the loop
  16 ;       nest, the innermost loop body). This test checks the form of
  17 ;       the generated loop nest. See getMicroKernelParams and
  18 ;       getMacroKernelParams from lib/Transform/ScheduleOptimizer.cpp
  19 ;       for details. */
  20 ;    for (i = 0; i < _PB_NI; i++)
  21 ;      for (j = 0; j < _PB_NJ; j++)
  22 ;        for (k = 0; k < _PB_NK; ++k)
  23 ;          C[i][j] += A[i][k] * B[k][j];
  24 ;
  25 ; CHECK:    // 1st level tiling - Tiles
  26 ; CHECK-NEXT:    for (int c1 = 0; c1 <= 2; c1 += 1) {
  27 ; CHECK-NEXT:      for (int c3 = 0; c3 <= 1023; c3 += 1)
  28 ; CHECK-NEXT:        for (int c4 = 384 * c1; c4 <= min(1023, 384 * c1 + 383); c4 += 1)
  29 ; CHECK-NEXT:          CopyStmt_0(0, c3, c4);
  30 ; CHECK-NEXT:      for (int c2 = 0; c2 <= 7; c2 += 1) {
  31 ; CHECK-NEXT:        for (int c3 = 128 * c2; c3 <= 128 * c2 + 127; c3 += 1)
  32 ; CHECK-NEXT:          for (int c5 = 384 * c1; c5 <= min(1023, 384 * c1 + 383); c5 += 1)
  33 ; CHECK-NEXT:            CopyStmt_1(c3, 0, c5);
  34 ; CHECK-NEXT:        // 1st level tiling - Points
  35 ; CHECK-NEXT:        // Register tiling - Tiles
  36 ; CHECK-NEXT:        for (int c3 = 0; c3 <= 127; c3 += 1)
  37 ; CHECK-NEXT:          for (int c4 = 0; c4 <= 15; c4 += 1)
  38 ; CHECK-NEXT:            for (int c5 = 0; c5 <= min(383, -384 * c1 + 1023); c5 += 1) {
  39 ; CHECK-NEXT:              // Register tiling - Points
  40 ; CHECK-NEXT:              {
  41 ; CHECK-NEXT:                Stmt_for_body6(128 * c2 + 8 * c4, 8 * c3, 384 * c1 + c5);
  42 ; CHECK-NEXT:                Stmt_for_body6(128 * c2 + 8 * c4, 8 * c3 + 1, 384 * c1 + c5);
  43 ; CHECK-NEXT:                Stmt_for_body6(128 * c2 + 8 * c4, 8 * c3 + 2, 384 * c1 + c5);
  44 ; CHECK-NEXT:                Stmt_for_body6(128 * c2 + 8 * c4, 8 * c3 + 3, 384 * c1 + c5);
  45 ; CHECK-NEXT:                Stmt_for_body6(128 * c2 + 8 * c4, 8 * c3 + 4, 384 * c1 + c5);
  46 ; CHECK-NEXT:                Stmt_for_body6(128 * c2 + 8 * c4, 8 * c3 + 5, 384 * c1 + c5);
  47 ; CHECK-NEXT:                Stmt_for_body6(128 * c2 + 8 * c4, 8 * c3 + 6, 384 * c1 + c5);
  48 ; CHECK-NEXT:                Stmt_for_body6(128 * c2 + 8 * c4, 8 * c3 + 7, 384 * c1 + c5);
  49 ; CHECK-NEXT:                Stmt_for_body6(128 * c2 + 8 * c4 + 1, 8 * c3, 384 * c1 + c5);
  50 ; CHECK-NEXT:                Stmt_for_body6(128 * c2 + 8 * c4 + 1, 8 * c3 + 1, 384 * c1 + c5);
  51 ; CHECK-NEXT:                Stmt_for_body6(128 * c2 + 8 * c4 + 1, 8 * c3 + 2, 384 * c1 + c5);
  52 ; CHECK-NEXT:                Stmt_for_body6(128 * c2 + 8 * c4 + 1, 8 * c3 + 3, 384 * c1 + c5);
  53 ; CHECK-NEXT:                Stmt_for_body6(128 * c2 + 8 * c4 + 1, 8 * c3 + 4, 384 * c1 + c5);
  54 ; CHECK-NEXT:                Stmt_for_body6(128 * c2 + 8 * c4 + 1, 8 * c3 + 5, 384 * c1 + c5);
  55 ; CHECK-NEXT:                Stmt_for_body6(128 * c2 + 8 * c4 + 1, 8 * c3 + 6, 384 * c1 + c5);
  56 ; CHECK-NEXT:                Stmt_for_body6(128 * c2 + 8 * c4 + 1, 8 * c3 + 7, 384 * c1 + c5);
  57 ; CHECK-NEXT:                Stmt_for_body6(128 * c2 + 8 * c4 + 2, 8 * c3, 384 * c1 + c5);
  58 ; CHECK-NEXT:                Stmt_for_body6(128 * c2 + 8 * c4 + 2, 8 * c3 + 1, 384 * c1 + c5);
  59 ; CHECK-NEXT:                Stmt_for_body6(128 * c2 + 8 * c4 + 2, 8 * c3 + 2, 384 * c1 + c5);
  60 ; CHECK-NEXT:                Stmt_for_body6(128 * c2 + 8 * c4 + 2, 8 * c3 + 3, 384 * c1 + c5);
  61 ; CHECK-NEXT:                Stmt_for_body6(128 * c2 + 8 * c4 + 2, 8 * c3 + 4, 384 * c1 + c5);
  62 ; CHECK-NEXT:                Stmt_for_body6(128 * c2 + 8 * c4 + 2, 8 * c3 + 5, 384 * c1 + c5);
  63 ; CHECK-NEXT:                Stmt_for_body6(128 * c2 + 8 * c4 + 2, 8 * c3 + 6, 384 * c1 + c5);
  64 ; CHECK-NEXT:                Stmt_for_body6(128 * c2 + 8 * c4 + 2, 8 * c3 + 7, 384 * c1 + c5);
  65 ; CHECK-NEXT:                Stmt_for_body6(128 * c2 + 8 * c4 + 3, 8 * c3, 384 * c1 + c5);
  66 ; CHECK-NEXT:                Stmt_for_body6(128 * c2 + 8 * c4 + 3, 8 * c3 + 1, 384 * c1 + c5);
  67 ; CHECK-NEXT:                Stmt_for_body6(128 * c2 + 8 * c4 + 3, 8 * c3 + 2, 384 * c1 + c5);
  68 ; CHECK-NEXT:                Stmt_for_body6(128 * c2 + 8 * c4 + 3, 8 * c3 + 3, 384 * c1 + c5);
  69 ; CHECK-NEXT:                Stmt_for_body6(128 * c2 + 8 * c4 + 3, 8 * c3 + 4, 384 * c1 + c5);
  70 ; CHECK-NEXT:                Stmt_for_body6(128 * c2 + 8 * c4 + 3, 8 * c3 + 5, 384 * c1 + c5);
  71 ; CHECK-NEXT:                Stmt_for_body6(128 * c2 + 8 * c4 + 3, 8 * c3 + 6, 384 * c1 + c5);
  72 ; CHECK-NEXT:                Stmt_for_body6(128 * c2 + 8 * c4 + 3, 8 * c3 + 7, 384 * c1 + c5);
  73 ; CHECK-NEXT:                Stmt_for_body6(128 * c2 + 8 * c4 + 4, 8 * c3, 384 * c1 + c5);
  74 ; CHECK-NEXT:                Stmt_for_body6(128 * c2 + 8 * c4 + 4, 8 * c3 + 1, 384 * c1 + c5);
  75 ; CHECK-NEXT:                Stmt_for_body6(128 * c2 + 8 * c4 + 4, 8 * c3 + 2, 384 * c1 + c5);
  76 ; CHECK-NEXT:                Stmt_for_body6(128 * c2 + 8 * c4 + 4, 8 * c3 + 3, 384 * c1 + c5);
  77 ; CHECK-NEXT:                Stmt_for_body6(128 * c2 + 8 * c4 + 4, 8 * c3 + 4, 384 * c1 + c5);
  78 ; CHECK-NEXT:                Stmt_for_body6(128 * c2 + 8 * c4 + 4, 8 * c3 + 5, 384 * c1 + c5);
  79 ; CHECK-NEXT:                Stmt_for_body6(128 * c2 + 8 * c4 + 4, 8 * c3 + 6, 384 * c1 + c5);
  80 ; CHECK-NEXT:                Stmt_for_body6(128 * c2 + 8 * c4 + 4, 8 * c3 + 7, 384 * c1 + c5);
  81 ; CHECK-NEXT:                Stmt_for_body6(128 * c2 + 8 * c4 + 5, 8 * c3, 384 * c1 + c5);
  82 ; CHECK-NEXT:                Stmt_for_body6(128 * c2 + 8 * c4 + 5, 8 * c3 + 1, 384 * c1 + c5);
  83 ; CHECK-NEXT:                Stmt_for_body6(128 * c2 + 8 * c4 + 5, 8 * c3 + 2, 384 * c1 + c5);
  84 ; CHECK-NEXT:                Stmt_for_body6(128 * c2 + 8 * c4 + 5, 8 * c3 + 3, 384 * c1 + c5);
  85 ; CHECK-NEXT:                Stmt_for_body6(128 * c2 + 8 * c4 + 5, 8 * c3 + 4, 384 * c1 + c5);
  86 ; CHECK-NEXT:                Stmt_for_body6(128 * c2 + 8 * c4 + 5, 8 * c3 + 5, 384 * c1 + c5);
  87 ; CHECK-NEXT:                Stmt_for_body6(128 * c2 + 8 * c4 + 5, 8 * c3 + 6, 384 * c1 + c5);
  88 ; CHECK-NEXT:                Stmt_for_body6(128 * c2 + 8 * c4 + 5, 8 * c3 + 7, 384 * c1 + c5);
  89 ; CHECK-NEXT:                Stmt_for_body6(128 * c2 + 8 * c4 + 6, 8 * c3, 384 * c1 + c5);
  90 ; CHECK-NEXT:                Stmt_for_body6(128 * c2 + 8 * c4 + 6, 8 * c3 + 1, 384 * c1 + c5);
  91 ; CHECK-NEXT:                Stmt_for_body6(128 * c2 + 8 * c4 + 6, 8 * c3 + 2, 384 * c1 + c5);
  92 ; CHECK-NEXT:                Stmt_for_body6(128 * c2 + 8 * c4 + 6, 8 * c3 + 3, 384 * c1 + c5);
  93 ; CHECK-NEXT:                Stmt_for_body6(128 * c2 + 8 * c4 + 6, 8 * c3 + 4, 384 * c1 + c5);
  94 ; CHECK-NEXT:                Stmt_for_body6(128 * c2 + 8 * c4 + 6, 8 * c3 + 5, 384 * c1 + c5);
  95 ; CHECK-NEXT:                Stmt_for_body6(128 * c2 + 8 * c4 + 6, 8 * c3 + 6, 384 * c1 + c5);
  96 ; CHECK-NEXT:                Stmt_for_body6(128 * c2 + 8 * c4 + 6, 8 * c3 + 7, 384 * c1 + c5);
  97 ; CHECK-NEXT:                Stmt_for_body6(128 * c2 + 8 * c4 + 7, 8 * c3, 384 * c1 + c5);
  98 ; CHECK-NEXT:                Stmt_for_body6(128 * c2 + 8 * c4 + 7, 8 * c3 + 1, 384 * c1 + c5);
  99 ; CHECK-NEXT:                Stmt_for_body6(128 * c2 + 8 * c4 + 7, 8 * c3 + 2, 384 * c1 + c5);
 100 ; CHECK-NEXT:                Stmt_for_body6(128 * c2 + 8 * c4 + 7, 8 * c3 + 3, 384 * c1 + c5);
 101 ; CHECK-NEXT:                Stmt_for_body6(128 * c2 + 8 * c4 + 7, 8 * c3 + 4, 384 * c1 + c5);
 102 ; CHECK-NEXT:                Stmt_for_body6(128 * c2 + 8 * c4 + 7, 8 * c3 + 5, 384 * c1 + c5);
 103 ; CHECK-NEXT:                Stmt_for_body6(128 * c2 + 8 * c4 + 7, 8 * c3 + 6, 384 * c1 + c5);
 104 ; CHECK-NEXT:                Stmt_for_body6(128 * c2 + 8 * c4 + 7, 8 * c3 + 7, 384 * c1 + c5);
 105 ; CHECK-NEXT:              }
 106 ; CHECK-NEXT:            }
 107 ; CHECK-NEXT:      }
 108 ; CHECK-NEXT:    }
 109 ;
 110 target datalayout = "e-m:e-i64:64-f80:128-n8:16:32:64-S128"
 111 target triple = "x86_64-unknown-unknown"
 112
 113 ; Function Attrs: noinline nounwind uwtable
 114 define internal void @kernel_gemm(i32 %ni, i32 %nj, i32 %nk, float %alpha, float %beta, [1024 x float]* %C, [1024 x float]* %A, [1024 x float]* %B) #0 {
 115 entry:
 116   br label %entry.split
 117
 118 entry.split:                                      ; preds = %entry
 119   br label %for.cond1.preheader
 120
 121 for.cond1.preheader:                              ; preds = %for.inc20, %entry.split
 122   %indvars.iv41 = phi i64 [ 0, %entry.split ], [ %indvars.iv.next42, %for.inc20 ]
 123   br label %for.cond4.preheader
 124
 125 for.cond4.preheader:                              ; preds = %for.inc17, %for.cond1.preheader
 126   %indvars.iv38 = phi i64 [ 0, %for.cond1.preheader ], [ %indvars.iv.next39, %for.inc17 ]
 127   br label %for.body6
 128
 129 for.body6:                                        ; preds = %for.body6, %for.cond4.preheader
 130   %indvars.iv = phi i64 [ 0, %for.cond4.preheader ], [ %indvars.iv.next, %for.body6 ]
 131   %arrayidx8 = getelementptr inbounds [1024 x float], [1024 x float]* %A, i64 %indvars.iv41, i64 %indvars.iv
 132   %tmp = load float, float* %arrayidx8, align 4
 133   %arrayidx12 = getelementptr inbounds [1024 x float], [1024 x float]* %B, i64 %indvars.iv, i64 %indvars.iv38
 134   %tmp1 = load float, float* %arrayidx12, align 4
 135   %mul = fmul float %tmp, %tmp1
 136   %arrayidx16 = getelementptr inbounds [1024 x float], [1024 x float]* %C, i64 %indvars.iv41, i64 %indvars.iv38
 137   %tmp2 = load float, float* %arrayidx16, align 4
 138   %add = fadd float %tmp2, %mul
 139   store float %add, float* %arrayidx16, align 4
 140   %indvars.iv.next = add nuw nsw i64 %indvars.iv, 1
 141   %exitcond = icmp ne i64 %indvars.iv.next, 1024
 142   br i1 %exitcond, label %for.body6, label %for.inc17
 143
 144 for.inc17:                                        ; preds = %for.body6
 145   %indvars.iv.next39 = add nuw nsw i64 %indvars.iv38, 1
 146   %exitcond40 = icmp ne i64 %indvars.iv.next39, 1024
 147   br i1 %exitcond40, label %for.cond4.preheader, label %for.inc20
 148
 149 for.inc20:                                        ; preds = %for.inc17
 150   %indvars.iv.next42 = add nuw nsw i64 %indvars.iv41, 1
 151   %exitcond43 = icmp ne i64 %indvars.iv.next42, 1024
 152   br i1 %exitcond43, label %for.cond1.preheader, label %for.end22
 153
 154 for.end22:                                        ; preds = %for.inc20
 155   ret void
 156 }