src/vm_mips.dasc

   1 |// Low-level VM code for MIPS CPUs.
   2 |// Bytecode interpreter, fast functions and helper functions.
   3 |// Copyright (C) 2005-2022 Mike Pall. See Copyright Notice in luajit.h
   4 |
   5 |.arch mips
   6 |.section code_op, code_sub
   7 |
   8 |.actionlist build_actionlist
   9 |.globals GLOB_
  10 |.globalnames globnames
  11 |.externnames extnames
  12 |
  13 |// Note: The ragged indentation of the instructions is intentional.
  14 |//       The starting columns indicate data dependencies.
  15 |
  16 |//-----------------------------------------------------------------------
  17 |
  18 |// Fixed register assignments for the interpreter.
  19 |// Don't use: r0 = 0, r26/r27 = reserved, r28 = gp, r29 = sp, r31 = ra
  20 |
  21 |// The following must be C callee-save (but BASE is often refetched).
  22 |.define BASE,          r16     // Base of current Lua stack frame.
  23 |.define KBASE,         r17     // Constants of current Lua function.
  24 |.define PC,            r18     // Next PC.
  25 |.define DISPATCH,      r19     // Opcode dispatch table.
  26 |.define LREG,          r20     // Register holding lua_State (also in SAVE_L).
  27 |.define MULTRES,       r21     // Size of multi-result: (nresults+1)*8.
  28 |// NYI: r22 currently unused.
  29 |
  30 |.define JGL,           r30     // On-trace: global_State + 32768.
  31 |
  32 |// Constants for type-comparisons, stores and conversions. C callee-save.
  33 |.define TISNIL,        r30
  34 |.define TOBIT,         f30     // 2^52 + 2^51.
  35 |
  36 |// The following temporaries are not saved across C calls, except for RA.
  37 |.define RA,            r23     // Callee-save.
  38 |.define RB,            r8
  39 |.define RC,            r9
  40 |.define RD,            r10
  41 |.define INS,           r11
  42 |
  43 |.define AT,            r1      // Assembler temporary.
  44 |.define TMP0,          r12
  45 |.define TMP1,          r13
  46 |.define TMP2,          r14
  47 |.define TMP3,          r15
  48 |
  49 |// Calling conventions.
  50 |.define CFUNCADDR,     r25
  51 |.define CARG1,         r4
  52 |.define CARG2,         r5
  53 |.define CARG3,         r6
  54 |.define CARG4,         r7
  55 |
  56 |.define CRET1,         r2
  57 |.define CRET2,         r3
  58 |
  59 |.define FARG1,         f12
  60 |.define FARG2,         f14
  61 |
  62 |.define FRET1,         f0
  63 |.define FRET2,         f2
  64 |
  65 |// Stack layout while in interpreter. Must match with lj_frame.h.
  66 |.define CFRAME_SPACE,  112     // Delta for sp.
  67 |
  68 |.define SAVE_ERRF,     124(sp) // 32 bit C frame info.
  69 |.define SAVE_NRES,     120(sp)
  70 |.define SAVE_CFRAME,   116(sp)
  71 |.define SAVE_L,        112(sp)
  72 |//----- 8 byte aligned, ^^^^ 16 byte register save area, owned by interpreter.
  73 |.define SAVE_GPR_,     72      // .. 72+10*4: 32 bit GPR saves.
  74 |.define SAVE_FPR_,     24      // .. 24+6*8: 64 bit FPR saves.
  75 |.define SAVE_PC,       20(sp)
  76 |.define ARG5,          16(sp)
  77 |.define CSAVE_4,       12(sp)
  78 |.define CSAVE_3,       8(sp)
  79 |.define CSAVE_2,       4(sp)
  80 |.define CSAVE_1,       0(sp)
  81 |//----- 8 byte aligned, ^^^^ 16 byte register save area, owned by callee.
  82 |
  83 |.define ARG5_OFS,      16
  84 |.define SAVE_MULTRES,  ARG5
  85 |
  86 |.macro saveregs
  87 |  addiu sp, sp, -CFRAME_SPACE
  88 |  sw ra, SAVE_GPR_+9*4(sp)
  89 |  sw r30, SAVE_GPR_+8*4(sp)
  90 |   sdc1 f30, SAVE_FPR_+5*8(sp)
  91 |  sw r23, SAVE_GPR_+7*4(sp)
  92 |  sw r22, SAVE_GPR_+6*4(sp)
  93 |   sdc1 f28, SAVE_FPR_+4*8(sp)
  94 |  sw r21, SAVE_GPR_+5*4(sp)
  95 |  sw r20, SAVE_GPR_+4*4(sp)
  96 |   sdc1 f26, SAVE_FPR_+3*8(sp)
  97 |  sw r19, SAVE_GPR_+3*4(sp)
  98 |  sw r18, SAVE_GPR_+2*4(sp)
  99 |   sdc1 f24, SAVE_FPR_+2*8(sp)
 100 |  sw r17, SAVE_GPR_+1*4(sp)
 101 |  sw r16, SAVE_GPR_+0*4(sp)
 102 |   sdc1 f22, SAVE_FPR_+1*8(sp)
 103 |   sdc1 f20, SAVE_FPR_+0*8(sp)
 104 |.endmacro
 105 |
 106 |.macro restoreregs_ret
 107 |  lw ra, SAVE_GPR_+9*4(sp)
 108 |  lw r30, SAVE_GPR_+8*4(sp)
 109 |   ldc1 f30, SAVE_FPR_+5*8(sp)
 110 |  lw r23, SAVE_GPR_+7*4(sp)
 111 |  lw r22, SAVE_GPR_+6*4(sp)
 112 |   ldc1 f28, SAVE_FPR_+4*8(sp)
 113 |  lw r21, SAVE_GPR_+5*4(sp)
 114 |  lw r20, SAVE_GPR_+4*4(sp)
 115 |   ldc1 f26, SAVE_FPR_+3*8(sp)
 116 |  lw r19, SAVE_GPR_+3*4(sp)
 117 |  lw r18, SAVE_GPR_+2*4(sp)
 118 |   ldc1 f24, SAVE_FPR_+2*8(sp)
 119 |  lw r17, SAVE_GPR_+1*4(sp)
 120 |  lw r16, SAVE_GPR_+0*4(sp)
 121 |   ldc1 f22, SAVE_FPR_+1*8(sp)
 122 |   ldc1 f20, SAVE_FPR_+0*8(sp)
 123 |  jr ra
 124 |  addiu sp, sp, CFRAME_SPACE
 125 |.endmacro
 126 |
 127 |// Type definitions. Some of these are only used for documentation.
 128 |.type L,               lua_State,      LREG
 129 |.type GL,              global_State
 130 |.type TVALUE,          TValue
 131 |.type GCOBJ,           GCobj
 132 |.type STR,             GCstr
 133 |.type TAB,             GCtab
 134 |.type LFUNC,           GCfuncL
 135 |.type CFUNC,           GCfuncC
 136 |.type PROTO,           GCproto
 137 |.type UPVAL,           GCupval
 138 |.type NODE,            Node
 139 |.type NARGS8,          int
 140 |.type TRACE,           GCtrace
 141 |
 142 |//-----------------------------------------------------------------------
 143 |
 144 |// Trap for not-yet-implemented parts.
 145 |.macro NYI; .long 0xf0f0f0f0; .endmacro
 146 |
 147 |// Macros to mark delay slots.
 148 |.macro ., a; a; .endmacro
 149 |.macro ., a,b; a,b; .endmacro
 150 |.macro ., a,b,c; a,b,c; .endmacro
 151 |
 152 |//-----------------------------------------------------------------------
 153 |
 154 |// Endian-specific defines.
 155 |.define FRAME_PC,      LJ_ENDIAN_SELECT(-4,-8)
 156 |.define FRAME_FUNC,    LJ_ENDIAN_SELECT(-8,-4)
 157 |.define HI,            LJ_ENDIAN_SELECT(4,0)
 158 |.define LO,            LJ_ENDIAN_SELECT(0,4)
 159 |.define OFS_RD,        LJ_ENDIAN_SELECT(2,0)
 160 |.define OFS_RA,        LJ_ENDIAN_SELECT(1,2)
 161 |.define OFS_OP,        LJ_ENDIAN_SELECT(0,3)
 162 |
 163 |// Instruction decode.
 164 |.macro decode_OP1, dst, ins; andi dst, ins, 0xff; .endmacro
 165 |.macro decode_OP4a, dst, ins; andi dst, ins, 0xff; .endmacro
 166 |.macro decode_OP4b, dst; sll dst, dst, 2; .endmacro
 167 |.macro decode_RC4a, dst, ins; srl dst, ins, 14; .endmacro
 168 |.macro decode_RC4b, dst; andi dst, dst, 0x3fc; .endmacro
 169 |.macro decode_RD4b, dst; sll dst, dst, 2; .endmacro
 170 |.macro decode_RA8a, dst, ins; srl dst, ins, 5; .endmacro
 171 |.macro decode_RA8b, dst; andi dst, dst, 0x7f8; .endmacro
 172 |.macro decode_RB8a, dst, ins; srl dst, ins, 21; .endmacro
 173 |.macro decode_RB8b, dst; andi dst, dst, 0x7f8; .endmacro
 174 |.macro decode_RD8a, dst, ins; srl dst, ins, 16; .endmacro
 175 |.macro decode_RD8b, dst; sll dst, dst, 3; .endmacro
 176 |.macro decode_RDtoRC8, dst, src; andi dst, src, 0x7f8; .endmacro
 177 |
 178 |// Instruction fetch.
 179 |.macro ins_NEXT1
 180 |  lw INS, 0(PC)
 181 |   addiu PC, PC, 4
 182 |.endmacro
 183 |// Instruction decode+dispatch.
 184 |.macro ins_NEXT2
 185 |  decode_OP4a TMP1, INS
 186 |  decode_OP4b TMP1
 187 |  addu TMP0, DISPATCH, TMP1
 188 |   decode_RD8a RD, INS
 189 |  lw AT, 0(TMP0)
 190 |   decode_RA8a RA, INS
 191 |   decode_RD8b RD
 192 |  jr AT
 193 |   decode_RA8b RA
 194 |.endmacro
 195 |.macro ins_NEXT
 196 |  ins_NEXT1
 197 |  ins_NEXT2
 198 |.endmacro
 199 |
 200 |// Instruction footer.
 201 |.if 1
 202 |  // Replicated dispatch. Less unpredictable branches, but higher I-Cache use.
 203 |  .define ins_next, ins_NEXT
 204 |  .define ins_next_, ins_NEXT
 205 |  .define ins_next1, ins_NEXT1
 206 |  .define ins_next2, ins_NEXT2
 207 |.else
 208 |  // Common dispatch. Lower I-Cache use, only one (very) unpredictable branch.
 209 |  // Affects only certain kinds of benchmarks (and only with -j off).
 210 |  .macro ins_next
 211 |    b ->ins_next
 212 |  .endmacro
 213 |  .macro ins_next1
 214 |  .endmacro
 215 |  .macro ins_next2
 216 |    b ->ins_next
 217 |  .endmacro
 218 |  .macro ins_next_
 219 |  ->ins_next:
 220 |    ins_NEXT
 221 |  .endmacro
 222 |.endif
 223 |
 224 |// Call decode and dispatch.
 225 |.macro ins_callt
 226 |  // BASE = new base, RB = LFUNC/CFUNC, RC = nargs*8, FRAME_PC(BASE) = PC
 227 |  lw PC, LFUNC:RB->pc
 228 |  lw INS, 0(PC)
 229 |   addiu PC, PC, 4
 230 |  decode_OP4a TMP1, INS
 231 |   decode_RA8a RA, INS
 232 |  decode_OP4b TMP1
 233 |   decode_RA8b RA
 234 |  addu TMP0, DISPATCH, TMP1
 235 |  lw TMP0, 0(TMP0)
 236 |  jr TMP0
 237 |   addu RA, RA, BASE
 238 |.endmacro
 239 |
 240 |.macro ins_call
 241 |  // BASE = new base, RB = LFUNC/CFUNC, RC = nargs*8, PC = caller PC
 242 |  sw PC, FRAME_PC(BASE)
 243 |  ins_callt
 244 |.endmacro
 245 |
 246 |//-----------------------------------------------------------------------
 247 |
 248 |.macro branch_RD
 249 |  srl TMP0, RD, 1
 250 |  lui AT, (-(BCBIAS_J*4 >> 16) & 65535)
 251 |  addu TMP0, TMP0, AT
 252 |  addu PC, PC, TMP0
 253 |.endmacro
 254 |
 255 |// Assumes DISPATCH is relative to GL.
 256 #define DISPATCH_GL(field)      (GG_DISP2G + (int)offsetof(global_State, field))
 257 #define DISPATCH_J(field)       (GG_DISP2J + (int)offsetof(jit_State, field))
 258 #define GG_DISP2GOT             (GG_OFS(got) - GG_OFS(dispatch))
 259 #define DISPATCH_GOT(name)      (GG_DISP2GOT + 4*LJ_GOT_##name)
 260 |
 261 #define PC2PROTO(field)  ((int)offsetof(GCproto, field)-(int)sizeof(GCproto))
 262 |
 263 |.macro load_got, func
 264 |  lw CFUNCADDR, DISPATCH_GOT(func)(DISPATCH)
 265 |.endmacro
 266 |// Much faster. Sadly, there's no easy way to force the required code layout.
 267 |// .macro call_intern, func; bal extern func; .endmacro
 268 |.macro call_intern, func; jalr CFUNCADDR; .endmacro
 269 |.macro call_extern; jalr CFUNCADDR; .endmacro
 270 |.macro jmp_extern; jr CFUNCADDR; .endmacro
 271 |
 272 |.macro hotcheck, delta, target
 273 |  srl TMP1, PC, 1
 274 |  andi TMP1, TMP1, 126
 275 |  addu TMP1, TMP1, DISPATCH
 276 |  lhu TMP2, GG_DISP2HOT(TMP1)
 277 |  addiu TMP2, TMP2, -delta
 278 |  bltz TMP2, target
 279 |.  sh TMP2, GG_DISP2HOT(TMP1)
 280 |.endmacro
 281 |
 282 |.macro hotloop
 283 |  hotcheck HOTCOUNT_LOOP, ->vm_hotloop
 284 |.endmacro
 285 |
 286 |.macro hotcall
 287 |  hotcheck HOTCOUNT_CALL, ->vm_hotcall
 288 |.endmacro
 289 |
 290 |// Set current VM state. Uses TMP0.
 291 |.macro li_vmstate, st; li TMP0, ~LJ_VMST_..st; .endmacro
 292 |.macro st_vmstate; sw TMP0, DISPATCH_GL(vmstate)(DISPATCH); .endmacro
 293 |
 294 |// Move table write barrier back. Overwrites mark and tmp.
 295 |.macro barrierback, tab, mark, tmp, target
 296 |  lw tmp, DISPATCH_GL(gc.grayagain)(DISPATCH)
 297 |   andi mark, mark, ~LJ_GC_BLACK & 255         // black2gray(tab)
 298 |  sw tab, DISPATCH_GL(gc.grayagain)(DISPATCH)
 299 |   sb mark, tab->marked
 300 |  b target
 301 |.  sw tmp, tab->gclist
 302 |.endmacro
 303 |
 304 |//-----------------------------------------------------------------------
 305
 306 /* Generate subroutines used by opcodes and other parts of the VM. */
 307 /* The .code_sub section should be last to help static branch prediction. */
 308 static void build_subroutines(BuildCtx *ctx)
 309 {
 310   |.code_sub
 311   |
 312   |//-----------------------------------------------------------------------
 313   |//-- Return handling ----------------------------------------------------
 314   |//-----------------------------------------------------------------------
 315   |
 316   |->vm_returnp:
 317   |  // See vm_return. Also: TMP2 = previous base.
 318   |  andi AT, PC, FRAME_P
 319   |  beqz AT, ->cont_dispatch
 320   |.  li TMP1, LJ_TTRUE
 321   |
 322   |  // Return from pcall or xpcall fast func.
 323   |  lw PC, FRAME_PC(TMP2)              // Fetch PC of previous frame.
 324   |  move BASE, TMP2                    // Restore caller base.
 325   |  // Prepending may overwrite the pcall frame, so do it at the end.
 326   |   sw TMP1, FRAME_PC(RA)             // Prepend true to results.
 327   |   addiu RA, RA, -8
 328   |
 329   |->vm_returnc:
 330   |   addiu RD, RD, 8                   // RD = (nresults+1)*8.
 331   |  andi TMP0, PC, FRAME_TYPE
 332   |   beqz RD, ->vm_unwind_c_eh
 333   |.   li CRET1, LUA_YIELD
 334   |  beqz TMP0, ->BC_RET_Z              // Handle regular return to Lua.
 335   |.  move MULTRES, RD
 336   |
 337   |->vm_return:
 338   |  // BASE = base, RA = resultptr, RD/MULTRES = (nresults+1)*8, PC = return
 339   |  // TMP0 = PC & FRAME_TYPE
 340   |   li TMP2, -8
 341   |  xori AT, TMP0, FRAME_C
 342   |   and TMP2, PC, TMP2
 343   |  bnez AT, ->vm_returnp
 344   |.  subu TMP2, BASE, TMP2             // TMP2 = previous base.
 345   |
 346   |  addiu TMP1, RD, -8
 347   |   sw TMP2, L->base
 348   |    li_vmstate C
 349   |   lw TMP2, SAVE_NRES
 350   |   addiu BASE, BASE, -8
 351   |    st_vmstate
 352   |  beqz TMP1, >2
 353   |.   sll TMP2, TMP2, 3
 354   |1:
 355   |  addiu TMP1, TMP1, -8
 356   |   ldc1 f0, 0(RA)
 357   |    addiu RA, RA, 8
 358   |   sdc1 f0, 0(BASE)
 359   |  bnez TMP1, <1
 360   |.  addiu BASE, BASE, 8
 361   |
 362   |2:
 363   |  bne TMP2, RD, >6
 364   |3:
 365   |.  sw BASE, L->top                   // Store new top.
 366   |
 367   |->vm_leave_cp:
 368   |  lw TMP0, SAVE_CFRAME               // Restore previous C frame.
 369   |   move CRET1, r0                    // Ok return status for vm_pcall.
 370   |  sw TMP0, L->cframe
 371   |
 372   |->vm_leave_unw:
 373   |  restoreregs_ret
 374   |
 375   |6:
 376   |  lw TMP1, L->maxstack
 377   |  slt AT, TMP2, RD
 378   |  bnez AT, >7                        // Less results wanted?
 379   |  // More results wanted. Check stack size and fill up results with nil.
 380   |.  slt AT, BASE, TMP1
 381   |  beqz AT, >8
 382   |.  nop
 383   |  sw TISNIL, HI(BASE)
 384   |  addiu RD, RD, 8
 385   |  b <2
 386   |.  addiu BASE, BASE, 8
 387   |
 388   |7:  // Less results wanted.
 389   |  subu TMP0, RD, TMP2
 390   |  subu TMP0, BASE, TMP0              // Either keep top or shrink it.
 391   |  b <3
 392   |.  movn BASE, TMP0, TMP2             // LUA_MULTRET+1 case?
 393   |
 394   |8:  // Corner case: need to grow stack for filling up results.
 395   |  // This can happen if:
 396   |  // - A C function grows the stack (a lot).
 397   |  // - The GC shrinks the stack in between.
 398   |  // - A return back from a lua_call() with (high) nresults adjustment.
 399   |  load_got lj_state_growstack
 400   |   move MULTRES, RD
 401   |  srl CARG2, TMP2, 3
 402   |  call_intern lj_state_growstack     // (lua_State *L, int n)
 403   |.  move CARG1, L
 404   |    lw TMP2, SAVE_NRES
 405   |  lw BASE, L->top                    // Need the (realloced) L->top in BASE.
 406   |   move RD, MULTRES
 407   |  b <2
 408   |.   sll TMP2, TMP2, 3
 409   |
 410   |->vm_unwind_c:                       // Unwind C stack, return from vm_pcall.
 411   |  // (void *cframe, int errcode)
 412   |  move sp, CARG1
 413   |  move CRET1, CARG2
 414   |->vm_unwind_c_eh:                    // Landing pad for external unwinder.
 415   |  lw L, SAVE_L
 416   |   li TMP0, ~LJ_VMST_C
 417   |  lw GL:TMP1, L->glref
 418   |  b ->vm_leave_unw
 419   |.  sw TMP0, GL:TMP1->vmstate
 420   |
 421   |->vm_unwind_ff:                      // Unwind C stack, return from ff pcall.
 422   |  // (void *cframe)
 423   |  li AT, -4
 424   |  and sp, CARG1, AT
 425   |->vm_unwind_ff_eh:                   // Landing pad for external unwinder.
 426   |  lw L, SAVE_L
 427   |     lui TMP3, 0x59c0                // TOBIT = 2^52 + 2^51 (float).
 428   |     li TISNIL, LJ_TNIL
 429   |  lw BASE, L->base
 430   |   lw DISPATCH, L->glref             // Setup pointer to dispatch table.
 431   |     mtc1 TMP3, TOBIT
 432   |  li TMP1, LJ_TFALSE
 433   |    li_vmstate INTERP
 434   |  lw PC, FRAME_PC(BASE)              // Fetch PC of previous frame.
 435   |     cvt.d.s TOBIT, TOBIT
 436   |  addiu RA, BASE, -8                 // Results start at BASE-8.
 437   |   addiu DISPATCH, DISPATCH, GG_G2DISP
 438   |  sw TMP1, HI(RA)                    // Prepend false to error message.
 439   |    st_vmstate
 440   |  b ->vm_returnc
 441   |.  li RD, 16                         // 2 results: false + error message.
 442   |
 443   |//-----------------------------------------------------------------------
 444   |//-- Grow stack for calls -----------------------------------------------
 445   |//-----------------------------------------------------------------------
 446   |
 447   |->vm_growstack_c:                    // Grow stack for C function.
 448   |  b >2
 449   |.  li CARG2, LUA_MINSTACK
 450   |
 451   |->vm_growstack_l:                    // Grow stack for Lua function.
 452   |  // BASE = new base, RA = BASE+framesize*8, RC = nargs*8, PC = first PC
 453   |  addu RC, BASE, RC
 454   |   subu RA, RA, BASE
 455   |  sw BASE, L->base
 456   |   addiu PC, PC, 4                   // Must point after first instruction.
 457   |  sw RC, L->top
 458   |   srl CARG2, RA, 3
 459   |2:
 460   |  // L->base = new base, L->top = top
 461   |  load_got lj_state_growstack
 462   |   sw PC, SAVE_PC
 463   |  call_intern lj_state_growstack     // (lua_State *L, int n)
 464   |.  move CARG1, L
 465   |  lw BASE, L->base
 466   |  lw RC, L->top
 467   |  lw LFUNC:RB, FRAME_FUNC(BASE)
 468   |  subu RC, RC, BASE
 469   |  // BASE = new base, RB = LFUNC/CFUNC, RC = nargs*8, FRAME_PC(BASE) = PC
 470   |  ins_callt                          // Just retry the call.
 471   |
 472   |//-----------------------------------------------------------------------
 473   |//-- Entry points into the assembler VM ---------------------------------
 474   |//-----------------------------------------------------------------------
 475   |
 476   |->vm_resume:                         // Setup C frame and resume thread.
 477   |  // (lua_State *L, TValue *base, int nres1 = 0, ptrdiff_t ef = 0)
 478   |  saveregs
 479   |  move L, CARG1
 480   |    lw DISPATCH, L->glref            // Setup pointer to dispatch table.
 481   |  move BASE, CARG2
 482   |    lbu TMP1, L->status
 483   |   sw L, SAVE_L
 484   |  li PC, FRAME_CP
 485   |  addiu TMP0, sp, CFRAME_RESUME
 486   |    addiu DISPATCH, DISPATCH, GG_G2DISP
 487   |   sw r0, SAVE_NRES
 488   |   sw r0, SAVE_ERRF
 489   |  sw TMP0, L->cframe
 490   |   sw r0, SAVE_CFRAME
 491   |    beqz TMP1, >3
 492   |.  sw CARG1, SAVE_PC         // Any value outside of bytecode is ok.
 493   |
 494   |  // Resume after yield (like a return).
 495   |  move RA, BASE
 496   |   lw BASE, L->base
 497   |   lw TMP1, L->top
 498   |  lw PC, FRAME_PC(BASE)
 499   |     lui TMP3, 0x59c0                // TOBIT = 2^52 + 2^51 (float).
 500   |   subu RD, TMP1, BASE
 501   |     mtc1 TMP3, TOBIT
 502   |    sb r0, L->status
 503   |     cvt.d.s TOBIT, TOBIT
 504   |    li_vmstate INTERP
 505   |   addiu RD, RD, 8
 506   |    st_vmstate
 507   |   move MULTRES, RD
 508   |  andi TMP0, PC, FRAME_TYPE
 509   |  beqz TMP0, ->BC_RET_Z
 510   |.    li TISNIL, LJ_TNIL
 511   |  b ->vm_return
 512   |.  nop
 513   |
 514   |->vm_pcall:                          // Setup protected C frame and enter VM.
 515   |  // (lua_State *L, TValue *base, int nres1, ptrdiff_t ef)
 516   |  saveregs
 517   |  sw CARG4, SAVE_ERRF
 518   |  b >1
 519   |.  li PC, FRAME_CP
 520   |
 521   |->vm_call:                           // Setup C frame and enter VM.
 522   |  // (lua_State *L, TValue *base, int nres1)
 523   |  saveregs
 524   |  li PC, FRAME_C
 525   |
 526   |1:  // Entry point for vm_pcall above (PC = ftype).
 527   |  lw TMP1, L:CARG1->cframe
 528   |   sw CARG3, SAVE_NRES
 529   |    move L, CARG1
 530   |   sw CARG1, SAVE_L
 531   |    move BASE, CARG2
 532   |  sw sp, L->cframe                   // Add our C frame to cframe chain.
 533   |    lw DISPATCH, L->glref            // Setup pointer to dispatch table.
 534   |   sw CARG1, SAVE_PC         // Any value outside of bytecode is ok.
 535   |  sw TMP1, SAVE_CFRAME
 536   |    addiu DISPATCH, DISPATCH, GG_G2DISP
 537   |
 538   |3:  // Entry point for vm_cpcall/vm_resume (BASE = base, PC = ftype).
 539   |  lw TMP2, L->base                   // TMP2 = old base (used in vmeta_call).
 540   |     lui TMP3, 0x59c0                // TOBIT = 2^52 + 2^51 (float).
 541   |   lw TMP1, L->top
 542   |     mtc1 TMP3, TOBIT
 543   |  addu PC, PC, BASE
 544   |   subu NARGS8:RC, TMP1, BASE
 545   |  subu PC, PC, TMP2                  // PC = frame delta + frame type
 546   |     cvt.d.s TOBIT, TOBIT
 547   |    li_vmstate INTERP
 548   |     li TISNIL, LJ_TNIL
 549   |    st_vmstate
 550   |
 551   |->vm_call_dispatch:
 552   |  // TMP2 = old base, BASE = new base, RC = nargs*8, PC = caller PC
 553   |  lw TMP0, FRAME_PC(BASE)
 554   |  li AT, LJ_TFUNC
 555   |  bne TMP0, AT, ->vmeta_call
 556   |.  lw LFUNC:RB, FRAME_FUNC(BASE)
 557   |
 558   |->vm_call_dispatch_f:
 559   |  ins_call
 560   |  // BASE = new base, RB = func, RC = nargs*8, PC = caller PC
 561   |
 562   |->vm_cpcall:                         // Setup protected C frame, call C.
 563   |  // (lua_State *L, lua_CFunction func, void *ud, lua_CPFunction cp)
 564   |  saveregs
 565   |  move L, CARG1
 566   |   lw TMP0, L:CARG1->stack
 567   |  sw CARG1, SAVE_L
 568   |   lw TMP1, L->top
 569   |  sw CARG1, SAVE_PC                  // Any value outside of bytecode is ok.
 570   |   subu TMP0, TMP0, TMP1             // Compute -savestack(L, L->top).
 571   |    lw TMP1, L->cframe
 572   |    sw sp, L->cframe                 // Add our C frame to cframe chain.
 573   |   sw TMP0, SAVE_NRES                // Neg. delta means cframe w/o frame.
 574   |  sw r0, SAVE_ERRF                   // No error function.
 575   |  move CFUNCADDR, CARG4
 576   |  jalr CARG4                 // (lua_State *L, lua_CFunction func, void *ud)
 577   |.   sw TMP1, SAVE_CFRAME
 578   |  move BASE, CRET1
 579   |   lw DISPATCH, L->glref             // Setup pointer to dispatch table.
 580   |    li PC, FRAME_CP
 581   |  bnez CRET1, <3                     // Else continue with the call.
 582   |.  addiu DISPATCH, DISPATCH, GG_G2DISP
 583   |  b ->vm_leave_cp                    // No base? Just remove C frame.
 584   |.  nop
 585   |
 586   |//-----------------------------------------------------------------------
 587   |//-- Metamethod handling ------------------------------------------------
 588   |//-----------------------------------------------------------------------
 589   |
 590   |// The lj_meta_* functions (except for lj_meta_cat) don't reallocate the
 591   |// stack, so BASE doesn't need to be reloaded across these calls.
 592   |
 593   |//-- Continuation dispatch ----------------------------------------------
 594   |
 595   |->cont_dispatch:
 596   |  // BASE = meta base, RA = resultptr, RD = (nresults+1)*8
 597   |  lw TMP0, -16+LO(BASE)              // Continuation.
 598   |   move RB, BASE
 599   |   move BASE, TMP2                   // Restore caller BASE.
 600   |    lw LFUNC:TMP1, FRAME_FUNC(TMP2)
 601   |.if FFI
 602   |  sltiu AT, TMP0, 2
 603   |.endif
 604   |     lw PC, -16+HI(RB)               // Restore PC from [cont|PC].
 605   |   addu TMP2, RA, RD
 606   |.if FFI
 607   |  bnez AT, >1
 608   |.endif
 609   |.  sw TISNIL, -8+HI(TMP2)            // Ensure one valid arg.
 610   |    lw TMP1, LFUNC:TMP1->pc
 611   |  // BASE = base, RA = resultptr, RB = meta base
 612   |  jr TMP0                            // Jump to continuation.
 613   |.  lw KBASE, PC2PROTO(k)(TMP1)
 614   |
 615   |.if FFI
 616   |1:
 617   |  bnez TMP0, ->cont_ffi_callback     // cont = 1: return from FFI callback.
 618   |  // cont = 0: tailcall from C function.
 619   |.  addiu TMP1, RB, -16
 620   |  b ->vm_call_tail
 621   |.  subu RC, TMP1, BASE
 622   |.endif
 623   |
 624   |->cont_cat:                          // RA = resultptr, RB = meta base
 625   |  lw INS, -4(PC)
 626   |   addiu CARG2, RB, -16
 627   |   ldc1 f0, 0(RA)
 628   |  decode_RB8a MULTRES, INS
 629   |   decode_RA8a RA, INS
 630   |  decode_RB8b MULTRES
 631   |   decode_RA8b RA
 632   |  addu TMP1, BASE, MULTRES
 633   |   sw BASE, L->base
 634   |   subu CARG3, CARG2, TMP1
 635   |  bne TMP1, CARG2, ->BC_CAT_Z
 636   |.  sdc1 f0, 0(CARG2)
 637   |  addu RA, BASE, RA
 638   |  b ->cont_nop
 639   |.  sdc1 f0, 0(RA)
 640   |
 641   |//-- Table indexing metamethods -----------------------------------------
 642   |
 643   |->vmeta_tgets1:
 644   |  addiu CARG3, DISPATCH, DISPATCH_GL(tmptv)
 645   |  li TMP0, LJ_TSTR
 646   |  sw STR:RC, LO(CARG3)
 647   |  b >1
 648   |.  sw TMP0, HI(CARG3)
 649   |
 650   |->vmeta_tgets:
 651   |  addiu CARG2, DISPATCH, DISPATCH_GL(tmptv)
 652   |  li TMP0, LJ_TTAB
 653   |  sw TAB:RB, LO(CARG2)
 654   |   addiu CARG3, DISPATCH, DISPATCH_GL(tmptv2)
 655   |  sw TMP0, HI(CARG2)
 656   |   li TMP1, LJ_TSTR
 657   |   sw STR:RC, LO(CARG3)
 658   |  b >1
 659   |.  sw TMP1, HI(CARG3)
 660   |
 661   |->vmeta_tgetb:                       // TMP0 = index
 662   |  mtc1 TMP0, f0
 663   |  cvt.d.w f0, f0
 664   |  addiu CARG3, DISPATCH, DISPATCH_GL(tmptv)
 665   |  sdc1 f0, 0(CARG3)
 666   |
 667   |->vmeta_tgetv:
 668   |1:
 669   |  load_got lj_meta_tget
 670   |  sw BASE, L->base
 671   |  sw PC, SAVE_PC
 672   |  call_intern lj_meta_tget           // (lua_State *L, TValue *o, TValue *k)
 673   |.  move CARG1, L
 674   |  // Returns TValue * (finished) or NULL (metamethod).
 675   |  beqz CRET1, >3
 676   |.  addiu TMP1, BASE, -FRAME_CONT
 677   |  ldc1 f0, 0(CRET1)
 678   |  ins_next1
 679   |   sdc1 f0, 0(RA)
 680   |  ins_next2
 681   |
 682   |3:  // Call __index metamethod.
 683   |  // BASE = base, L->top = new base, stack = cont/func/t/k
 684   |  lw BASE, L->top
 685   |  sw PC, -16+HI(BASE)                // [cont|PC]
 686   |   subu PC, BASE, TMP1
 687   |  lw LFUNC:RB, FRAME_FUNC(BASE)      // Guaranteed to be a function here.
 688   |  b ->vm_call_dispatch_f
 689   |.  li NARGS8:RC, 16                  // 2 args for func(t, k).
 690   |
 691   |//-----------------------------------------------------------------------
 692   |
 693   |->vmeta_tsets1:
 694   |  addiu CARG3, DISPATCH, DISPATCH_GL(tmptv)
 695   |  li TMP0, LJ_TSTR
 696   |  sw STR:RC, LO(CARG3)
 697   |  b >1
 698   |.  sw TMP0, HI(CARG3)
 699   |
 700   |->vmeta_tsets:
 701   |  addiu CARG2, DISPATCH, DISPATCH_GL(tmptv)
 702   |  li TMP0, LJ_TTAB
 703   |  sw TAB:RB, LO(CARG2)
 704   |   addiu CARG3, DISPATCH, DISPATCH_GL(tmptv2)
 705   |  sw TMP0, HI(CARG2)
 706   |   li TMP1, LJ_TSTR
 707   |   sw STR:RC, LO(CARG3)
 708   |  b >1
 709   |.  sw TMP1, HI(CARG3)
 710   |
 711   |->vmeta_tsetb:                       // TMP0 = index
 712   |  mtc1 TMP0, f0
 713   |  cvt.d.w f0, f0
 714   |  addiu CARG3, DISPATCH, DISPATCH_GL(tmptv)
 715   |  sdc1 f0, 0(CARG3)
 716   |
 717   |->vmeta_tsetv:
 718   |1:
 719   |  load_got lj_meta_tset
 720   |  sw BASE, L->base
 721   |  sw PC, SAVE_PC
 722   |  call_intern lj_meta_tset           // (lua_State *L, TValue *o, TValue *k)
 723   |.  move CARG1, L
 724   |  // Returns TValue * (finished) or NULL (metamethod).
 725   |  beqz CRET1, >3
 726   |.  ldc1 f0, 0(RA)
 727   |  // NOBARRIER: lj_meta_tset ensures the table is not black.
 728   |  ins_next1
 729   |   sdc1 f0, 0(CRET1)
 730   |  ins_next2
 731   |
 732   |3:  // Call __newindex metamethod.
 733   |  // BASE = base, L->top = new base, stack = cont/func/t/k/(v)
 734   |  addiu TMP1, BASE, -FRAME_CONT
 735   |  lw BASE, L->top
 736   |  sw PC, -16+HI(BASE)                // [cont|PC]
 737   |   subu PC, BASE, TMP1
 738   |  lw LFUNC:RB, FRAME_FUNC(BASE)      // Guaranteed to be a function here.
 739   |  sdc1 f0, 16(BASE)                  // Copy value to third argument.
 740   |  b ->vm_call_dispatch_f
 741   |.  li NARGS8:RC, 24                  // 3 args for func(t, k, v)
 742   |
 743   |//-- Comparison metamethods ---------------------------------------------
 744   |
 745   |->vmeta_comp:
 746   |  // CARG2, CARG3 are already set by BC_ISLT/BC_ISGE/BC_ISLE/BC_ISGT.
 747   |  load_got lj_meta_comp
 748   |  addiu PC, PC, -4
 749   |  sw BASE, L->base
 750   |  sw PC, SAVE_PC
 751   |  decode_OP1 CARG4, INS
 752   |  call_intern lj_meta_comp   // (lua_State *L, TValue *o1, *o2, int op)
 753   |.  move CARG1, L
 754   |  // Returns 0/1 or TValue * (metamethod).
 755   |3:
 756   |  sltiu AT, CRET1, 2
 757   |  beqz AT, ->vmeta_binop
 758   |   negu TMP2, CRET1
 759   |4:
 760   |  lhu RD, OFS_RD(PC)
 761   |   addiu PC, PC, 4
 762   |   lui TMP1, (-(BCBIAS_J*4 >> 16) & 65535)
 763   |  sll RD, RD, 2
 764   |  addu RD, RD, TMP1
 765   |  and RD, RD, TMP2
 766   |  addu PC, PC, RD
 767   |->cont_nop:
 768   |  ins_next
 769   |
 770   |->cont_ra:                           // RA = resultptr
 771   |  lbu TMP1, -4+OFS_RA(PC)
 772   |   ldc1 f0, 0(RA)
 773   |  sll TMP1, TMP1, 3
 774   |  addu TMP1, BASE, TMP1
 775   |  b ->cont_nop
 776   |.  sdc1 f0, 0(TMP1)
 777   |
 778   |->cont_condt:                        // RA = resultptr
 779   |  lw TMP0, HI(RA)
 780   |  sltiu AT, TMP0, LJ_TISTRUECOND
 781   |  b <4
 782   |.  negu TMP2, AT                     // Branch if result is true.
 783   |
 784   |->cont_condf:                        // RA = resultptr
 785   |  lw TMP0, HI(RA)
 786   |  sltiu AT, TMP0, LJ_TISTRUECOND
 787   |  b <4
 788   |.  addiu TMP2, AT, -1                // Branch if result is false.
 789   |
 790   |->vmeta_equal:
 791   |  // CARG2, CARG3, CARG4 are already set by BC_ISEQV/BC_ISNEV.
 792   |  load_got lj_meta_equal
 793   |  addiu PC, PC, -4
 794   |   sw BASE, L->base
 795   |   sw PC, SAVE_PC
 796   |  call_intern lj_meta_equal  // (lua_State *L, GCobj *o1, *o2, int ne)
 797   |.  move CARG1, L
 798   |  // Returns 0/1 or TValue * (metamethod).
 799   |  b <3
 800   |.  nop
 801   |
 802   |->vmeta_equal_cd:
 803   |.if FFI
 804   |  load_got lj_meta_equal_cd
 805   |  move CARG2, INS
 806   |  addiu PC, PC, -4
 807   |   sw BASE, L->base
 808   |   sw PC, SAVE_PC
 809   |  call_intern lj_meta_equal_cd       // (lua_State *L, BCIns op)
 810   |.  move CARG1, L
 811   |  // Returns 0/1 or TValue * (metamethod).
 812   |  b <3
 813   |.  nop
 814   |.endif
 815   |
 816   |//-- Arithmetic metamethods ---------------------------------------------
 817   |
 818   |->vmeta_unm:
 819   |  move CARG4, CARG3
 820   |
 821   |->vmeta_arith:
 822   |  load_got lj_meta_arith
 823   |  decode_OP1 TMP0, INS
 824   |   sw BASE, L->base
 825   |   sw PC, SAVE_PC
 826   |  move CARG2, RA
 827   |  sw TMP0, ARG5
 828   |  call_intern lj_meta_arith  // (lua_State *L, TValue *ra,*rb,*rc, BCReg op)
 829   |.  move CARG1, L
 830   |  // Returns NULL (finished) or TValue * (metamethod).
 831   |  beqz CRET1, ->cont_nop
 832   |.  nop
 833   |
 834   |  // Call metamethod for binary op.
 835   |->vmeta_binop:
 836   |  // BASE = old base, CRET1 = new base, stack = cont/func/o1/o2
 837   |  subu TMP1, CRET1, BASE
 838   |   sw PC, -16+HI(CRET1)              // [cont|PC]
 839   |   move TMP2, BASE
 840   |  addiu PC, TMP1, FRAME_CONT
 841   |   move BASE, CRET1
 842   |  b ->vm_call_dispatch
 843   |.  li NARGS8:RC, 16                  // 2 args for func(o1, o2).
 844   |
 845   |->vmeta_len:
 846   |  // CARG2 already set by BC_LEN.
 847 #if LJ_52
 848   |  move MULTRES, CARG1
 849 #endif
 850   |  load_got lj_meta_len
 851   |   sw BASE, L->base
 852   |   sw PC, SAVE_PC
 853   |  call_intern lj_meta_len            // (lua_State *L, TValue *o)
 854   |.  move CARG1, L
 855   |  // Returns NULL (retry) or TValue * (metamethod base).
 856 #if LJ_52
 857   |  bnez CRET1, ->vmeta_binop          // Binop call for compatibility.
 858   |.  nop
 859   |  b ->BC_LEN_Z
 860   |.  move CARG1, MULTRES
 861 #else
 862   |  b ->vmeta_binop                    // Binop call for compatibility.
 863   |.  nop
 864 #endif
 865   |
 866   |//-- Call metamethod ----------------------------------------------------
 867   |
 868   |->vmeta_call:                        // Resolve and call __call metamethod.
 869   |  // TMP2 = old base, BASE = new base, RC = nargs*8
 870   |  load_got lj_meta_call
 871   |   sw TMP2, L->base                  // This is the callers base!
 872   |  addiu CARG2, BASE, -8
 873   |   sw PC, SAVE_PC
 874   |  addu CARG3, BASE, RC
 875   |   move MULTRES, NARGS8:RC
 876   |  call_intern lj_meta_call   // (lua_State *L, TValue *func, TValue *top)
 877   |.  move CARG1, L
 878   |  lw LFUNC:RB, FRAME_FUNC(BASE)      // Guaranteed to be a function here.
 879   |   addiu NARGS8:RC, MULTRES, 8       // Got one more argument now.
 880   |  ins_call
 881   |
 882   |->vmeta_callt:                       // Resolve __call for BC_CALLT.
 883   |  // BASE = old base, RA = new base, RC = nargs*8
 884   |  load_got lj_meta_call
 885   |   sw BASE, L->base
 886   |  addiu CARG2, RA, -8
 887   |   sw PC, SAVE_PC
 888   |  addu CARG3, RA, RC
 889   |   move MULTRES, NARGS8:RC
 890   |  call_intern lj_meta_call   // (lua_State *L, TValue *func, TValue *top)
 891   |.  move CARG1, L
 892   |  lw TMP1, FRAME_PC(BASE)
 893   |   lw LFUNC:RB, FRAME_FUNC(RA)       // Guaranteed to be a function here.
 894   |  b ->BC_CALLT_Z
 895   |.  addiu NARGS8:RC, MULTRES, 8       // Got one more argument now.
 896   |
 897   |//-- Argument coercion for 'for' statement ------------------------------
 898   |
 899   |->vmeta_for:
 900   |  load_got lj_meta_for
 901   |   sw BASE, L->base
 902   |  move CARG2, RA
 903   |   sw PC, SAVE_PC
 904   |  move MULTRES, INS
 905   |  call_intern lj_meta_for    // (lua_State *L, TValue *base)
 906   |.  move CARG1, L
 907   |.if JIT
 908   |  decode_OP1 TMP0, MULTRES
 909   |  li AT, BC_JFORI
 910   |.endif
 911   |  decode_RA8a RA, MULTRES
 912   |   decode_RD8a RD, MULTRES
 913   |  decode_RA8b RA
 914   |.if JIT
 915   |  beq TMP0, AT, =>BC_JFORI
 916   |.  decode_RD8b RD
 917   |  b =>BC_FORI
 918   |.  nop
 919   |.else
 920   |  b =>BC_FORI
 921   |.  decode_RD8b RD
 922   |.endif
 923   |
 924   |//-----------------------------------------------------------------------
 925   |//-- Fast functions -----------------------------------------------------
 926   |//-----------------------------------------------------------------------
 927   |
 928   |.macro .ffunc, name
 929   |->ff_ .. name:
 930   |.endmacro
 931   |
 932   |.macro .ffunc_1, name
 933   |->ff_ .. name:
 934   |  beqz NARGS8:RC, ->fff_fallback
 935   |.  lw CARG3, HI(BASE)
 936   |    lw CARG1, LO(BASE)
 937   |.endmacro
 938   |
 939   |.macro .ffunc_2, name
 940   |->ff_ .. name:
 941   |  sltiu AT, NARGS8:RC, 16
 942   |   lw CARG3, HI(BASE)
 943   |  bnez AT, ->fff_fallback
 944   |.   lw CARG4, 8+HI(BASE)
 945   |   lw CARG1, LO(BASE)
 946   |    lw CARG2, 8+LO(BASE)
 947   |.endmacro
 948   |
 949   |.macro .ffunc_n, name        // Caveat: has delay slot!
 950   |->ff_ .. name:
 951   |  lw CARG3, HI(BASE)
 952   |  beqz NARGS8:RC, ->fff_fallback
 953   |.  ldc1 FARG1, 0(BASE)
 954   |  sltiu AT, CARG3, LJ_TISNUM
 955   |  beqz AT, ->fff_fallback
 956   |.endmacro
 957   |
 958   |.macro .ffunc_nn, name       // Caveat: has delay slot!
 959   |->ff_ .. name:
 960   |  sltiu AT, NARGS8:RC, 16
 961   |   lw CARG3, HI(BASE)
 962   |  bnez AT, ->fff_fallback
 963   |.  lw CARG4, 8+HI(BASE)
 964   |  ldc1 FARG1, 0(BASE)
 965   |  ldc1 FARG2, 8(BASE)
 966   |  sltiu TMP0, CARG3, LJ_TISNUM
 967   |  sltiu TMP1, CARG4, LJ_TISNUM
 968   |  and TMP0, TMP0, TMP1
 969   |  beqz TMP0, ->fff_fallback
 970   |.endmacro
 971   |
 972   |// Inlined GC threshold check. Caveat: uses TMP0 and TMP1 and has delay slot!
 973   |.macro ffgccheck
 974   |  lw TMP0, DISPATCH_GL(gc.total)(DISPATCH)
 975   |  lw TMP1, DISPATCH_GL(gc.threshold)(DISPATCH)
 976   |  subu AT, TMP0, TMP1
 977   |  bgezal AT, ->fff_gcstep
 978   |.endmacro
 979   |
 980   |//-- Base library: checks -----------------------------------------------
 981   |
 982   |.ffunc_1 assert
 983   |  sltiu AT, CARG3, LJ_TISTRUECOND
 984   |  beqz AT, ->fff_fallback
 985   |.  addiu RA, BASE, -8
 986   |  lw PC, FRAME_PC(BASE)
 987   |  addiu RD, NARGS8:RC, 8             // Compute (nresults+1)*8.
 988   |  addu TMP2, RA, NARGS8:RC
 989   |   sw CARG3, HI(RA)
 990   |  addiu TMP1, BASE, 8
 991   |  beq BASE, TMP2, ->fff_res          // Done if exactly 1 argument.
 992   |.  sw CARG1, LO(RA)
 993   |1:
 994   |  ldc1 f0, 0(TMP1)
 995   |  sdc1 f0, -8(TMP1)
 996   |  bne TMP1, TMP2, <1
 997   |.  addiu TMP1, TMP1, 8
 998   |  b ->fff_res
 999   |.  nop
1000   |
1001   |.ffunc type
1002   |  lw CARG3, HI(BASE)
1003   |  li TMP1, LJ_TISNUM
1004   |  beqz NARGS8:RC, ->fff_fallback
1005   |.  sltiu TMP0, CARG3, LJ_TISNUM
1006   |  movz TMP1, CARG3, TMP0
1007   |  not TMP1, TMP1
1008   |  sll TMP1, TMP1, 3
1009   |  addu TMP1, CFUNC:RB, TMP1
1010   |  b ->fff_resn
1011   |.  ldc1 FRET1, CFUNC:TMP1->upvalue
1012   |
1013   |//-- Base library: getters and setters ---------------------------------
1014   |
1015   |.ffunc_1 getmetatable
1016   |  li AT, LJ_TTAB
1017   |  bne CARG3, AT, >6
1018   |.  li AT, LJ_TUDATA
1019   |1:  // Field metatable must be at same offset for GCtab and GCudata!
1020   |  lw TAB:CARG1, TAB:CARG1->metatable
1021   |2:
1022   |  lw STR:RC, DISPATCH_GL(gcroot[GCROOT_MMNAME+MM_metatable])(DISPATCH)
1023   |  beqz TAB:CARG1, ->fff_restv
1024   |.  li CARG3, LJ_TNIL
1025   |  lw TMP0, TAB:CARG1->hmask
1026   |   li CARG3, LJ_TTAB                 // Use metatable as default result.
1027   |  lw TMP1, STR:RC->hash
1028   |  lw NODE:TMP2, TAB:CARG1->node
1029   |  and TMP1, TMP1, TMP0               // idx = str->hash & tab->hmask
1030   |  sll TMP0, TMP1, 5
1031   |  sll TMP1, TMP1, 3
1032   |  subu TMP1, TMP0, TMP1
1033   |  addu NODE:TMP2, NODE:TMP2, TMP1    // node = tab->node + (idx*32-idx*8)
1034   |  li AT, LJ_TSTR
1035   |3:  // Rearranged logic, because we expect _not_ to find the key.
1036   |  lw CARG4, offsetof(Node, key)+HI(NODE:TMP2)
1037   |   lw TMP0, offsetof(Node, key)+LO(NODE:TMP2)
1038   |    lw NODE:TMP3, NODE:TMP2->next
1039   |  bne CARG4, AT, >4
1040   |.    lw CARG2, offsetof(Node, val)+HI(NODE:TMP2)
1041   |  beq TMP0, STR:RC, >5
1042   |.    lw TMP1, offsetof(Node, val)+LO(NODE:TMP2)
1043   |4:
1044   |  beqz NODE:TMP3, ->fff_restv        // Not found, keep default result.
1045   |.  move NODE:TMP2, NODE:TMP3
1046   |  b <3
1047   |.  nop
1048   |5:
1049   |  beq CARG2, TISNIL, ->fff_restv     // Ditto for nil value.
1050   |.  nop
1051   |  move CARG3, CARG2                  // Return value of mt.__metatable.
1052   |  b ->fff_restv
1053   |.  move CARG1, TMP1
1054   |
1055   |6:
1056   |  beq CARG3, AT, <1
1057   |.  sltiu TMP0, CARG3, LJ_TISNUM
1058   |  li TMP1, LJ_TISNUM
1059   |  movz TMP1, CARG3, TMP0
1060   |  not TMP1, TMP1
1061   |  sll TMP1, TMP1, 2
1062   |  addu TMP1, DISPATCH, TMP1
1063   |  b <2
1064   |.  lw TAB:CARG1, DISPATCH_GL(gcroot[GCROOT_BASEMT])(TMP1)
1065   |
1066   |.ffunc_2 setmetatable
1067   |  // Fast path: no mt for table yet and not clearing the mt.
1068   |  li AT, LJ_TTAB
1069   |  bne CARG3, AT, ->fff_fallback
1070   |.  addiu CARG4, CARG4, -LJ_TTAB
1071   |  lw TAB:TMP1, TAB:CARG1->metatable
1072   |   lbu TMP3, TAB:CARG1->marked
1073   |  or AT, CARG4, TAB:TMP1
1074   |  bnez AT, ->fff_fallback
1075   |.  andi AT, TMP3, LJ_GC_BLACK        // isblack(table)
1076   |  beqz AT, ->fff_restv
1077   |.  sw TAB:CARG2, TAB:CARG1->metatable
1078   |  barrierback TAB:CARG1, TMP3, TMP0, ->fff_restv
1079   |
1080   |.ffunc rawget
1081   |  lw CARG4, HI(BASE)
1082   |   sltiu AT, NARGS8:RC, 16
1083   |    lw TAB:CARG2, LO(BASE)
1084   |  load_got lj_tab_get
1085   |  addiu CARG4, CARG4, -LJ_TTAB
1086   |  or AT, AT, CARG4
1087   |  bnez AT, ->fff_fallback
1088   |   addiu CARG3, BASE, 8
1089   |  call_intern lj_tab_get     // (lua_State *L, GCtab *t, cTValue *key)
1090   |.  move CARG1, L
1091   |  // Returns cTValue *.
1092   |  b ->fff_resn
1093   |.  ldc1 FRET1, 0(CRET1)
1094   |
1095   |//-- Base library: conversions ------------------------------------------
1096   |
1097   |.ffunc tonumber
1098   |  // Only handles the number case inline (without a base argument).
1099   |  lw CARG1, HI(BASE)
1100   |  xori AT, NARGS8:RC, 8
1101   |  sltiu CARG1, CARG1, LJ_TISNUM
1102   |  movn CARG1, r0, AT
1103   |  beqz CARG1, ->fff_fallback         // Exactly one number argument.
1104   |.  ldc1 FRET1, 0(BASE)
1105   |  b ->fff_resn
1106   |.  nop
1107   |
1108   |.ffunc_1 tostring
1109   |  // Only handles the string or number case inline.
1110   |  li AT, LJ_TSTR
1111   |  // A __tostring method in the string base metatable is ignored.
1112   |  beq CARG3, AT, ->fff_restv                 // String key?
1113   |  // Handle numbers inline, unless a number base metatable is present.
1114   |.  lw TMP1, DISPATCH_GL(gcroot[GCROOT_BASEMT_NUM])(DISPATCH)
1115   |  sltiu TMP0, CARG3, LJ_TISNUM
1116   |  sltiu TMP1, TMP1, 1
1117   |  and TMP0, TMP0, TMP1
1118   |  beqz TMP0, ->fff_fallback
1119   |.  sw BASE, L->base                  // Add frame since C call can throw.
1120   |  ffgccheck
1121   |.  sw PC, SAVE_PC                    // Redundant (but a defined value).
1122   |  load_got lj_str_fromnum
1123   |  move CARG1, L
1124   |  call_intern lj_str_fromnum         // (lua_State *L, lua_Number *np)
1125   |.  move CARG2, BASE
1126   |  // Returns GCstr *.
1127   |  li CARG3, LJ_TSTR
1128   |  b ->fff_restv
1129   |.  move CARG1, CRET1
1130   |
1131   |//-- Base library: iterators -------------------------------------------
1132   |
1133   |.ffunc next
1134   |  lw CARG1, HI(BASE)
1135   |   lw TAB:CARG2, LO(BASE)
1136   |  beqz NARGS8:RC, ->fff_fallback
1137   |.  addu TMP2, BASE, NARGS8:RC
1138   |  li AT, LJ_TTAB
1139   |   sw TISNIL, HI(TMP2)               // Set missing 2nd arg to nil.
1140   |  bne CARG1, AT, ->fff_fallback
1141   |.  lw PC, FRAME_PC(BASE)
1142   |  load_got lj_tab_next
1143   |   sw BASE, L->base                  // Add frame since C call can throw.
1144   |   sw BASE, L->top                   // Dummy frame length is ok.
1145   |  addiu CARG3, BASE, 8
1146   |   sw PC, SAVE_PC
1147   |  call_intern lj_tab_next            // (lua_State *L, GCtab *t, TValue *key)
1148   |.  move CARG1, L
1149   |  // Returns 0 at end of traversal.
1150   |  beqz CRET1, ->fff_restv            // End of traversal: return nil.
1151   |.  li CARG3, LJ_TNIL
1152   |  ldc1 f0, 8(BASE)                   // Copy key and value to results.
1153   |    addiu RA, BASE, -8
1154   |   ldc1 f2, 16(BASE)
1155   |    li RD, (2+1)*8
1156   |  sdc1 f0, 0(RA)
1157   |  b ->fff_res
1158   |.  sdc1 f2, 8(RA)
1159   |
1160   |.ffunc_1 pairs
1161   |  li AT, LJ_TTAB
1162   |  bne CARG3, AT, ->fff_fallback
1163   |.  lw PC, FRAME_PC(BASE)
1164 #if LJ_52
1165   |  lw TAB:TMP2, TAB:CARG1->metatable
1166   |   ldc1 f0, CFUNC:RB->upvalue[0]
1167   |  bnez TAB:TMP2, ->fff_fallback
1168 #else
1169   |  ldc1 f0, CFUNC:RB->upvalue[0]
1170 #endif
1171   |.  addiu RA, BASE, -8
1172   |   sw TISNIL, 8+HI(BASE)
1173   |  li RD, (3+1)*8
1174   |  b ->fff_res
1175   |.  sdc1 f0, 0(RA)
1176   |
1177   |.ffunc ipairs_aux
1178   |  sltiu AT, NARGS8:RC, 16
1179   |   lw CARG3, HI(BASE)
1180   |    lw TAB:CARG1, LO(BASE)
1181   |   lw CARG4, 8+HI(BASE)
1182   |  bnez AT, ->fff_fallback
1183   |.  ldc1 FARG2, 8(BASE)
1184   |   addiu CARG3, CARG3, -LJ_TTAB
1185   |  sltiu AT, CARG4, LJ_TISNUM
1186   |   li TMP0, 1
1187   |  movn AT, r0, CARG3
1188   |   mtc1 TMP0, FARG1
1189   |  beqz AT, ->fff_fallback
1190   |.  lw PC, FRAME_PC(BASE)
1191   |   cvt.w.d FRET1, FARG2
1192   |  cvt.d.w FARG1, FARG1
1193   |   lw TMP0, TAB:CARG1->asize
1194   |   lw TMP1, TAB:CARG1->array
1195   |  mfc1 TMP2, FRET1
1196   |   addiu RA, BASE, -8
1197   |  add.d FARG2, FARG2, FARG1
1198   |  addiu TMP2, TMP2, 1
1199   |  sltu AT, TMP2, TMP0
1200   |   sll TMP3, TMP2, 3
1201   |   addu TMP3, TMP1, TMP3
1202   |  beqz AT, >2                        // Not in array part?
1203   |.  sdc1 FARG2, 0(RA)
1204   |  lw TMP2, HI(TMP3)
1205   |  ldc1 f0, 0(TMP3)
1206   |1:
1207   |  beq TMP2, TISNIL, ->fff_res        // End of iteration, return 0 results.
1208   |.  li RD, (0+1)*8
1209   |   li RD, (2+1)*8
1210   |  b ->fff_res
1211   |.  sdc1 f0, 8(RA)
1212   |2:  // Check for empty hash part first. Otherwise call C function.
1213   |  lw TMP0, TAB:CARG1->hmask
1214   |  load_got lj_tab_getinth
1215   |  beqz TMP0, ->fff_res
1216   |.  li RD, (0+1)*8
1217   |  call_intern lj_tab_getinth         // (GCtab *t, int32_t key)
1218   |.  move CARG2, TMP2
1219   |  // Returns cTValue * or NULL.
1220   |  beqz CRET1, ->fff_res
1221   |.  li RD, (0+1)*8
1222   |  lw TMP2, HI(CRET1)
1223   |  b <1
1224   |.  ldc1 f0, 0(CRET1)
1225   |
1226   |.ffunc_1 ipairs
1227   |  li AT, LJ_TTAB
1228   |  bne CARG3, AT, ->fff_fallback
1229   |.  lw PC, FRAME_PC(BASE)
1230 #if LJ_52
1231   |  lw TAB:TMP2, TAB:CARG1->metatable
1232   |   ldc1 f0, CFUNC:RB->upvalue[0]
1233   |  bnez TAB:TMP2, ->fff_fallback
1234 #else
1235   |  ldc1 f0, CFUNC:RB->upvalue[0]
1236 #endif
1237   |.  addiu RA, BASE, -8
1238   |   sw r0, 8+HI(BASE)
1239   |   sw r0, 8+LO(BASE)
1240   |  li RD, (3+1)*8
1241   |  b ->fff_res
1242   |.  sdc1 f0, 0(RA)
1243   |
1244   |//-- Base library: catch errors ----------------------------------------
1245   |
1246   |.ffunc pcall
1247   |  lbu TMP3, DISPATCH_GL(hookmask)(DISPATCH)
1248   |  beqz NARGS8:RC, ->fff_fallback
1249   |   move TMP2, BASE
1250   |   addiu BASE, BASE, 8
1251   |  // Remember active hook before pcall.
1252   |  srl TMP3, TMP3, HOOK_ACTIVE_SHIFT
1253   |  andi TMP3, TMP3, 1
1254   |  addiu PC, TMP3, 8+FRAME_PCALL
1255   |  b ->vm_call_dispatch
1256   |.  addiu NARGS8:RC, NARGS8:RC, -8
1257   |
1258   |.ffunc xpcall
1259   |    sltiu AT, NARGS8:RC, 16
1260   |  lw CARG4, 8+HI(BASE)
1261   |    bnez AT, ->fff_fallback
1262   |.  ldc1 FARG2, 8(BASE)
1263   |   ldc1 FARG1, 0(BASE)
1264   |    lbu TMP1, DISPATCH_GL(hookmask)(DISPATCH)
1265   |  li AT, LJ_TFUNC
1266   |   move TMP2, BASE
1267   |  bne CARG4, AT, ->fff_fallback  // Traceback must be a function.
1268   |   addiu BASE, BASE, 16
1269   |  // Remember active hook before pcall.
1270   |  srl TMP3, TMP3, HOOK_ACTIVE_SHIFT
1271   |   sdc1 FARG2, 0(TMP2)               // Swap function and traceback.
1272   |  andi TMP3, TMP3, 1
1273   |   sdc1 FARG1, 8(TMP2)
1274   |  addiu PC, TMP3, 16+FRAME_PCALL
1275   |  b ->vm_call_dispatch
1276   |.  addiu NARGS8:RC, NARGS8:RC, -16
1277   |
1278   |//-- Coroutine library --------------------------------------------------
1279   |
1280   |.macro coroutine_resume_wrap, resume
1281   |.if resume
1282   |.ffunc_1 coroutine_resume
1283   |  li AT, LJ_TTHREAD
1284   |  bne CARG3, AT, ->fff_fallback
1285   |.else
1286   |.ffunc coroutine_wrap_aux
1287   |  lw L:CARG1, CFUNC:RB->upvalue[0].gcr
1288   |.endif
1289   |  lbu TMP0, L:CARG1->status
1290   |   lw TMP1, L:CARG1->cframe
1291   |    lw CARG2, L:CARG1->top
1292   |    lw TMP2, L:CARG1->base
1293   |  addiu TMP3, TMP0, -LUA_YIELD
1294   |  bgtz TMP3, ->fff_fallback          // st > LUA_YIELD?
1295   |.   xor TMP2, TMP2, CARG2
1296   |  bnez TMP1, ->fff_fallback          // cframe != 0?
1297   |.  or AT, TMP2, TMP0
1298   |  lw TMP0, L:CARG1->maxstack
1299   |  beqz AT, ->fff_fallback            // base == top && st == 0?
1300   |.  lw PC, FRAME_PC(BASE)
1301   |  addu TMP2, CARG2, NARGS8:RC
1302   |  sltu AT, TMP0, TMP2
1303   |  bnez AT, ->fff_fallback            // Stack overflow?
1304   |.  sw PC, SAVE_PC
1305   |   sw BASE, L->base
1306   |1:
1307   |.if resume
1308   |  addiu BASE, BASE, 8                // Keep resumed thread in stack for GC.
1309   |  addiu NARGS8:RC, NARGS8:RC, -8
1310   |  addiu TMP2, TMP2, -8
1311   |.endif
1312   |  sw TMP2, L:CARG1->top
1313   |  addu TMP1, BASE, NARGS8:RC
1314   |  move CARG3, CARG2
1315   |  sw BASE, L->top
1316   |2:  // Move args to coroutine.
1317   |   ldc1 f0, 0(BASE)
1318   |  sltu AT, BASE, TMP1
1319   |  beqz AT, >3
1320   |.  addiu BASE, BASE, 8
1321   |   sdc1 f0, 0(CARG3)
1322   |  b <2
1323   |.  addiu CARG3, CARG3, 8
1324   |3:
1325   |  bal ->vm_resume                    // (lua_State *L, TValue *base, 0, 0)
1326   |.  move L:RA, L:CARG1
1327   |  // Returns thread status.
1328   |4:
1329   |  lw TMP2, L:RA->base
1330   |   sltiu AT, CRET1, LUA_YIELD+1
1331   |  lw TMP3, L:RA->top
1332   |    li_vmstate INTERP
1333   |  lw BASE, L->base
1334   |    st_vmstate
1335   |   beqz AT, >8
1336   |. subu RD, TMP3, TMP2
1337   |   lw TMP0, L->maxstack
1338   |  beqz RD, >6                        // No results?
1339   |.  addu TMP1, BASE, RD
1340   |  sltu AT, TMP0, TMP1
1341   |  bnez AT, >9                        // Need to grow stack?
1342   |.  addu TMP3, TMP2, RD
1343   |  sw TMP2, L:RA->top                 // Clear coroutine stack.
1344   |  move TMP1, BASE
1345   |5:  // Move results from coroutine.
1346   |   ldc1 f0, 0(TMP2)
1347   |  addiu TMP2, TMP2, 8
1348   |  sltu AT, TMP2, TMP3
1349   |   sdc1 f0, 0(TMP1)
1350   |  bnez AT, <5
1351   |.  addiu TMP1, TMP1, 8
1352   |6:
1353   |  andi TMP0, PC, FRAME_TYPE
1354   |.if resume
1355   |  li TMP1, LJ_TTRUE
1356   |   addiu RA, BASE, -8
1357   |  sw TMP1, -8+HI(BASE)               // Prepend true to results.
1358   |  addiu RD, RD, 16
1359   |.else
1360   |  move RA, BASE
1361   |  addiu RD, RD, 8
1362   |.endif
1363   |7:
1364   |  sw PC, SAVE_PC
1365   |  beqz TMP0, ->BC_RET_Z
1366   |.  move MULTRES, RD
1367   |  b ->vm_return
1368   |.  nop
1369   |
1370   |8:  // Coroutine returned with error (at co->top-1).
1371   |.if resume
1372   |  addiu TMP3, TMP3, -8
1373   |   li TMP1, LJ_TFALSE
1374   |  ldc1 f0, 0(TMP3)
1375   |   sw TMP3, L:RA->top                // Remove error from coroutine stack.
1376   |    li RD, (2+1)*8
1377   |   sw TMP1, -8+HI(BASE)              // Prepend false to results.
1378   |    addiu RA, BASE, -8
1379   |  sdc1 f0, 0(BASE)                   // Copy error message.
1380   |  b <7
1381   |.  andi TMP0, PC, FRAME_TYPE
1382   |.else
1383   |  load_got lj_ffh_coroutine_wrap_err
1384   |  move CARG2, L:RA
1385   |  call_intern lj_ffh_coroutine_wrap_err  // (lua_State *L, lua_State *co)
1386   |.  move CARG1, L
1387   |.endif
1388   |
1389   |9:  // Handle stack expansion on return from yield.
1390   |  load_got lj_state_growstack
1391   |  srl CARG2, RD, 3
1392   |  call_intern lj_state_growstack     // (lua_State *L, int n)
1393   |.  move CARG1, L
1394   |  b <4
1395   |.  li CRET1, 0
1396   |.endmacro
1397   |
1398   |  coroutine_resume_wrap 1            // coroutine.resume
1399   |  coroutine_resume_wrap 0            // coroutine.wrap
1400   |
1401   |.ffunc coroutine_yield
1402   |  lw TMP0, L->cframe
1403   |   addu TMP1, BASE, NARGS8:RC
1404   |   sw BASE, L->base
1405   |  andi TMP0, TMP0, CFRAME_RESUME
1406   |   sw TMP1, L->top
1407   |  beqz TMP0, ->fff_fallback
1408   |.   li CRET1, LUA_YIELD
1409   |  sw r0, L->cframe
1410   |  b ->vm_leave_unw
1411   |.   sb CRET1, L->status
1412   |
1413   |//-- Math library -------------------------------------------------------
1414   |
1415   |.ffunc_n math_abs
1416   |.  abs.d FRET1, FARG1
1417   |->fff_resn:
1418   |  lw PC, FRAME_PC(BASE)
1419   |  addiu RA, BASE, -8
1420   |  b ->fff_res1
1421   |.  sdc1 FRET1, -8(BASE)
1422   |
1423   |->fff_restv:
1424   |  // CARG3/CARG1 = TValue result.
1425   |  lw PC, FRAME_PC(BASE)
1426   |   sw CARG3, -8+HI(BASE)
1427   |  addiu RA, BASE, -8
1428   |   sw CARG1, -8+LO(BASE)
1429   |->fff_res1:
1430   |  // RA = results, PC = return.
1431   |  li RD, (1+1)*8
1432   |->fff_res:
1433   |  // RA = results, RD = (nresults+1)*8, PC = return.
1434   |  andi TMP0, PC, FRAME_TYPE
1435   |  bnez TMP0, ->vm_return
1436   |.  move MULTRES, RD
1437   |  lw INS, -4(PC)
1438   |  decode_RB8a RB, INS
1439   |  decode_RB8b RB
1440   |5:
1441   |  sltu AT, RD, RB
1442   |  bnez AT, >6                        // More results expected?
1443   |.  decode_RA8a TMP0, INS
1444   |  decode_RA8b TMP0
1445   |  ins_next1
1446   |  // Adjust BASE. KBASE is assumed to be set for the calling frame.
1447   |   subu BASE, RA, TMP0
1448   |  ins_next2
1449   |
1450   |6:  // Fill up results with nil.
1451   |  addu TMP1, RA, RD
1452   |   addiu RD, RD, 8
1453   |  b <5
1454   |.  sw TISNIL, -8+HI(TMP1)
1455   |
1456   |.macro math_extern, func
1457   |->ff_math_ .. func:
1458   |  lw CARG3, HI(BASE)
1459   |  beqz NARGS8:RC, ->fff_fallback
1460   |.  load_got func
1461   |  sltiu AT, CARG3, LJ_TISNUM
1462   |  beqz AT, ->fff_fallback
1463   |.  nop
1464   |  call_extern
1465   |.  ldc1 FARG1, 0(BASE)
1466   |  b ->fff_resn
1467   |.  nop
1468   |.endmacro
1469   |
1470   |.macro math_extern2, func
1471   |  .ffunc_nn math_ .. func
1472   |.  load_got func
1473   |  call_extern
1474   |.  nop
1475   |  b ->fff_resn
1476   |.  nop
1477   |.endmacro
1478   |
1479   |.macro math_round, func
1480   |  .ffunc_n math_ .. func
1481   |.  nop
1482   |  bal ->vm_ .. func
1483   |.  nop
1484   |  b ->fff_resn
1485   |.  nop
1486   |.endmacro
1487   |
1488   |  math_round floor
1489   |  math_round ceil
1490   |
1491   |.ffunc math_log
1492   |  lw CARG3, HI(BASE)
1493   |  li AT, 8
1494   |  bne NARGS8:RC, AT, ->fff_fallback  // Exactly 1 argument.
1495   |.  load_got log
1496   |  sltiu AT, CARG3, LJ_TISNUM
1497   |  beqz AT, ->fff_fallback
1498   |.  nop
1499   |  call_extern
1500   |.  ldc1 FARG1, 0(BASE)
1501   |  b ->fff_resn
1502   |.  nop
1503   |
1504   |  math_extern log10
1505   |  math_extern exp
1506   |  math_extern sin
1507   |  math_extern cos
1508   |  math_extern tan
1509   |  math_extern asin
1510   |  math_extern acos
1511   |  math_extern atan
1512   |  math_extern sinh
1513   |  math_extern cosh
1514   |  math_extern tanh
1515   |  math_extern2 pow
1516   |  math_extern2 atan2
1517   |  math_extern2 fmod
1518   |
1519   |.ffunc_n math_sqrt
1520   |.  sqrt.d FRET1, FARG1
1521   |  b ->fff_resn
1522   |.  nop
1523   |
1524   |->ff_math_deg:
1525   |.ffunc_n math_rad
1526   |.  ldc1 FARG2, CFUNC:RB->upvalue[0]
1527   |  b ->fff_resn
1528   |.  mul.d FRET1, FARG1, FARG2
1529   |
1530   |.ffunc_nn math_ldexp
1531   |  cvt.w.d FARG2, FARG2
1532   |  load_got ldexp
1533   |  mfc1 CARG3, FARG2
1534   |  call_extern
1535   |.  nop
1536   |  b ->fff_resn
1537   |.  nop
1538   |
1539   |.ffunc_n math_frexp
1540   |  load_got frexp
1541   |   lw PC, FRAME_PC(BASE)
1542   |  call_extern
1543   |.  addiu CARG3, DISPATCH, DISPATCH_GL(tmptv)
1544   |   lw TMP1, DISPATCH_GL(tmptv)(DISPATCH)
1545   |  addiu RA, BASE, -8
1546   |   mtc1 TMP1, FARG2
1547   |  sdc1 FRET1, 0(RA)
1548   |   cvt.d.w FARG2, FARG2
1549   |   sdc1 FARG2, 8(RA)
1550   |  b ->fff_res
1551   |.  li RD, (2+1)*8
1552   |
1553   |.ffunc_n math_modf
1554   |  load_got modf
1555   |   lw PC, FRAME_PC(BASE)
1556   |  call_extern
1557   |.  addiu CARG3, BASE, -8
1558   |  addiu RA, BASE, -8
1559   |  sdc1 FRET1, 0(BASE)
1560   |  b ->fff_res
1561   |.  li RD, (2+1)*8
1562   |
1563   |.macro math_minmax, name, ismax
1564   |->ff_ .. name:
1565   |  lw CARG3, HI(BASE)
1566   |  beqz NARGS8:RC, ->fff_fallback
1567   |.  ldc1 FRET1, 0(BASE)
1568   |  sltiu AT, CARG3, LJ_TISNUM
1569   |  beqz AT, ->fff_fallback
1570   |.  addu TMP2, BASE, NARGS8:RC
1571   |  addiu TMP1, BASE, 8
1572   |  beq TMP1, TMP2, ->fff_resn
1573   |1:
1574   |.  lw CARG3, HI(TMP1)
1575   |  ldc1 FARG1, 0(TMP1)
1576   |   addiu TMP1, TMP1, 8
1577   |  sltiu AT, CARG3, LJ_TISNUM
1578   |  beqz AT, ->fff_fallback
1579   |.if ismax
1580   |.  c.olt.d FARG1, FRET1
1581   |.else
1582   |.  c.olt.d FRET1, FARG1
1583   |.endif
1584   |  bne TMP1, TMP2, <1
1585   |.  movf.d FRET1, FARG1
1586   |  b ->fff_resn
1587   |.  nop
1588   |.endmacro
1589   |
1590   |  math_minmax math_min, 0
1591   |  math_minmax math_max, 1
1592   |
1593   |//-- String library -----------------------------------------------------
1594   |
1595   |.ffunc_1 string_len
1596   |  li AT, LJ_TSTR
1597   |  bne CARG3, AT, ->fff_fallback
1598   |.  nop
1599   |  b ->fff_resi
1600   |.  lw CRET1, STR:CARG1->len
1601   |
1602   |.ffunc string_byte                   // Only handle the 1-arg case here.
1603   |  lw CARG3, HI(BASE)
1604   |   lw STR:CARG1, LO(BASE)
1605   |  xori AT, NARGS8:RC, 8
1606   |  addiu CARG3, CARG3, -LJ_TSTR
1607   |  or AT, AT, CARG3
1608   |  bnez AT, ->fff_fallback            // Need exactly 1 string argument.
1609   |.  nop
1610   |  lw TMP0, STR:CARG1->len
1611   |   lbu TMP1, STR:CARG1[1]            // Access is always ok (NUL at end).
1612   |    addiu RA, BASE, -8
1613   |  sltu RD, r0, TMP0
1614   |   mtc1 TMP1, f0
1615   |  addiu RD, RD, 1
1616   |   cvt.d.w f0, f0
1617   |  lw PC, FRAME_PC(BASE)
1618   |  sll RD, RD, 3                      // RD = ((str->len != 0)+1)*8
1619   |  b ->fff_res
1620   |.  sdc1 f0, 0(RA)
1621   |
1622   |.ffunc string_char                   // Only handle the 1-arg case here.
1623   |  ffgccheck
1624   |.  nop
1625   |  lw CARG3, HI(BASE)
1626   |   ldc1 FARG1, 0(BASE)
1627   |  li AT, 8
1628   |  bne NARGS8:RC, AT, ->fff_fallback  // Exactly 1 argument.
1629   |.  sltiu AT, CARG3, LJ_TISNUM
1630   |  beqz AT, ->fff_fallback
1631   |.  li CARG3, 1
1632   |   cvt.w.d FARG1, FARG1
1633   |  addiu CARG2, sp, ARG5_OFS
1634   |  sltiu AT, TMP0, 256
1635   |   mfc1 TMP0, FARG1
1636   |  beqz AT, ->fff_fallback
1637   |.  sw TMP0, ARG5
1638   |->fff_newstr:
1639   |  load_got lj_str_new
1640   |   sw BASE, L->base
1641   |   sw PC, SAVE_PC
1642   |  call_intern lj_str_new             // (lua_State *L, char *str, size_t l)
1643   |.  move CARG1, L
1644   |  // Returns GCstr *.
1645   |  lw BASE, L->base
1646   |  move CARG1, CRET1
1647   |  b ->fff_restv
1648   |.  li CARG3, LJ_TSTR
1649   |
1650   |.ffunc string_sub
1651   |  ffgccheck
1652   |.  nop
1653   |  addiu AT, NARGS8:RC, -16
1654   |   lw CARG3, 16+HI(BASE)
1655   |    ldc1 f0, 16(BASE)
1656   |   lw TMP0, HI(BASE)
1657   |    lw STR:CARG1, LO(BASE)
1658   |  bltz AT, ->fff_fallback
1659   |   lw CARG2, 8+HI(BASE)
1660   |    ldc1 f2, 8(BASE)
1661   |  beqz AT, >1
1662   |.  li CARG4, -1
1663   |   cvt.w.d f0, f0
1664   |  sltiu AT, CARG3, LJ_TISNUM
1665   |  beqz AT, ->fff_fallback
1666   |.  mfc1 CARG4, f0
1667   |1:
1668   |  sltiu AT, CARG2, LJ_TISNUM
1669   |  beqz AT, ->fff_fallback
1670   |.  li AT, LJ_TSTR
1671   |  cvt.w.d f2, f2
1672   |  bne TMP0, AT, ->fff_fallback
1673   |.  lw CARG2, STR:CARG1->len
1674   |  mfc1 CARG3, f2
1675   |  // STR:CARG1 = str, CARG2 = str->len, CARG3 = start, CARG4 = end
1676   |  slt AT, CARG4, r0
1677   |  addiu TMP0, CARG2, 1
1678   |  addu TMP1, CARG4, TMP0
1679   |   slt TMP3, CARG3, r0
1680   |  movn CARG4, TMP1, AT               // if (end < 0) end += len+1
1681   |   addu TMP1, CARG3, TMP0
1682   |   movn CARG3, TMP1, TMP3            // if (start < 0) start += len+1
1683   |   li TMP2, 1
1684   |  slt AT, CARG4, r0
1685   |   slt TMP3, r0, CARG3
1686   |  movn CARG4, r0, AT                 // if (end < 0) end = 0
1687   |   movz CARG3, TMP2, TMP3            // if (start < 1) start = 1
1688   |  slt AT, CARG2, CARG4
1689   |  movn CARG4, CARG2, AT              // if (end > len) end = len
1690   |   addu CARG2, STR:CARG1, CARG3
1691   |  subu CARG3, CARG4, CARG3           // len = end - start
1692   |   addiu CARG2, CARG2, sizeof(GCstr)-1
1693   |  bgez CARG3, ->fff_newstr
1694   |.  addiu CARG3, CARG3, 1             // len++
1695   |->fff_emptystr:  // Return empty string.
1696   |  addiu STR:CARG1, DISPATCH, DISPATCH_GL(strempty)
1697   |  b ->fff_restv
1698   |.  li CARG3, LJ_TSTR
1699   |
1700   |.ffunc string_rep                    // Only handle the 1-char case inline.
1701   |  ffgccheck
1702   |.  nop
1703   |  lw TMP0, HI(BASE)
1704   |   addiu AT, NARGS8:RC, -16          // Exactly 2 arguments.
1705   |  lw CARG4, 8+HI(BASE)
1706   |   lw STR:CARG1, LO(BASE)
1707   |  addiu TMP0, TMP0, -LJ_TSTR
1708   |   ldc1 f0, 8(BASE)
1709   |  or AT, AT, TMP0
1710   |  bnez AT, ->fff_fallback
1711   |.  sltiu AT, CARG4, LJ_TISNUM
1712   |   cvt.w.d f0, f0
1713   |  beqz AT, ->fff_fallback
1714   |.  lw TMP0, STR:CARG1->len
1715   |   mfc1 CARG3, f0
1716   |  lw TMP1, DISPATCH_GL(tmpbuf.sz)(DISPATCH)
1717   |  li AT, 1
1718   |   blez CARG3, ->fff_emptystr        // Count <= 0?
1719   |.   sltu AT, AT, TMP0
1720   |  beqz TMP0, ->fff_emptystr          // Zero length string?
1721   |.  sltu TMP0, TMP1, CARG3
1722   |  or AT, AT, TMP0
1723   |   lw CARG2, DISPATCH_GL(tmpbuf.buf)(DISPATCH)
1724   |  bnez AT, ->fff_fallback            // Fallback for > 1-char strings.
1725   |.  lbu TMP0, STR:CARG1[1]
1726   |  addu TMP2, CARG2, CARG3
1727   |1:  // Fill buffer with char. Yes, this is suboptimal code (do you care?).
1728   |  addiu TMP2, TMP2, -1
1729   |  sltu AT, CARG2, TMP2
1730   |  bnez AT, <1
1731   |.  sb TMP0, 0(TMP2)
1732   |  b ->fff_newstr
1733   |.  nop
1734   |
1735   |.ffunc string_reverse
1736   |  ffgccheck
1737   |.  nop
1738   |  lw CARG3, HI(BASE)
1739   |   lw STR:CARG1, LO(BASE)
1740   |  beqz NARGS8:RC, ->fff_fallback
1741   |.  li AT, LJ_TSTR
1742   |  bne CARG3, AT, ->fff_fallback
1743   |.  lw TMP1, DISPATCH_GL(tmpbuf.sz)(DISPATCH)
1744   |  lw CARG3, STR:CARG1->len
1745   |   addiu CARG1, STR:CARG1, #STR
1746   |   lw CARG2, DISPATCH_GL(tmpbuf.buf)(DISPATCH)
1747   |  sltu AT, TMP1, CARG3
1748   |  bnez AT, ->fff_fallback
1749   |.  addu TMP3, CARG1, CARG3
1750   |  addu CARG4, CARG2, CARG3
1751   |1:  // Reverse string copy.
1752   |   lbu TMP1, 0(CARG1)
1753   |  sltu AT, CARG1, TMP3
1754   |  beqz AT, ->fff_newstr
1755   |.  addiu CARG1, CARG1, 1
1756   |  addiu CARG4, CARG4, -1
1757   |  b <1
1758   |   sb TMP1, 0(CARG4)
1759   |
1760   |.macro ffstring_case, name, lo
1761   |  .ffunc name
1762   |  ffgccheck
1763   |.  nop
1764   |  lw CARG3, HI(BASE)
1765   |   lw STR:CARG1, LO(BASE)
1766   |  beqz NARGS8:RC, ->fff_fallback
1767   |.  li AT, LJ_TSTR
1768   |  bne CARG3, AT, ->fff_fallback
1769   |.  lw TMP1, DISPATCH_GL(tmpbuf.sz)(DISPATCH)
1770   |  lw CARG3, STR:CARG1->len
1771   |   addiu CARG1, STR:CARG1, #STR
1772   |   lw CARG2, DISPATCH_GL(tmpbuf.buf)(DISPATCH)
1773   |  sltu AT, TMP1, CARG3
1774   |  bnez AT, ->fff_fallback
1775   |.  addu TMP3, CARG1, CARG3
1776   |  move CARG4, CARG2
1777   |1:  // ASCII case conversion.
1778   |   lbu TMP1, 0(CARG1)
1779   |  sltu AT, CARG1, TMP3
1780   |  beqz AT, ->fff_newstr
1781   |.  addiu TMP0, TMP1, -lo
1782   |   xori TMP2, TMP1, 0x20
1783   |   sltiu AT, TMP0, 26
1784   |   movn TMP1, TMP2, AT
1785   |  addiu CARG1, CARG1, 1
1786   |   sb TMP1, 0(CARG4)
1787   |  b <1
1788   |.  addiu CARG4, CARG4, 1
1789   |.endmacro
1790   |
1791   |ffstring_case string_lower, 65
1792   |ffstring_case string_upper, 97
1793   |
1794   |//-- Table library ------------------------------------------------------
1795   |
1796   |.ffunc_1 table_getn
1797   |  li AT, LJ_TTAB
1798   |  bne CARG3, AT, ->fff_fallback
1799   |.  load_got lj_tab_len
1800   |  call_intern lj_tab_len             // (GCtab *t)
1801   |.  nop
1802   |  // Returns uint32_t (but less than 2^31).
1803   |  b ->fff_resi
1804   |.  nop
1805   |
1806   |//-- Bit library --------------------------------------------------------
1807   |
1808   |.macro .ffunc_bit, name
1809   |  .ffunc_n bit_..name
1810   |.  add.d FARG1, FARG1, TOBIT
1811   |  mfc1 CRET1, FARG1
1812   |.endmacro
1813   |
1814   |.macro .ffunc_bit_op, name, ins
1815   |  .ffunc_bit name
1816   |  addiu TMP1, BASE, 8
1817   |  addu TMP2, BASE, NARGS8:RC
1818   |1:
1819   |  lw CARG4, HI(TMP1)
1820   |  beq TMP1, TMP2, ->fff_resi
1821   |.  ldc1 FARG1, 0(TMP1)
1822   |  sltiu AT, CARG4, LJ_TISNUM
1823   |  beqz AT, ->fff_fallback
1824   |  add.d FARG1, FARG1, TOBIT
1825   |  mfc1 CARG2, FARG1
1826   |  ins CRET1, CRET1, CARG2
1827   |  b <1
1828   |.  addiu TMP1, TMP1, 8
1829   |.endmacro
1830   |
1831   |.ffunc_bit_op band, and
1832   |.ffunc_bit_op bor, or
1833   |.ffunc_bit_op bxor, xor
1834   |
1835   |.ffunc_bit bswap
1836   |  srl TMP0, CRET1, 24
1837   |   srl TMP2, CRET1, 8
1838   |  sll TMP1, CRET1, 24
1839   |   andi TMP2, TMP2, 0xff00
1840   |  or TMP0, TMP0, TMP1
1841   |   andi CRET1, CRET1, 0xff00
1842   |  or TMP0, TMP0, TMP2
1843   |   sll CRET1, CRET1, 8
1844   |  b ->fff_resi
1845   |.  or CRET1, TMP0, CRET1
1846   |
1847   |.ffunc_bit bnot
1848   |  b ->fff_resi
1849   |.  not CRET1, CRET1
1850   |
1851   |.macro .ffunc_bit_sh, name, ins, shmod
1852   |  .ffunc_nn bit_..name
1853   |.  add.d FARG1, FARG1, TOBIT
1854   |  add.d FARG2, FARG2, TOBIT
1855   |  mfc1 CARG1, FARG1
1856   |  mfc1 CARG2, FARG2
1857   |.if shmod == 1
1858   |  li AT, 32
1859   |  subu TMP0, AT, CARG2
1860   |  sllv CARG2, CARG1, CARG2
1861   |  srlv CARG1, CARG1, TMP0
1862   |.elif shmod == 2
1863   |  li AT, 32
1864   |  subu TMP0, AT, CARG2
1865   |  srlv CARG2, CARG1, CARG2
1866   |  sllv CARG1, CARG1, TMP0
1867   |.endif
1868   |  b ->fff_resi
1869   |.  ins CRET1, CARG1, CARG2
1870   |.endmacro
1871   |
1872   |.ffunc_bit_sh lshift, sllv, 0
1873   |.ffunc_bit_sh rshift, srlv, 0
1874   |.ffunc_bit_sh arshift, srav, 0
1875   |// Can't use rotrv, since it's only in MIPS32R2.
1876   |.ffunc_bit_sh rol, or, 1
1877   |.ffunc_bit_sh ror, or, 2
1878   |
1879   |.ffunc_bit tobit
1880   |->fff_resi:
1881   |  mtc1 CRET1, FRET1
1882   |  b ->fff_resn
1883   |.  cvt.d.w FRET1, FRET1
1884   |
1885   |//-----------------------------------------------------------------------
1886   |
1887   |->fff_fallback:                      // Call fast function fallback handler.
1888   |  // BASE = new base, RB = CFUNC, RC = nargs*8
1889   |  lw TMP3, CFUNC:RB->f
1890   |    addu TMP1, BASE, NARGS8:RC
1891   |   lw PC, FRAME_PC(BASE)             // Fallback may overwrite PC.
1892   |    addiu TMP0, TMP1, 8*LUA_MINSTACK
1893   |     lw TMP2, L->maxstack
1894   |   sw PC, SAVE_PC                    // Redundant (but a defined value).
1895   |  sltu AT, TMP2, TMP0
1896   |     sw BASE, L->base
1897   |    sw TMP1, L->top
1898   |  bnez AT, >5                        // Need to grow stack.
1899   |.  move CFUNCADDR, TMP3
1900   |  jalr TMP3                          // (lua_State *L)
1901   |.  move CARG1, L
1902   |  // Either throws an error, or recovers and returns -1, 0 or nresults+1.
1903   |  lw BASE, L->base
1904   |   sll RD, CRET1, 3
1905   |  bgtz CRET1, ->fff_res              // Returned nresults+1?
1906   |.  addiu RA, BASE, -8
1907   |1:  // Returned 0 or -1: retry fast path.
1908   |  lw TMP0, L->top
1909   |   lw LFUNC:RB, FRAME_FUNC(BASE)
1910   |  bnez CRET1, ->vm_call_tail         // Returned -1?
1911   |.  subu NARGS8:RC, TMP0, BASE
1912   |  ins_callt                          // Returned 0: retry fast path.
1913   |
1914   |// Reconstruct previous base for vmeta_call during tailcall.
1915   |->vm_call_tail:
1916   |  andi TMP0, PC, FRAME_TYPE
1917   |   li AT, -4
1918   |  bnez TMP0, >3
1919   |.  and TMP1, PC, AT
1920   |  lbu TMP1, OFS_RA(PC)
1921   |  sll TMP1, TMP1, 3
1922   |  addiu TMP1, TMP1, 8
1923   |3:
1924   |  b ->vm_call_dispatch               // Resolve again for tailcall.
1925   |.  subu TMP2, BASE, TMP1
1926   |
1927   |5:  // Grow stack for fallback handler.
1928   |  load_got lj_state_growstack
1929   |  li CARG2, LUA_MINSTACK
1930   |  call_intern lj_state_growstack     // (lua_State *L, int n)
1931   |.  move CARG1, L
1932   |  lw BASE, L->base
1933   |  b <1
1934   |.  li CRET1, 0                       // Force retry.
1935   |
1936   |->fff_gcstep:                        // Call GC step function.
1937   |  // BASE = new base, RC = nargs*8
1938   |  move MULTRES, ra
1939   |  load_got lj_gc_step
1940   |   sw BASE, L->base
1941   |  addu TMP0, BASE, NARGS8:RC
1942   |   sw PC, SAVE_PC                    // Redundant (but a defined value).
1943   |  sw TMP0, L->top
1944   |  call_intern lj_gc_step             // (lua_State *L)
1945   |.  move CARG1, L
1946   |   lw BASE, L->base
1947   |  move ra, MULTRES
1948   |    lw TMP0, L->top
1949   |  lw CFUNC:RB, FRAME_FUNC(BASE)
1950   |  jr ra
1951   |.  subu NARGS8:RC, TMP0, BASE
1952   |
1953   |//-----------------------------------------------------------------------
1954   |//-- Special dispatch targets -------------------------------------------
1955   |//-----------------------------------------------------------------------
1956   |
1957   |->vm_record:                         // Dispatch target for recording phase.
1958   |.if JIT
1959   |  lbu TMP3, DISPATCH_GL(hookmask)(DISPATCH)
1960   |  andi AT, TMP3, HOOK_VMEVENT        // No recording while in vmevent.
1961   |  bnez AT, >5
1962   |  // Decrement the hookcount for consistency, but always do the call.
1963   |.  lw TMP2, DISPATCH_GL(hookcount)(DISPATCH)
1964   |  andi AT, TMP3, HOOK_ACTIVE
1965   |  bnez AT, >1
1966   |.  addiu TMP2, TMP2, -1
1967   |  andi AT, TMP3, LUA_MASKLINE|LUA_MASKCOUNT
1968   |  beqz AT, >1
1969   |.  nop
1970   |  b >1
1971   |.  sw TMP2, DISPATCH_GL(hookcount)(DISPATCH)
1972   |.endif
1973   |
1974   |->vm_rethook:                        // Dispatch target for return hooks.
1975   |  lbu TMP3, DISPATCH_GL(hookmask)(DISPATCH)
1976   |  andi AT, TMP3, HOOK_ACTIVE         // Hook already active?
1977   |  beqz AT, >1
1978   |5:  // Re-dispatch to static ins.
1979   |.  lw AT, GG_DISP2STATIC(TMP0)       // Assumes TMP0 holds DISPATCH+OP*4.
1980   |  jr AT
1981   |.  nop
1982   |
1983   |->vm_inshook:                        // Dispatch target for instr/line hooks.
1984   |  lbu TMP3, DISPATCH_GL(hookmask)(DISPATCH)
1985   |  lw TMP2, DISPATCH_GL(hookcount)(DISPATCH)
1986   |  andi AT, TMP3, HOOK_ACTIVE         // Hook already active?
1987   |  bnez AT, <5
1988   |.  andi AT, TMP3, LUA_MASKLINE|LUA_MASKCOUNT
1989   |  beqz AT, <5
1990   |.  addiu TMP2, TMP2, -1
1991   |  beqz TMP2, >1
1992   |.  sw TMP2, DISPATCH_GL(hookcount)(DISPATCH)
1993   |  andi AT, TMP3, LUA_MASKLINE
1994   |  beqz AT, <5
1995   |1:
1996   |.  load_got lj_dispatch_ins
1997   |   sw MULTRES, SAVE_MULTRES
1998   |  move CARG2, PC
1999   |   sw BASE, L->base
2000   |  // SAVE_PC must hold the _previous_ PC. The callee updates it with PC.
2001   |  call_intern lj_dispatch_ins        // (lua_State *L, const BCIns *pc)
2002   |.  move CARG1, L
2003   |3:
2004   |  lw BASE, L->base
2005   |4:  // Re-dispatch to static ins.
2006   |  lw INS, -4(PC)
2007   |  decode_OP4a TMP1, INS
2008   |  decode_OP4b TMP1
2009   |  addu TMP0, DISPATCH, TMP1
2010   |   decode_RD8a RD, INS
2011   |  lw AT, GG_DISP2STATIC(TMP0)
2012   |   decode_RA8a RA, INS
2013   |   decode_RD8b RD
2014   |  jr AT
2015   |   decode_RA8b RA
2016   |
2017   |->cont_hook:                         // Continue from hook yield.
2018   |  addiu PC, PC, 4
2019   |  b <4
2020   |.  lw MULTRES, -24+LO(RB)            // Restore MULTRES for *M ins.
2021   |
2022   |->vm_hotloop:                        // Hot loop counter underflow.
2023   |.if JIT
2024   |  lw LFUNC:TMP1, FRAME_FUNC(BASE)
2025   |   addiu CARG1, DISPATCH, GG_DISP2J
2026   |   sw PC, SAVE_PC
2027   |  lw TMP1, LFUNC:TMP1->pc
2028   |   move CARG2, PC
2029   |   sw L, DISPATCH_J(L)(DISPATCH)
2030   |  lbu TMP1, PC2PROTO(framesize)(TMP1)
2031   |  load_got lj_trace_hot
2032   |   sw BASE, L->base
2033   |  sll TMP1, TMP1, 3
2034   |  addu TMP1, BASE, TMP1
2035   |  call_intern lj_trace_hot           // (jit_State *J, const BCIns *pc)
2036   |.  sw TMP1, L->top
2037   |  b <3
2038   |.  nop
2039   |.endif
2040   |
2041   |->vm_callhook:                       // Dispatch target for call hooks.
2042   |.if JIT
2043   |  b >1
2044   |.endif
2045   |.  move CARG2, PC
2046   |
2047   |->vm_hotcall:                        // Hot call counter underflow.
2048   |.if JIT
2049   |  ori CARG2, PC, 1
2050   |1:
2051   |.endif
2052   |  load_got lj_dispatch_call
2053   |  addu TMP0, BASE, RC
2054   |   sw PC, SAVE_PC
2055   |   sw BASE, L->base
2056   |  subu RA, RA, BASE
2057   |   sw TMP0, L->top
2058   |  call_intern lj_dispatch_call       // (lua_State *L, const BCIns *pc)
2059   |.  move CARG1, L
2060   |  // Returns ASMFunction.
2061   |  lw BASE, L->base
2062   |   lw TMP0, L->top
2063   |   sw r0, SAVE_PC                    // Invalidate for subsequent line hook.
2064   |  subu NARGS8:RC, TMP0, BASE
2065   |  addu RA, BASE, RA
2066   |  lw LFUNC:RB, FRAME_FUNC(BASE)
2067   |  jr CRET1
2068   |.  lw INS, -4(PC)
2069   |
2070   |//-----------------------------------------------------------------------
2071   |//-- Trace exit handler -------------------------------------------------
2072   |//-----------------------------------------------------------------------
2073   |
2074   |.macro savex_, a, b
2075   |  sdc1 f..a, 16+a*8(sp)
2076   |  sw r..a, 16+32*8+a*4(sp)
2077   |  sw r..b, 16+32*8+b*4(sp)
2078   |.endmacro
2079   |
2080   |->vm_exit_handler:
2081   |.if JIT
2082   |  addiu sp, sp, -(16+32*8+32*4)
2083   |  savex_ 0, 1
2084   |  savex_ 2, 3
2085   |  savex_ 4, 5
2086   |  savex_ 6, 7
2087   |  savex_ 8, 9
2088   |  savex_ 10, 11
2089   |  savex_ 12, 13
2090   |  savex_ 14, 15
2091   |  savex_ 16, 17
2092   |  savex_ 18, 19
2093   |  savex_ 20, 21
2094   |  savex_ 22, 23
2095   |  savex_ 24, 25
2096   |  savex_ 26, 27
2097   |  sdc1 f28, 16+28*8(sp)
2098   |  sw r28, 16+32*8+28*4(sp)
2099   |  sdc1 f30, 16+30*8(sp)
2100   |  sw r30, 16+32*8+30*4(sp)
2101   |  sw r0, 16+32*8+31*4(sp)            // Clear RID_TMP.
2102   |  li_vmstate EXIT
2103   |   addiu TMP2, sp, 16+32*8+32*4      // Recompute original value of sp.
2104   |  addiu DISPATCH, JGL, -GG_DISP2G-32768
2105   |  lw TMP1, 0(TMP2)                   // Load exit number.
2106   |  st_vmstate
2107   |   sw TMP2, 16+32*8+29*4(sp)         // Store sp in RID_SP.
2108   |  lw L, DISPATCH_GL(jit_L)(DISPATCH)
2109   |  lw BASE, DISPATCH_GL(jit_base)(DISPATCH)
2110   |  load_got lj_trace_exit
2111   |  sw L, DISPATCH_J(L)(DISPATCH)
2112   |  sw ra, DISPATCH_J(parent)(DISPATCH)  // Store trace number.
2113   |  sw TMP1, DISPATCH_J(exitno)(DISPATCH)  // Store exit number.
2114   |  addiu CARG1, DISPATCH, GG_DISP2J
2115   |  sw BASE, L->base
2116   |  call_intern lj_trace_exit          // (jit_State *J, ExitState *ex)
2117   |.  addiu CARG2, sp, 16
2118   |  // Returns MULTRES (unscaled) or negated error code.
2119   |  lw TMP1, L->cframe
2120   |  li AT, -4
2121   |   lw BASE, L->base
2122   |  and sp, TMP1, AT
2123   |   lw PC, SAVE_PC                    // Get SAVE_PC.
2124   |  b >1
2125   |.  sw L, SAVE_L                      // Set SAVE_L (on-trace resume/yield).
2126   |.endif
2127   |->vm_exit_interp:
2128   |.if JIT
2129   |  // CRET1 = MULTRES or negated error code, BASE, PC and JGL set.
2130   |  lw L, SAVE_L
2131   |  addiu DISPATCH, JGL, -GG_DISP2G-32768
2132   |1:
2133   |  bltz CRET1, >3                     // Check for error from exit.
2134   |.  lw LFUNC:TMP1, FRAME_FUNC(BASE)
2135   |    lui TMP3, 0x59c0                 // TOBIT = 2^52 + 2^51 (float).
2136   |  sll MULTRES, CRET1, 3
2137   |    li TISNIL, LJ_TNIL
2138   |  sw MULTRES, SAVE_MULTRES
2139   |    mtc1 TMP3, TOBIT
2140   |  lw TMP1, LFUNC:TMP1->pc
2141   |   sw r0, DISPATCH_GL(jit_L)(DISPATCH)
2142   |  lw KBASE, PC2PROTO(k)(TMP1)
2143   |    cvt.d.s TOBIT, TOBIT
2144   |  // Modified copy of ins_next which handles function header dispatch, too.
2145   |  lw INS, 0(PC)
2146   |   addiu PC, PC, 4
2147   |    // Assumes TISNIL == ~LJ_VMST_INTERP == -1
2148   |    sw TISNIL, DISPATCH_GL(vmstate)(DISPATCH)
2149   |  decode_OP4a TMP1, INS
2150   |  decode_OP4b TMP1
2151   |    sltiu TMP2, TMP1, BC_FUNCF*4     // Function header?
2152   |  addu TMP0, DISPATCH, TMP1
2153   |   decode_RD8a RD, INS
2154   |  lw AT, 0(TMP0)
2155   |   decode_RA8a RA, INS
2156   |    beqz TMP2, >2
2157   |.  decode_RA8b RA
2158   |  jr AT
2159   |.  decode_RD8b RD
2160   |2:
2161   |  addiu RC, MULTRES, -8
2162   |  jr AT
2163   |.  addu RA, RA, BASE
2164   |
2165   |3:  // Rethrow error from the right C frame.
2166   |  load_got lj_err_run
2167   |  call_intern lj_err_run             // (lua_State *L)
2168   |.  move CARG1, L
2169   |.endif
2170   |
2171   |//-----------------------------------------------------------------------
2172   |//-- Math helper functions ----------------------------------------------
2173   |//-----------------------------------------------------------------------
2174   |
2175   |// Modifies AT, TMP0, FRET1, FRET2, f4. Keeps all others incl. FARG1.
2176   |.macro vm_round, func
2177   |  lui TMP0, 0x4330                   // Hiword of 2^52 (double).
2178   |  mtc1 r0, f4
2179   |  mtc1 TMP0, f5
2180   |  abs.d FRET2, FARG1                 // |x|
2181   |    mfc1 AT, f13
2182   |  c.olt.d 0, FRET2, f4
2183   |   add.d FRET1, FRET2, f4            // (|x| + 2^52) - 2^52
2184   |  bc1f 0, >1                         // Truncate only if |x| < 2^52.
2185   |.  sub.d FRET1, FRET1, f4
2186   |    slt AT, AT, r0
2187   |.if "func" == "ceil"
2188   |   lui TMP0, 0xbff0                  // Hiword of -1 (double). Preserves -0.
2189   |.else
2190   |   lui TMP0, 0x3ff0                  // Hiword of +1 (double).
2191   |.endif
2192   |.if "func" == "trunc"
2193   |   mtc1 TMP0, f5
2194   |  c.olt.d 0, FRET2, FRET1            // |x| < result?
2195   |   sub.d FRET2, FRET1, f4
2196   |  movt.d FRET1, FRET2, 0             // If yes, subtract +1.
2197   |  neg.d FRET2, FRET1
2198   |  jr ra
2199   |.  movn.d FRET1, FRET2, AT           // Merge sign bit back in.
2200   |.else
2201   |  neg.d FRET2, FRET1
2202   |   mtc1 TMP0, f5
2203   |  movn.d FRET1, FRET2, AT            // Merge sign bit back in.
2204   |.if "func" == "ceil"
2205   |  c.olt.d 0, FRET1, FARG1            // x > result?
2206   |.else
2207   |  c.olt.d 0, FARG1, FRET1            // x < result?
2208   |.endif
2209   |   sub.d FRET2, FRET1, f4            // If yes, subtract +-1.
2210   |  jr ra
2211   |.  movt.d FRET1, FRET2, 0
2212   |.endif
2213   |1:
2214   |  jr ra
2215   |.  mov.d FRET1, FARG1
2216   |.endmacro
2217   |
2218   |->vm_floor:
2219   |  vm_round floor
2220   |->vm_ceil:
2221   |  vm_round ceil
2222   |->vm_trunc:
2223   |.if JIT
2224   |  vm_round trunc
2225   |.endif
2226   |
2227   |//-----------------------------------------------------------------------
2228   |//-- Miscellaneous functions --------------------------------------------
2229   |//-----------------------------------------------------------------------
2230   |
2231   |//-----------------------------------------------------------------------
2232   |//-- FFI helper functions -----------------------------------------------
2233   |//-----------------------------------------------------------------------
2234   |
2235   |// Handler for callback functions. Callback slot number in r1, g in r2.
2236   |->vm_ffi_callback:
2237   |.if FFI
2238   |.type CTSTATE, CTState, PC
2239   |  saveregs
2240   |  lw CTSTATE, GL:r2->ctype_state
2241   |   addiu DISPATCH, r2, GG_G2DISP
2242   |  load_got lj_ccallback_enter
2243   |  sw r1, CTSTATE->cb.slot
2244   |  sw CARG1, CTSTATE->cb.gpr[0]
2245   |  sw CARG2, CTSTATE->cb.gpr[1]
2246   |   sdc1 FARG1, CTSTATE->cb.fpr[0]
2247   |  sw CARG3, CTSTATE->cb.gpr[2]
2248   |  sw CARG4, CTSTATE->cb.gpr[3]
2249   |   sdc1 FARG2, CTSTATE->cb.fpr[1]
2250   |  addiu TMP0, sp, CFRAME_SPACE+16
2251   |  sw TMP0, CTSTATE->cb.stack
2252   |  sw r0, SAVE_PC                     // Any value outside of bytecode is ok.
2253   |   move CARG2, sp
2254   |  call_intern lj_ccallback_enter     // (CTState *cts, void *cf)
2255   |.  move CARG1, CTSTATE
2256   |  // Returns lua_State *.
2257   |  lw BASE, L:CRET1->base
2258   |  lw RC, L:CRET1->top
2259   |   move L, CRET1
2260   |     lui TMP3, 0x59c0                // TOBIT = 2^52 + 2^51 (float).
2261   |  lw LFUNC:RB, FRAME_FUNC(BASE)
2262   |     mtc1 TMP3, TOBIT
2263   |    li_vmstate INTERP
2264   |     li TISNIL, LJ_TNIL
2265   |  subu RC, RC, BASE
2266   |    st_vmstate
2267   |     cvt.d.s TOBIT, TOBIT
2268   |  ins_callt
2269   |.endif
2270   |
2271   |->cont_ffi_callback:                 // Return from FFI callback.
2272   |.if FFI
2273   |  load_got lj_ccallback_leave
2274   |  lw CTSTATE, DISPATCH_GL(ctype_state)(DISPATCH)
2275   |   sw BASE, L->base
2276   |   sw RB, L->top
2277   |  sw L, CTSTATE->L
2278   |  move CARG2, RA
2279   |  call_intern lj_ccallback_leave     // (CTState *cts, TValue *o)
2280   |.  move CARG1, CTSTATE
2281   |  lw CRET1, CTSTATE->cb.gpr[0]
2282   |   ldc1 FRET1, CTSTATE->cb.fpr[0]
2283   |  lw CRET2, CTSTATE->cb.gpr[1]
2284   |  b ->vm_leave_unw
2285   |.  ldc1 FRET2, CTSTATE->cb.fpr[1]
2286   |.endif
2287   |
2288   |->vm_ffi_call:                       // Call C function via FFI.
2289   |  // Caveat: needs special frame unwinding, see below.
2290   |.if FFI
2291   |  .type CCSTATE, CCallState, CARG1
2292   |  lw TMP1, CCSTATE->spadj
2293   |   lbu CARG2, CCSTATE->nsp
2294   |  move TMP2, sp
2295   |  subu sp, sp, TMP1
2296   |  sw ra, -4(TMP2)
2297   |   sll CARG2, CARG2, 2
2298   |  sw r16, -8(TMP2)
2299   |  sw CCSTATE, -12(TMP2)
2300   |  move r16, TMP2
2301   |  addiu TMP1, CCSTATE, offsetof(CCallState, stack)
2302   |  addiu TMP2, sp, 16
2303   |  beqz CARG2, >2
2304   |.  addu TMP3, TMP1, CARG2
2305   |1:
2306   |   lw TMP0, 0(TMP1)
2307   |  addiu TMP1, TMP1, 4
2308   |  sltu AT, TMP1, TMP3
2309   |   sw TMP0, 0(TMP2)
2310   |  bnez AT, <1
2311   |.  addiu TMP2, TMP2, 4
2312   |2:
2313   |  lw CFUNCADDR, CCSTATE->func
2314   |  lw CARG2, CCSTATE->gpr[1]
2315   |  lw CARG3, CCSTATE->gpr[2]
2316   |  lw CARG4, CCSTATE->gpr[3]
2317   |  ldc1 FARG1, CCSTATE->fpr[0]
2318   |  ldc1 FARG2, CCSTATE->fpr[1]
2319   |  jalr CFUNCADDR
2320   |.  lw CARG1, CCSTATE->gpr[0]         // Do this last, since CCSTATE is CARG1.
2321   |  lw CCSTATE:TMP1, -12(r16)
2322   |  lw TMP2, -8(r16)
2323   |  lw ra, -4(r16)
2324   |  sw CRET1, CCSTATE:TMP1->gpr[0]
2325   |  sw CRET2, CCSTATE:TMP1->gpr[1]
2326   |  sdc1 FRET1, CCSTATE:TMP1->fpr[0]
2327   |  sdc1 FRET2, CCSTATE:TMP1->fpr[1]
2328   |  move sp, r16
2329   |  jr ra
2330   |.  move r16, TMP2
2331   |.endif
2332   |// Note: vm_ffi_call must be the last function in this object file!
2333   |
2334   |//-----------------------------------------------------------------------
2335 }
2336
2337 /* Generate the code for a single instruction. */
2338 static void build_ins(BuildCtx *ctx, BCOp op, int defop)
2339 {
2340   int vk = 0;
2341   |=>defop:
2342
2343   switch (op) {
2344
2345   /* -- Comparison ops ---------------------------------------------------- */
2346
2347   /* Remember: all ops branch for a true comparison, fall through otherwise. */
2348
2349   case BC_ISLT: case BC_ISGE: case BC_ISLE: case BC_ISGT:
2350     |  // RA = src1*8, RD = src2*8, JMP with RD = target
2351     |  addu CARG2, BASE, RA
2352     |   addu CARG3, BASE, RD
2353     |  lw TMP0, HI(CARG2)
2354     |   lw TMP1, HI(CARG3)
2355     |   ldc1 f0, 0(CARG2)
2356     |   ldc1 f2, 0(CARG3)
2357     |  sltiu TMP0, TMP0, LJ_TISNUM
2358     |   sltiu TMP1, TMP1, LJ_TISNUM
2359     |    lhu TMP2, OFS_RD(PC)
2360     |  and TMP0, TMP0, TMP1
2361     |    addiu PC, PC, 4
2362     |  beqz TMP0, ->vmeta_comp
2363     |.   lui TMP1, (-(BCBIAS_J*4 >> 16) & 65535)
2364     |    decode_RD4b TMP2
2365     |    addu TMP2, TMP2, TMP1
2366     if (op == BC_ISLT || op == BC_ISGE) {
2367       |  c.olt.d f0, f2
2368     } else {
2369       |  c.ole.d f0, f2
2370     }
2371     if (op == BC_ISLT || op == BC_ISLE) {
2372       |  movf TMP2, r0
2373     } else {
2374       |  movt TMP2, r0
2375     }
2376     |  addu PC, PC, TMP2
2377     |1:
2378     |  ins_next
2379     break;
2380
2381   case BC_ISEQV: case BC_ISNEV:
2382     vk = op == BC_ISEQV;
2383     |  // RA = src1*8, RD = src2*8, JMP with RD = target
2384     |  addu RA, BASE, RA
2385     |   addiu PC, PC, 4
2386     |  lw TMP0, HI(RA)
2387     |   ldc1 f0, 0(RA)
2388     |  addu RD, BASE, RD
2389     |    lhu TMP2, -4+OFS_RD(PC)
2390     |   lw TMP1, HI(RD)
2391     |   ldc1 f2, 0(RD)
2392     |    lui TMP3, (-(BCBIAS_J*4 >> 16) & 65535)
2393     |  sltiu AT, TMP0, LJ_TISNUM
2394     |  sltiu CARG1, TMP1, LJ_TISNUM
2395     |    decode_RD4b TMP2
2396     |  and AT, AT, CARG1
2397     |  beqz AT, >5
2398     |.   addu TMP2, TMP2, TMP3
2399     |  c.eq.d f0, f2
2400     if (vk) {
2401       |  movf TMP2, r0
2402     } else {
2403       |  movt TMP2, r0
2404     }
2405     |1:
2406     |  addu PC, PC, TMP2
2407     |  ins_next
2408     |5:  // Either or both types are not numbers.
2409     |  lw CARG2, LO(RA)
2410     |  lw CARG3, LO(RD)
2411     |.if FFI
2412     |  li TMP3, LJ_TCDATA
2413     |  beq TMP0, TMP3, ->vmeta_equal_cd
2414     |.endif
2415     |.  sltiu AT, TMP0, LJ_TISPRI               // Not a primitive?
2416     |.if FFI
2417     |  beq TMP1, TMP3, ->vmeta_equal_cd
2418     |.endif
2419     |.  xor TMP3, CARG2, CARG3                  // Same tv?
2420     |  xor TMP1, TMP1, TMP0                     // Same type?
2421     |  sltiu CARG1, TMP0, LJ_TISTABUD+1         // Table or userdata?
2422     |  movz TMP3, r0, AT                        // Ignore tv if primitive.
2423     |  movn CARG1, r0, TMP1                     // Tab/ud and same type?
2424     |  or AT, TMP1, TMP3                        // Same type && (pri||same tv).
2425     |  movz CARG1, r0, AT
2426     |  beqz CARG1, <1   // Done if not tab/ud or not same type or same tv.
2427     if (vk) {
2428       |.  movn TMP2, r0, AT
2429     } else {
2430       |.  movz TMP2, r0, AT
2431     }
2432     |  // Different tables or userdatas. Need to check __eq metamethod.
2433     |  // Field metatable must be at same offset for GCtab and GCudata!
2434     |  lw TAB:TMP1, TAB:CARG2->metatable
2435     |  beqz TAB:TMP1, <1                // No metatable?
2436     |.  nop
2437     |  lbu TMP1, TAB:TMP1->nomm
2438     |  andi TMP1, TMP1, 1<<MM_eq
2439     |  bnez TMP1, <1                    // Or 'no __eq' flag set?
2440     |.  nop
2441     |  b ->vmeta_equal                  // Handle __eq metamethod.
2442     |.  li CARG4, 1-vk                  // ne = 0 or 1.
2443     break;
2444
2445   case BC_ISEQS: case BC_ISNES:
2446     vk = op == BC_ISEQS;
2447     |  // RA = src*8, RD = str_const*8 (~), JMP with RD = target
2448     |  addu RA, BASE, RA
2449     |   addiu PC, PC, 4
2450     |  lw TMP0, HI(RA)
2451     |   srl RD, RD, 1
2452     |  lw STR:TMP3, LO(RA)
2453     |   subu RD, KBASE, RD
2454     |    lhu TMP2, -4+OFS_RD(PC)
2455     |.if FFI
2456     |  li AT, LJ_TCDATA
2457     |  beq TMP0, AT, ->vmeta_equal_cd
2458     |.endif
2459     |.  lw STR:TMP1, -4(RD)             // KBASE-4-str_const*4
2460     |  addiu TMP0, TMP0, -LJ_TSTR
2461     |   decode_RD4b TMP2
2462     |  xor TMP1, STR:TMP1, STR:TMP3
2463     |  or TMP0, TMP0, TMP1
2464     |   lui TMP3, (-(BCBIAS_J*4 >> 16) & 65535)
2465     |   addu TMP2, TMP2, TMP3
2466     if (vk) {
2467       |  movn TMP2, r0, TMP0
2468     } else {
2469       |  movz TMP2, r0, TMP0
2470     }
2471     |  addu PC, PC, TMP2
2472     |  ins_next
2473     break;
2474
2475   case BC_ISEQN: case BC_ISNEN:
2476     vk = op == BC_ISEQN;
2477     |  // RA = src*8, RD = num_const*8, JMP with RD = target
2478     |  addu RA, BASE, RA
2479     |   addiu PC, PC, 4
2480     |  lw TMP0, HI(RA)
2481     |   ldc1 f0, 0(RA)
2482     |  addu RD, KBASE, RD
2483     |    lhu TMP2, -4+OFS_RD(PC)
2484     |   ldc1 f2, 0(RD)
2485     |    lui TMP3, (-(BCBIAS_J*4 >> 16) & 65535)
2486     |  sltiu AT, TMP0, LJ_TISNUM
2487     |    decode_RD4b TMP2
2488     |.if FFI
2489     |  beqz AT, >5
2490     |.else
2491     |  beqz AT, >1
2492     |.endif
2493     |.   addu TMP2, TMP2, TMP3
2494     |   c.eq.d f0, f2
2495     if (vk) {
2496       |  movf TMP2, r0
2497       |  addu PC, PC, TMP2
2498       |1:
2499     } else {
2500       |  movt TMP2, r0
2501       |1:
2502       |  addu PC, PC, TMP2
2503     }
2504     |  ins_next
2505     |.if FFI
2506     |5:
2507     |  li AT, LJ_TCDATA
2508     |  beq TMP0, AT, ->vmeta_equal_cd
2509     |.  nop
2510     |  b <1
2511     |.  nop
2512     |.endif
2513     break;
2514
2515   case BC_ISEQP: case BC_ISNEP:
2516     vk = op == BC_ISEQP;
2517     |  // RA = src*8, RD = primitive_type*8 (~), JMP with RD = target
2518     |  addu RA, BASE, RA
2519     |   srl TMP1, RD, 3
2520     |  lw TMP0, HI(RA)
2521     |    lhu TMP2, OFS_RD(PC)
2522     |   not TMP1, TMP1
2523     |    addiu PC, PC, 4
2524     |.if FFI
2525     |  li AT, LJ_TCDATA
2526     |  beq TMP0, AT, ->vmeta_equal_cd
2527     |.endif
2528     |.  xor TMP0, TMP0, TMP1
2529     |  decode_RD4b TMP2
2530     |  lui TMP3, (-(BCBIAS_J*4 >> 16) & 65535)
2531     |  addu TMP2, TMP2, TMP3
2532     if (vk) {
2533       |  movn TMP2, r0, TMP0
2534     } else {
2535       |  movz TMP2, r0, TMP0
2536     }
2537     |  addu PC, PC, TMP2
2538     |  ins_next
2539     break;
2540
2541   /* -- Unary test and copy ops ------------------------------------------- */
2542
2543   case BC_ISTC: case BC_ISFC: case BC_IST: case BC_ISF:
2544     |  // RA = dst*8 or unused, RD = src*8, JMP with RD = target
2545     |  addu RD, BASE, RD
2546     |   lhu TMP2, OFS_RD(PC)
2547     |  lw TMP0, HI(RD)
2548     |   addiu PC, PC, 4
2549     if (op == BC_IST || op == BC_ISF) {
2550       |  sltiu TMP0, TMP0, LJ_TISTRUECOND
2551       |   decode_RD4b TMP2
2552       |   lui TMP3, (-(BCBIAS_J*4 >> 16) & 65535)
2553       |   addu TMP2, TMP2, TMP3
2554       if (op == BC_IST) {
2555         |  movz TMP2, r0, TMP0
2556       } else {
2557         |  movn TMP2, r0, TMP0
2558       }
2559       |  addu PC, PC, TMP2
2560     } else {
2561       |  sltiu TMP0, TMP0, LJ_TISTRUECOND
2562       |  ldc1 f0, 0(RD)
2563       if (op == BC_ISTC) {
2564         |  beqz TMP0, >1
2565       } else {
2566         |  bnez TMP0, >1
2567       }
2568       |.  addu RA, BASE, RA
2569       |   decode_RD4b TMP2
2570       |   lui TMP3, (-(BCBIAS_J*4 >> 16) & 65535)
2571       |   addu TMP2, TMP2, TMP3
2572       |  sdc1 f0, 0(RA)
2573       |   addu PC, PC, TMP2
2574       |1:
2575     }
2576     |  ins_next
2577     break;
2578
2579   /* -- Unary ops --------------------------------------------------------- */
2580
2581   case BC_MOV:
2582     |  // RA = dst*8, RD = src*8
2583     |  addu RD, BASE, RD
2584     |  addu RA, BASE, RA
2585     |  ldc1 f0, 0(RD)
2586     |  ins_next1
2587     |  sdc1 f0, 0(RA)
2588     |  ins_next2
2589     break;
2590   case BC_NOT:
2591     |  // RA = dst*8, RD = src*8
2592     |  addu RD, BASE, RD
2593     |   addu RA, BASE, RA
2594     |  lw TMP0, HI(RD)
2595     |   li TMP1, LJ_TFALSE
2596     |  sltiu TMP0, TMP0, LJ_TISTRUECOND
2597     |  addiu TMP1, TMP0, LJ_TTRUE
2598     |  ins_next1
2599     |  sw TMP1, HI(RA)
2600     |  ins_next2
2601     break;
2602   case BC_UNM:
2603     |  // RA = dst*8, RD = src*8
2604     |  addu CARG3, BASE, RD
2605     |   addu RA, BASE, RA
2606     |  lw TMP0, HI(CARG3)
2607     |   ldc1 f0, 0(CARG3)
2608     |  sltiu AT, TMP0, LJ_TISNUM
2609     |  beqz AT, ->vmeta_unm
2610     |.  neg.d f0, f0
2611     |  ins_next1
2612     |   sdc1 f0, 0(RA)
2613     |  ins_next2
2614     break;
2615   case BC_LEN:
2616     |  // RA = dst*8, RD = src*8
2617     |  addu CARG2, BASE, RD
2618     |   addu RA, BASE, RA
2619     |  lw TMP0, HI(CARG2)
2620     |   lw CARG1, LO(CARG2)
2621     |  li AT, LJ_TSTR
2622     |  bne TMP0, AT, >2
2623     |.  li AT, LJ_TTAB
2624     |  lw CRET1, STR:CARG1->len
2625     |1:
2626     |  mtc1 CRET1, f0
2627     |  cvt.d.w f0, f0
2628     |  ins_next1
2629     |  sdc1 f0, 0(RA)
2630     |  ins_next2
2631     |2:
2632     |  bne TMP0, AT, ->vmeta_len
2633     |.  nop
2634 #if LJ_52
2635     |  lw TAB:TMP2, TAB:CARG1->metatable
2636     |  bnez TAB:TMP2, >9
2637     |.  nop
2638     |3:
2639 #endif
2640     |->BC_LEN_Z:
2641     |  load_got lj_tab_len
2642     |  call_intern lj_tab_len           // (GCtab *t)
2643     |.  nop
2644     |  // Returns uint32_t (but less than 2^31).
2645     |  b <1
2646     |.  nop
2647 #if LJ_52
2648     |9:
2649     |  lbu TMP0, TAB:TMP2->nomm
2650     |  andi TMP0, TMP0, 1<<MM_len
2651     |  bnez TMP0, <3                    // 'no __len' flag set: done.
2652     |.  nop
2653     |  b ->vmeta_len
2654     |.  nop
2655 #endif
2656     break;
2657
2658   /* -- Binary ops -------------------------------------------------------- */
2659
2660     |.macro ins_arithpre
2661     ||vk = ((int)op - BC_ADDVN) / (BC_ADDNV-BC_ADDVN);
2662     |  decode_RB8a RB, INS
2663     |  decode_RB8b RB
2664     |   decode_RDtoRC8 RC, RD
2665     |  // RA = dst*8, RB = src1*8, RC = src2*8 | num_const*8
2666     ||switch (vk) {
2667     ||case 0:
2668     |   addu CARG3, BASE, RB
2669     |    addu CARG4, KBASE, RC
2670     |   lw TMP1, HI(CARG3)
2671     |   ldc1 f20, 0(CARG3)
2672     |    ldc1 f22, 0(CARG4)
2673     |   sltiu AT, TMP1, LJ_TISNUM
2674     ||  break;
2675     ||case 1:
2676     |   addu CARG4, BASE, RB
2677     |    addu CARG3, KBASE, RC
2678     |   lw TMP1, HI(CARG4)
2679     |   ldc1 f22, 0(CARG4)
2680     |    ldc1 f20, 0(CARG3)
2681     |   sltiu AT, TMP1, LJ_TISNUM
2682     ||  break;
2683     ||default:
2684     |   addu CARG3, BASE, RB
2685     |    addu CARG4, BASE, RC
2686     |   lw TMP1, HI(CARG3)
2687     |    lw TMP2, HI(CARG4)
2688     |   ldc1 f20, 0(CARG3)
2689     |    ldc1 f22, 0(CARG4)
2690     |   sltiu AT, TMP1, LJ_TISNUM
2691     |   sltiu TMP0, TMP2, LJ_TISNUM
2692     |   and AT, AT, TMP0
2693     ||  break;
2694     ||}
2695     |  beqz AT, ->vmeta_arith
2696     |.  addu RA, BASE, RA
2697     |.endmacro
2698     |
2699     |.macro fpmod, a, b, c
2700     |->BC_MODVN_Z:
2701     |  bal ->vm_floor                   // floor(b/c)
2702     |.  div.d FARG1, b, c
2703     |  mul.d a, FRET1, c
2704     |  sub.d a, b, a                    // b - floor(b/c)*c
2705     |.endmacro
2706     |
2707     |.macro ins_arith, ins
2708     |  ins_arithpre
2709     |.if "ins" == "fpmod_"
2710     |  b ->BC_MODVN_Z                   // Avoid 3 copies. It's slow anyway.
2711     |.  nop
2712     |.else
2713     |  ins f0, f20, f22
2714     |  ins_next1
2715     |  sdc1 f0, 0(RA)
2716     |  ins_next2
2717     |.endif
2718     |.endmacro
2719
2720   case BC_ADDVN: case BC_ADDNV: case BC_ADDVV:
2721     |  ins_arith add.d
2722     break;
2723   case BC_SUBVN: case BC_SUBNV: case BC_SUBVV:
2724     |  ins_arith sub.d
2725     break;
2726   case BC_MULVN: case BC_MULNV: case BC_MULVV:
2727     |  ins_arith mul.d
2728     break;
2729   case BC_DIVVN: case BC_DIVNV: case BC_DIVVV:
2730     |  ins_arith div.d
2731     break;
2732   case BC_MODVN:
2733     |  ins_arith fpmod
2734     break;
2735   case BC_MODNV: case BC_MODVV:
2736     |  ins_arith fpmod_
2737     break;
2738   case BC_POW:
2739     |  decode_RB8a RB, INS
2740     |  decode_RB8b RB
2741     |   decode_RDtoRC8 RC, RD
2742     |  addu CARG3, BASE, RB
2743     |   addu CARG4, BASE, RC
2744     |  lw TMP1, HI(CARG3)
2745     |   lw TMP2, HI(CARG4)
2746     |  ldc1 FARG1, 0(CARG3)
2747     |   ldc1 FARG2, 0(CARG4)
2748     |  sltiu AT, TMP1, LJ_TISNUM
2749     |  sltiu TMP0, TMP2, LJ_TISNUM
2750     |  and AT, AT, TMP0
2751     |  load_got pow
2752     |  beqz AT, ->vmeta_arith
2753     |.  addu RA, BASE, RA
2754     |  call_extern
2755     |.  nop
2756     |  ins_next1
2757     |  sdc1 FRET1, 0(RA)
2758     |  ins_next2
2759     break;
2760
2761   case BC_CAT:
2762     |  // RA = dst*8, RB = src_start*8, RC = src_end*8
2763     |  decode_RB8a RB, INS
2764     |  decode_RB8b RB
2765     |   decode_RDtoRC8 RC, RD
2766     |  subu CARG3, RC, RB
2767     |   sw BASE, L->base
2768     |  addu CARG2, BASE, RC
2769     |  move MULTRES, RB
2770     |->BC_CAT_Z:
2771     |  load_got lj_meta_cat
2772     |  srl CARG3, CARG3, 3
2773     |   sw PC, SAVE_PC
2774     |  call_intern lj_meta_cat          // (lua_State *L, TValue *top, int left)
2775     |.  move CARG1, L
2776     |  // Returns NULL (finished) or TValue * (metamethod).
2777     |  bnez CRET1, ->vmeta_binop
2778     |.  lw BASE, L->base
2779     |  addu RB, BASE, MULTRES
2780     |  ldc1 f0, 0(RB)
2781     |   addu RA, BASE, RA
2782     |  ins_next1
2783     |   sdc1 f0, 0(RA)                  // Copy result from RB to RA.
2784     |  ins_next2
2785     break;
2786
2787   /* -- Constant ops ------------------------------------------------------ */
2788
2789   case BC_KSTR:
2790     |  // RA = dst*8, RD = str_const*8 (~)
2791     |  srl TMP1, RD, 1
2792     |  subu TMP1, KBASE, TMP1
2793     |  ins_next1
2794     |  lw TMP0, -4(TMP1)                // KBASE-4-str_const*4
2795     |  addu RA, BASE, RA
2796     |   li TMP2, LJ_TSTR
2797     |  sw TMP0, LO(RA)
2798     |   sw TMP2, HI(RA)
2799     |  ins_next2
2800     break;
2801   case BC_KCDATA:
2802     |.if FFI
2803     |  // RA = dst*8, RD = cdata_const*8 (~)
2804     |  srl TMP1, RD, 1
2805     |  subu TMP1, KBASE, TMP1
2806     |  ins_next1
2807     |  lw TMP0, -4(TMP1)                // KBASE-4-cdata_const*4
2808     |  addu RA, BASE, RA
2809     |   li TMP2, LJ_TCDATA
2810     |  sw TMP0, LO(RA)
2811     |   sw TMP2, HI(RA)
2812     |  ins_next2
2813     |.endif
2814     break;
2815   case BC_KSHORT:
2816     |  // RA = dst*8, RD = int16_literal*8
2817     |  sra RD, INS, 16
2818     |  mtc1 RD, f0
2819     |  addu RA, BASE, RA
2820     |  cvt.d.w f0, f0
2821     |  ins_next1
2822     |  sdc1 f0, 0(RA)
2823     |  ins_next2
2824     break;
2825   case BC_KNUM:
2826     |  // RA = dst*8, RD = num_const*8
2827     |  addu RD, KBASE, RD
2828     |   addu RA, BASE, RA
2829     |  ldc1 f0, 0(RD)
2830     |  ins_next1
2831     |   sdc1 f0, 0(RA)
2832     |  ins_next2
2833     break;
2834   case BC_KPRI:
2835     |  // RA = dst*8, RD = primitive_type*8 (~)
2836     |  srl TMP1, RD, 3
2837     |   addu RA, BASE, RA
2838     |  not TMP0, TMP1
2839     |  ins_next1
2840     |   sw TMP0, HI(RA)
2841     |  ins_next2
2842     break;
2843   case BC_KNIL:
2844     |  // RA = base*8, RD = end*8
2845     |  addu RA, BASE, RA
2846     |  sw TISNIL, HI(RA)
2847     |   addiu RA, RA, 8
2848     |  addu RD, BASE, RD
2849     |1:
2850     |  sw TISNIL, HI(RA)
2851     |  slt AT, RA, RD
2852     |  bnez AT, <1
2853     |.  addiu RA, RA, 8
2854     |  ins_next_
2855     break;
2856
2857   /* -- Upvalue and function ops ------------------------------------------ */
2858
2859   case BC_UGET:
2860     |  // RA = dst*8, RD = uvnum*8
2861     |  lw LFUNC:RB, FRAME_FUNC(BASE)
2862     |   srl RD, RD, 1
2863     |   addu RD, RD, LFUNC:RB
2864     |  lw UPVAL:RB, LFUNC:RD->uvptr
2865     |  ins_next1
2866     |  lw TMP1, UPVAL:RB->v
2867     |  ldc1 f0, 0(TMP1)
2868     |  addu RA, BASE, RA
2869     |  sdc1 f0, 0(RA)
2870     |  ins_next2
2871     break;
2872   case BC_USETV:
2873     |  // RA = uvnum*8, RD = src*8
2874     |  lw LFUNC:RB, FRAME_FUNC(BASE)
2875     |    srl RA, RA, 1
2876     |   addu RD, BASE, RD
2877     |    addu RA, RA, LFUNC:RB
2878     |   ldc1 f0, 0(RD)
2879     |  lw UPVAL:RB, LFUNC:RA->uvptr
2880     |  lbu TMP3, UPVAL:RB->marked
2881     |   lw CARG2, UPVAL:RB->v
2882     |  andi TMP3, TMP3, LJ_GC_BLACK     // isblack(uv)
2883     |  lbu TMP0, UPVAL:RB->closed
2884     |   lw TMP2, HI(RD)
2885     |   sdc1 f0, 0(CARG2)
2886     |  li AT, LJ_GC_BLACK|1
2887     |  or TMP3, TMP3, TMP0
2888     |  beq TMP3, AT, >2                 // Upvalue is closed and black?
2889     |.  addiu TMP2, TMP2, -(LJ_TNUMX+1)
2890     |1:
2891     |  ins_next
2892     |
2893     |2:  // Check if new value is collectable.
2894     |  sltiu AT, TMP2, LJ_TISGCV - (LJ_TNUMX+1)
2895     |  beqz AT, <1                      // tvisgcv(v)
2896     |.  lw TMP1, LO(RD)
2897     |  lbu TMP3, GCOBJ:TMP1->gch.marked
2898     |  andi TMP3, TMP3, LJ_GC_WHITES    // iswhite(v)
2899     |  beqz TMP3, <1
2900     |.  load_got lj_gc_barrieruv
2901     |  // Crossed a write barrier. Move the barrier forward.
2902     |  call_intern lj_gc_barrieruv      // (global_State *g, TValue *tv)
2903     |.  addiu CARG1, DISPATCH, GG_DISP2G
2904     |  b <1
2905     |.  nop
2906     break;
2907   case BC_USETS:
2908     |  // RA = uvnum*8, RD = str_const*8 (~)
2909     |  lw LFUNC:RB, FRAME_FUNC(BASE)
2910     |    srl RA, RA, 1
2911     |   srl TMP1, RD, 1
2912     |    addu RA, RA, LFUNC:RB
2913     |   subu TMP1, KBASE, TMP1
2914     |  lw UPVAL:RB, LFUNC:RA->uvptr
2915     |   lw STR:TMP1, -4(TMP1)           // KBASE-4-str_const*4
2916     |  lbu TMP2, UPVAL:RB->marked
2917     |   lw CARG2, UPVAL:RB->v
2918     |   lbu TMP3, STR:TMP1->marked
2919     |  andi AT, TMP2, LJ_GC_BLACK       // isblack(uv)
2920     |   lbu TMP2, UPVAL:RB->closed
2921     |   li TMP0, LJ_TSTR
2922     |   sw STR:TMP1, LO(CARG2)
2923     |  bnez AT, >2
2924     |.  sw TMP0, HI(CARG2)
2925     |1:
2926     |  ins_next
2927     |
2928     |2:  // Check if string is white and ensure upvalue is closed.
2929     |  beqz TMP2, <1
2930     |.  andi AT, TMP3, LJ_GC_WHITES     // iswhite(str)
2931     |  beqz AT, <1
2932     |.  load_got lj_gc_barrieruv
2933     |  // Crossed a write barrier. Move the barrier forward.
2934     |  call_intern lj_gc_barrieruv      // (global_State *g, TValue *tv)
2935     |.  addiu CARG1, DISPATCH, GG_DISP2G
2936     |  b <1
2937     |.  nop
2938     break;
2939   case BC_USETN:
2940     |  // RA = uvnum*8, RD = num_const*8
2941     |  lw LFUNC:RB, FRAME_FUNC(BASE)
2942     |   srl RA, RA, 1
2943     |    addu RD, KBASE, RD
2944     |   addu RA, RA, LFUNC:RB
2945     |    ldc1 f0, 0(RD)
2946     |  lw UPVAL:RB, LFUNC:RA->uvptr
2947     |  ins_next1
2948     |  lw TMP1, UPVAL:RB->v
2949     |  sdc1 f0, 0(TMP1)
2950     |  ins_next2
2951     break;
2952   case BC_USETP:
2953     |  // RA = uvnum*8, RD = primitive_type*8 (~)
2954     |  lw LFUNC:RB, FRAME_FUNC(BASE)
2955     |   srl RA, RA, 1
2956     |    srl TMP0, RD, 3
2957     |   addu RA, RA, LFUNC:RB
2958     |    not TMP0, TMP0
2959     |  lw UPVAL:RB, LFUNC:RA->uvptr
2960     |  ins_next1
2961     |  lw TMP1, UPVAL:RB->v
2962     |  sw TMP0, HI(TMP1)
2963     |  ins_next2
2964     break;
2965
2966   case BC_UCLO:
2967     |  // RA = level*8, RD = target
2968     |  lw TMP2, L->openupval
2969     |  branch_RD                        // Do this first since RD is not saved.
2970     |  load_got lj_func_closeuv
2971     |   sw BASE, L->base
2972     |  beqz TMP2, >1
2973     |.  move CARG1, L
2974     |  call_intern lj_func_closeuv      // (lua_State *L, TValue *level)
2975     |.  addu CARG2, BASE, RA
2976     |  lw BASE, L->base
2977     |1:
2978     |  ins_next
2979     break;
2980
2981   case BC_FNEW:
2982     |  // RA = dst*8, RD = proto_const*8 (~) (holding function prototype)
2983     |  srl TMP1, RD, 1
2984     |  load_got lj_func_newL_gc
2985     |  subu TMP1, KBASE, TMP1
2986     |  lw CARG3, FRAME_FUNC(BASE)
2987     |  lw CARG2, -4(TMP1)               // KBASE-4-tab_const*4
2988     |   sw BASE, L->base
2989     |   sw PC, SAVE_PC
2990     |  // (lua_State *L, GCproto *pt, GCfuncL *parent)
2991     |  call_intern lj_func_newL_gc
2992     |.  move CARG1, L
2993     |  // Returns GCfuncL *.
2994     |  lw BASE, L->base
2995     |   li TMP0, LJ_TFUNC
2996     |  ins_next1
2997     |  addu RA, BASE, RA
2998     |  sw TMP0, HI(RA)
2999     |  sw LFUNC:CRET1, LO(RA)
3000     |  ins_next2
3001     break;
3002
3003   /* -- Table ops --------------------------------------------------------- */
3004
3005   case BC_TNEW:
3006   case BC_TDUP:
3007     |  // RA = dst*8, RD = (hbits|asize)*8 | tab_const*8 (~)
3008     |  lw TMP0, DISPATCH_GL(gc.total)(DISPATCH)
3009     |  lw TMP1, DISPATCH_GL(gc.threshold)(DISPATCH)
3010     |   sw BASE, L->base
3011     |   sw PC, SAVE_PC
3012     |  sltu AT, TMP0, TMP1
3013     |  beqz AT, >5
3014     |1:
3015     if (op == BC_TNEW) {
3016       |  load_got lj_tab_new
3017       |  srl CARG2, RD, 3
3018       |  andi CARG2, CARG2, 0x7ff
3019       |  li TMP0, 0x801
3020       |  addiu AT, CARG2, -0x7ff
3021       |   srl CARG3, RD, 14
3022       |  movz CARG2, TMP0, AT
3023       |  // (lua_State *L, int32_t asize, uint32_t hbits)
3024       |  call_intern lj_tab_new
3025       |.  move CARG1, L
3026       |  // Returns Table *.
3027     } else {
3028       |  load_got lj_tab_dup
3029       |  srl TMP1, RD, 1
3030       |  subu TMP1, KBASE, TMP1
3031       |  move CARG1, L
3032       |  call_intern lj_tab_dup         // (lua_State *L, Table *kt)
3033       |.  lw CARG2, -4(TMP1)            // KBASE-4-str_const*4
3034       |  // Returns Table *.
3035     }
3036     |  lw BASE, L->base
3037     |  ins_next1
3038     |  addu RA, BASE, RA
3039     |   li TMP0, LJ_TTAB
3040     |  sw TAB:CRET1, LO(RA)
3041     |   sw TMP0, HI(RA)
3042     |  ins_next2
3043     |5:
3044     |  load_got lj_gc_step_fixtop
3045     |  move MULTRES, RD
3046     |  call_intern lj_gc_step_fixtop    // (lua_State *L)
3047     |.  move CARG1, L
3048     |  b <1
3049     |.  move RD, MULTRES
3050     break;
3051
3052   case BC_GGET:
3053     |  // RA = dst*8, RD = str_const*8 (~)
3054   case BC_GSET:
3055     |  // RA = src*8, RD = str_const*8 (~)
3056     |  lw LFUNC:TMP2, FRAME_FUNC(BASE)
3057     |   srl TMP1, RD, 1
3058     |   subu TMP1, KBASE, TMP1
3059     |  lw TAB:RB, LFUNC:TMP2->env
3060     |  lw STR:RC, -4(TMP1)              // KBASE-4-str_const*4
3061     if (op == BC_GGET) {
3062       |  b ->BC_TGETS_Z
3063     } else {
3064       |  b ->BC_TSETS_Z
3065     }
3066     |.  addu RA, BASE, RA
3067     break;
3068
3069   case BC_TGETV:
3070     |  // RA = dst*8, RB = table*8, RC = key*8
3071     |  decode_RB8a RB, INS
3072     |  decode_RB8b RB
3073     |   decode_RDtoRC8 RC, RD
3074     |  addu CARG2, BASE, RB
3075     |   addu CARG3, BASE, RC
3076     |  lw TMP1, HI(CARG2)
3077     |   lw TMP2, HI(CARG3)
3078     |    lw TAB:RB, LO(CARG2)
3079     |  li AT, LJ_TTAB
3080     |   ldc1 f0, 0(CARG3)
3081     |  bne TMP1, AT, ->vmeta_tgetv
3082     |.  addu RA, BASE, RA
3083     |  sltiu AT, TMP2, LJ_TISNUM
3084     |  beqz AT, >5
3085     |.  li AT, LJ_TSTR
3086     |
3087     |  // Convert number key to integer, check for integerness and range.
3088     |  cvt.w.d f2, f0
3089     |   lw TMP0, TAB:RB->asize
3090     |  mfc1 TMP2, f2
3091     |  cvt.d.w f4, f2
3092     |   lw TMP1, TAB:RB->array
3093     |  c.eq.d f0, f4
3094     |  sltu AT, TMP2, TMP0
3095     |  movf AT, r0
3096     |   sll TMP2, TMP2, 3
3097     |  beqz AT, ->vmeta_tgetv           // Integer key and in array part?
3098     |.  addu TMP2, TMP1, TMP2
3099     |  lw TMP0, HI(TMP2)
3100     |  beq TMP0, TISNIL, >2
3101     |.  ldc1 f0, 0(TMP2)
3102     |1:
3103     |  ins_next1
3104     |   sdc1 f0, 0(RA)
3105     |  ins_next2
3106     |
3107     |2:  // Check for __index if table value is nil.
3108     |  lw TAB:TMP2, TAB:RB->metatable
3109     |  beqz TAB:TMP2, <1                // No metatable: done.
3110     |.  nop
3111     |  lbu TMP0, TAB:TMP2->nomm
3112     |  andi TMP0, TMP0, 1<<MM_index
3113     |  bnez TMP0, <1                    // 'no __index' flag set: done.
3114     |.  nop
3115     |  b ->vmeta_tgetv
3116     |.  nop
3117     |
3118     |5:
3119     |  bne TMP2, AT, ->vmeta_tgetv
3120     |.  lw STR:RC, LO(CARG3)
3121     |  b ->BC_TGETS_Z                   // String key?
3122     |.  nop
3123     break;
3124   case BC_TGETS:
3125     |  // RA = dst*8, RB = table*8, RC = str_const*4 (~)
3126     |  decode_RB8a RB, INS
3127     |  decode_RB8b RB
3128     |  addu CARG2, BASE, RB
3129     |   decode_RC4a RC, INS
3130     |  lw TMP0, HI(CARG2)
3131     |   decode_RC4b RC
3132     |  li AT, LJ_TTAB
3133     |   lw TAB:RB, LO(CARG2)
3134     |   subu CARG3, KBASE, RC
3135     |   lw STR:RC, -4(CARG3)            // KBASE-4-str_const*4
3136     |  bne TMP0, AT, ->vmeta_tgets1
3137     |.  addu RA, BASE, RA
3138     |->BC_TGETS_Z:
3139     |  // TAB:RB = GCtab *, STR:RC = GCstr *, RA = dst*8
3140     |  lw TMP0, TAB:RB->hmask
3141     |  lw TMP1, STR:RC->hash
3142     |  lw NODE:TMP2, TAB:RB->node
3143     |  and TMP1, TMP1, TMP0             // idx = str->hash & tab->hmask
3144     |  sll TMP0, TMP1, 5
3145     |  sll TMP1, TMP1, 3
3146     |  subu TMP1, TMP0, TMP1
3147     |  addu NODE:TMP2, NODE:TMP2, TMP1  // node = tab->node + (idx*32-idx*8)
3148     |1:
3149     |  lw CARG1, offsetof(Node, key)+HI(NODE:TMP2)
3150     |   lw TMP0, offsetof(Node, key)+LO(NODE:TMP2)
3151     |    lw NODE:TMP1, NODE:TMP2->next
3152     |    lw CARG2, offsetof(Node, val)+HI(NODE:TMP2)
3153     |  addiu CARG1, CARG1, -LJ_TSTR
3154     |   xor TMP0, TMP0, STR:RC
3155     |  or AT, CARG1, TMP0
3156     |  bnez AT, >4
3157     |.  lw TAB:TMP3, TAB:RB->metatable
3158     |    beq CARG2, TISNIL, >5          // Key found, but nil value?
3159     |.    lw CARG1, offsetof(Node, val)+LO(NODE:TMP2)
3160     |3:
3161     |  ins_next1
3162     |    sw CARG2, HI(RA)
3163     |     sw CARG1, LO(RA)
3164     |  ins_next2
3165     |
3166     |4:  // Follow hash chain.
3167     |  bnez NODE:TMP1, <1
3168     |.  move NODE:TMP2, NODE:TMP1
3169     |  // End of hash chain: key not found, nil result.
3170     |
3171     |5:  // Check for __index if table value is nil.
3172     |  beqz TAB:TMP3, <3                // No metatable: done.
3173     |.  li CARG2, LJ_TNIL
3174     |  lbu TMP0, TAB:TMP3->nomm
3175     |  andi TMP0, TMP0, 1<<MM_index
3176     |  bnez TMP0, <3                    // 'no __index' flag set: done.
3177     |.  nop
3178     |  b ->vmeta_tgets
3179     |.  nop
3180     break;
3181   case BC_TGETB:
3182     |  // RA = dst*8, RB = table*8, RC = index*8
3183     |  decode_RB8a RB, INS
3184     |  decode_RB8b RB
3185     |  addu CARG2, BASE, RB
3186     |   decode_RDtoRC8 RC, RD
3187     |  lw CARG1, HI(CARG2)
3188     |  li AT, LJ_TTAB
3189     |   lw TAB:RB, LO(CARG2)
3190     |   addu RA, BASE, RA
3191     |  bne CARG1, AT, ->vmeta_tgetb
3192     |.  srl TMP0, RC, 3
3193     |  lw TMP1, TAB:RB->asize
3194     |   lw TMP2, TAB:RB->array
3195     |  sltu AT, TMP0, TMP1
3196     |  beqz AT, ->vmeta_tgetb
3197     |.  addu RC, TMP2, RC
3198     |  lw TMP1, HI(RC)
3199     |  beq TMP1, TISNIL, >5
3200     |.  ldc1 f0, 0(RC)
3201     |1:
3202     |  ins_next1
3203     |   sdc1 f0, 0(RA)
3204     |  ins_next2
3205     |
3206     |5:  // Check for __index if table value is nil.
3207     |  lw TAB:TMP2, TAB:RB->metatable
3208     |  beqz TAB:TMP2, <1                // No metatable: done.
3209     |.  nop
3210     |  lbu TMP1, TAB:TMP2->nomm
3211     |  andi TMP1, TMP1, 1<<MM_index
3212     |  bnez TMP1, <1                    // 'no __index' flag set: done.
3213     |.  nop
3214     |  b ->vmeta_tgetb                  // Caveat: preserve TMP0!
3215     |.  nop
3216     break;
3217
3218   case BC_TSETV:
3219     |  // RA = src*8, RB = table*8, RC = key*8
3220     |  decode_RB8a RB, INS
3221     |  decode_RB8b RB
3222     |   decode_RDtoRC8 RC, RD
3223     |  addu CARG2, BASE, RB
3224     |   addu CARG3, BASE, RC
3225     |  lw TMP1, HI(CARG2)
3226     |   lw TMP2, HI(CARG3)
3227     |    lw TAB:RB, LO(CARG2)
3228     |  li AT, LJ_TTAB
3229     |   ldc1 f0, 0(CARG3)
3230     |  bne TMP1, AT, ->vmeta_tsetv
3231     |.  addu RA, BASE, RA
3232     |  sltiu AT, TMP2, LJ_TISNUM
3233     |  beqz AT, >5
3234     |.  li AT, LJ_TSTR
3235     |
3236     |  // Convert number key to integer, check for integerness and range.
3237     |  cvt.w.d f2, f0
3238     |   lw TMP0, TAB:RB->asize
3239     |  mfc1 TMP2, f2
3240     |  cvt.d.w f4, f2
3241     |   lw TMP1, TAB:RB->array
3242     |  c.eq.d f0, f4
3243     |  sltu AT, TMP2, TMP0
3244     |  movf AT, r0
3245     |   sll TMP2, TMP2, 3
3246     |  beqz AT, ->vmeta_tsetv           // Integer key and in array part?
3247     |.  addu TMP1, TMP1, TMP2
3248     |   lbu TMP3, TAB:RB->marked
3249     |  lw TMP0, HI(TMP1)
3250     |  beq TMP0, TISNIL, >3
3251     |.  ldc1 f0, 0(RA)
3252     |1:
3253     |   andi AT, TMP3, LJ_GC_BLACK      // isblack(table)
3254     |   bnez AT, >7
3255     |.  sdc1 f0, 0(TMP1)
3256     |2:
3257     |  ins_next
3258     |
3259     |3:  // Check for __newindex if previous value is nil.
3260     |  lw TAB:TMP2, TAB:RB->metatable
3261     |  beqz TAB:TMP2, <1                // No metatable: done.
3262     |.  nop
3263     |  lbu TMP2, TAB:TMP2->nomm
3264     |  andi TMP2, TMP2, 1<<MM_newindex
3265     |  bnez TMP2, <1                    // 'no __newindex' flag set: done.
3266     |.  nop
3267     |  b ->vmeta_tsetv
3268     |.  nop
3269     |
3270     |5:
3271     |  bne TMP2, AT, ->vmeta_tsetv
3272     |.  lw STR:RC, LO(CARG3)
3273     |  b ->BC_TSETS_Z                   // String key?
3274     |.  nop
3275     |
3276     |7:  // Possible table write barrier for the value. Skip valiswhite check.
3277     |  barrierback TAB:RB, TMP3, TMP0, <2
3278     break;
3279   case BC_TSETS:
3280     |  // RA = src*8, RB = table*8, RC = str_const*8 (~)
3281     |  decode_RB8a RB, INS
3282     |  decode_RB8b RB
3283     |  addu CARG2, BASE, RB
3284     |   decode_RC4a RC, INS
3285     |  lw TMP0, HI(CARG2)
3286     |   decode_RC4b RC
3287     |  li AT, LJ_TTAB
3288     |   subu CARG3, KBASE, RC
3289     |    lw TAB:RB, LO(CARG2)
3290     |   lw STR:RC, -4(CARG3)            // KBASE-4-str_const*4
3291     |  bne TMP0, AT, ->vmeta_tsets1
3292     |.  addu RA, BASE, RA
3293     |->BC_TSETS_Z:
3294     |  // TAB:RB = GCtab *, STR:RC = GCstr *, RA = BASE+src*8
3295     |  lw TMP0, TAB:RB->hmask
3296     |  lw TMP1, STR:RC->hash
3297     |  lw NODE:TMP2, TAB:RB->node
3298     |   sb r0, TAB:RB->nomm             // Clear metamethod cache.
3299     |  and TMP1, TMP1, TMP0             // idx = str->hash & tab->hmask
3300     |  sll TMP0, TMP1, 5
3301     |  sll TMP1, TMP1, 3
3302     |  subu TMP1, TMP0, TMP1
3303     |  addu NODE:TMP2, NODE:TMP2, TMP1  // node = tab->node + (idx*32-idx*8)
3304     |   ldc1 f20, 0(RA)
3305     |1:
3306     |  lw CARG1, offsetof(Node, key)+HI(NODE:TMP2)
3307     |   lw TMP0, offsetof(Node, key)+LO(NODE:TMP2)
3308     |  li AT, LJ_TSTR
3309     |    lw NODE:TMP1, NODE:TMP2->next
3310     |  bne CARG1, AT, >5
3311     |.   lw CARG2, offsetof(Node, val)+HI(NODE:TMP2)
3312     |   bne TMP0, STR:RC, >5
3313     |.    lbu TMP3, TAB:RB->marked
3314     |    beq CARG2, TISNIL, >4          // Key found, but nil value?
3315     |.    lw TAB:TMP0, TAB:RB->metatable
3316     |2:
3317     |  andi AT, TMP3, LJ_GC_BLACK       // isblack(table)
3318     |  bnez AT, >7
3319     |.  sdc1 f20, NODE:TMP2->val
3320     |3:
3321     |  ins_next
3322     |
3323     |4:  // Check for __newindex if previous value is nil.
3324     |  beqz TAB:TMP0, <2                // No metatable: done.
3325     |.  nop
3326     |  lbu TMP0, TAB:TMP0->nomm
3327     |  andi TMP0, TMP0, 1<<MM_newindex
3328     |  bnez TMP0, <2                    // 'no __newindex' flag set: done.
3329     |.  nop
3330     |  b ->vmeta_tsets
3331     |.  nop
3332     |
3333     |5:  // Follow hash chain.
3334     |  bnez NODE:TMP1, <1
3335     |.  move NODE:TMP2, NODE:TMP1
3336     |  // End of hash chain: key not found, add a new one
3337     |
3338     |  // But check for __newindex first.
3339     |  lw TAB:TMP2, TAB:RB->metatable
3340     |  beqz TAB:TMP2, >6                // No metatable: continue.
3341     |.  addiu CARG3, DISPATCH, DISPATCH_GL(tmptv)
3342     |  lbu TMP0, TAB:TMP2->nomm
3343     |  andi TMP0, TMP0, 1<<MM_newindex
3344     |  beqz TMP0, ->vmeta_tsets         // 'no __newindex' flag NOT set: check.
3345     |.  li AT, LJ_TSTR
3346     |6:
3347     |  load_got lj_tab_newkey
3348     |  sw STR:RC, LO(CARG3)
3349     |  sw AT, HI(CARG3)
3350     |   sw BASE, L->base
3351     |  move CARG2, TAB:RB
3352     |   sw PC, SAVE_PC
3353     |  call_intern lj_tab_newkey        // (lua_State *L, GCtab *t, TValue *k
3354     |.  move CARG1, L
3355     |  // Returns TValue *.
3356     |  lw BASE, L->base
3357     |  b <3                             // No 2nd write barrier needed.
3358     |.  sdc1 f20, 0(CRET1)
3359     |
3360     |7:  // Possible table write barrier for the value. Skip valiswhite check.
3361     |  barrierback TAB:RB, TMP3, TMP0, <3
3362     break;
3363   case BC_TSETB:
3364     |  // RA = src*8, RB = table*8, RC = index*8
3365     |  decode_RB8a RB, INS
3366     |  decode_RB8b RB
3367     |  addu CARG2, BASE, RB
3368     |   decode_RDtoRC8 RC, RD
3369     |  lw CARG1, HI(CARG2)
3370     |  li AT, LJ_TTAB
3371     |   lw TAB:RB, LO(CARG2)
3372     |   addu RA, BASE, RA
3373     |  bne CARG1, AT, ->vmeta_tsetb
3374     |.  srl TMP0, RC, 3
3375     |  lw TMP1, TAB:RB->asize
3376     |   lw TMP2, TAB:RB->array
3377     |  sltu AT, TMP0, TMP1
3378     |  beqz AT, ->vmeta_tsetb
3379     |.  addu RC, TMP2, RC
3380     |  lw TMP1, HI(RC)
3381     |   lbu TMP3, TAB:RB->marked
3382     |  beq TMP1, TISNIL, >5
3383     |.  ldc1 f0, 0(RA)
3384     |1:
3385     |  andi AT, TMP3, LJ_GC_BLACK       // isblack(table)
3386     |  bnez AT, >7
3387     |.  sdc1 f0, 0(RC)
3388     |2:
3389     |  ins_next
3390     |
3391     |5:  // Check for __newindex if previous value is nil.
3392     |  lw TAB:TMP2, TAB:RB->metatable
3393     |  beqz TAB:TMP2, <1                // No metatable: done.
3394     |.  nop
3395     |  lbu TMP1, TAB:TMP2->nomm
3396     |  andi TMP1, TMP1, 1<<MM_newindex
3397     |  bnez TMP1, <1                    // 'no __newindex' flag set: done.
3398     |.  nop
3399     |  b ->vmeta_tsetb                  // Caveat: preserve TMP0!
3400     |.  nop
3401     |
3402     |7:  // Possible table write barrier for the value. Skip valiswhite check.
3403     |  barrierback TAB:RB, TMP3, TMP0, <2
3404     break;
3405
3406   case BC_TSETM:
3407     |  // RA = base*8 (table at base-1), RD = num_const*8 (start index)
3408     |  addu RA, BASE, RA
3409     |1:
3410     |   addu TMP3, KBASE, RD
3411     |  lw TAB:CARG2, -8+LO(RA)          // Guaranteed to be a table.
3412     |    addiu TMP0, MULTRES, -8
3413     |   lw TMP3, LO(TMP3)               // Integer constant is in lo-word.
3414     |    beqz TMP0, >4                  // Nothing to copy?
3415     |.    srl CARG3, TMP0, 3
3416     |  addu CARG3, CARG3, TMP3
3417     |  lw TMP2, TAB:CARG2->asize
3418     |   sll TMP1, TMP3, 3
3419     |    lbu TMP3, TAB:CARG2->marked
3420     |   lw CARG1, TAB:CARG2->array
3421     |  sltu AT, TMP2, CARG3
3422     |  bnez AT, >5
3423     |.  addu TMP2, RA, TMP0
3424     |   addu TMP1, TMP1, CARG1
3425     |  andi TMP0, TMP3, LJ_GC_BLACK     // isblack(table)
3426     |3:  // Copy result slots to table.
3427     |   ldc1 f0, 0(RA)
3428     |    addiu RA, RA, 8
3429     |  sltu AT, RA, TMP2
3430     |   sdc1 f0, 0(TMP1)
3431     |  bnez AT, <3
3432     |.   addiu TMP1, TMP1, 8
3433     |  bnez TMP0, >7
3434     |. nop
3435     |4:
3436     |  ins_next
3437     |
3438     |5:  // Need to resize array part.
3439     |  load_got lj_tab_reasize
3440     |   sw BASE, L->base
3441     |   sw PC, SAVE_PC
3442     |  move BASE, RD
3443     |  call_intern lj_tab_reasize       // (lua_State *L, GCtab *t, int nasize)
3444     |.  move CARG1, L
3445     |  // Must not reallocate the stack.
3446     |  move RD, BASE
3447     |  b <1
3448     |.  lw BASE, L->base        // Reload BASE for lack of a saved register.
3449     |
3450     |7:  // Possible table write barrier for any value. Skip valiswhite check.
3451     |  barrierback TAB:CARG2, TMP3, TMP0, <4
3452     break;
3453
3454   /* -- Calls and vararg handling ----------------------------------------- */
3455
3456   case BC_CALLM:
3457     |  // RA = base*8, (RB = (nresults+1)*8,) RC = extra_nargs*8
3458     |  decode_RDtoRC8 NARGS8:RC, RD
3459     |  b ->BC_CALL_Z
3460     |.  addu NARGS8:RC, NARGS8:RC, MULTRES
3461     break;
3462   case BC_CALL:
3463     |  // RA = base*8, (RB = (nresults+1)*8,) RC = (nargs+1)*8
3464     |  decode_RDtoRC8 NARGS8:RC, RD
3465     |->BC_CALL_Z:
3466     |  move TMP2, BASE
3467     |  addu BASE, BASE, RA
3468     |   li AT, LJ_TFUNC
3469     |  lw TMP0, HI(BASE)
3470     |   lw LFUNC:RB, LO(BASE)
3471     |   addiu BASE, BASE, 8
3472     |  bne TMP0, AT, ->vmeta_call
3473     |.  addiu NARGS8:RC, NARGS8:RC, -8
3474     |  ins_call
3475     break;
3476
3477   case BC_CALLMT:
3478     |  // RA = base*8, (RB = 0,) RC = extra_nargs*8
3479     |  addu NARGS8:RD, NARGS8:RD, MULTRES       // BC_CALLT gets RC from RD.
3480     |  // Fall through. Assumes BC_CALLT follows.
3481     break;
3482   case BC_CALLT:
3483     |  // RA = base*8, (RB = 0,) RC = (nargs+1)*8
3484     |  addu RA, BASE, RA
3485     |   li AT, LJ_TFUNC
3486     |  lw TMP0, HI(RA)
3487     |   lw LFUNC:RB, LO(RA)
3488     |   move NARGS8:RC, RD
3489     |    lw TMP1, FRAME_PC(BASE)
3490     |   addiu RA, RA, 8
3491     |  bne TMP0, AT, ->vmeta_callt
3492     |.  addiu NARGS8:RC, NARGS8:RC, -8
3493     |->BC_CALLT_Z:
3494     |  andi TMP0, TMP1, FRAME_TYPE      // Caveat: preserve TMP0 until the 'or'.
3495     |   lbu TMP3, LFUNC:RB->ffid
3496     |  bnez TMP0, >7
3497     |.  xori TMP2, TMP1, FRAME_VARG
3498     |1:
3499     |  sw LFUNC:RB, FRAME_FUNC(BASE)    // Copy function down, but keep PC.
3500     |  sltiu AT, TMP3, 2                // (> FF_C) Calling a fast function?
3501     |  move TMP2, BASE
3502     |  beqz NARGS8:RC, >3
3503     |.  move TMP3, NARGS8:RC
3504     |2:
3505     |   ldc1 f0, 0(RA)
3506     |    addiu RA, RA, 8
3507     |  addiu TMP3, TMP3, -8
3508     |   sdc1 f0, 0(TMP2)
3509     |  bnez TMP3, <2
3510     |.   addiu TMP2, TMP2, 8
3511     |3:
3512     |  or TMP0, TMP0, AT
3513     |  beqz TMP0, >5
3514     |.  nop
3515     |4:
3516     |  ins_callt
3517     |
3518     |5:  // Tailcall to a fast function with a Lua frame below.
3519     |  lw INS, -4(TMP1)
3520     |  decode_RA8a RA, INS
3521     |  decode_RA8b RA
3522     |  subu TMP1, BASE, RA
3523     |  lw LFUNC:TMP1, -8+FRAME_FUNC(TMP1)
3524     |  lw TMP1, LFUNC:TMP1->pc
3525     |  b <4
3526     |.  lw KBASE, PC2PROTO(k)(TMP1)     // Need to prepare KBASE.
3527     |
3528     |7:  // Tailcall from a vararg function.
3529     |  andi AT, TMP2, FRAME_TYPEP
3530     |  bnez AT, <1                      // Vararg frame below?
3531     |.  subu TMP2, BASE, TMP2           // Relocate BASE down.
3532     |  move BASE, TMP2
3533     |  lw TMP1, FRAME_PC(TMP2)
3534     |  b <1
3535     |.  andi TMP0, TMP1, FRAME_TYPE
3536     break;
3537
3538   case BC_ITERC:
3539     |  // RA = base*8, (RB = (nresults+1)*8, RC = (nargs+1)*8 ((2+1)*8))
3540     |  move TMP2, BASE
3541     |  addu BASE, BASE, RA
3542     |   li AT, LJ_TFUNC
3543     |  lw TMP1, -24+HI(BASE)
3544     |   lw LFUNC:RB, -24+LO(BASE)
3545     |    ldc1 f2, -8(BASE)
3546     |    ldc1 f0, -16(BASE)
3547     |  sw TMP1, HI(BASE)                // Copy callable.
3548     |   sw LFUNC:RB, LO(BASE)
3549     |    sdc1 f2, 16(BASE)              // Copy control var.
3550     |    sdc1 f0, 8(BASE)               // Copy state.
3551     |   addiu BASE, BASE, 8
3552     |  bne TMP1, AT, ->vmeta_call
3553     |.  li NARGS8:RC, 16                // Iterators get 2 arguments.
3554     |  ins_call
3555     break;
3556
3557   case BC_ITERN:
3558     |  // RA = base*8, (RB = (nresults+1)*8, RC = (nargs+1)*8 (2+1)*8)
3559     |.if JIT
3560     |  // NYI: add hotloop, record BC_ITERN.
3561     |.endif
3562     |  addu RA, BASE, RA
3563     |  lw TAB:RB, -16+LO(RA)
3564     |  lw RC, -8+LO(RA)                 // Get index from control var.
3565     |  lw TMP0, TAB:RB->asize
3566     |  lw TMP1, TAB:RB->array
3567     |   addiu PC, PC, 4
3568     |1:  // Traverse array part.
3569     |  sltu AT, RC, TMP0
3570     |  beqz AT, >5                      // Index points after array part?
3571     |.  sll TMP3, RC, 3
3572     |  addu TMP3, TMP1, TMP3
3573     |  lw TMP2, HI(TMP3)
3574     |   ldc1 f0, 0(TMP3)
3575     |    mtc1 RC, f2
3576     |     lhu RD, -4+OFS_RD(PC)
3577     |  beq TMP2, TISNIL, <1             // Skip holes in array part.
3578     |.  addiu RC, RC, 1
3579     |    cvt.d.w f2, f2
3580     |     lui TMP3, (-(BCBIAS_J*4 >> 16) & 65535)
3581     |   sdc1 f0, 8(RA)
3582     |     decode_RD4b RD
3583     |     addu RD, RD, TMP3
3584     |   sw RC, -8+LO(RA)                // Update control var.
3585     |     addu PC, PC, RD
3586     |    sdc1 f2, 0(RA)
3587     |3:
3588     |  ins_next
3589     |
3590     |5:  // Traverse hash part.
3591     |  lw TMP1, TAB:RB->hmask
3592     |  subu RC, RC, TMP0
3593     |   lw TMP2, TAB:RB->node
3594     |6:
3595     |  sltu AT, TMP1, RC                // End of iteration? Branch to ITERL+1.
3596     |  bnez AT, <3
3597     |.  sll TMP3, RC, 5
3598     |   sll RB, RC, 3
3599     |   subu TMP3, TMP3, RB
3600     |  addu NODE:TMP3, TMP3, TMP2
3601     |  lw RB, HI(NODE:TMP3)
3602     |  ldc1 f0, 0(NODE:TMP3)
3603     |     lhu RD, -4+OFS_RD(PC)
3604     |  beq RB, TISNIL, <6               // Skip holes in hash part.
3605     |.  addiu RC, RC, 1
3606     |   ldc1 f2, NODE:TMP3->key
3607     |     lui TMP3, (-(BCBIAS_J*4 >> 16) & 65535)
3608     |  sdc1 f0, 8(RA)
3609     |    addu RC, RC, TMP0
3610     |     decode_RD4b RD
3611     |     addu RD, RD, TMP3
3612     |   sdc1 f2, 0(RA)
3613     |     addu PC, PC, RD
3614     |  b <3
3615     |.  sw RC, -8+LO(RA)                // Update control var.
3616     break;
3617
3618   case BC_ISNEXT:
3619     |  // RA = base*8, RD = target (points to ITERN)
3620     |  addu RA, BASE, RA
3621     |    srl TMP0, RD, 1
3622     |  lw CARG1, -24+HI(RA)
3623     |  lw CFUNC:CARG2, -24+LO(RA)
3624     |    addu TMP0, PC, TMP0
3625     |   lw CARG3, -16+HI(RA)
3626     |   lw CARG4, -8+HI(RA)
3627     |  li AT, LJ_TFUNC
3628     |  bne CARG1, AT, >5
3629     |.   lui TMP2, (-(BCBIAS_J*4 >> 16) & 65535)
3630     |  lbu CARG2, CFUNC:CARG2->ffid
3631     |   addiu CARG3, CARG3, -LJ_TTAB
3632     |   addiu CARG4, CARG4, -LJ_TNIL
3633     |   or CARG3, CARG3, CARG4
3634     |  addiu CARG2, CARG2, -FF_next_N
3635     |  or CARG2, CARG2, CARG3
3636     |  bnez CARG2, >5
3637     |.  lui TMP1, 0xfffe
3638     |  addu PC, TMP0, TMP2
3639     |  ori TMP1, TMP1, 0x7fff
3640     |  sw r0, -8+LO(RA)                 // Initialize control var.
3641     |  sw TMP1, -8+HI(RA)
3642     |1:
3643     |  ins_next
3644     |5:  // Despecialize bytecode if any of the checks fail.
3645     |  li TMP3, BC_JMP
3646     |   li TMP1, BC_ITERC
3647     |  sb TMP3, -4+OFS_OP(PC)
3648     |    addu PC, TMP0, TMP2
3649     |  b <1
3650     |.  sb TMP1, OFS_OP(PC)
3651     break;
3652
3653   case BC_VARG:
3654     |  // RA = base*8, RB = (nresults+1)*8, RC = numparams*8
3655     |  lw TMP0, FRAME_PC(BASE)
3656     |  decode_RDtoRC8 RC, RD
3657     |   decode_RB8a RB, INS
3658     |  addu RC, BASE, RC
3659     |   decode_RB8b RB
3660     |   addu RA, BASE, RA
3661     |  addiu RC, RC, FRAME_VARG
3662     |   addu TMP2, RA, RB
3663     |  addiu TMP3, BASE, -8             // TMP3 = vtop
3664     |  subu RC, RC, TMP0                // RC = vbase
3665     |  // Note: RC may now be even _above_ BASE if nargs was < numparams.
3666     |  beqz RB, >5                      // Copy all varargs?
3667     |.  subu TMP1, TMP3, RC
3668     |  addiu TMP2, TMP2, -16
3669     |1:  // Copy vararg slots to destination slots.
3670     |  lw CARG1, HI(RC)
3671     |  sltu AT, RC, TMP3
3672     |   lw CARG2, LO(RC)
3673     |    addiu RC, RC, 8
3674     |  movz CARG1, TISNIL, AT
3675     |  sw CARG1, HI(RA)
3676     |   sw CARG2, LO(RA)
3677     |  sltu AT, RA, TMP2
3678     |  bnez AT, <1
3679     |.   addiu RA, RA, 8
3680     |3:
3681     |  ins_next
3682     |
3683     |5:  // Copy all varargs.
3684     |  lw TMP0, L->maxstack
3685     |  blez TMP1, <3                    // No vararg slots?
3686     |.  li MULTRES, 8                   // MULTRES = (0+1)*8
3687     |  addu TMP2, RA, TMP1
3688     |  sltu AT, TMP0, TMP2
3689     |  bnez AT, >7
3690     |.  addiu MULTRES, TMP1, 8
3691     |6:
3692     |  ldc1 f0, 0(RC)
3693     |   addiu RC, RC, 8
3694     |  sdc1 f0, 0(RA)
3695     |  sltu AT, RC, TMP3
3696     |  bnez AT, <6                      // More vararg slots?
3697     |.  addiu RA, RA, 8
3698     |  b <3
3699     |.  nop
3700     |
3701     |7:  // Grow stack for varargs.
3702     |  load_got lj_state_growstack
3703     |   sw RA, L->top
3704     |  subu RA, RA, BASE
3705     |   sw BASE, L->base
3706     |  subu BASE, RC, BASE              // Need delta, because BASE may change.
3707     |   sw PC, SAVE_PC
3708     |  srl CARG2, TMP1, 3
3709     |  call_intern lj_state_growstack   // (lua_State *L, int n)
3710     |.  move CARG1, L
3711     |  move RC, BASE
3712     |  lw BASE, L->base
3713     |  addu RA, BASE, RA
3714     |  addu RC, BASE, RC
3715     |  b <6
3716     |.  addiu TMP3, BASE, -8
3717     break;
3718
3719   /* -- Returns ----------------------------------------------------------- */
3720
3721   case BC_RETM:
3722     |  // RA = results*8, RD = extra_nresults*8
3723     |  addu RD, RD, MULTRES             // MULTRES >= 8, so RD >= 8.
3724     |  // Fall through. Assumes BC_RET follows.
3725     break;
3726
3727   case BC_RET:
3728     |  // RA = results*8, RD = (nresults+1)*8
3729     |  lw PC, FRAME_PC(BASE)
3730     |   addu RA, BASE, RA
3731     |    move MULTRES, RD
3732     |1:
3733     |  andi TMP0, PC, FRAME_TYPE
3734     |  bnez TMP0, ->BC_RETV_Z
3735     |.  xori TMP1, PC, FRAME_VARG
3736     |
3737     |->BC_RET_Z:
3738     |  // BASE = base, RA = resultptr, RD = (nresults+1)*8, PC = return
3739     |   lw INS, -4(PC)
3740     |    addiu TMP2, BASE, -8
3741     |    addiu RC, RD, -8
3742     |  decode_RA8a TMP0, INS
3743     |   decode_RB8a RB, INS
3744     |  decode_RA8b TMP0
3745     |   decode_RB8b RB
3746     |   addu TMP3, TMP2, RB
3747     |  beqz RC, >3
3748     |.  subu BASE, TMP2, TMP0
3749     |2:
3750     |   ldc1 f0, 0(RA)
3751     |    addiu RA, RA, 8
3752     |  addiu RC, RC, -8
3753     |   sdc1 f0, 0(TMP2)
3754     |  bnez RC, <2
3755     |.   addiu TMP2, TMP2, 8
3756     |3:
3757     |  addiu TMP3, TMP3, -8
3758     |5:
3759     |  sltu AT, TMP2, TMP3
3760     |  bnez AT, >6
3761     |.  lw LFUNC:TMP1, FRAME_FUNC(BASE)
3762     |  ins_next1
3763     |  lw TMP1, LFUNC:TMP1->pc
3764     |  lw KBASE, PC2PROTO(k)(TMP1)
3765     |  ins_next2
3766     |
3767     |6:  // Fill up results with nil.
3768     |  sw TISNIL, HI(TMP2)
3769     |  b <5
3770     |.  addiu TMP2, TMP2, 8
3771     |
3772     |->BC_RETV_Z:  // Non-standard return case.
3773     |  andi TMP2, TMP1, FRAME_TYPEP
3774     |  bnez TMP2, ->vm_return
3775     |.  nop
3776     |  // Return from vararg function: relocate BASE down.
3777     |  subu BASE, BASE, TMP1
3778     |  b <1
3779     |.  lw PC, FRAME_PC(BASE)
3780     break;
3781
3782   case BC_RET0: case BC_RET1:
3783     |  // RA = results*8, RD = (nresults+1)*8
3784     |  lw PC, FRAME_PC(BASE)
3785     |   addu RA, BASE, RA
3786     |    move MULTRES, RD
3787     |  andi TMP0, PC, FRAME_TYPE
3788     |  bnez TMP0, ->BC_RETV_Z
3789     |.  xori TMP1, PC, FRAME_VARG
3790     |
3791     |  lw INS, -4(PC)
3792     |   addiu TMP2, BASE, -8
3793     if (op == BC_RET1) {
3794       |  ldc1 f0, 0(RA)
3795     }
3796     |  decode_RB8a RB, INS
3797     |   decode_RA8a RA, INS
3798     |  decode_RB8b RB
3799     |   decode_RA8b RA
3800     if (op == BC_RET1) {
3801       |  sdc1 f0, 0(TMP2)
3802     }
3803     |   subu BASE, TMP2, RA
3804     |5:
3805     |  sltu AT, RD, RB
3806     |  bnez AT, >6
3807     |.  lw LFUNC:TMP1, FRAME_FUNC(BASE)
3808     |  ins_next1
3809     |  lw TMP1, LFUNC:TMP1->pc
3810     |  lw KBASE, PC2PROTO(k)(TMP1)
3811     |  ins_next2
3812     |
3813     |6:  // Fill up results with nil.
3814     |  addiu TMP2, TMP2, 8
3815     |  addiu RD, RD, 8
3816     |  b <5
3817     if (op == BC_RET1) {
3818       |.  sw TISNIL, HI(TMP2)
3819     } else {
3820       |.  sw TISNIL, -8+HI(TMP2)
3821     }
3822     break;
3823
3824   /* -- Loops and branches ------------------------------------------------ */
3825
3826   case BC_FORL:
3827     |.if JIT
3828     |  hotloop
3829     |.endif
3830     |  // Fall through. Assumes BC_IFORL follows.
3831     break;
3832
3833   case BC_JFORI:
3834   case BC_JFORL:
3835 #if !LJ_HASJIT
3836     break;
3837 #endif
3838   case BC_FORI:
3839   case BC_IFORL:
3840     |  // RA = base*8, RD = target (after end of loop or start of loop)
3841     vk = (op == BC_IFORL || op == BC_JFORL);
3842     |  addu RA, BASE, RA
3843     if (vk) {
3844       |  ldc1 f0, FORL_IDX*8(RA)
3845       |  ldc1 f4, FORL_STEP*8(RA)
3846       |  ldc1 f2, FORL_STOP*8(RA)
3847       |   lw TMP3, FORL_STEP*8+HI(RA)
3848       |  add.d f0, f0, f4
3849       |  sdc1 f0, FORL_IDX*8(RA)
3850     } else {
3851       |  lw TMP1, FORL_IDX*8+HI(RA)
3852       |  lw TMP3, FORL_STEP*8+HI(RA)
3853       |  lw TMP2, FORL_STOP*8+HI(RA)
3854       |  sltiu TMP1, TMP1, LJ_TISNUM
3855       |  sltiu TMP0, TMP3, LJ_TISNUM
3856       |  sltiu TMP2, TMP2, LJ_TISNUM
3857       |  and TMP1, TMP1, TMP0
3858       |  and TMP1, TMP1, TMP2
3859       |   ldc1 f0, FORL_IDX*8(RA)
3860       |  beqz TMP1, ->vmeta_for
3861       |.  ldc1 f2, FORL_STOP*8(RA)
3862     }
3863     if (op != BC_JFORL) {
3864       |  srl RD, RD, 1
3865       |  lui TMP0, (-(BCBIAS_J*4 >> 16) & 65535)
3866     }
3867     |  c.le.d 0, f0, f2
3868     |  c.le.d 1, f2, f0
3869     |  sdc1 f0, FORL_EXT*8(RA)
3870     if (op == BC_JFORI) {
3871       |  li TMP1, 1
3872       |  li TMP2, 1
3873       |   addu TMP0, RD, TMP0
3874       |  slt TMP3, TMP3, r0
3875       |  movf TMP1, r0, 0
3876       |   addu PC, PC, TMP0
3877       |  movf TMP2, r0, 1
3878       |   lhu RD, -4+OFS_RD(PC)
3879       |  movn TMP1, TMP2, TMP3
3880       |  bnez TMP1, =>BC_JLOOP
3881       |.  decode_RD8b RD
3882     } else if (op == BC_JFORL) {
3883       |  li TMP1, 1
3884       |  li TMP2, 1
3885       |  slt TMP3, TMP3, r0
3886       |  movf TMP1, r0, 0
3887       |  movf TMP2, r0, 1
3888       |  movn TMP1, TMP2, TMP3
3889       |  bnez TMP1, =>BC_JLOOP
3890       |.  nop
3891     } else {
3892       |  addu TMP1, RD, TMP0
3893       |  slt TMP3, TMP3, r0
3894       |  move TMP2, TMP1
3895       if (op == BC_FORI) {
3896         |  movt TMP1, r0, 0
3897         |  movt TMP2, r0, 1
3898       } else {
3899         |  movf TMP1, r0, 0
3900         |  movf TMP2, r0, 1
3901       }
3902       |  movn TMP1, TMP2, TMP3
3903       |  addu PC, PC, TMP1
3904     }
3905     |  ins_next
3906     break;
3907
3908   case BC_ITERL:
3909     |.if JIT
3910     |  hotloop
3911     |.endif
3912     |  // Fall through. Assumes BC_IITERL follows.
3913     break;
3914
3915   case BC_JITERL:
3916 #if !LJ_HASJIT
3917     break;
3918 #endif
3919   case BC_IITERL:
3920     |  // RA = base*8, RD = target
3921     |  addu RA, BASE, RA
3922     |  lw TMP1, HI(RA)
3923     |  beq TMP1, TISNIL, >1             // Stop if iterator returned nil.
3924     |.  lw TMP2, LO(RA)
3925     if (op == BC_JITERL) {
3926       |  sw TMP1, -8+HI(RA)
3927       |  b =>BC_JLOOP
3928       |.  sw TMP2, -8+LO(RA)
3929     } else {
3930       |  branch_RD                      // Otherwise save control var + branch.
3931       |  sw TMP1, -8+HI(RA)
3932       |   sw TMP2, -8+LO(RA)
3933     }
3934     |1:
3935     |  ins_next
3936     break;
3937
3938   case BC_LOOP:
3939     |  // RA = base*8, RD = target (loop extent)
3940     |  // Note: RA/RD is only used by trace recorder to determine scope/extent
3941     |  // This opcode does NOT jump, it's only purpose is to detect a hot loop.
3942     |.if JIT
3943     |  hotloop
3944     |.endif
3945     |  // Fall through. Assumes BC_ILOOP follows.
3946     break;
3947
3948   case BC_ILOOP:
3949     |  // RA = base*8, RD = target (loop extent)
3950     |  ins_next
3951     break;
3952
3953   case BC_JLOOP:
3954     |.if JIT
3955     |  // RA = base*8 (ignored), RD = traceno*8
3956     |  lw TMP1, DISPATCH_J(trace)(DISPATCH)
3957     |  srl RD, RD, 1
3958     |   li AT, 0
3959     |  addu TMP1, TMP1, RD
3960     |  // Traces on MIPS don't store the trace number, so use 0.
3961     |   sw AT, DISPATCH_GL(vmstate)(DISPATCH)
3962     |  lw TRACE:TMP2, 0(TMP1)
3963     |   sw BASE, DISPATCH_GL(jit_base)(DISPATCH)
3964     |   sw L, DISPATCH_GL(jit_L)(DISPATCH)
3965     |  lw TMP2, TRACE:TMP2->mcode
3966     |  jr TMP2
3967     |.  addiu JGL, DISPATCH, GG_DISP2G+32768
3968     |.endif
3969     break;
3970
3971   case BC_JMP:
3972     |  // RA = base*8 (only used by trace recorder), RD = target
3973     |  branch_RD
3974     |  ins_next
3975     break;
3976
3977   /* -- Function headers -------------------------------------------------- */
3978
3979   case BC_FUNCF:
3980     |.if JIT
3981     |  hotcall
3982     |.endif
3983   case BC_FUNCV:  /* NYI: compiled vararg functions. */
3984     |  // Fall through. Assumes BC_IFUNCF/BC_IFUNCV follow.
3985     break;
3986
3987   case BC_JFUNCF:
3988 #if !LJ_HASJIT
3989     break;
3990 #endif
3991   case BC_IFUNCF:
3992     |  // BASE = new base, RA = BASE+framesize*8, RB = LFUNC, RC = nargs*8
3993     |  lw TMP2, L->maxstack
3994     |   lbu TMP1, -4+PC2PROTO(numparams)(PC)
3995     |    lw KBASE, -4+PC2PROTO(k)(PC)
3996     |  sltu AT, TMP2, RA
3997     |  bnez AT, ->vm_growstack_l
3998     |.  sll TMP1, TMP1, 3
3999     if (op != BC_JFUNCF) {
4000       |  ins_next1
4001     }
4002     |2:
4003     |  sltu AT, NARGS8:RC, TMP1         // Check for missing parameters.
4004     |  bnez AT, >3
4005     |.  addu AT, BASE, NARGS8:RC
4006     if (op == BC_JFUNCF) {
4007       |  decode_RD8a RD, INS
4008       |  b =>BC_JLOOP
4009       |.  decode_RD8b RD
4010     } else {
4011       |  ins_next2
4012     }
4013     |
4014     |3:  // Clear missing parameters.
4015     |  sw TISNIL, HI(AT)
4016     |  b <2
4017     |.  addiu NARGS8:RC, NARGS8:RC, 8
4018     break;
4019
4020   case BC_JFUNCV:
4021 #if !LJ_HASJIT
4022     break;
4023 #endif
4024     |  NYI  // NYI: compiled vararg functions
4025     break;  /* NYI: compiled vararg functions. */
4026
4027   case BC_IFUNCV:
4028     |  // BASE = new base, RA = BASE+framesize*8, RB = LFUNC, RC = nargs*8
4029     |   addu TMP1, BASE, RC
4030     |  lw TMP2, L->maxstack
4031     |  addu TMP0, RA, RC
4032     |   sw LFUNC:RB, LO(TMP1)           // Store copy of LFUNC.
4033     |   addiu TMP3, RC, 8+FRAME_VARG
4034     |  sltu AT, TMP0, TMP2
4035     |    lw KBASE, -4+PC2PROTO(k)(PC)
4036     |  beqz AT, ->vm_growstack_l
4037     |.  sw TMP3, HI(TMP1)               // Store delta + FRAME_VARG.
4038     |  lbu TMP2, -4+PC2PROTO(numparams)(PC)
4039     |   move RA, BASE
4040     |   move RC, TMP1
4041     |  ins_next1
4042     |  beqz TMP2, >3
4043     |.  addiu BASE, TMP1, 8
4044     |1:
4045     |  lw TMP0, HI(RA)
4046     |   lw TMP3, LO(RA)
4047     |  sltu AT, RA, RC                  // Less args than parameters?
4048     |  move CARG1, TMP0
4049     |  movz TMP0, TISNIL, AT            // Clear missing parameters.
4050     |  movn CARG1, TISNIL, AT           // Clear old fixarg slot (help the GC).
4051     |   sw TMP3, 8+LO(TMP1)
4052     |    addiu TMP2, TMP2, -1
4053     |  sw TMP0, 8+HI(TMP1)
4054     |    addiu TMP1, TMP1, 8
4055     |  sw CARG1, HI(RA)
4056     |  bnez TMP2, <1
4057     |.   addiu RA, RA, 8
4058     |3:
4059     |  ins_next2
4060     break;
4061
4062   case BC_FUNCC:
4063   case BC_FUNCCW:
4064     |  // BASE = new base, RA = BASE+framesize*8, RB = CFUNC, RC = nargs*8
4065     if (op == BC_FUNCC) {
4066       |  lw CFUNCADDR, CFUNC:RB->f
4067     } else {
4068       |  lw CFUNCADDR, DISPATCH_GL(wrapf)(DISPATCH)
4069     }
4070     |  addu TMP1, RA, NARGS8:RC
4071     |  lw TMP2, L->maxstack
4072     |   addu RC, BASE, NARGS8:RC
4073     |  sw BASE, L->base
4074     |  sltu AT, TMP2, TMP1
4075     |   sw RC, L->top
4076     |    li_vmstate C
4077     if (op == BC_FUNCCW) {
4078       |  lw CARG2, CFUNC:RB->f
4079     }
4080     |  bnez AT, ->vm_growstack_c        // Need to grow stack.
4081     |.  move CARG1, L
4082     |  jalr CFUNCADDR                   // (lua_State *L [, lua_CFunction f])
4083     |.   st_vmstate
4084     |  // Returns nresults.
4085     |  lw BASE, L->base
4086     |   sll RD, CRET1, 3
4087     |  lw TMP1, L->top
4088     |    li_vmstate INTERP
4089     |  lw PC, FRAME_PC(BASE)            // Fetch PC of caller.
4090     |   subu RA, TMP1, RD               // RA = L->top - nresults*8
4091     |  b ->vm_returnc
4092     |.   st_vmstate
4093     break;
4094
4095   /* ---------------------------------------------------------------------- */
4096
4097   default:
4098     fprintf(stderr, "Error: undefined opcode BC_%s\n", bc_names[op]);
4099     exit(2);
4100     break;
4101   }
4102 }
4103
4104 static int build_backend(BuildCtx *ctx)
4105 {
4106   int op;
4107
4108   dasm_growpc(Dst, BC__MAX);
4109
4110   build_subroutines(ctx);
4111
4112   |.code_op
4113   for (op = 0; op < BC__MAX; op++)
4114     build_ins(ctx, (BCOp)op, op);
4115
4116   return BC__MAX;
4117 }
4118
4119 /* Emit pseudo frame-info for all assembler functions. */
4120 static void emit_asm_debug(BuildCtx *ctx)
4121 {
4122   int fcofs = (int)((uint8_t *)ctx->glob[GLOB_vm_ffi_call] - ctx->code);
4123   int i;
4124   switch (ctx->mode) {
4125   case BUILD_elfasm:
4126     fprintf(ctx->fp, "\t.section .debug_frame,\"\",@progbits\n");
4127     fprintf(ctx->fp,
4128         ".Lframe0:\n"
4129         "\t.4byte .LECIE0-.LSCIE0\n"
4130         ".LSCIE0:\n"
4131         "\t.4byte 0xffffffff\n"
4132         "\t.byte 0x1\n"
4133         "\t.string \"\"\n"
4134         "\t.uleb128 0x1\n"
4135         "\t.sleb128 -4\n"
4136         "\t.byte 31\n"
4137         "\t.byte 0xc\n\t.uleb128 29\n\t.uleb128 0\n"
4138         "\t.align 2\n"
4139         ".LECIE0:\n\n");
4140     fprintf(ctx->fp,
4141         ".LSFDE0:\n"
4142         "\t.4byte .LEFDE0-.LASFDE0\n"
4143         ".LASFDE0:\n"
4144         "\t.4byte .Lframe0\n"
4145         "\t.4byte .Lbegin\n"
4146         "\t.4byte %d\n"
4147         "\t.byte 0xe\n\t.uleb128 %d\n"
4148         "\t.byte 0x9f\n\t.sleb128 1\n"
4149         "\t.byte 0x9e\n\t.sleb128 2\n",
4150         fcofs, CFRAME_SIZE);
4151     for (i = 23; i >= 16; i--)
4152       fprintf(ctx->fp, "\t.byte %d\n\t.uleb128 %d\n", 0x80+i, 26-i);
4153     for (i = 30; i >= 20; i -= 2)
4154       fprintf(ctx->fp, "\t.byte %d\n\t.uleb128 %d\n", 0x80+32+i, 42-i);
4155     fprintf(ctx->fp,
4156         "\t.align 2\n"
4157         ".LEFDE0:\n\n");
4158 #if LJ_HASFFI
4159     fprintf(ctx->fp,
4160         ".LSFDE1:\n"
4161         "\t.4byte .LEFDE1-.LASFDE1\n"
4162         ".LASFDE1:\n"
4163         "\t.4byte .Lframe0\n"
4164         "\t.4byte lj_vm_ffi_call\n"
4165         "\t.4byte %d\n"
4166         "\t.byte 0x9f\n\t.uleb128 1\n"
4167         "\t.byte 0x90\n\t.uleb128 2\n"
4168         "\t.byte 0xd\n\t.uleb128 0x10\n"
4169         "\t.align 2\n"
4170         ".LEFDE1:\n\n", (int)ctx->codesz - fcofs);
4171 #endif
4172 #if !LJ_NO_UNWIND
4173     fprintf(ctx->fp, "\t.section .eh_frame,\"aw\",@progbits\n");
4174     fprintf(ctx->fp,
4175         "\t.globl lj_err_unwind_dwarf\n"
4176         ".Lframe1:\n"
4177         "\t.4byte .LECIE1-.LSCIE1\n"
4178         ".LSCIE1:\n"
4179         "\t.4byte 0\n"
4180         "\t.byte 0x1\n"
4181         "\t.string \"zPR\"\n"
4182         "\t.uleb128 0x1\n"
4183         "\t.sleb128 -4\n"
4184         "\t.byte 31\n"
4185         "\t.uleb128 6\n"                        /* augmentation length */
4186         "\t.byte 0\n"
4187         "\t.4byte lj_err_unwind_dwarf\n"
4188         "\t.byte 0\n"
4189         "\t.byte 0xc\n\t.uleb128 29\n\t.uleb128 0\n"
4190         "\t.align 2\n"
4191         ".LECIE1:\n\n");
4192     fprintf(ctx->fp,
4193         ".LSFDE2:\n"
4194         "\t.4byte .LEFDE2-.LASFDE2\n"
4195         ".LASFDE2:\n"
4196         "\t.4byte .LASFDE2-.Lframe1\n"
4197         "\t.4byte .Lbegin\n"
4198         "\t.4byte %d\n"
4199         "\t.uleb128 0\n"                        /* augmentation length */
4200         "\t.byte 0xe\n\t.uleb128 %d\n"
4201         "\t.byte 0x9f\n\t.sleb128 1\n"
4202         "\t.byte 0x9e\n\t.sleb128 2\n",
4203         fcofs, CFRAME_SIZE);
4204     for (i = 23; i >= 16; i--)
4205       fprintf(ctx->fp, "\t.byte %d\n\t.uleb128 %d\n", 0x80+i, 26-i);
4206     for (i = 30; i >= 20; i -= 2)
4207       fprintf(ctx->fp, "\t.byte %d\n\t.uleb128 %d\n", 0x80+32+i, 42-i);
4208     fprintf(ctx->fp,
4209         "\t.align 2\n"
4210         ".LEFDE2:\n\n");
4211 #if LJ_HASFFI
4212     fprintf(ctx->fp,
4213         ".Lframe2:\n"
4214         "\t.4byte .LECIE2-.LSCIE2\n"
4215         ".LSCIE2:\n"
4216         "\t.4byte 0\n"
4217         "\t.byte 0x1\n"
4218         "\t.string \"zR\"\n"
4219         "\t.uleb128 0x1\n"
4220         "\t.sleb128 -4\n"
4221         "\t.byte 31\n"
4222         "\t.uleb128 1\n"                        /* augmentation length */
4223         "\t.byte 0\n"
4224         "\t.byte 0xc\n\t.uleb128 29\n\t.uleb128 0\n"
4225         "\t.align 2\n"
4226         ".LECIE2:\n\n");
4227     fprintf(ctx->fp,
4228         ".LSFDE3:\n"
4229         "\t.4byte .LEFDE3-.LASFDE3\n"
4230         ".LASFDE3:\n"
4231         "\t.4byte .LASFDE3-.Lframe2\n"
4232         "\t.4byte lj_vm_ffi_call\n"
4233         "\t.4byte %d\n"
4234         "\t.uleb128 0\n"                        /* augmentation length */
4235         "\t.byte 0x9f\n\t.uleb128 1\n"
4236         "\t.byte 0x90\n\t.uleb128 2\n"
4237         "\t.byte 0xd\n\t.uleb128 0x10\n"
4238         "\t.align 2\n"
4239         ".LEFDE3:\n\n", (int)ctx->codesz - fcofs);
4240 #endif
4241 #endif
4242     break;
4243   default:
4244     break;
4245   }
4246 }
4247