src/buildvm_mips.dasc

   1 |// Low-level VM code for MIPS CPUs.
   2 |// Bytecode interpreter, fast functions and helper functions.
   3 |// Copyright (C) 2005-2012 Mike Pall. See Copyright Notice in luajit.h
   4 |
   5 |.arch mips
   6 |.section code_op, code_sub
   7 |
   8 |.actionlist build_actionlist
   9 |.globals GLOB_
  10 |.globalnames globnames
  11 |.externnames extnames
  12 |
  13 |// Note: The ragged indentation of the instructions is intentional.
  14 |//       The starting columns indicate data dependencies.
  15 |
  16 |//-----------------------------------------------------------------------
  17 |
  18 |// Fixed register assignments for the interpreter.
  19 |// Don't use: r0 = 0, r26/r27 = reserved, r28 = gp, r29 = sp, r31 = ra
  20 |
  21 |// The following must be C callee-save (but BASE is often refetched).
  22 |.define BASE,          r16     // Base of current Lua stack frame.
  23 |.define KBASE,         r17     // Constants of current Lua function.
  24 |.define PC,            r18     // Next PC.
  25 |.define DISPATCH,      r19     // Opcode dispatch table.
  26 |.define LREG,          r20     // Register holding lua_State (also in SAVE_L).
  27 |.define MULTRES,       r21     // Size of multi-result: (nresults+1)*8.
  28 |// NYI: r22 currently unused.
  29 |
  30 |.define JGL,           r30     // On-trace: global_State + 32768.
  31 |
  32 |// Constants for type-comparisons, stores and conversions. C callee-save.
  33 |.define TISNIL,        r30
  34 |.define TOBIT,         f30     // 2^52 + 2^51.
  35 |
  36 |// The following temporaries are not saved across C calls, except for RA.
  37 |.define RA,            r23     // Callee-save.
  38 |.define RB,            r8
  39 |.define RC,            r9
  40 |.define RD,            r10
  41 |.define INS,           r11
  42 |
  43 |.define AT,            r1      // Assembler temporary.
  44 |.define TMP0,          r12
  45 |.define TMP1,          r13
  46 |.define TMP2,          r14
  47 |.define TMP3,          r15
  48 |
  49 |// Calling conventions.
  50 |.define CFUNCADDR,     r25
  51 |.define CARG1,         r4
  52 |.define CARG2,         r5
  53 |.define CARG3,         r6
  54 |.define CARG4,         r7
  55 |
  56 |.define CRET1,         r2
  57 |.define CRET2,         r3
  58 |
  59 |.define FARG1,         f12
  60 |.define FARG2,         f14
  61 |
  62 |.define FRET1,         f0
  63 |.define FRET2,         f2
  64 |
  65 |// Stack layout while in interpreter. Must match with lj_frame.h.
  66 |.define CFRAME_SPACE,  112     // Delta for sp.
  67 |
  68 |.define SAVE_ERRF,     124(sp) // 32 bit C frame info.
  69 |.define SAVE_NRES,     120(sp)
  70 |.define SAVE_CFRAME,   116(sp)
  71 |.define SAVE_L,        112(sp)
  72 |//----- 8 byte aligned, ^^^^ 16 byte register save area, owned by interpreter.
  73 |.define SAVE_GPR_,     72      // .. 72+10*4: 32 bit GPR saves.
  74 |.define SAVE_FPR_,     24      // .. 24+6*8: 64 bit FPR saves.
  75 |.define SAVE_PC,       20(sp)
  76 |.define ARG5,          16(sp)
  77 |.define CSAVE_4,       12(sp)
  78 |.define CSAVE_3,       8(sp)
  79 |.define CSAVE_2,       4(sp)
  80 |.define CSAVE_1,       0(sp)
  81 |//----- 8 byte aligned, ^^^^ 16 byte register save area, owned by callee.
  82 |
  83 |.define ARG5_OFS,      16
  84 |.define SAVE_MULTRES,  ARG5
  85 |
  86 |.macro saveregs
  87 |  addiu sp, sp, -CFRAME_SPACE
  88 |  sw ra, SAVE_GPR_+9*4(sp)
  89 |  sw r30, SAVE_GPR_+8*4(sp)
  90 |   sdc1 f30, SAVE_FPR_+5*8(sp)
  91 |  sw r23, SAVE_GPR_+7*4(sp)
  92 |  sw r22, SAVE_GPR_+6*4(sp)
  93 |   sdc1 f28, SAVE_FPR_+4*8(sp)
  94 |  sw r21, SAVE_GPR_+5*4(sp)
  95 |  sw r20, SAVE_GPR_+4*4(sp)
  96 |   sdc1 f26, SAVE_FPR_+3*8(sp)
  97 |  sw r19, SAVE_GPR_+3*4(sp)
  98 |  sw r18, SAVE_GPR_+2*4(sp)
  99 |   sdc1 f24, SAVE_FPR_+2*8(sp)
 100 |  sw r17, SAVE_GPR_+1*4(sp)
 101 |  sw r16, SAVE_GPR_+0*4(sp)
 102 |   sdc1 f22, SAVE_FPR_+1*8(sp)
 103 |   sdc1 f20, SAVE_FPR_+0*8(sp)
 104 |.endmacro
 105 |
 106 |.macro restoreregs_ret
 107 |  lw ra, SAVE_GPR_+9*4(sp)
 108 |  lw r30, SAVE_GPR_+8*4(sp)
 109 |   ldc1 f30, SAVE_FPR_+5*8(sp)
 110 |  lw r23, SAVE_GPR_+7*4(sp)
 111 |  lw r22, SAVE_GPR_+6*4(sp)
 112 |   ldc1 f28, SAVE_FPR_+4*8(sp)
 113 |  lw r21, SAVE_GPR_+5*4(sp)
 114 |  lw r20, SAVE_GPR_+4*4(sp)
 115 |   ldc1 f26, SAVE_FPR_+3*8(sp)
 116 |  lw r19, SAVE_GPR_+3*4(sp)
 117 |  lw r18, SAVE_GPR_+2*4(sp)
 118 |   ldc1 f24, SAVE_FPR_+2*8(sp)
 119 |  lw r17, SAVE_GPR_+1*4(sp)
 120 |  lw r16, SAVE_GPR_+0*4(sp)
 121 |   ldc1 f22, SAVE_FPR_+1*8(sp)
 122 |   ldc1 f20, SAVE_FPR_+0*8(sp)
 123 |  jr ra
 124 |  addiu sp, sp, CFRAME_SPACE
 125 |.endmacro
 126 |
 127 |// Type definitions. Some of these are only used for documentation.
 128 |.type L,               lua_State,      LREG
 129 |.type GL,              global_State
 130 |.type TVALUE,          TValue
 131 |.type GCOBJ,           GCobj
 132 |.type STR,             GCstr
 133 |.type TAB,             GCtab
 134 |.type LFUNC,           GCfuncL
 135 |.type CFUNC,           GCfuncC
 136 |.type PROTO,           GCproto
 137 |.type UPVAL,           GCupval
 138 |.type NODE,            Node
 139 |.type NARGS8,          int
 140 |.type TRACE,           GCtrace
 141 |
 142 |//-----------------------------------------------------------------------
 143 |
 144 |// Trap for not-yet-implemented parts.
 145 |.macro NYI; .long 0xf0f0f0f0; .endmacro
 146 |
 147 |// Macros to mark delay slots.
 148 |.macro ., a; a; .endmacro
 149 |.macro ., a,b; a,b; .endmacro
 150 |.macro ., a,b,c; a,b,c; .endmacro
 151 |
 152 |//-----------------------------------------------------------------------
 153 |
 154 |// Endian-specific defines.
 155 |.define FRAME_PC,      LJ_ENDIAN_SELECT(-4,-8)
 156 |.define FRAME_FUNC,    LJ_ENDIAN_SELECT(-8,-4)
 157 |.define HI,            LJ_ENDIAN_SELECT(4,0)
 158 |.define LO,            LJ_ENDIAN_SELECT(0,4)
 159 |.define OFS_RD,        LJ_ENDIAN_SELECT(2,0)
 160 |.define OFS_RA,        LJ_ENDIAN_SELECT(1,2)
 161 |.define OFS_OP,        LJ_ENDIAN_SELECT(0,3)
 162 |
 163 |// Instruction decode.
 164 |.macro decode_OP1, dst, ins; andi dst, ins, 0xff; .endmacro
 165 |.macro decode_OP4a, dst, ins; andi dst, ins, 0xff; .endmacro
 166 |.macro decode_OP4b, dst; sll dst, dst, 2; .endmacro
 167 |.macro decode_RC4a, dst, ins; srl dst, ins, 14; .endmacro
 168 |.macro decode_RC4b, dst; andi dst, dst, 0x3fc; .endmacro
 169 |.macro decode_RD4b, dst; sll dst, dst, 2; .endmacro
 170 |.macro decode_RA8a, dst, ins; srl dst, ins, 5; .endmacro
 171 |.macro decode_RA8b, dst; andi dst, dst, 0x7f8; .endmacro
 172 |.macro decode_RB8a, dst, ins; srl dst, ins, 21; .endmacro
 173 |.macro decode_RB8b, dst; andi dst, dst, 0x7f8; .endmacro
 174 |.macro decode_RD8a, dst, ins; srl dst, ins, 16; .endmacro
 175 |.macro decode_RD8b, dst; sll dst, dst, 3; .endmacro
 176 |.macro decode_RDtoRC8, dst, src; andi dst, src, 0x7f8; .endmacro
 177 |
 178 |// Instruction fetch.
 179 |.macro ins_NEXT1
 180 |  lw INS, 0(PC)
 181 |   addiu PC, PC, 4
 182 |.endmacro
 183 |// Instruction decode+dispatch.
 184 |.macro ins_NEXT2
 185 |  decode_OP4a TMP1, INS
 186 |  decode_OP4b TMP1
 187 |  addu TMP0, DISPATCH, TMP1
 188 |   decode_RD8a RD, INS
 189 |  lw AT, 0(TMP0)
 190 |   decode_RA8a RA, INS
 191 |   decode_RD8b RD
 192 |  jr AT
 193 |   decode_RA8b RA
 194 |.endmacro
 195 |.macro ins_NEXT
 196 |  ins_NEXT1
 197 |  ins_NEXT2
 198 |.endmacro
 199 |
 200 |// Instruction footer.
 201 |.if 1
 202 |  // Replicated dispatch. Less unpredictable branches, but higher I-Cache use.
 203 |  .define ins_next, ins_NEXT
 204 |  .define ins_next_, ins_NEXT
 205 |  .define ins_next1, ins_NEXT1
 206 |  .define ins_next2, ins_NEXT2
 207 |.else
 208 |  // Common dispatch. Lower I-Cache use, only one (very) unpredictable branch.
 209 |  // Affects only certain kinds of benchmarks (and only with -j off).
 210 |  .macro ins_next
 211 |    b ->ins_next
 212 |  .endmacro
 213 |  .macro ins_next1
 214 |  .endmacro
 215 |  .macro ins_next2
 216 |    b ->ins_next
 217 |  .endmacro
 218 |  .macro ins_next_
 219 |  ->ins_next:
 220 |    ins_NEXT
 221 |  .endmacro
 222 |.endif
 223 |
 224 |// Call decode and dispatch.
 225 |.macro ins_callt
 226 |  // BASE = new base, RB = LFUNC/CFUNC, RC = nargs*8, FRAME_PC(BASE) = PC
 227 |  lw PC, LFUNC:RB->pc
 228 |  lw INS, 0(PC)
 229 |   addiu PC, PC, 4
 230 |  decode_OP4a TMP1, INS
 231 |   decode_RA8a RA, INS
 232 |  decode_OP4b TMP1
 233 |   decode_RA8b RA
 234 |  addu TMP0, DISPATCH, TMP1
 235 |  lw TMP0, 0(TMP0)
 236 |  jr TMP0
 237 |   addu RA, RA, BASE
 238 |.endmacro
 239 |
 240 |.macro ins_call
 241 |  // BASE = new base, RB = LFUNC/CFUNC, RC = nargs*8, PC = caller PC
 242 |  sw PC, FRAME_PC(BASE)
 243 |  ins_callt
 244 |.endmacro
 245 |
 246 |//-----------------------------------------------------------------------
 247 |
 248 |.macro branch_RD
 249 |  srl TMP0, RD, 1
 250 |  lui AT, (-(BCBIAS_J*4 >> 16) & 65535)
 251 |  addu TMP0, TMP0, AT
 252 |  addu PC, PC, TMP0
 253 |.endmacro
 254 |
 255 |// Assumes DISPATCH is relative to GL.
 256 #define DISPATCH_GL(field)      (GG_DISP2G + (int)offsetof(global_State, field))
 257 #define DISPATCH_J(field)       (GG_DISP2J + (int)offsetof(jit_State, field))
 258 #define GG_DISP2GOT             (GG_OFS(got) - GG_OFS(dispatch))
 259 #define DISPATCH_GOT(name)      (GG_DISP2GOT + 4*LJ_GOT_##name)
 260 |
 261 #define PC2PROTO(field)  ((int)offsetof(GCproto, field)-(int)sizeof(GCproto))
 262 |
 263 |.macro load_got, func
 264 |  lw CFUNCADDR, DISPATCH_GOT(func)(DISPATCH)
 265 |.endmacro
 266 |// Much faster. Sadly, there's no easy way to force the required code layout.
 267 |// .macro call_intern, func; bal extern func; .endmacro
 268 |.macro call_intern, func; jalr CFUNCADDR; .endmacro
 269 |.macro call_extern; jalr CFUNCADDR; .endmacro
 270 |.macro jmp_extern; jr CFUNCADDR; .endmacro
 271 |
 272 |.macro hotcheck, delta, target
 273 |  srl TMP1, PC, 1
 274 |  andi TMP1, TMP1, 126
 275 |  addu TMP1, TMP1, DISPATCH
 276 |  lhu TMP2, GG_DISP2HOT(TMP1)
 277 |  addiu TMP2, TMP2, -delta
 278 |  bltz TMP2, target
 279 |.  sh TMP2, GG_DISP2HOT(TMP1)
 280 |.endmacro
 281 |
 282 |.macro hotloop
 283 |  hotcheck HOTCOUNT_LOOP, ->vm_hotloop
 284 |.endmacro
 285 |
 286 |.macro hotcall
 287 |  hotcheck HOTCOUNT_CALL, ->vm_hotcall
 288 |.endmacro
 289 |
 290 |// Set current VM state. Uses TMP0.
 291 |.macro li_vmstate, st; li TMP0, ~LJ_VMST_..st; .endmacro
 292 |.macro st_vmstate; sw TMP0, DISPATCH_GL(vmstate)(DISPATCH); .endmacro
 293 |
 294 |// Move table write barrier back. Overwrites mark and tmp.
 295 |.macro barrierback, tab, mark, tmp, target
 296 |  lw tmp, DISPATCH_GL(gc.grayagain)(DISPATCH)
 297 |   andi mark, mark, ~LJ_GC_BLACK & 255         // black2gray(tab)
 298 |  sw tab, DISPATCH_GL(gc.grayagain)(DISPATCH)
 299 |   sb mark, tab->marked
 300 |  b target
 301 |.  sw tmp, tab->gclist
 302 |.endmacro
 303 |
 304 |//-----------------------------------------------------------------------
 305
 306 /* Generate subroutines used by opcodes and other parts of the VM. */
 307 /* The .code_sub section should be last to help static branch prediction. */
 308 static void build_subroutines(BuildCtx *ctx)
 309 {
 310   |.code_sub
 311   |
 312   |//-----------------------------------------------------------------------
 313   |//-- Return handling ----------------------------------------------------
 314   |//-----------------------------------------------------------------------
 315   |
 316   |->vm_returnp:
 317   |  // See vm_return. Also: TMP2 = previous base.
 318   |  andi AT, PC, FRAME_P
 319   |  beqz AT, ->cont_dispatch
 320   |.  li TMP1, LJ_TTRUE
 321   |
 322   |  // Return from pcall or xpcall fast func.
 323   |  lw PC, FRAME_PC(TMP2)              // Fetch PC of previous frame.
 324   |  move BASE, TMP2                    // Restore caller base.
 325   |  // Prepending may overwrite the pcall frame, so do it at the end.
 326   |   sw TMP1, FRAME_PC(RA)             // Prepend true to results.
 327   |   addiu RA, RA, -8
 328   |
 329   |->vm_returnc:
 330   |  andi TMP0, PC, FRAME_TYPE
 331   |   addiu RD, RD, 8                   // RD = (nresults+1)*8.
 332   |  beqz TMP0, ->BC_RET_Z              // Handle regular return to Lua.
 333   |.  move MULTRES, RD
 334   |
 335   |->vm_return:
 336   |  // BASE = base, RA = resultptr, RD/MULTRES = (nresults+1)*8, PC = return
 337   |  // TMP0 = PC & FRAME_TYPE
 338   |   li TMP2, -8
 339   |  xori AT, TMP0, FRAME_C
 340   |   and TMP2, PC, TMP2
 341   |  bnez AT, ->vm_returnp
 342   |   subu TMP2, BASE, TMP2             // TMP2 = previous base.
 343   |
 344   |  addiu TMP1, RD, -8
 345   |   sw TMP2, L->base
 346   |    li_vmstate C
 347   |   lw TMP2, SAVE_NRES
 348   |   addiu BASE, BASE, -8
 349   |    st_vmstate
 350   |  beqz TMP1, >2
 351   |.   sll TMP2, TMP2, 3
 352   |1:
 353   |  addiu TMP1, TMP1, -8
 354   |   ldc1 f0, 0(RA)
 355   |    addiu RA, RA, 8
 356   |   sdc1 f0, 0(BASE)
 357   |  bnez TMP1, <1
 358   |.  addiu BASE, BASE, 8
 359   |
 360   |2:
 361   |  bne TMP2, RD, >6
 362   |3:
 363   |.  sw BASE, L->top                   // Store new top.
 364   |
 365   |->vm_leave_cp:
 366   |  lw TMP0, SAVE_CFRAME               // Restore previous C frame.
 367   |   move CRET1, r0                    // Ok return status for vm_pcall.
 368   |  sw TMP0, L->cframe
 369   |
 370   |->vm_leave_unw:
 371   |  restoreregs_ret
 372   |
 373   |6:
 374   |  lw TMP1, L->maxstack
 375   |  slt AT, TMP2, RD
 376   |  bnez AT, >7                        // Less results wanted?
 377   |  // More results wanted. Check stack size and fill up results with nil.
 378   |.  slt AT, BASE, TMP1
 379   |  beqz AT, >8
 380   |.  nop
 381   |  sw TISNIL, HI(BASE)
 382   |  addiu RD, RD, 8
 383   |  b <2
 384   |.  addiu BASE, BASE, 8
 385   |
 386   |7:  // Less results wanted.
 387   |  subu TMP0, RD, TMP2
 388   |  subu TMP0, BASE, TMP0              // Either keep top or shrink it.
 389   |  b <3
 390   |.  movn BASE, TMP0, TMP2             // LUA_MULTRET+1 case?
 391   |
 392   |8:  // Corner case: need to grow stack for filling up results.
 393   |  // This can happen if:
 394   |  // - A C function grows the stack (a lot).
 395   |  // - The GC shrinks the stack in between.
 396   |  // - A return back from a lua_call() with (high) nresults adjustment.
 397   |  load_got lj_state_growstack
 398   |   move MULTRES, RD
 399   |  move CARG2, TMP2
 400   |  call_intern lj_state_growstack     // (lua_State *L, int n)
 401   |.  move CARG1, L
 402   |    lw TMP2, SAVE_NRES
 403   |  lw BASE, L->top                    // Need the (realloced) L->top in BASE.
 404   |   move RD, MULTRES
 405   |  b <2
 406   |.   sll TMP2, TMP2, 3
 407   |
 408   |->vm_unwind_c:                       // Unwind C stack, return from vm_pcall.
 409   |  // (void *cframe, int errcode)
 410   |  move sp, CARG1
 411   |  move CRET1, CARG2
 412   |->vm_unwind_c_eh:                    // Landing pad for external unwinder.
 413   |  lw L, SAVE_L
 414   |   li TMP0, ~LJ_VMST_C
 415   |  lw GL:TMP1, L->glref
 416   |  b ->vm_leave_unw
 417   |.  sw TMP0, GL:TMP1->vmstate
 418   |
 419   |->vm_unwind_ff:                      // Unwind C stack, return from ff pcall.
 420   |  // (void *cframe)
 421   |  li AT, -4
 422   |  and sp, CARG1, AT
 423   |->vm_unwind_ff_eh:                   // Landing pad for external unwinder.
 424   |  lw L, SAVE_L
 425   |     lui TMP3, 0x59c0                // TOBIT = 2^52 + 2^51 (float).
 426   |     li TISNIL, LJ_TNIL
 427   |  lw BASE, L->base
 428   |   lw DISPATCH, L->glref             // Setup pointer to dispatch table.
 429   |     mtc1 TMP3, TOBIT
 430   |  li TMP1, LJ_TFALSE
 431   |    li_vmstate INTERP
 432   |  lw PC, FRAME_PC(BASE)              // Fetch PC of previous frame.
 433   |     cvt.d.s TOBIT, TOBIT
 434   |  addiu RA, BASE, -8                 // Results start at BASE-8.
 435   |   addiu DISPATCH, DISPATCH, GG_G2DISP
 436   |  sw TMP1, HI(RA)                    // Prepend false to error message.
 437   |    st_vmstate
 438   |  b ->vm_returnc
 439   |.  li RD, 16                         // 2 results: false + error message.
 440   |
 441   |//-----------------------------------------------------------------------
 442   |//-- Grow stack for calls -----------------------------------------------
 443   |//-----------------------------------------------------------------------
 444   |
 445   |->vm_growstack_c:                    // Grow stack for C function.
 446   |  b >2
 447   |.  li CARG2, LUA_MINSTACK
 448   |
 449   |->vm_growstack_l:                    // Grow stack for Lua function.
 450   |  // BASE = new base, RA = BASE+framesize*8, RC = nargs*8, PC = first PC
 451   |  addu RC, BASE, RC
 452   |   subu RA, RA, BASE
 453   |  sw BASE, L->base
 454   |   addiu PC, PC, 4                   // Must point after first instruction.
 455   |  sw RC, L->top
 456   |   srl CARG2, RA, 3
 457   |2:
 458   |  // L->base = new base, L->top = top
 459   |  load_got lj_state_growstack
 460   |   sw PC, SAVE_PC
 461   |  call_intern lj_state_growstack     // (lua_State *L, int n)
 462   |.  move CARG1, L
 463   |  lw BASE, L->base
 464   |  lw RC, L->top
 465   |  lw LFUNC:RB, FRAME_FUNC(BASE)
 466   |  subu RC, RC, BASE
 467   |  // BASE = new base, RB = LFUNC/CFUNC, RC = nargs*8, FRAME_PC(BASE) = PC
 468   |  ins_callt                          // Just retry the call.
 469   |
 470   |//-----------------------------------------------------------------------
 471   |//-- Entry points into the assembler VM ---------------------------------
 472   |//-----------------------------------------------------------------------
 473   |
 474   |->vm_resume:                         // Setup C frame and resume thread.
 475   |  // (lua_State *L, TValue *base, int nres1 = 0, ptrdiff_t ef = 0)
 476   |  saveregs
 477   |  move L, CARG1
 478   |    lw DISPATCH, L->glref            // Setup pointer to dispatch table.
 479   |  move BASE, CARG2
 480   |    lbu TMP1, L->status
 481   |   sw L, SAVE_L
 482   |  li PC, FRAME_CP
 483   |  addiu TMP0, sp, CFRAME_RESUME
 484   |    addiu DISPATCH, DISPATCH, GG_G2DISP
 485   |   sw r0, SAVE_NRES
 486   |   sw r0, SAVE_ERRF
 487   |  sw TMP0, L->cframe
 488   |   sw r0, SAVE_CFRAME
 489   |    beqz TMP1, >3
 490   |.  sw CARG1, SAVE_PC         // Any value outside of bytecode is ok.
 491   |
 492   |  // Resume after yield (like a return).
 493   |  move RA, BASE
 494   |   lw BASE, L->base
 495   |   lw TMP1, L->top
 496   |  lw PC, FRAME_PC(BASE)
 497   |     lui TMP3, 0x59c0                // TOBIT = 2^52 + 2^51 (float).
 498   |   subu RD, TMP1, BASE
 499   |     mtc1 TMP3, TOBIT
 500   |    sb r0, L->status
 501   |     cvt.d.s TOBIT, TOBIT
 502   |    li_vmstate INTERP
 503   |   addiu RD, RD, 8
 504   |    st_vmstate
 505   |   move MULTRES, RD
 506   |  andi TMP0, PC, FRAME_TYPE
 507   |  beqz TMP0, ->BC_RET_Z
 508   |.    li TISNIL, LJ_TNIL
 509   |  b ->vm_return
 510   |.  nop
 511   |
 512   |->vm_pcall:                          // Setup protected C frame and enter VM.
 513   |  // (lua_State *L, TValue *base, int nres1, ptrdiff_t ef)
 514   |  saveregs
 515   |  sw CARG4, SAVE_ERRF
 516   |  b >1
 517   |.  li PC, FRAME_CP
 518   |
 519   |->vm_call:                           // Setup C frame and enter VM.
 520   |  // (lua_State *L, TValue *base, int nres1)
 521   |  saveregs
 522   |  li PC, FRAME_C
 523   |
 524   |1:  // Entry point for vm_pcall above (PC = ftype).
 525   |  lw TMP1, L:CARG1->cframe
 526   |   sw CARG3, SAVE_NRES
 527   |    move L, CARG1
 528   |   sw CARG1, SAVE_L
 529   |    move BASE, CARG2
 530   |  sw sp, L->cframe                   // Add our C frame to cframe chain.
 531   |    lw DISPATCH, L->glref            // Setup pointer to dispatch table.
 532   |   sw CARG1, SAVE_PC         // Any value outside of bytecode is ok.
 533   |  sw TMP1, SAVE_CFRAME
 534   |    addiu DISPATCH, DISPATCH, GG_G2DISP
 535   |
 536   |3:  // Entry point for vm_cpcall/vm_resume (BASE = base, PC = ftype).
 537   |  lw TMP2, L->base                   // TMP2 = old base (used in vmeta_call).
 538   |     lui TMP3, 0x59c0                // TOBIT = 2^52 + 2^51 (float).
 539   |   lw TMP1, L->top
 540   |     mtc1 TMP3, TOBIT
 541   |  addu PC, PC, BASE
 542   |   subu NARGS8:RC, TMP1, BASE
 543   |  subu PC, PC, TMP2                  // PC = frame delta + frame type
 544   |     cvt.d.s TOBIT, TOBIT
 545   |    li_vmstate INTERP
 546   |     li TISNIL, LJ_TNIL
 547   |    st_vmstate
 548   |
 549   |->vm_call_dispatch:
 550   |  // TMP2 = old base, BASE = new base, RC = nargs*8, PC = caller PC
 551   |  lw TMP0, FRAME_PC(BASE)
 552   |  li AT, LJ_TFUNC
 553   |  bne TMP0, AT, ->vmeta_call
 554   |.  lw LFUNC:RB, FRAME_FUNC(BASE)
 555   |
 556   |->vm_call_dispatch_f:
 557   |  ins_call
 558   |  // BASE = new base, RB = func, RC = nargs*8, PC = caller PC
 559   |
 560   |->vm_cpcall:                         // Setup protected C frame, call C.
 561   |  // (lua_State *L, lua_CFunction func, void *ud, lua_CPFunction cp)
 562   |  saveregs
 563   |  move L, CARG1
 564   |   lw TMP0, L:CARG1->stack
 565   |  sw CARG1, SAVE_L
 566   |   lw TMP1, L->top
 567   |  sw CARG1, SAVE_PC                  // Any value outside of bytecode is ok.
 568   |   subu TMP0, TMP0, TMP1             // Compute -savestack(L, L->top).
 569   |    lw TMP1, L->cframe
 570   |    sw sp, L->cframe                 // Add our C frame to cframe chain.
 571   |   sw TMP0, SAVE_NRES                // Neg. delta means cframe w/o frame.
 572   |  sw r0, SAVE_ERRF                   // No error function.
 573   |  move CFUNCADDR, CARG4
 574   |  jalr CARG4                 // (lua_State *L, lua_CFunction func, void *ud)
 575   |.   sw TMP1, SAVE_CFRAME
 576   |  move BASE, CRET1
 577   |   lw DISPATCH, L->glref             // Setup pointer to dispatch table.
 578   |    li PC, FRAME_CP
 579   |  bnez CRET1, <3                     // Else continue with the call.
 580   |.  addiu DISPATCH, DISPATCH, GG_G2DISP
 581   |  b ->vm_leave_cp                    // No base? Just remove C frame.
 582   |.  nop
 583   |
 584   |//-----------------------------------------------------------------------
 585   |//-- Metamethod handling ------------------------------------------------
 586   |//-----------------------------------------------------------------------
 587   |
 588   |// The lj_meta_* functions (except for lj_meta_cat) don't reallocate the
 589   |// stack, so BASE doesn't need to be reloaded across these calls.
 590   |
 591   |//-- Continuation dispatch ----------------------------------------------
 592   |
 593   |->cont_dispatch:
 594   |  // BASE = meta base, RA = resultptr, RD = (nresults+1)*8
 595   |  lw TMP0, -16+LO(BASE)              // Continuation.
 596   |   move RB, BASE
 597   |   move BASE, TMP2                   // Restore caller BASE.
 598   |    lw LFUNC:TMP1, FRAME_FUNC(TMP2)
 599 #if LJ_HASFFI
 600   |  sltiu AT, TMP0, 2
 601 #endif
 602   |     lw PC, -16+HI(RB)               // Restore PC from [cont|PC].
 603   |   addu TMP2, RA, RD
 604   |    lw TMP1, LFUNC:TMP1->pc
 605 #if LJ_HASFFI
 606   |  bnez AT, >1
 607 #endif
 608   |.  sw TISNIL, -8+HI(TMP2)            // Ensure one valid arg.
 609   |  // BASE = base, RA = resultptr, RB = meta base
 610   |  jr TMP0                            // Jump to continuation.
 611   |.  lw KBASE, PC2PROTO(k)(TMP1)
 612   |
 613 #if LJ_HASFFI
 614   |1:
 615   |  bnez TMP0, ->cont_ffi_callback     // cont = 1: return from FFI callback.
 616   |  // cont = 0: tailcall from C function.
 617   |.  addiu TMP1, RB, -16
 618   |  b ->vm_call_tail
 619   |.  subu RC, TMP1, BASE
 620 #endif
 621   |
 622   |->cont_cat:                          // RA = resultptr, RB = meta base
 623   |  lw INS, -4(PC)
 624   |   addiu CARG2, RB, -16
 625   |   ldc1 f0, 0(RA)
 626   |  decode_RB8a MULTRES, INS
 627   |   decode_RA8a RA, INS
 628   |  decode_RB8b MULTRES
 629   |   decode_RA8b RA
 630   |  addu TMP1, BASE, MULTRES
 631   |   sw BASE, L->base
 632   |   subu CARG3, CARG2, TMP1
 633   |  bne TMP1, CARG2, ->BC_CAT_Z
 634   |.  sdc1 f0, 0(CARG2)
 635   |  addu RA, BASE, RA
 636   |  b ->cont_nop
 637   |.  sdc1 f0, 0(RA)
 638   |
 639   |//-- Table indexing metamethods -----------------------------------------
 640   |
 641   |->vmeta_tgets1:
 642   |  addiu CARG3, DISPATCH, DISPATCH_GL(tmptv)
 643   |  li TMP0, LJ_TSTR
 644   |  sw STR:RC, LO(CARG3)
 645   |  b >1
 646   |.  sw TMP0, HI(CARG3)
 647   |
 648   |->vmeta_tgets:
 649   |  addiu CARG2, DISPATCH, DISPATCH_GL(tmptv)
 650   |  li TMP0, LJ_TTAB
 651   |  sw TAB:RB, LO(CARG2)
 652   |   addiu CARG3, DISPATCH, DISPATCH_GL(tmptv2)
 653   |  sw TMP0, HI(CARG2)
 654   |   li TMP1, LJ_TSTR
 655   |   sw STR:RC, LO(CARG3)
 656   |  b >1
 657   |.  sw TMP1, HI(CARG3)
 658   |
 659   |->vmeta_tgetb:                       // TMP0 = index
 660   |  mtc1 TMP0, f0
 661   |  cvt.d.w f0, f0
 662   |  addiu CARG3, DISPATCH, DISPATCH_GL(tmptv)
 663   |  sdc1 f0, 0(CARG3)
 664   |
 665   |->vmeta_tgetv:
 666   |1:
 667   |  load_got lj_meta_tget
 668   |  sw BASE, L->base
 669   |  sw PC, SAVE_PC
 670   |  call_intern lj_meta_tget           // (lua_State *L, TValue *o, TValue *k)
 671   |.  move CARG1, L
 672   |  // Returns TValue * (finished) or NULL (metamethod).
 673   |  beqz CRET1, >3
 674   |.  addiu TMP1, BASE, -FRAME_CONT
 675   |  ldc1 f0, 0(CRET1)
 676   |  ins_next1
 677   |   sdc1 f0, 0(RA)
 678   |  ins_next2
 679   |
 680   |3:  // Call __index metamethod.
 681   |  // BASE = base, L->top = new base, stack = cont/func/t/k
 682   |  lw BASE, L->top
 683   |  sw PC, -16+HI(BASE)                // [cont|PC]
 684   |   subu PC, BASE, TMP1
 685   |  lw LFUNC:RB, FRAME_FUNC(BASE)      // Guaranteed to be a function here.
 686   |  b ->vm_call_dispatch_f
 687   |.  li NARGS8:RC, 16                  // 2 args for func(t, k).
 688   |
 689   |//-----------------------------------------------------------------------
 690   |
 691   |->vmeta_tsets1:
 692   |  addiu CARG3, DISPATCH, DISPATCH_GL(tmptv)
 693   |  li TMP0, LJ_TSTR
 694   |  sw STR:RC, LO(CARG3)
 695   |  b >1
 696   |.  sw TMP0, HI(CARG3)
 697   |
 698   |->vmeta_tsets:
 699   |  addiu CARG2, DISPATCH, DISPATCH_GL(tmptv)
 700   |  li TMP0, LJ_TTAB
 701   |  sw TAB:RB, LO(CARG2)
 702   |   addiu CARG3, DISPATCH, DISPATCH_GL(tmptv2)
 703   |  sw TMP0, HI(CARG2)
 704   |   li TMP1, LJ_TSTR
 705   |   sw STR:RC, LO(CARG3)
 706   |  b >1
 707   |.  sw TMP1, HI(CARG3)
 708   |
 709   |->vmeta_tsetb:                       // TMP0 = index
 710   |  mtc1 TMP0, f0
 711   |  cvt.d.w f0, f0
 712   |  addiu CARG3, DISPATCH, DISPATCH_GL(tmptv)
 713   |  sdc1 f0, 0(CARG3)
 714   |
 715   |->vmeta_tsetv:
 716   |1:
 717   |  load_got lj_meta_tset
 718   |  sw BASE, L->base
 719   |  sw PC, SAVE_PC
 720   |  call_intern lj_meta_tset           // (lua_State *L, TValue *o, TValue *k)
 721   |.  move CARG1, L
 722   |  // Returns TValue * (finished) or NULL (metamethod).
 723   |  beqz CRET1, >3
 724   |.  ldc1 f0, 0(RA)
 725   |  // NOBARRIER: lj_meta_tset ensures the table is not black.
 726   |  ins_next1
 727   |   sdc1 f0, 0(CRET1)
 728   |  ins_next2
 729   |
 730   |3:  // Call __newindex metamethod.
 731   |  // BASE = base, L->top = new base, stack = cont/func/t/k/(v)
 732   |  addiu TMP1, BASE, -FRAME_CONT
 733   |  lw BASE, L->top
 734   |  sw PC, -16+HI(BASE)                // [cont|PC]
 735   |   subu PC, BASE, TMP1
 736   |  lw LFUNC:RB, FRAME_FUNC(BASE)      // Guaranteed to be a function here.
 737   |  sdc1 f0, 16(BASE)                  // Copy value to third argument.
 738   |  b ->vm_call_dispatch_f
 739   |.  li NARGS8:RC, 24                  // 3 args for func(t, k, v)
 740   |
 741   |//-- Comparison metamethods ---------------------------------------------
 742   |
 743   |->vmeta_comp:
 744   |  // CARG2, CARG3 are already set by BC_ISLT/BC_ISGE/BC_ISLE/BC_ISGT.
 745   |  load_got lj_meta_comp
 746   |  addiu PC, PC, -4
 747   |  sw BASE, L->base
 748   |  sw PC, SAVE_PC
 749   |  decode_OP1 CARG4, INS
 750   |  call_intern lj_meta_comp   // (lua_State *L, TValue *o1, *o2, int op)
 751   |.  move CARG1, L
 752   |  // Returns 0/1 or TValue * (metamethod).
 753   |3:
 754   |  sltiu AT, CRET1, 2
 755   |  beqz AT, ->vmeta_binop
 756   |   negu TMP2, CRET1
 757   |4:
 758   |  lhu RD, OFS_RD(PC)
 759   |   addiu PC, PC, 4
 760   |   lui TMP1, (-(BCBIAS_J*4 >> 16) & 65535)
 761   |  sll RD, RD, 2
 762   |  addu RD, RD, TMP1
 763   |  and RD, RD, TMP2
 764   |  addu PC, PC, RD
 765   |->cont_nop:
 766   |  ins_next
 767   |
 768   |->cont_ra:                           // RA = resultptr
 769   |  lbu TMP1, -4+OFS_RA(PC)
 770   |   ldc1 f0, 0(RA)
 771   |  sll TMP1, TMP1, 3
 772   |  addu TMP1, BASE, TMP1
 773   |  b ->cont_nop
 774   |.  sdc1 f0, 0(TMP1)
 775   |
 776   |->cont_condt:                        // RA = resultptr
 777   |  lw TMP0, HI(RA)
 778   |  sltiu AT, TMP0, LJ_TISTRUECOND
 779   |  b <4
 780   |.  negu TMP2, AT                     // Branch if result is true.
 781   |
 782   |->cont_condf:                        // RA = resultptr
 783   |  lw TMP0, HI(RA)
 784   |  sltiu AT, TMP0, LJ_TISTRUECOND
 785   |  b <4
 786   |.  addiu TMP2, AT, -1                // Branch if result is false.
 787   |
 788   |->vmeta_equal:
 789   |  // CARG2, CARG3, CARG4 are already set by BC_ISEQV/BC_ISNEV.
 790   |  load_got lj_meta_equal
 791   |  addiu PC, PC, -4
 792   |   sw BASE, L->base
 793   |   sw PC, SAVE_PC
 794   |  call_intern lj_meta_equal  // (lua_State *L, GCobj *o1, *o2, int ne)
 795   |.  move CARG1, L
 796   |  // Returns 0/1 or TValue * (metamethod).
 797   |  b <3
 798   |.  nop
 799   |
 800   |->vmeta_equal_cd:
 801 #if LJ_HASFFI
 802   |  load_got lj_meta_equal_cd
 803   |  move CARG2, INS
 804   |  addiu PC, PC, -4
 805   |   sw BASE, L->base
 806   |   sw PC, SAVE_PC
 807   |  call_intern lj_meta_equal_cd       // (lua_State *L, BCIns op)
 808   |.  move CARG1, L
 809   |  // Returns 0/1 or TValue * (metamethod).
 810   |  b <3
 811   |.  nop
 812 #endif
 813   |
 814   |//-- Arithmetic metamethods ---------------------------------------------
 815   |
 816   |->vmeta_unm:
 817   |  move CARG4, CARG3
 818   |
 819   |->vmeta_arith:
 820   |  load_got lj_meta_arith
 821   |  decode_OP1 TMP0, INS
 822   |   sw BASE, L->base
 823   |   sw PC, SAVE_PC
 824   |  move CARG2, RA
 825   |  sw TMP0, ARG5
 826   |  call_intern lj_meta_arith  // (lua_State *L, TValue *ra,*rb,*rc, BCReg op)
 827   |.  move CARG1, L
 828   |  // Returns NULL (finished) or TValue * (metamethod).
 829   |  beqz CRET1, ->cont_nop
 830   |.  nop
 831   |
 832   |  // Call metamethod for binary op.
 833   |->vmeta_binop:
 834   |  // BASE = old base, CRET1 = new base, stack = cont/func/o1/o2
 835   |  subu TMP1, CRET1, BASE
 836   |   sw PC, -16+HI(CRET1)              // [cont|PC]
 837   |   move TMP2, BASE
 838   |  addiu PC, TMP1, FRAME_CONT
 839   |   move BASE, CRET1
 840   |  b ->vm_call_dispatch
 841   |.  li NARGS8:RC, 16                  // 2 args for func(o1, o2).
 842   |
 843   |->vmeta_len:
 844   |  // CARG2 already set by BC_LEN.
 845 #ifdef LUAJIT_ENABLE_LUA52COMPAT
 846   |  move MULTRES, CARG1
 847 #endif
 848   |  load_got lj_meta_len
 849   |   sw BASE, L->base
 850   |   sw PC, SAVE_PC
 851   |  call_intern lj_meta_len            // (lua_State *L, TValue *o)
 852   |.  move CARG1, L
 853   |  // Returns NULL (retry) or TValue * (metamethod base).
 854 #ifdef LUAJIT_ENABLE_LUA52COMPAT
 855   |  bnez CRET1, ->vmeta_binop          // Binop call for compatibility.
 856   |.  nop
 857   |  b ->BC_LEN_Z
 858   |.  move CARG1, MULTRES
 859 #else
 860   |  b ->vmeta_binop                    // Binop call for compatibility.
 861   |.  nop
 862 #endif
 863   |
 864   |//-- Call metamethod ----------------------------------------------------
 865   |
 866   |->vmeta_call:                        // Resolve and call __call metamethod.
 867   |  // TMP2 = old base, BASE = new base, RC = nargs*8
 868   |  load_got lj_meta_call
 869   |   sw TMP2, L->base                  // This is the callers base!
 870   |  addiu CARG2, BASE, -8
 871   |   sw PC, SAVE_PC
 872   |  addu CARG3, BASE, RC
 873   |   move MULTRES, NARGS8:RC
 874   |  call_intern lj_meta_call   // (lua_State *L, TValue *func, TValue *top)
 875   |.  move CARG1, L
 876   |  lw LFUNC:RB, FRAME_FUNC(BASE)      // Guaranteed to be a function here.
 877   |   addiu NARGS8:RC, MULTRES, 8       // Got one more argument now.
 878   |  ins_call
 879   |
 880   |->vmeta_callt:                       // Resolve __call for BC_CALLT.
 881   |  // BASE = old base, RA = new base, RC = nargs*8
 882   |  load_got lj_meta_call
 883   |   sw BASE, L->base
 884   |  addiu CARG2, RA, -8
 885   |   sw PC, SAVE_PC
 886   |  addu CARG3, RA, RC
 887   |   move MULTRES, NARGS8:RC
 888   |  call_intern lj_meta_call   // (lua_State *L, TValue *func, TValue *top)
 889   |.  move CARG1, L
 890   |  lw TMP1, FRAME_PC(BASE)
 891   |   lw LFUNC:RB, FRAME_FUNC(RA)       // Guaranteed to be a function here.
 892   |  b ->BC_CALLT_Z
 893   |.  addiu NARGS8:RC, MULTRES, 8       // Got one more argument now.
 894   |
 895   |//-- Argument coercion for 'for' statement ------------------------------
 896   |
 897   |->vmeta_for:
 898   |  load_got lj_meta_for
 899   |   sw BASE, L->base
 900   |  move CARG2, RA
 901   |   sw PC, SAVE_PC
 902   |  move MULTRES, INS
 903   |  call_intern lj_meta_for    // (lua_State *L, TValue *base)
 904   |.  move CARG1, L
 905 #if LJ_HASJIT
 906   |  decode_OP1 TMP0, MULTRES
 907   |  li AT, BC_JFORI
 908 #endif
 909   |  decode_RA8a RA, MULTRES
 910   |   decode_RD8a RD, MULTRES
 911   |  decode_RA8b RA
 912 #if LJ_HASJIT
 913   |  beq TMP0, AT, =>BC_JFORI
 914   |.  decode_RD8b RD
 915   |  b =>BC_FORI
 916   |.  nop
 917 #else
 918   |  b =>BC_FORI
 919   |.  decode_RD8b RD
 920 #endif
 921   |
 922   |//-----------------------------------------------------------------------
 923   |//-- Fast functions -----------------------------------------------------
 924   |//-----------------------------------------------------------------------
 925   |
 926   |.macro .ffunc, name
 927   |->ff_ .. name:
 928   |.endmacro
 929   |
 930   |.macro .ffunc_1, name
 931   |->ff_ .. name:
 932   |  beqz NARGS8:RC, ->fff_fallback
 933   |.  lw CARG3, HI(BASE)
 934   |    lw CARG1, LO(BASE)
 935   |.endmacro
 936   |
 937   |.macro .ffunc_2, name
 938   |->ff_ .. name:
 939   |  sltiu AT, NARGS8:RC, 16
 940   |   lw CARG3, HI(BASE)
 941   |  bnez AT, ->fff_fallback
 942   |.   lw CARG4, 8+HI(BASE)
 943   |   lw CARG1, LO(BASE)
 944   |    lw CARG2, 8+LO(BASE)
 945   |.endmacro
 946   |
 947   |.macro .ffunc_n, name        // Caveat: has delay slot!
 948   |->ff_ .. name:
 949   |  lw CARG3, HI(BASE)
 950   |  beqz NARGS8:RC, ->fff_fallback
 951   |.  ldc1 FARG1, 0(BASE)
 952   |  sltiu AT, CARG3, LJ_TISNUM
 953   |  beqz AT, ->fff_fallback
 954   |.endmacro
 955   |
 956   |.macro .ffunc_nn, name       // Caveat: has delay slot!
 957   |->ff_ .. name:
 958   |  sltiu AT, NARGS8:RC, 16
 959   |   lw CARG3, HI(BASE)
 960   |  bnez AT, ->fff_fallback
 961   |.  lw CARG4, 8+HI(BASE)
 962   |  ldc1 FARG1, 0(BASE)
 963   |  ldc1 FARG2, 8(BASE)
 964   |  sltiu TMP0, CARG3, LJ_TISNUM
 965   |  sltiu TMP1, CARG4, LJ_TISNUM
 966   |  and TMP0, TMP0, TMP1
 967   |  beqz TMP0, ->fff_fallback
 968   |.endmacro
 969   |
 970   |// Inlined GC threshold check. Caveat: uses TMP0 and TMP1 and has delay slot!
 971   |.macro ffgccheck
 972   |  lw TMP0, DISPATCH_GL(gc.total)(DISPATCH)
 973   |  lw TMP1, DISPATCH_GL(gc.threshold)(DISPATCH)
 974   |  subu AT, TMP0, TMP1
 975   |  bgezal AT, ->fff_gcstep
 976   |.endmacro
 977   |
 978   |//-- Base library: checks -----------------------------------------------
 979   |
 980   |.ffunc_1 assert
 981   |  sltiu AT, CARG3, LJ_TISTRUECOND
 982   |  beqz AT, ->fff_fallback
 983   |.  addiu RA, BASE, -8
 984   |  lw PC, FRAME_PC(BASE)
 985   |  addiu RD, NARGS8:RC, 8             // Compute (nresults+1)*8.
 986   |  addu TMP2, RA, NARGS8:RC
 987   |   sw CARG3, HI(RA)
 988   |  addiu TMP1, BASE, 8
 989   |  beq BASE, TMP2, ->fff_res          // Done if exactly 1 argument.
 990   |.  sw CARG1, LO(RA)
 991   |1:
 992   |  ldc1 f0, 0(TMP1)
 993   |  sdc1 f0, -8(TMP1)
 994   |  bne TMP1, TMP2, <1
 995   |.  addiu TMP1, TMP1, 8
 996   |  b ->fff_res
 997   |.  nop
 998   |
 999   |.ffunc type
1000   |  lw CARG3, HI(BASE)
1001   |  li TMP1, LJ_TISNUM
1002   |  beqz NARGS8:RC, ->fff_fallback
1003   |.  sltiu TMP0, CARG3, LJ_TISNUM
1004   |  movz TMP1, CARG3, TMP0
1005   |  not TMP1, TMP1
1006   |  sll TMP1, TMP1, 3
1007   |  addu TMP1, CFUNC:RB, TMP1
1008   |  b ->fff_resn
1009   |.  ldc1 FRET1, CFUNC:TMP1->upvalue
1010   |
1011   |//-- Base library: getters and setters ---------------------------------
1012   |
1013   |.ffunc_1 getmetatable
1014   |  li AT, LJ_TTAB
1015   |  bne CARG3, AT, >6
1016   |.  li AT, LJ_TUDATA
1017   |1:  // Field metatable must be at same offset for GCtab and GCudata!
1018   |  lw TAB:CARG1, TAB:CARG1->metatable
1019   |2:
1020   |  lw STR:RC, DISPATCH_GL(gcroot[GCROOT_MMNAME+MM_metatable])(DISPATCH)
1021   |  beqz TAB:CARG1, ->fff_restv
1022   |.  li CARG3, LJ_TNIL
1023   |  lw TMP0, TAB:CARG1->hmask
1024   |   li CARG3, LJ_TTAB                 // Use metatable as default result.
1025   |  lw TMP1, STR:RC->hash
1026   |  lw NODE:TMP2, TAB:CARG1->node
1027   |  and TMP1, TMP1, TMP0               // idx = str->hash & tab->hmask
1028   |  sll TMP0, TMP1, 5
1029   |  sll TMP1, TMP1, 3
1030   |  subu TMP1, TMP0, TMP1
1031   |  addu NODE:TMP2, NODE:TMP2, TMP1    // node = tab->node + (idx*32-idx*8)
1032   |  li AT, LJ_TSTR
1033   |3:  // Rearranged logic, because we expect _not_ to find the key.
1034   |  lw CARG4, offsetof(Node, key)+HI(NODE:TMP2)
1035   |   lw TMP0, offsetof(Node, key)+LO(NODE:TMP2)
1036   |    lw NODE:TMP3, NODE:TMP2->next
1037   |  bne CARG4, AT, >4
1038   |.    lw CARG2, offsetof(Node, val)+HI(NODE:TMP2)
1039   |  beq TMP0, STR:RC, >5
1040   |.    lw TMP1, offsetof(Node, val)+LO(NODE:TMP2)
1041   |4:
1042   |  beqz NODE:TMP3, ->fff_restv        // Not found, keep default result.
1043   |.  move NODE:TMP2, NODE:TMP3
1044   |  b <3
1045   |.  nop
1046   |5:
1047   |  beq CARG2, TISNIL, ->fff_restv     // Ditto for nil value.
1048   |.  nop
1049   |  move CARG3, CARG2                  // Return value of mt.__metatable.
1050   |  b ->fff_restv
1051   |.  move CARG1, TMP1
1052   |
1053   |6:
1054   |  beq CARG3, AT, <1
1055   |.  sltiu TMP0, CARG3, LJ_TISNUM
1056   |  li TMP1, LJ_TISNUM
1057   |  movz TMP1, CARG3, TMP0
1058   |  not TMP1, TMP1
1059   |  sll TMP1, TMP1, 2
1060   |  addu TMP1, DISPATCH, TMP1
1061   |  b <2
1062   |.  lw TAB:CARG1, DISPATCH_GL(gcroot[GCROOT_BASEMT])(TMP1)
1063   |
1064   |.ffunc_2 setmetatable
1065   |  // Fast path: no mt for table yet and not clearing the mt.
1066   |  li AT, LJ_TTAB
1067   |  bne CARG3, AT, ->fff_fallback
1068   |.  addiu CARG4, CARG4, -LJ_TTAB
1069   |  lw TAB:TMP1, TAB:CARG1->metatable
1070   |   lbu TMP3, TAB:CARG1->marked
1071   |  or AT, CARG4, TAB:TMP1
1072   |  bnez AT, ->fff_fallback
1073   |.  andi AT, TMP3, LJ_GC_BLACK        // isblack(table)
1074   |  beqz AT, ->fff_restv
1075   |.  sw TAB:CARG2, TAB:CARG1->metatable
1076   |  barrierback TAB:CARG1, TMP3, TMP0, ->fff_restv
1077   |
1078   |.ffunc rawget
1079   |  lw CARG4, HI(BASE)
1080   |   sltiu AT, NARGS8:RC, 16
1081   |    lw TAB:CARG2, LO(BASE)
1082   |  load_got lj_tab_get
1083   |  addiu CARG4, CARG4, -LJ_TTAB
1084   |  or AT, AT, CARG4
1085   |  bnez AT, ->fff_fallback
1086   |   addiu CARG3, BASE, 8
1087   |  call_intern lj_tab_get     // (lua_State *L, GCtab *t, cTValue *key)
1088   |.  move CARG1, L
1089   |  // Returns cTValue *.
1090   |  b ->fff_resn
1091   |.  ldc1 FRET1, 0(CRET1)
1092   |
1093   |//-- Base library: conversions ------------------------------------------
1094   |
1095   |.ffunc tonumber
1096   |  // Only handles the number case inline (without a base argument).
1097   |  lw CARG1, HI(BASE)
1098   |  xori AT, NARGS8:RC, 8
1099   |  sltiu CARG1, CARG1, LJ_TISNUM
1100   |  movn CARG1, r0, AT
1101   |  beqz CARG1, ->fff_fallback         // Exactly one number argument.
1102   |.  ldc1 FRET1, 0(BASE)
1103   |  b ->fff_resn
1104   |.  nop
1105   |
1106   |.ffunc_1 tostring
1107   |  // Only handles the string or number case inline.
1108   |  li AT, LJ_TSTR
1109   |  // A __tostring method in the string base metatable is ignored.
1110   |  beq CARG3, AT, ->fff_restv                 // String key?
1111   |  // Handle numbers inline, unless a number base metatable is present.
1112   |.  lw TMP1, DISPATCH_GL(gcroot[GCROOT_BASEMT_NUM])(DISPATCH)
1113   |  sltiu TMP0, CARG3, LJ_TISNUM
1114   |  sltiu TMP1, TMP1, 1
1115   |  and TMP0, TMP0, TMP1
1116   |  beqz TMP0, ->fff_fallback
1117   |.  sw BASE, L->base                  // Add frame since C call can throw.
1118   |  ffgccheck
1119   |.  sw PC, SAVE_PC                    // Redundant (but a defined value).
1120   |  load_got lj_str_fromnum
1121   |  move CARG1, L
1122   |  call_intern lj_str_fromnum         // (lua_State *L, lua_Number *np)
1123   |.  move CARG2, BASE
1124   |  // Returns GCstr *.
1125   |  li CARG3, LJ_TSTR
1126   |  b ->fff_restv
1127   |.  move CARG1, CRET1
1128   |
1129   |//-- Base library: iterators -------------------------------------------
1130   |
1131   |.ffunc next
1132   |  lw CARG1, HI(BASE)
1133   |   lw TAB:CARG2, LO(BASE)
1134   |  beqz NARGS8:RC, ->fff_fallback
1135   |.  addu TMP2, BASE, NARGS8:RC
1136   |  li AT, LJ_TTAB
1137   |   sw TISNIL, HI(TMP2)               // Set missing 2nd arg to nil.
1138   |  bne CARG1, AT, ->fff_fallback
1139   |.  lw PC, FRAME_PC(BASE)
1140   |  load_got lj_tab_next
1141   |   sw BASE, L->base                  // Add frame since C call can throw.
1142   |   sw BASE, L->top                   // Dummy frame length is ok.
1143   |  addiu CARG3, BASE, 8
1144   |   sw PC, SAVE_PC
1145   |  call_intern lj_tab_next            // (lua_State *L, GCtab *t, TValue *key)
1146   |.  move CARG1, L
1147   |  // Returns 0 at end of traversal.
1148   |  beqz CRET1, ->fff_restv            // End of traversal: return nil.
1149   |.  li CARG3, LJ_TNIL
1150   |  ldc1 f0, 8(BASE)                   // Copy key and value to results.
1151   |    addiu RA, BASE, -8
1152   |   ldc1 f2, 16(BASE)
1153   |    li RD, (2+1)*8
1154   |  sdc1 f0, 0(RA)
1155   |  b ->fff_res
1156   |.  sdc1 f2, 8(RA)
1157   |
1158   |.ffunc_1 pairs
1159   |  li AT, LJ_TTAB
1160   |  bne CARG3, AT, ->fff_fallback
1161   |.  lw PC, FRAME_PC(BASE)
1162 #ifdef LUAJIT_ENABLE_LUA52COMPAT
1163   |  lw TAB:TMP2, TAB:CARG1->metatable
1164   |   ldc1 f0, CFUNC:RB->upvalue[0]
1165   |  bnez TAB:TMP2, ->fff_fallback
1166 #else
1167   |  ldc1 f0, CFUNC:RB->upvalue[0]
1168 #endif
1169   |.  addiu RA, BASE, -8
1170   |   sw TISNIL, 8+HI(BASE)
1171   |  li RD, (3+1)*8
1172   |  b ->fff_res
1173   |.  sdc1 f0, 0(RA)
1174   |
1175   |.ffunc ipairs_aux
1176   |  sltiu AT, NARGS8:RC, 16
1177   |   lw CARG3, HI(BASE)
1178   |    lw TAB:CARG1, LO(BASE)
1179   |   lw CARG4, 8+HI(BASE)
1180   |  bnez AT, ->fff_fallback
1181   |.  ldc1 FARG2, 8(BASE)
1182   |   addiu CARG3, CARG3, -LJ_TTAB
1183   |  sltiu AT, CARG4, LJ_TISNUM
1184   |   li TMP0, 1
1185   |  movn AT, r0, CARG3
1186   |   mtc1 TMP0, FARG1
1187   |  beqz AT, ->fff_fallback
1188   |.  lw PC, FRAME_PC(BASE)
1189   |   cvt.w.d FRET1, FARG2
1190   |  cvt.d.w FARG1, FARG1
1191   |   lw TMP0, TAB:CARG1->asize
1192   |   lw TMP1, TAB:CARG1->array
1193   |  mfc1 TMP2, FRET1
1194   |   addiu RA, BASE, -8
1195   |  add.d FARG2, FARG2, FARG1
1196   |  addiu TMP2, TMP2, 1
1197   |  sltu AT, TMP2, TMP0
1198   |   sll TMP3, TMP2, 3
1199   |   addu TMP3, TMP1, TMP3
1200   |  beqz AT, >2                        // Not in array part?
1201   |.  sdc1 FARG2, 0(RA)
1202   |  lw TMP2, HI(TMP3)
1203   |  ldc1 f0, 0(TMP3)
1204   |1:
1205   |  beq TMP2, TISNIL, ->fff_res        // End of iteration, return 0 results.
1206   |.  li RD, (0+1)*8
1207   |   li RD, (2+1)*8
1208   |  b ->fff_res
1209   |.  sdc1 f0, 8(RA)
1210   |2:  // Check for empty hash part first. Otherwise call C function.
1211   |  lw TMP0, TAB:CARG1->hmask
1212   |  load_got lj_tab_getinth
1213   |  beqz TMP0, ->fff_res
1214   |.  li RD, (0+1)*8
1215   |  call_intern lj_tab_getinth         // (GCtab *t, int32_t key)
1216   |.  move CARG2, TMP2
1217   |  // Returns cTValue * or NULL.
1218   |  beqz CRET1, ->fff_res
1219   |.  li RD, (0+1)*8
1220   |  lw TMP2, HI(CRET1)
1221   |  b <1
1222   |.  ldc1 f0, 0(CRET1)
1223   |
1224   |.ffunc_1 ipairs
1225   |  li AT, LJ_TTAB
1226   |  bne CARG3, AT, ->fff_fallback
1227   |.  lw PC, FRAME_PC(BASE)
1228 #ifdef LUAJIT_ENABLE_LUA52COMPAT
1229   |  lw TAB:TMP2, TAB:CARG1->metatable
1230   |   ldc1 f0, CFUNC:RB->upvalue[0]
1231   |  bnez TAB:TMP2, ->fff_fallback
1232 #else
1233   |  ldc1 f0, CFUNC:RB->upvalue[0]
1234 #endif
1235   |.  addiu RA, BASE, -8
1236   |   sw r0, 8+HI(BASE)
1237   |   sw r0, 8+LO(BASE)
1238   |  li RD, (3+1)*8
1239   |  b ->fff_res
1240   |.  sdc1 f0, 0(RA)
1241   |
1242   |//-- Base library: catch errors ----------------------------------------
1243   |
1244   |.ffunc pcall
1245   |  lbu TMP3, DISPATCH_GL(hookmask)(DISPATCH)
1246   |  beqz NARGS8:RC, ->fff_fallback
1247   |   move TMP2, BASE
1248   |   addiu BASE, BASE, 8
1249   |  // Remember active hook before pcall.
1250   |  srl TMP3, TMP3, HOOK_ACTIVE_SHIFT
1251   |  andi TMP3, TMP3, 1
1252   |  addiu PC, TMP3, 8+FRAME_PCALL
1253   |  b ->vm_call_dispatch
1254   |.  addiu NARGS8:RC, NARGS8:RC, -8
1255   |
1256   |.ffunc xpcall
1257   |    sltiu AT, NARGS8:RC, 16
1258   |  lw CARG4, 8+HI(BASE)
1259   |    bnez AT, ->fff_fallback
1260   |.  ldc1 FARG2, 8(BASE)
1261   |   ldc1 FARG1, 0(BASE)
1262   |    lbu TMP1, DISPATCH_GL(hookmask)(DISPATCH)
1263   |  li AT, LJ_TFUNC
1264   |   move TMP2, BASE
1265   |  bne CARG4, AT, ->fff_fallback  // Traceback must be a function.
1266   |   addiu BASE, BASE, 16
1267   |  // Remember active hook before pcall.
1268   |  srl TMP3, TMP3, HOOK_ACTIVE_SHIFT
1269   |   sdc1 FARG2, 0(TMP2)               // Swap function and traceback.
1270   |  andi TMP3, TMP3, 1
1271   |   sdc1 FARG1, 8(TMP2)
1272   |  addiu PC, TMP3, 16+FRAME_PCALL
1273   |  b ->vm_call_dispatch
1274   |.  addiu NARGS8:RC, NARGS8:RC, -16
1275   |
1276   |//-- Coroutine library --------------------------------------------------
1277   |
1278   |.macro coroutine_resume_wrap, resume
1279   |.if resume
1280   |.ffunc_1 coroutine_resume
1281   |  li AT, LJ_TTHREAD
1282   |  bne CARG3, AT, ->fff_fallback
1283   |.else
1284   |.ffunc coroutine_wrap_aux
1285   |  lw L:CARG1, CFUNC:RB->upvalue[0].gcr
1286   |.endif
1287   |  lbu TMP0, L:CARG1->status
1288   |   lw TMP1, L:CARG1->cframe
1289   |    lw CARG2, L:CARG1->top
1290   |    lw TMP2, L:CARG1->base
1291   |  addiu TMP3, TMP0, -LUA_YIELD
1292   |  bgtz TMP3, ->fff_fallback          // st > LUA_YIELD?
1293   |.   xor TMP2, TMP2, CARG2
1294   |  bnez TMP1, ->fff_fallback          // cframe != 0?
1295   |.  or AT, TMP2, TMP0
1296   |  lw TMP0, L:CARG1->maxstack
1297   |  beqz AT, ->fff_fallback            // base == top && st == 0?
1298   |.  lw PC, FRAME_PC(BASE)
1299   |  addu TMP2, CARG2, NARGS8:RC
1300   |  sltu AT, TMP0, TMP2
1301   |  bnez AT, ->fff_fallback            // Stack overflow?
1302   |.  sw PC, SAVE_PC
1303   |   sw BASE, L->base
1304   |1:
1305   |.if resume
1306   |  addiu BASE, BASE, 8                // Keep resumed thread in stack for GC.
1307   |  addiu NARGS8:RC, NARGS8:RC, -8
1308   |  addiu TMP2, TMP2, -8
1309   |.endif
1310   |  sw TMP2, L:CARG1->top
1311   |  addu TMP1, BASE, NARGS8:RC
1312   |  move CARG3, CARG2
1313   |  sw BASE, L->top
1314   |2:  // Move args to coroutine.
1315   |   ldc1 f0, 0(BASE)
1316   |  sltu AT, BASE, TMP1
1317   |  beqz AT, >3
1318   |.  addiu BASE, BASE, 8
1319   |   sdc1 f0, 0(CARG3)
1320   |  b <2
1321   |.  addiu CARG3, CARG3, 8
1322   |3:
1323   |  bal ->vm_resume                    // (lua_State *L, TValue *base, 0, 0)
1324   |.  move L:RA, L:CARG1
1325   |  // Returns thread status.
1326   |4:
1327   |  lw TMP2, L:RA->base
1328   |   sltiu AT, CRET1, LUA_YIELD+1
1329   |  lw TMP3, L:RA->top
1330   |    li_vmstate INTERP
1331   |  lw BASE, L->base
1332   |    st_vmstate
1333   |   beqz AT, >8
1334   |. subu RD, TMP3, TMP2
1335   |   lw TMP0, L->maxstack
1336   |  beqz RD, >6                        // No results?
1337   |.  addu TMP1, BASE, RD
1338   |  sltu AT, TMP0, TMP1
1339   |  bnez AT, >9                        // Need to grow stack?
1340   |.  addu TMP3, TMP2, RD
1341   |  sw TMP2, L:RA->top                 // Clear coroutine stack.
1342   |  move TMP1, BASE
1343   |5:  // Move results from coroutine.
1344   |   ldc1 f0, 0(TMP2)
1345   |  addiu TMP2, TMP2, 8
1346   |  sltu AT, TMP2, TMP3
1347   |   sdc1 f0, 0(TMP1)
1348   |  bnez AT, <5
1349   |.  addiu TMP1, TMP1, 8
1350   |6:
1351   |  andi TMP0, PC, FRAME_TYPE
1352   |.if resume
1353   |  li TMP1, LJ_TTRUE
1354   |   addiu RA, BASE, -8
1355   |  sw TMP1, -8+HI(BASE)               // Prepend true to results.
1356   |  addiu RD, RD, 16
1357   |.else
1358   |  move RA, BASE
1359   |  addiu RD, RD, 8
1360   |.endif
1361   |7:
1362   |  sw PC, SAVE_PC
1363   |  beqz TMP0, ->BC_RET_Z
1364   |.  move MULTRES, RD
1365   |  b ->vm_return
1366   |.  nop
1367   |
1368   |8:  // Coroutine returned with error (at co->top-1).
1369   |.if resume
1370   |  addiu TMP3, TMP3, -8
1371   |   li TMP1, LJ_TFALSE
1372   |  ldc1 f0, 0(TMP3)
1373   |   sw TMP3, L:RA->top                // Remove error from coroutine stack.
1374   |    li RD, (2+1)*8
1375   |   sw TMP1, -8+HI(BASE)              // Prepend false to results.
1376   |    addiu RA, BASE, -8
1377   |  sdc1 f0, 0(BASE)                   // Copy error message.
1378   |  b <7
1379   |.  andi TMP0, PC, FRAME_TYPE
1380   |.else
1381   |  load_got lj_ffh_coroutine_wrap_err
1382   |  move CARG2, L:RA
1383   |  call_intern lj_ffh_coroutine_wrap_err  // (lua_State *L, lua_State *co)
1384   |.  move CARG1, L
1385   |.endif
1386   |
1387   |9:  // Handle stack expansion on return from yield.
1388   |  load_got lj_state_growstack
1389   |  srl CARG2, RD, 3
1390   |  call_intern lj_state_growstack     // (lua_State *L, int n)
1391   |.  move CARG1, L
1392   |  b <4
1393   |.  li CRET1, 0
1394   |.endmacro
1395   |
1396   |  coroutine_resume_wrap 1            // coroutine.resume
1397   |  coroutine_resume_wrap 0            // coroutine.wrap
1398   |
1399   |.ffunc coroutine_yield
1400   |  lw TMP0, L->cframe
1401   |   addu TMP1, BASE, NARGS8:RC
1402   |   sw BASE, L->base
1403   |  andi TMP0, TMP0, CFRAME_RESUME
1404   |   sw TMP1, L->top
1405   |  beqz TMP0, ->fff_fallback
1406   |.   li CRET1, LUA_YIELD
1407   |  sw r0, L->cframe
1408   |  b ->vm_leave_unw
1409   |.   sb CRET1, L->status
1410   |
1411   |//-- Math library -------------------------------------------------------
1412   |
1413   |.ffunc_n math_abs
1414   |.  abs.d FRET1, FARG1
1415   |->fff_resn:
1416   |  lw PC, FRAME_PC(BASE)
1417   |  addiu RA, BASE, -8
1418   |  b ->fff_res1
1419   |.  sdc1 FRET1, -8(BASE)
1420   |
1421   |->fff_restv:
1422   |  // CARG3/CARG1 = TValue result.
1423   |  lw PC, FRAME_PC(BASE)
1424   |   sw CARG3, -8+HI(BASE)
1425   |  addiu RA, BASE, -8
1426   |   sw CARG1, -8+LO(BASE)
1427   |->fff_res1:
1428   |  // RA = results, PC = return.
1429   |  li RD, (1+1)*8
1430   |->fff_res:
1431   |  // RA = results, RD = (nresults+1)*8, PC = return.
1432   |  andi TMP0, PC, FRAME_TYPE
1433   |  bnez TMP0, ->vm_return
1434   |.  move MULTRES, RD
1435   |  lw INS, -4(PC)
1436   |  decode_RB8a RB, INS
1437   |  decode_RB8b RB
1438   |5:
1439   |  sltu AT, RD, RB
1440   |  bnez AT, >6                        // More results expected?
1441   |.  decode_RA8a TMP0, INS
1442   |  decode_RA8b TMP0
1443   |  ins_next1
1444   |  // Adjust BASE. KBASE is assumed to be set for the calling frame.
1445   |   subu BASE, RA, TMP0
1446   |  ins_next2
1447   |
1448   |6:  // Fill up results with nil.
1449   |  addu TMP1, RA, RD
1450   |   addiu RD, RD, 8
1451   |  b <5
1452   |.  sw TISNIL, -8+HI(TMP1)
1453   |
1454   |.macro math_extern, func
1455   |->ff_math_ .. func:
1456   |  lw CARG3, HI(BASE)
1457   |  beqz NARGS8:RC, ->fff_fallback
1458   |.  load_got func
1459   |  sltiu AT, CARG3, LJ_TISNUM
1460   |  beqz AT, ->fff_fallback
1461   |.  nop
1462   |  call_extern
1463   |.  ldc1 FARG1, 0(BASE)
1464   |  b ->fff_resn
1465   |.  nop
1466   |.endmacro
1467   |
1468   |.macro math_extern2, func
1469   |  .ffunc_nn math_ .. func
1470   |.  load_got func
1471   |  call_extern
1472   |.  nop
1473   |  b ->fff_resn
1474   |.  nop
1475   |.endmacro
1476   |
1477   |.macro math_round, func
1478   |  .ffunc_n math_ .. func
1479   |.  nop
1480   |  bal ->vm_ .. func
1481   |.  nop
1482   |  b ->fff_resn
1483   |.  nop
1484   |.endmacro
1485   |
1486   |  math_round floor
1487   |  math_round ceil
1488   |
1489   |  math_extern log
1490   |  math_extern log10
1491   |  math_extern exp
1492   |  math_extern sin
1493   |  math_extern cos
1494   |  math_extern tan
1495   |  math_extern asin
1496   |  math_extern acos
1497   |  math_extern atan
1498   |  math_extern sinh
1499   |  math_extern cosh
1500   |  math_extern tanh
1501   |  math_extern2 pow
1502   |  math_extern2 atan2
1503   |  math_extern2 fmod
1504   |
1505   |.ffunc_n math_sqrt
1506   |.  sqrt.d FRET1, FARG1
1507   |  b ->fff_resn
1508   |.  nop
1509   |
1510   |->ff_math_deg:
1511   |.ffunc_n math_rad
1512   |.  ldc1 FARG2, CFUNC:RB->upvalue[0]
1513   |  b ->fff_resn
1514   |.  mul.d FRET1, FARG1, FARG2
1515   |
1516   |.ffunc_nn math_ldexp
1517   |  cvt.w.d FARG2, FARG2
1518   |  load_got ldexp
1519   |  mfc1 CARG3, FARG2
1520   |  call_extern
1521   |.  nop
1522   |  b ->fff_resn
1523   |.  nop
1524   |
1525   |.ffunc_n math_frexp
1526   |  load_got frexp
1527   |   lw PC, FRAME_PC(BASE)
1528   |  call_extern
1529   |.  addiu CARG3, DISPATCH, DISPATCH_GL(tmptv)
1530   |   lw TMP1, DISPATCH_GL(tmptv)(DISPATCH)
1531   |  addiu RA, BASE, -8
1532   |   mtc1 TMP1, FARG2
1533   |  sdc1 FRET1, 0(RA)
1534   |   cvt.d.w FARG2, FARG2
1535   |   sdc1 FARG2, 8(RA)
1536   |  b ->fff_res
1537   |.  li RD, (2+1)*8
1538   |
1539   |.ffunc_n math_modf
1540   |  load_got modf
1541   |   lw PC, FRAME_PC(BASE)
1542   |  call_extern
1543   |.  addiu CARG3, BASE, -8
1544   |  addiu RA, BASE, -8
1545   |  sdc1 FRET1, 0(BASE)
1546   |  b ->fff_res
1547   |.  li RD, (2+1)*8
1548   |
1549   |.macro math_minmax, name, ismax
1550   |->ff_ .. name:
1551   |  lw CARG3, HI(BASE)
1552   |  beqz NARGS8:RC, ->fff_fallback
1553   |.  ldc1 FRET1, 0(BASE)
1554   |  sltiu AT, CARG3, LJ_TISNUM
1555   |  beqz AT, ->fff_fallback
1556   |.  addu TMP2, BASE, NARGS8:RC
1557   |  addiu TMP1, BASE, 8
1558   |  beq TMP1, TMP2, ->fff_resn
1559   |1:
1560   |.  lw CARG3, HI(TMP1)
1561   |  ldc1 FARG1, 0(TMP1)
1562   |   addiu TMP1, TMP1, 8
1563   |  sltiu AT, CARG3, LJ_TISNUM
1564   |  beqz AT, ->fff_fallback
1565   |.if ismax
1566   |.  c.olt.d FARG1, FRET1
1567   |.else
1568   |.  c.olt.d FRET1, FARG1
1569   |.endif
1570   |  bne TMP1, TMP2, <1
1571   |.  movf.d FRET1, FARG1
1572   |  b ->fff_resn
1573   |.  nop
1574   |.endmacro
1575   |
1576   |  math_minmax math_min, 0
1577   |  math_minmax math_max, 1
1578   |
1579   |//-- String library -----------------------------------------------------
1580   |
1581   |.ffunc_1 string_len
1582   |  li AT, LJ_TSTR
1583   |  bne CARG3, AT, ->fff_fallback
1584   |.  nop
1585   |  b ->fff_resi
1586   |.  lw CRET1, STR:CARG1->len
1587   |
1588   |.ffunc string_byte                   // Only handle the 1-arg case here.
1589   |  lw CARG3, HI(BASE)
1590   |   lw STR:CARG1, LO(BASE)
1591   |  xori AT, NARGS8:RC, 8
1592   |  addiu CARG3, CARG3, -LJ_TSTR
1593   |  or AT, AT, CARG3
1594   |  bnez AT, ->fff_fallback            // Need exactly 1 string argument.
1595   |.  nop
1596   |  lw TMP0, STR:CARG1->len
1597   |   lbu TMP1, STR:CARG1[1]            // Access is always ok (NUL at end).
1598   |    addiu RA, BASE, -8
1599   |  sltu RD, r0, TMP0
1600   |   mtc1 TMP1, f0
1601   |  addiu RD, RD, 1
1602   |   cvt.d.w f0, f0
1603   |  lw PC, FRAME_PC(BASE)
1604   |  sll RD, RD, 3                      // RD = ((str->len != 0)+1)*8
1605   |  b ->fff_res
1606   |.  sdc1 f0, 0(RA)
1607   |
1608   |.ffunc string_char                   // Only handle the 1-arg case here.
1609   |  ffgccheck
1610   |  lw CARG3, HI(BASE)
1611   |   ldc1 FARG1, 0(BASE)
1612   |  li AT, 8
1613   |  bne NARGS8:RC, AT, ->fff_fallback  // Exactly 1 argument.
1614   |.  sltiu AT, CARG3, LJ_TISNUM
1615   |  beqz AT, ->fff_fallback
1616   |.  li CARG3, 1
1617   |   cvt.w.d FARG1, FARG1
1618   |  addiu CARG2, sp, ARG5_OFS
1619   |  sltiu AT, TMP0, 256
1620   |   mfc1 TMP0, FARG1
1621   |  beqz AT, ->fff_fallback
1622   |.  sw TMP0, ARG5
1623   |->fff_newstr:
1624   |  load_got lj_str_new
1625   |   sw BASE, L->base
1626   |   sw PC, SAVE_PC
1627   |  call_intern lj_str_new             // (lua_State *L, char *str, size_t l)
1628   |.  move CARG1, L
1629   |  // Returns GCstr *.
1630   |  lw BASE, L->base
1631   |  move CARG1, CRET1
1632   |  b ->fff_restv
1633   |.  li CARG3, LJ_TSTR
1634   |
1635   |.ffunc string_sub
1636   |  ffgccheck
1637   |  addiu AT, NARGS8:RC, -16
1638   |   lw CARG3, 16+HI(BASE)
1639   |    ldc1 f0, 16(BASE)
1640   |   lw TMP0, HI(BASE)
1641   |    lw STR:CARG1, LO(BASE)
1642   |  bltz AT, ->fff_fallback
1643   |   lw CARG2, 8+HI(BASE)
1644   |    ldc1 f2, 8(BASE)
1645   |  beqz AT, >1
1646   |.  li CARG4, -1
1647   |   cvt.w.d f0, f0
1648   |  sltiu AT, CARG3, LJ_TISNUM
1649   |  beqz AT, ->fff_fallback
1650   |.  mfc1 CARG4, f0
1651   |1:
1652   |  sltiu AT, CARG2, LJ_TISNUM
1653   |  beqz AT, ->fff_fallback
1654   |.  li AT, LJ_TSTR
1655   |  cvt.w.d f2, f2
1656   |  bne TMP0, AT, ->fff_fallback
1657   |.  lw CARG2, STR:CARG1->len
1658   |  mfc1 CARG3, f2
1659   |  // STR:CARG1 = str, CARG2 = str->len, CARG3 = start, CARG4 = end
1660   |  slt AT, CARG4, r0
1661   |  addiu TMP0, CARG2, 1
1662   |  addu TMP1, CARG4, TMP0
1663   |   slt TMP3, CARG3, r0
1664   |  movn CARG4, TMP1, AT               // if (end < 0) end += len+1
1665   |   addu TMP1, CARG3, TMP0
1666   |   movn CARG3, TMP1, TMP3            // if (start < 0) start += len+1
1667   |   li TMP2, 1
1668   |  slt AT, CARG4, r0
1669   |   slt TMP3, r0, CARG3
1670   |  movn CARG4, r0, AT                 // if (end < 0) end = 0
1671   |   movz CARG3, TMP2, TMP3            // if (start < 1) start = 1
1672   |  slt AT, CARG2, CARG4
1673   |  movn CARG4, CARG2, AT              // if (end > len) end = len
1674   |   addu CARG2, STR:CARG1, CARG3
1675   |  subu CARG3, CARG4, CARG3           // len = end - start
1676   |   addiu CARG2, CARG2, sizeof(GCstr)-1
1677   |  bgez CARG3, ->fff_newstr
1678   |.  addiu CARG3, CARG3, 1             // len++
1679   |->fff_emptystr:  // Return empty string.
1680   |  addiu STR:CARG1, DISPATCH, DISPATCH_GL(strempty)
1681   |  b ->fff_restv
1682   |.  li CARG3, LJ_TSTR
1683   |
1684   |.ffunc string_rep                    // Only handle the 1-char case inline.
1685   |  ffgccheck
1686   |  lw TMP0, HI(BASE)
1687   |   sltiu AT, NARGS8:RC, 16
1688   |  lw CARG4, 8+HI(BASE)
1689   |   lw STR:CARG1, LO(BASE)
1690   |  addiu TMP0, TMP0, -LJ_TSTR
1691   |   ldc1 f0, 8(BASE)
1692   |  or AT, AT, TMP0
1693   |  bnez AT, ->fff_fallback
1694   |.  sltiu AT, CARG4, LJ_TISNUM
1695   |   cvt.w.d f0, f0
1696   |  beqz AT, ->fff_fallback
1697   |.  lw TMP0, STR:CARG1->len
1698   |   mfc1 CARG3, f0
1699   |  lw TMP1, DISPATCH_GL(tmpbuf.sz)(DISPATCH)
1700   |  li AT, 1
1701   |   blez CARG3, ->fff_emptystr        // Count <= 0?
1702   |.   sltu AT, AT, TMP0
1703   |  beqz TMP0, ->fff_emptystr          // Zero length string?
1704   |.  sltu TMP0, TMP1, CARG3
1705   |  or AT, AT, TMP0
1706   |   lw CARG2, DISPATCH_GL(tmpbuf.buf)(DISPATCH)
1707   |  bnez AT, ->fff_fallback            // Fallback for > 1-char strings.
1708   |.  lbu TMP0, STR:CARG1[1]
1709   |  addu TMP2, CARG2, CARG3
1710   |1:  // Fill buffer with char. Yes, this is suboptimal code (do you care?).
1711   |  addiu TMP2, TMP2, -1
1712   |  sltu AT, CARG2, TMP2
1713   |  bnez AT, <1
1714   |.  sb TMP0, 0(TMP2)
1715   |  b ->fff_newstr
1716   |.  nop
1717   |
1718   |.ffunc string_reverse
1719   |  ffgccheck
1720   |  lw CARG3, HI(BASE)
1721   |   lw STR:CARG1, LO(BASE)
1722   |  beqz NARGS8:RC, ->fff_fallback
1723   |.  li AT, LJ_TSTR
1724   |  bne CARG3, AT, ->fff_fallback
1725   |.  lw TMP1, DISPATCH_GL(tmpbuf.sz)(DISPATCH)
1726   |  lw CARG3, STR:CARG1->len
1727   |   addiu CARG1, STR:CARG1, #STR
1728   |   lw CARG2, DISPATCH_GL(tmpbuf.buf)(DISPATCH)
1729   |  sltu AT, TMP1, CARG3
1730   |  bnez AT, ->fff_fallback
1731   |.  addu TMP3, CARG1, CARG3
1732   |  addu CARG4, CARG2, CARG3
1733   |1:  // Reverse string copy.
1734   |   lbu TMP1, 0(CARG1)
1735   |  sltu AT, CARG1, TMP3
1736   |  beqz AT, ->fff_newstr
1737   |.  addiu CARG1, CARG1, 1
1738   |  addiu CARG4, CARG4, -1
1739   |  b <1
1740   |   sb TMP1, 0(CARG4)
1741   |
1742   |.macro ffstring_case, name, lo
1743   |  .ffunc name
1744   |  ffgccheck
1745   |  lw CARG3, HI(BASE)
1746   |   lw STR:CARG1, LO(BASE)
1747   |  beqz NARGS8:RC, ->fff_fallback
1748   |.  li AT, LJ_TSTR
1749   |  bne CARG3, AT, ->fff_fallback
1750   |.  lw TMP1, DISPATCH_GL(tmpbuf.sz)(DISPATCH)
1751   |  lw CARG3, STR:CARG1->len
1752   |   addiu CARG1, STR:CARG1, #STR
1753   |   lw CARG2, DISPATCH_GL(tmpbuf.buf)(DISPATCH)
1754   |  sltu AT, TMP1, CARG3
1755   |  bnez AT, ->fff_fallback
1756   |.  addu TMP3, CARG1, CARG3
1757   |  move CARG4, CARG2
1758   |1:  // ASCII case conversion.
1759   |   lbu TMP1, 0(CARG1)
1760   |  sltu AT, CARG1, TMP3
1761   |  beqz AT, ->fff_newstr
1762   |.  addiu TMP0, TMP1, -lo
1763   |   xori TMP2, TMP1, 0x20
1764   |   sltiu AT, TMP0, 26
1765   |   movn TMP1, TMP2, AT
1766   |  addiu CARG1, CARG1, 1
1767   |   sb TMP1, 0(CARG4)
1768   |  b <1
1769   |.  addiu CARG4, CARG4, 1
1770   |.endmacro
1771   |
1772   |ffstring_case string_lower, 65
1773   |ffstring_case string_upper, 97
1774   |
1775   |//-- Table library ------------------------------------------------------
1776   |
1777   |.ffunc_1 table_getn
1778   |  li AT, LJ_TTAB
1779   |  bne CARG3, AT, ->fff_fallback
1780   |.  load_got lj_tab_len
1781   |  call_intern lj_tab_len             // (GCtab *t)
1782   |.  nop
1783   |  // Returns uint32_t (but less than 2^31).
1784   |  b ->fff_resi
1785   |.  nop
1786   |
1787   |//-- Bit library --------------------------------------------------------
1788   |
1789   |.macro .ffunc_bit, name
1790   |  .ffunc_n bit_..name
1791   |.  add.d FARG1, FARG1, TOBIT
1792   |  mfc1 CRET1, FARG1
1793   |.endmacro
1794   |
1795   |.macro .ffunc_bit_op, name, ins
1796   |  .ffunc_bit name
1797   |  addiu TMP1, BASE, 8
1798   |  addu TMP2, BASE, NARGS8:RC
1799   |1:
1800   |  lw CARG4, HI(TMP1)
1801   |  beq TMP1, TMP2, ->fff_resi
1802   |.  ldc1 FARG1, 0(TMP1)
1803   |  sltiu AT, CARG4, LJ_TISNUM
1804   |  beqz AT, ->fff_fallback
1805   |  add.d FARG1, FARG1, TOBIT
1806   |  mfc1 CARG2, FARG1
1807   |  ins CRET1, CRET1, CARG2
1808   |  b <1
1809   |.  addiu TMP1, TMP1, 8
1810   |.endmacro
1811   |
1812   |.ffunc_bit_op band, and
1813   |.ffunc_bit_op bor, or
1814   |.ffunc_bit_op bxor, xor
1815   |
1816   |.ffunc_bit bswap
1817   |  srl TMP0, CRET1, 24
1818   |   srl TMP2, CRET1, 8
1819   |  sll TMP1, CRET1, 24
1820   |   andi TMP2, TMP2, 0xff00
1821   |  or TMP0, TMP0, TMP1
1822   |   andi CRET1, CRET1, 0xff00
1823   |  or TMP0, TMP0, TMP2
1824   |   sll CRET1, CRET1, 8
1825   |  b ->fff_resi
1826   |.  or CRET1, TMP0, CRET1
1827   |
1828   |.ffunc_bit bnot
1829   |  b ->fff_resi
1830   |.  not CRET1, CRET1
1831   |
1832   |.macro .ffunc_bit_sh, name, ins, shmod
1833   |  .ffunc_nn bit_..name
1834   |.  add.d FARG1, FARG1, TOBIT
1835   |  add.d FARG2, FARG2, TOBIT
1836   |  mfc1 CARG1, FARG1
1837   |  mfc1 CARG2, FARG2
1838   |.if shmod == 1
1839   |  li AT, 32
1840   |  subu TMP0, AT, CARG2
1841   |  sllv CARG2, CARG1, CARG2
1842   |  srlv CARG1, CARG1, TMP0
1843   |.elif shmod == 2
1844   |  li AT, 32
1845   |  subu TMP0, AT, CARG2
1846   |  srlv CARG2, CARG1, CARG2
1847   |  sllv CARG1, CARG1, TMP0
1848   |.endif
1849   |  b ->fff_resi
1850   |.  ins CRET1, CARG1, CARG2
1851   |.endmacro
1852   |
1853   |.ffunc_bit_sh lshift, sllv, 0
1854   |.ffunc_bit_sh rshift, srlv, 0
1855   |.ffunc_bit_sh arshift, srav, 0
1856   |// Can't use rotrv, since it's only in MIPS32R2.
1857   |.ffunc_bit_sh rol, or, 1
1858   |.ffunc_bit_sh ror, or, 2
1859   |
1860   |.ffunc_bit tobit
1861   |->fff_resi:
1862   |  mtc1 CRET1, FRET1
1863   |  b ->fff_resn
1864   |.  cvt.d.w FRET1, FRET1
1865   |
1866   |//-----------------------------------------------------------------------
1867   |
1868   |->fff_fallback:                      // Call fast function fallback handler.
1869   |  // BASE = new base, RB = CFUNC, RC = nargs*8
1870   |  lw TMP3, CFUNC:RB->f
1871   |    addu TMP1, BASE, NARGS8:RC
1872   |   lw PC, FRAME_PC(BASE)             // Fallback may overwrite PC.
1873   |    addiu TMP0, TMP1, 8*LUA_MINSTACK
1874   |     lw TMP2, L->maxstack
1875   |   sw PC, SAVE_PC                    // Redundant (but a defined value).
1876   |  sltu AT, TMP2, TMP0
1877   |     sw BASE, L->base
1878   |    sw TMP1, L->top
1879   |  bnez AT, >5                        // Need to grow stack.
1880   |.  move CFUNCADDR, TMP3
1881   |  jalr TMP3                          // (lua_State *L)
1882   |.  move CARG1, L
1883   |  // Either throws an error, or recovers and returns -1, 0 or nresults+1.
1884   |  lw BASE, L->base
1885   |   sll RD, CRET1, 3
1886   |  bgtz CRET1, ->fff_res              // Returned nresults+1?
1887   |.  addiu RA, BASE, -8
1888   |1:  // Returned 0 or -1: retry fast path.
1889   |  lw TMP0, L->top
1890   |   lw LFUNC:RB, FRAME_FUNC(BASE)
1891   |  bnez CRET1, ->vm_call_tail         // Returned -1?
1892   |.  subu NARGS8:RC, TMP0, BASE
1893   |  ins_callt                          // Returned 0: retry fast path.
1894   |
1895   |// Reconstruct previous base for vmeta_call during tailcall.
1896   |->vm_call_tail:
1897   |  andi TMP0, PC, FRAME_TYPE
1898   |   li AT, -4
1899   |  bnez TMP0, >3
1900   |.  and TMP1, PC, AT
1901   |  lbu TMP1, OFS_RA(PC)
1902   |  sll TMP1, TMP1, 3
1903   |3:
1904   |  b ->vm_call_dispatch               // Resolve again for tailcall.
1905   |.  subu TMP2, BASE, TMP1
1906   |
1907   |5:  // Grow stack for fallback handler.
1908   |  load_got lj_state_growstack
1909   |  li CARG2, LUA_MINSTACK
1910   |  call_intern lj_state_growstack     // (lua_State *L, int n)
1911   |.  move CARG1, L
1912   |  lw BASE, L->base
1913   |  b <1
1914   |.  li CRET1, 0                       // Force retry.
1915   |
1916   |->fff_gcstep:                        // Call GC step function.
1917   |  // BASE = new base, RC = nargs*8
1918   |  move MULTRES, ra
1919   |  load_got lj_gc_step
1920   |   sw BASE, L->base
1921   |  addu TMP0, BASE, NARGS8:RC
1922   |   sw PC, SAVE_PC                    // Redundant (but a defined value).
1923   |  sw TMP0, L->top
1924   |  call_intern lj_gc_step             // (lua_State *L)
1925   |.  move CARG1, L
1926   |   lw BASE, L->base
1927   |  move ra, MULTRES
1928   |    lw TMP0, L->top
1929   |  lw CFUNC:RB, FRAME_FUNC(BASE)
1930   |  jr ra
1931   |.  subu NARGS8:RC, TMP0, BASE
1932   |
1933   |//-----------------------------------------------------------------------
1934   |//-- Special dispatch targets -------------------------------------------
1935   |//-----------------------------------------------------------------------
1936   |
1937   |->vm_record:                         // Dispatch target for recording phase.
1938 #if LJ_HASJIT
1939   |  lbu TMP3, DISPATCH_GL(hookmask)(DISPATCH)
1940   |  andi AT, TMP3, HOOK_VMEVENT        // No recording while in vmevent.
1941   |  bnez AT, >5
1942   |  // Decrement the hookcount for consistency, but always do the call.
1943   |.  lw TMP2, DISPATCH_GL(hookcount)(DISPATCH)
1944   |  andi AT, TMP3, HOOK_ACTIVE
1945   |  bnez AT, >1
1946   |.  addiu TMP2, TMP2, -1
1947   |  andi AT, TMP3, LUA_MASKLINE|LUA_MASKCOUNT
1948   |  beqz AT, >1
1949   |.  nop
1950   |  b >1
1951   |.  sw TMP2, DISPATCH_GL(hookcount)(DISPATCH)
1952 #endif
1953   |
1954   |->vm_rethook:                        // Dispatch target for return hooks.
1955   |  lbu TMP3, DISPATCH_GL(hookmask)(DISPATCH)
1956   |  andi AT, TMP3, HOOK_ACTIVE         // Hook already active?
1957   |  beqz AT, >1
1958   |5:  // Re-dispatch to static ins.
1959   |.  lw AT, GG_DISP2STATIC(TMP0)       // Assumes TMP0 holds DISPATCH+OP*4.
1960   |  jr AT
1961   |.  nop
1962   |
1963   |->vm_inshook:                        // Dispatch target for instr/line hooks.
1964   |  lbu TMP3, DISPATCH_GL(hookmask)(DISPATCH)
1965   |  lw TMP2, DISPATCH_GL(hookcount)(DISPATCH)
1966   |  andi AT, TMP3, HOOK_ACTIVE         // Hook already active?
1967   |  bnez AT, <5
1968   |.  andi AT, TMP3, LUA_MASKLINE|LUA_MASKCOUNT
1969   |  beqz AT, <5
1970   |.  addiu TMP2, TMP2, -1
1971   |  beqz TMP2, >1
1972   |.  sw TMP2, DISPATCH_GL(hookcount)(DISPATCH)
1973   |  andi AT, TMP3, LUA_MASKLINE
1974   |  beqz AT, <5
1975   |1:
1976   |.  load_got lj_dispatch_ins
1977   |   sw MULTRES, SAVE_MULTRES
1978   |  move CARG2, PC
1979   |   sw BASE, L->base
1980   |  // SAVE_PC must hold the _previous_ PC. The callee updates it with PC.
1981   |  call_intern lj_dispatch_ins        // (lua_State *L, const BCIns *pc)
1982   |.  move CARG1, L
1983   |3:
1984   |  lw BASE, L->base
1985   |4:  // Re-dispatch to static ins.
1986   |  lw INS, -4(PC)
1987   |  decode_OP4a TMP1, INS
1988   |  decode_OP4b TMP1
1989   |  addu TMP0, DISPATCH, TMP1
1990   |   decode_RD8a RD, INS
1991   |  lw AT, GG_DISP2STATIC(TMP0)
1992   |   decode_RA8a RA, INS
1993   |   decode_RD8b RD
1994   |  jr AT
1995   |   decode_RA8b RA
1996   |
1997   |->cont_hook:                         // Continue from hook yield.
1998   |  addiu PC, PC, 4
1999   |  b <4
2000   |.  lw MULTRES, -24+LO(RB)            // Restore MULTRES for *M ins.
2001   |
2002   |->vm_hotloop:                        // Hot loop counter underflow.
2003 #if LJ_HASJIT
2004   |  lw LFUNC:TMP1, FRAME_FUNC(BASE)
2005   |   addiu CARG1, DISPATCH, GG_DISP2J
2006   |   sw PC, SAVE_PC
2007   |  lw TMP1, LFUNC:TMP1->pc
2008   |   move CARG2, PC
2009   |   sw L, DISPATCH_J(L)(DISPATCH)
2010   |  lbu TMP1, PC2PROTO(framesize)(TMP1)
2011   |  load_got lj_trace_hot
2012   |   sw BASE, L->base
2013   |  sll TMP1, TMP1, 3
2014   |  addu TMP1, BASE, TMP1
2015   |  call_intern lj_trace_hot           // (jit_State *J, const BCIns *pc)
2016   |.  sw TMP1, L->top
2017   |  b <3
2018   |.  nop
2019 #endif
2020   |
2021   |->vm_callhook:                       // Dispatch target for call hooks.
2022 #if LJ_HASJIT
2023   |  b >1
2024 #endif
2025   |.  move CARG2, PC
2026   |
2027   |->vm_hotcall:                        // Hot call counter underflow.
2028 #if LJ_HASJIT
2029   |  ori CARG2, PC, 1
2030   |1:
2031 #endif
2032   |  load_got lj_dispatch_call
2033   |  addu TMP0, BASE, RC
2034   |   sw PC, SAVE_PC
2035   |   sw BASE, L->base
2036   |  subu RA, RA, BASE
2037   |   sw TMP0, L->top
2038   |  call_intern lj_dispatch_call       // (lua_State *L, const BCIns *pc)
2039   |.  move CARG1, L
2040   |  // Returns ASMFunction.
2041   |  lw BASE, L->base
2042   |   lw TMP0, L->top
2043   |   sw r0, SAVE_PC                    // Invalidate for subsequent line hook.
2044   |  subu NARGS8:RC, TMP0, BASE
2045   |  addu RA, BASE, RA
2046   |  lw LFUNC:RB, FRAME_FUNC(BASE)
2047   |  jr CRET1
2048   |.  lw INS, -4(PC)
2049   |
2050   |//-----------------------------------------------------------------------
2051   |//-- Trace exit handler -------------------------------------------------
2052   |//-----------------------------------------------------------------------
2053   |
2054   |.macro savex_, a, b
2055   |  sdc1 f..a, 16+a*8(sp)
2056   |  sw r..a, 16+32*8+a*4(sp)
2057   |  sw r..b, 16+32*8+b*4(sp)
2058   |.endmacro
2059   |
2060   |->vm_exit_handler:
2061 #if LJ_HASJIT
2062   |  addiu sp, sp, -(16+32*8+32*4)
2063   |  savex_ 0, 1
2064   |  savex_ 2, 3
2065   |  savex_ 4, 5
2066   |  savex_ 6, 7
2067   |  savex_ 8, 9
2068   |  savex_ 10, 11
2069   |  savex_ 12, 13
2070   |  savex_ 14, 15
2071   |  savex_ 16, 17
2072   |  savex_ 18, 19
2073   |  savex_ 20, 21
2074   |  savex_ 22, 23
2075   |  savex_ 24, 25
2076   |  savex_ 26, 27
2077   |  sdc1 f28, 16+28*8(sp)
2078   |  sw r28, 16+32*8+28*4(sp)
2079   |  sdc1 f30, 16+30*8(sp)
2080   |  sw r30, 16+32*8+30*4(sp)
2081   |  sw r0, 16+32*8+31*4(sp)            // Clear RID_TMP.
2082   |  li_vmstate EXIT
2083   |   addiu TMP2, sp, 16+32*8+32*4      // Recompute original value of sp.
2084   |  addiu DISPATCH, JGL, -GG_DISP2G-32768
2085   |  lw TMP1, 0(TMP2)                   // Load exit number.
2086   |  st_vmstate
2087   |   sw TMP2, 16+32*8+29*4(sp)         // Store sp in RID_SP.
2088   |  lw L, DISPATCH_GL(jit_L)(DISPATCH)
2089   |  lw BASE, DISPATCH_GL(jit_base)(DISPATCH)
2090   |  load_got lj_trace_exit
2091   |  sw L, DISPATCH_J(L)(DISPATCH)
2092   |  sw ra, DISPATCH_J(parent)(DISPATCH)  // Store trace number.
2093   |  sw TMP1, DISPATCH_J(exitno)(DISPATCH)  // Store exit number.
2094   |  addiu CARG1, DISPATCH, GG_DISP2J
2095   |  sw BASE, L->base
2096   |  call_intern lj_trace_exit          // (jit_State *J, ExitState *ex)
2097   |.  addiu CARG2, sp, 16
2098   |  // Returns MULTRES (unscaled) or negated error code.
2099   |  lw TMP1, L->cframe
2100   |  li AT, -4
2101   |   lw BASE, L->base
2102   |  and sp, TMP1, AT
2103   |   lw PC, SAVE_PC                    // Get SAVE_PC.
2104   |  b >1
2105   |.  sw L, SAVE_L                      // Set SAVE_L (on-trace resume/yield).
2106 #endif
2107   |->vm_exit_interp:
2108 #if LJ_HASJIT
2109   |  // CRET1 = MULTRES or negated error code, BASE, PC and JGL set.
2110   |  lw L, SAVE_L
2111   |  addiu DISPATCH, JGL, -GG_DISP2G-32768
2112   |1:
2113   |  bltz CRET1, >3                     // Check for error from exit.
2114   |.  lw LFUNC:TMP1, FRAME_FUNC(BASE)
2115   |    lui TMP3, 0x59c0                 // TOBIT = 2^52 + 2^51 (float).
2116   |  sll MULTRES, CRET1, 3
2117   |    li TISNIL, LJ_TNIL
2118   |  sw MULTRES, SAVE_MULTRES
2119   |    mtc1 TMP3, TOBIT
2120   |  lw TMP1, LFUNC:TMP1->pc
2121   |   sw r0, DISPATCH_GL(jit_L)(DISPATCH)
2122   |  lw KBASE, PC2PROTO(k)(TMP1)
2123   |    cvt.d.s TOBIT, TOBIT
2124   |  // Modified copy of ins_next which handles function header dispatch, too.
2125   |  lw INS, 0(PC)
2126   |   addiu PC, PC, 4
2127   |    // Assumes TISNIL == ~LJ_VMST_INTERP == -1
2128   |    sw TISNIL, DISPATCH_GL(vmstate)(DISPATCH)
2129   |  decode_OP4a TMP1, INS
2130   |  decode_OP4b TMP1
2131   |    sltiu TMP2, TMP1, BC_FUNCF*4     // Function header?
2132   |  addu TMP0, DISPATCH, TMP1
2133   |   decode_RD8a RD, INS
2134   |  lw AT, 0(TMP0)
2135   |   decode_RA8a RA, INS
2136   |    beqz TMP2, >2
2137   |.  decode_RA8b RA
2138   |  jr AT
2139   |.  decode_RD8b RD
2140   |2:
2141   |  addiu RC, MULTRES, -8
2142   |  jr AT
2143   |.  add RA, RA, BASE
2144   |
2145   |3:  // Rethrow error from the right C frame.
2146   |  load_got lj_err_throw
2147   |  negu CARG2, CRET1
2148   |  call_intern lj_err_throw           // (lua_State *L, int errcode)
2149   |.  move CARG1, L
2150 #endif
2151   |
2152   |//-----------------------------------------------------------------------
2153   |//-- Math helper functions ----------------------------------------------
2154   |//-----------------------------------------------------------------------
2155   |
2156   |// Modifies AT, TMP0, FRET1, FRET2, f4. Keeps all others incl. FARG1, FARG2.
2157   |.macro vm_round, func
2158   |  lui TMP0, 0x4330                   // Hiword of 2^52 (double).
2159   |  mtc1 r0, f4
2160   |  mtc1 TMP0, f5
2161   |  abs.d FRET2, FARG1                 // |x|
2162   |    mfc1 AT, f13
2163   |  c.olt.d 0, FRET2, f4
2164   |   add.d FRET1, FRET2, f4            // (|x| + 2^52) - 2^52
2165   |  bc1f 0, >1                         // Truncate only if |x| < 2^52.
2166   |.  sub.d FRET1, FRET1, f4
2167   |    slt AT, AT, r0
2168   |.if "func" == "ceil"
2169   |   lui TMP0, 0xbff0                  // Hiword of -1 (double). Preserves -0.
2170   |.else
2171   |   lui TMP0, 0x3ff0                  // Hiword of +1 (double).
2172   |.endif
2173   |.if "func" == "trunc"
2174   |   mtc1 TMP0, f5
2175   |  c.olt.d 0, FRET2, FRET1            // |x| < result?
2176   |   sub.d FRET2, FRET1, f4
2177   |  movt.d FRET1, FRET2, 0             // If yes, subtract +1.
2178   |  neg.d FRET2, FRET1
2179   |  jr ra
2180   |.  movn.d FRET1, FRET2, AT           // Merge sign bit back in.
2181   |.else
2182   |  neg.d FRET2, FRET1
2183   |   mtc1 TMP0, f5
2184   |  movn.d FRET1, FRET2, AT            // Merge sign bit back in.
2185   |.if "func" == "ceil"
2186   |  c.olt.d 0, FRET1, FARG1            // x > result?
2187   |.else
2188   |  c.olt.d 0, FARG1, FRET1            // x < result?
2189   |.endif
2190   |   sub.d FRET2, FRET1, f4            // If yes, subtract +-1.
2191   |  jr ra
2192   |.  movt.d FRET1, FRET2, 0
2193   |.endif
2194   |1:
2195   |  jr ra
2196   |.  mov.d FRET1, FARG1
2197   |.endmacro
2198   |
2199   |->vm_floor:
2200   |  vm_round floor
2201   |->vm_ceil:
2202   |  vm_round ceil
2203   |->vm_trunc:
2204 #if LJ_HASJIT
2205   |  vm_round trunc
2206 #endif
2207   |
2208   |//-----------------------------------------------------------------------
2209   |//-- Miscellaneous functions --------------------------------------------
2210   |//-----------------------------------------------------------------------
2211   |
2212   |//-----------------------------------------------------------------------
2213   |//-- FFI helper functions -----------------------------------------------
2214   |//-----------------------------------------------------------------------
2215   |
2216   |// Handler for callback functions. Callback slot number in r1, g in r2.
2217   |->vm_ffi_callback:
2218 #if LJ_HASFFI
2219   |.type CTSTATE, CTState, PC
2220   |  saveregs
2221   |  lw CTSTATE, GL:r2->ctype_state
2222   |   addiu DISPATCH, r2, GG_G2DISP
2223   |  load_got lj_ccallback_enter
2224   |  sw r1, CTSTATE->cb.slot
2225   |  sw CARG1, CTSTATE->cb.gpr[0]
2226   |  sw CARG2, CTSTATE->cb.gpr[1]
2227   |   sdc1 FARG1, CTSTATE->cb.fpr[0]
2228   |  sw CARG3, CTSTATE->cb.gpr[2]
2229   |  sw CARG4, CTSTATE->cb.gpr[3]
2230   |   sdc1 FARG2, CTSTATE->cb.fpr[1]
2231   |  addiu TMP0, sp, CFRAME_SPACE+16
2232   |  sw TMP0, CTSTATE->cb.stack
2233   |  sw r0, SAVE_PC                     // Any value outside of bytecode is ok.
2234   |   move CARG2, sp
2235   |  call_intern lj_ccallback_enter     // (CTState *cts, void *cf)
2236   |.  move CARG1, CTSTATE
2237   |  // Returns lua_State *.
2238   |  lw BASE, L:CRET1->base
2239   |  lw RC, L:CRET1->top
2240   |   move L, CRET1
2241   |     lui TMP3, 0x59c0                // TOBIT = 2^52 + 2^51 (float).
2242   |  lw LFUNC:RB, FRAME_FUNC(BASE)
2243   |     mtc1 TMP3, TOBIT
2244   |    li_vmstate INTERP
2245   |     li TISNIL, LJ_TNIL
2246   |  subu RC, RC, BASE
2247   |    st_vmstate
2248   |     cvt.d.s TOBIT, TOBIT
2249   |  ins_callt
2250 #endif
2251   |
2252   |->cont_ffi_callback:                 // Return from FFI callback.
2253 #if LJ_HASFFI
2254   |  load_got lj_ccallback_leave
2255   |  lw CTSTATE, DISPATCH_GL(ctype_state)(DISPATCH)
2256   |   sw BASE, L->base
2257   |   sw RB, L->top
2258   |  sw L, CTSTATE->L
2259   |  move CARG2, RA
2260   |  call_intern lj_ccallback_leave     // (CTState *cts, TValue *o)
2261   |.  move CARG1, CTSTATE
2262   |  lw CRET1, CTSTATE->cb.gpr[0]
2263   |   ldc1 FRET1, CTSTATE->cb.fpr[0]
2264   |  lw CRET2, CTSTATE->cb.gpr[1]
2265   |  b ->vm_leave_unw
2266   |.  ldc1 FRET2, CTSTATE->cb.fpr[1]
2267 #endif
2268   |
2269   |->vm_ffi_call:                       // Call C function via FFI.
2270   |  // Caveat: needs special frame unwinding, see below.
2271 #if LJ_HASFFI
2272   |  .type CCSTATE, CCallState, CARG1
2273   |  lw TMP1, CCSTATE->spadj
2274   |   lbu CARG2, CCSTATE->nsp
2275   |  move TMP2, sp
2276   |  subu sp, sp, TMP1
2277   |  sw ra, -4(TMP2)
2278   |   sll CARG2, CARG2, 2
2279   |  sw r16, -8(TMP2)
2280   |  sw CCSTATE, -12(TMP2)
2281   |  move r16, TMP2
2282   |  addiu TMP1, CCSTATE, offsetof(CCallState, stack)
2283   |  addiu TMP2, sp, 16
2284   |  beqz CARG2, >2
2285   |.  addu TMP3, TMP1, CARG2
2286   |1:
2287   |   lw TMP0, 0(TMP1)
2288   |  addiu TMP1, TMP1, 4
2289   |  sltu AT, TMP1, TMP3
2290   |   sw TMP0, 0(TMP2)
2291   |  bnez AT, <1
2292   |.  addiu TMP2, TMP2, 4
2293   |2:
2294   |  lw CFUNCADDR, CCSTATE->func
2295   |  lw CARG2, CCSTATE->gpr[1]
2296   |  lw CARG3, CCSTATE->gpr[2]
2297   |  lw CARG4, CCSTATE->gpr[3]
2298   |  ldc1 FARG1, CCSTATE->fpr[0]
2299   |  ldc1 FARG2, CCSTATE->fpr[1]
2300   |  jalr CFUNCADDR
2301   |.  lw CARG1, CCSTATE->gpr[0]         // Do this last, since CCSTATE is CARG1.
2302   |  lw CCSTATE:TMP1, -12(r16)
2303   |  lw TMP2, -8(r16)
2304   |  lw ra, -4(r16)
2305   |  sw CRET1, CCSTATE:TMP1->gpr[0]
2306   |  sw CRET2, CCSTATE:TMP1->gpr[1]
2307   |  sdc1 FRET1, CCSTATE:TMP1->fpr[0]
2308   |  sdc1 FRET2, CCSTATE:TMP1->fpr[1]
2309   |  move sp, r16
2310   |  jr ra
2311   |.  move r16, TMP2
2312 #endif
2313   |// Note: vm_ffi_call must be the last function in this object file!
2314   |
2315   |//-----------------------------------------------------------------------
2316 }
2317
2318 /* Generate the code for a single instruction. */
2319 static void build_ins(BuildCtx *ctx, BCOp op, int defop)
2320 {
2321   int vk = 0;
2322   |=>defop:
2323
2324   switch (op) {
2325
2326   /* -- Comparison ops ---------------------------------------------------- */
2327
2328   /* Remember: all ops branch for a true comparison, fall through otherwise. */
2329
2330   case BC_ISLT: case BC_ISGE: case BC_ISLE: case BC_ISGT:
2331     |  // RA = src1*8, RD = src2*8, JMP with RD = target
2332     |  addu CARG2, BASE, RA
2333     |   addu CARG3, BASE, RD
2334     |  lw TMP0, HI(CARG2)
2335     |   lw TMP1, HI(CARG3)
2336     |   ldc1 f0, 0(CARG2)
2337     |   ldc1 f2, 0(CARG3)
2338     |  sltiu TMP0, TMP0, LJ_TISNUM
2339     |   sltiu TMP1, TMP1, LJ_TISNUM
2340     |    lhu TMP2, OFS_RD(PC)
2341     |  and TMP0, TMP0, TMP1
2342     |    addiu PC, PC, 4
2343     |  beqz TMP0, ->vmeta_comp
2344     |.   lui TMP1, (-(BCBIAS_J*4 >> 16) & 65535)
2345     |    decode_RD4b TMP2
2346     |    addu TMP2, TMP2, TMP1
2347     if (op == BC_ISLT || op == BC_ISGE) {
2348       |  c.olt.d f0, f2
2349     } else {
2350       |  c.ole.d f0, f2
2351     }
2352     if (op == BC_ISLT || op == BC_ISLE) {
2353       |  movf TMP2, r0
2354     } else {
2355       |  movt TMP2, r0
2356     }
2357     |  addu PC, PC, TMP2
2358     |1:
2359     |  ins_next
2360     break;
2361
2362   case BC_ISEQV: case BC_ISNEV:
2363     vk = op == BC_ISEQV;
2364     |  // RA = src1*8, RD = src2*8, JMP with RD = target
2365     |  addu RA, BASE, RA
2366     |   addiu PC, PC, 4
2367     |  lw TMP0, HI(RA)
2368     |   ldc1 f0, 0(RA)
2369     |  addu RD, BASE, RD
2370     |    lhu TMP2, -4+OFS_RD(PC)
2371     |   lw TMP1, HI(RD)
2372     |   ldc1 f2, 0(RD)
2373     |    lui TMP3, (-(BCBIAS_J*4 >> 16) & 65535)
2374     |  sltiu AT, TMP0, LJ_TISNUM
2375     |  sltiu CARG1, TMP1, LJ_TISNUM
2376     |    decode_RD4b TMP2
2377     |  and AT, AT, CARG1
2378     |  beqz AT, >5
2379     |.   addu TMP2, TMP2, TMP3
2380     |  c.eq.d f0, f2
2381     if (vk) {
2382       |  movf TMP2, r0
2383     } else {
2384       |  movt TMP2, r0
2385     }
2386     |1:
2387     |  addu PC, PC, TMP2
2388     |  ins_next
2389     |5:  // Either or both types are not numbers.
2390     |  lw CARG2, LO(RA)
2391     |  lw CARG3, LO(RD)
2392     if (LJ_HASFFI) {
2393       |  li TMP3, LJ_TCDATA
2394       |  beq TMP0, TMP3, ->vmeta_equal_cd
2395     }
2396     |.  sltiu AT, TMP0, LJ_TISPRI               // Not a primitive?
2397     if (LJ_HASFFI) {
2398       |  beq TMP1, TMP3, ->vmeta_equal_cd
2399     }
2400     |.  xor TMP3, CARG2, CARG3                  // Same tv?
2401     |  xor TMP1, TMP1, TMP0                     // Same type?
2402     |  sltiu CARG1, TMP0, LJ_TISTABUD+1         // Table or userdata?
2403     |  movz TMP3, r0, AT                        // Ignore tv if primitive.
2404     |  movn CARG1, r0, TMP1                     // Tab/ud and same type?
2405     |  or AT, TMP1, TMP3                        // Same type && (pri||same tv).
2406     |  movz CARG1, r0, AT
2407     |  beqz CARG1, <1   // Done if not tab/ud or not same type or same tv.
2408     if (vk) {
2409       |.  movn TMP2, r0, AT
2410     } else {
2411       |.  movz TMP2, r0, AT
2412     }
2413     |  // Different tables or userdatas. Need to check __eq metamethod.
2414     |  // Field metatable must be at same offset for GCtab and GCudata!
2415     |  lw TAB:TMP1, TAB:CARG2->metatable
2416     |  beqz TAB:TMP1, <1                // No metatable?
2417     |.  nop
2418     |  lbu TMP1, TAB:TMP1->nomm
2419     |  andi TMP1, TMP1, 1<<MM_eq
2420     |  bnez TMP1, <1                    // Or 'no __eq' flag set?
2421     |.  nop
2422     |  b ->vmeta_equal                  // Handle __eq metamethod.
2423     |.  li CARG4, 1-vk                  // ne = 0 or 1.
2424     break;
2425
2426   case BC_ISEQS: case BC_ISNES:
2427     vk = op == BC_ISEQS;
2428     |  // RA = src*8, RD = str_const*8 (~), JMP with RD = target
2429     |  addu RA, BASE, RA
2430     |   addiu PC, PC, 4
2431     |  lw TMP0, HI(RA)
2432     |   srl RD, RD, 1
2433     |  lw STR:TMP3, LO(RA)
2434     |   subu RD, KBASE, RD
2435     |    lhu TMP2, -4+OFS_RD(PC)
2436     if (LJ_HASFFI) {
2437       |  li AT, LJ_TCDATA
2438       |  beq TMP0, AT, ->vmeta_equal_cd
2439     }
2440     |.  lw STR:TMP1, -4(RD)             // KBASE-4-str_const*4
2441     |  addiu TMP0, TMP0, -LJ_TSTR
2442     |   decode_RD4b TMP2
2443     |  xor TMP1, STR:TMP1, STR:TMP3
2444     |  or TMP0, TMP0, TMP1
2445     |   lui TMP3, (-(BCBIAS_J*4 >> 16) & 65535)
2446     |   addu TMP2, TMP2, TMP3
2447     if (vk) {
2448       |  movn TMP2, r0, TMP0
2449     } else {
2450       |  movz TMP2, r0, TMP0
2451     }
2452     |  addu PC, PC, TMP2
2453     |  ins_next
2454     break;
2455
2456   case BC_ISEQN: case BC_ISNEN:
2457     vk = op == BC_ISEQN;
2458     |  // RA = src*8, RD = num_const*8, JMP with RD = target
2459     |  addu RA, BASE, RA
2460     |   addiu PC, PC, 4
2461     |  lw TMP0, HI(RA)
2462     |   ldc1 f0, 0(RA)
2463     |  addu RD, KBASE, RD
2464     |    lhu TMP2, -4+OFS_RD(PC)
2465     |   ldc1 f2, 0(RD)
2466     |    lui TMP3, (-(BCBIAS_J*4 >> 16) & 65535)
2467     |  sltiu AT, TMP0, LJ_TISNUM
2468     |    decode_RD4b TMP2
2469     if (LJ_HASFFI) {
2470       |  beqz AT, >5
2471     } else {
2472       |  beqz AT, >1
2473     }
2474     |.   addu TMP2, TMP2, TMP3
2475     |   c.eq.d f0, f2
2476     if (vk) {
2477       |  movf TMP2, r0
2478       |  addu PC, PC, TMP2
2479       |1:
2480     } else {
2481       |  movt TMP2, r0
2482       |1:
2483       |  addu PC, PC, TMP2
2484     }
2485     |  ins_next
2486     if (LJ_HASFFI) {
2487       |5:
2488       |  li AT, LJ_TCDATA
2489       |  beq TMP0, AT, ->vmeta_equal_cd
2490       |.  nop
2491       |  b <1
2492       |.  nop
2493     }
2494     break;
2495
2496   case BC_ISEQP: case BC_ISNEP:
2497     vk = op == BC_ISEQP;
2498     |  // RA = src*8, RD = primitive_type*8 (~), JMP with RD = target
2499     |  addu RA, BASE, RA
2500     |   srl TMP1, RD, 3
2501     |  lw TMP0, HI(RA)
2502     |    lhu TMP2, OFS_RD(PC)
2503     |   not TMP1, TMP1
2504     |    addiu PC, PC, 4
2505     if (LJ_HASFFI) {
2506       |  li AT, LJ_TCDATA
2507       |  beq TMP0, AT, ->vmeta_equal_cd
2508     }
2509     |.  xor TMP0, TMP0, TMP1
2510     |  decode_RD4b TMP2
2511     |  lui TMP3, (-(BCBIAS_J*4 >> 16) & 65535)
2512     |  addu TMP2, TMP2, TMP3
2513     if (vk) {
2514       |  movn TMP2, r0, TMP0
2515     } else {
2516       |  movz TMP2, r0, TMP0
2517     }
2518     |  addu PC, PC, TMP2
2519     |  ins_next
2520     break;
2521
2522   /* -- Unary test and copy ops ------------------------------------------- */
2523
2524   case BC_ISTC: case BC_ISFC: case BC_IST: case BC_ISF:
2525     |  // RA = dst*8 or unused, RD = src*8, JMP with RD = target
2526     |  addu RD, BASE, RD
2527     |   lhu TMP2, OFS_RD(PC)
2528     |  lw TMP0, HI(RD)
2529     |   addiu PC, PC, 4
2530     if (op == BC_IST || op == BC_ISF) {
2531       |  sltiu TMP0, TMP0, LJ_TISTRUECOND
2532       |   decode_RD4b TMP2
2533       |   lui TMP3, (-(BCBIAS_J*4 >> 16) & 65535)
2534       |   addu TMP2, TMP2, TMP3
2535       if (op == BC_IST) {
2536         |  movz TMP2, r0, TMP0
2537       } else {
2538         |  movn TMP2, r0, TMP0
2539       }
2540       |  addu PC, PC, TMP2
2541     } else {
2542       |  sltiu TMP0, TMP0, LJ_TISTRUECOND
2543       |  ldc1 f0, 0(RD)
2544       if (op == BC_ISTC) {
2545         |  beqz TMP0, >1
2546       } else {
2547         |  bnez TMP0, >1
2548       }
2549       |.  addu RA, BASE, RA
2550       |   decode_RD4b TMP2
2551       |   lui TMP3, (-(BCBIAS_J*4 >> 16) & 65535)
2552       |   addu TMP2, TMP2, TMP3
2553       |  sdc1 f0, 0(RA)
2554       |   addu PC, PC, TMP2
2555       |1:
2556     }
2557     |  ins_next
2558     break;
2559
2560   /* -- Unary ops --------------------------------------------------------- */
2561
2562   case BC_MOV:
2563     |  // RA = dst*8, RD = src*8
2564     |  addu RD, BASE, RD
2565     |  addu RA, BASE, RA
2566     |  ldc1 f0, 0(RD)
2567     |  ins_next1
2568     |  sdc1 f0, 0(RA)
2569     |  ins_next2
2570     break;
2571   case BC_NOT:
2572     |  // RA = dst*8, RD = src*8
2573     |  addu RD, BASE, RD
2574     |   addu RA, BASE, RA
2575     |  lw TMP0, HI(RD)
2576     |   li TMP1, LJ_TFALSE
2577     |  sltiu TMP0, TMP0, LJ_TISTRUECOND
2578     |  addiu TMP1, TMP0, LJ_TTRUE
2579     |  ins_next1
2580     |  sw TMP1, HI(RA)
2581     |  ins_next2
2582     break;
2583   case BC_UNM:
2584     |  // RA = dst*8, RD = src*8
2585     |  addu CARG3, BASE, RD
2586     |   addu RA, BASE, RA
2587     |  lw TMP0, HI(CARG3)
2588     |   ldc1 f0, 0(CARG3)
2589     |  sltiu AT, TMP0, LJ_TISNUM
2590     |  beqz AT, ->vmeta_unm
2591     |.  neg.d f0, f0
2592     |  ins_next1
2593     |   sdc1 f0, 0(RA)
2594     |  ins_next2
2595     break;
2596   case BC_LEN:
2597     |  // RA = dst*8, RD = src*8
2598     |  addu CARG2, BASE, RD
2599     |   addu RA, BASE, RA
2600     |  lw TMP0, HI(CARG2)
2601     |   lw CARG1, LO(CARG2)
2602     |  li AT, LJ_TSTR
2603     |  bne TMP0, AT, >2
2604     |.  li AT, LJ_TTAB
2605     |  lw CRET1, STR:CARG1->len
2606     |1:
2607     |  mtc1 CRET1, f0
2608     |  cvt.d.w f0, f0
2609     |  ins_next1
2610     |  sdc1 f0, 0(RA)
2611     |  ins_next2
2612     |2:
2613     |  bne TMP0, AT, ->vmeta_len
2614     |.  nop
2615 #ifdef LUAJIT_ENABLE_LUA52COMPAT
2616     |  lw TAB:TMP2, TAB:CARG1->metatable
2617     |  bnez TAB:TMP2, >9
2618     |.  nop
2619     |3:
2620 #endif
2621     |->BC_LEN_Z:
2622     |  load_got lj_tab_len
2623     |  call_intern lj_tab_len           // (GCtab *t)
2624     |.  nop
2625     |  // Returns uint32_t (but less than 2^31).
2626     |  b <1
2627     |.  nop
2628 #ifdef LUAJIT_ENABLE_LUA52COMPAT
2629     |9:
2630     |  lbu TMP0, TAB:TMP2->nomm
2631     |  andi TMP0, TMP0, 1<<MM_len
2632     |  bnez TMP0, <3                    // 'no __len' flag set: done.
2633     |.  nop
2634     |  b ->vmeta_len
2635     |.  nop
2636 #endif
2637     break;
2638
2639   /* -- Binary ops -------------------------------------------------------- */
2640
2641     |.macro ins_arithpre
2642     ||vk = ((int)op - BC_ADDVN) / (BC_ADDNV-BC_ADDVN);
2643     |  decode_RB8a RB, INS
2644     |  decode_RB8b RB
2645     |   decode_RDtoRC8 RC, RD
2646     |  // RA = dst*8, RB = src1*8, RC = src2*8 | num_const*8
2647     ||switch (vk) {
2648     ||case 0:
2649     |   addu CARG3, BASE, RB
2650     |    addu CARG4, KBASE, RC
2651     |   lw TMP1, HI(CARG3)
2652     |   ldc1 f20, 0(CARG3)
2653     |    ldc1 f22, 0(CARG4)
2654     |   sltiu AT, TMP1, LJ_TISNUM
2655     ||  break;
2656     ||case 1:
2657     |   addu CARG4, BASE, RB
2658     |    addu CARG3, KBASE, RC
2659     |   lw TMP1, HI(CARG4)
2660     |   ldc1 f22, 0(CARG4)
2661     |    ldc1 f20, 0(CARG3)
2662     |   sltiu AT, TMP1, LJ_TISNUM
2663     ||  break;
2664     ||default:
2665     |   addu CARG3, BASE, RB
2666     |    addu CARG4, BASE, RC
2667     |   lw TMP1, HI(CARG3)
2668     |    lw TMP2, HI(CARG4)
2669     |   ldc1 f20, 0(CARG3)
2670     |    ldc1 f22, 0(CARG4)
2671     |   sltiu AT, TMP1, LJ_TISNUM
2672     |   sltiu TMP0, TMP2, LJ_TISNUM
2673     |   and AT, AT, TMP0
2674     ||  break;
2675     ||}
2676     |  beqz AT, ->vmeta_arith
2677     |.  addu RA, BASE, RA
2678     |.endmacro
2679     |
2680     |.macro fpmod, a, b, c
2681     |->BC_MODVN_Z:
2682     |  bal ->vm_floor                   // floor(b/c)
2683     |.  div.d FARG1, b, c
2684     |  mul.d a, FRET1, c
2685     |  sub.d a, b, a                    // b - floor(b/c)*c
2686     |.endmacro
2687     |
2688     |.macro ins_arith, ins
2689     |  ins_arithpre
2690     |.if "ins" == "fpmod_"
2691     |  b ->BC_MODVN_Z                   // Avoid 3 copies. It's slow anyway.
2692     |.  nop
2693     |.else
2694     |  ins f0, f20, f22
2695     |  ins_next1
2696     |  sdc1 f0, 0(RA)
2697     |  ins_next2
2698     |.endif
2699     |.endmacro
2700
2701   case BC_ADDVN: case BC_ADDNV: case BC_ADDVV:
2702     |  ins_arith add.d
2703     break;
2704   case BC_SUBVN: case BC_SUBNV: case BC_SUBVV:
2705     |  ins_arith sub.d
2706     break;
2707   case BC_MULVN: case BC_MULNV: case BC_MULVV:
2708     |  ins_arith mul.d
2709     break;
2710   case BC_DIVVN: case BC_DIVNV: case BC_DIVVV:
2711     |  ins_arith div.d
2712     break;
2713   case BC_MODVN:
2714     |  ins_arith fpmod
2715     break;
2716   case BC_MODNV: case BC_MODVV:
2717     |  ins_arith fpmod_
2718     break;
2719   case BC_POW:
2720     |  decode_RB8a RB, INS
2721     |  decode_RB8b RB
2722     |   decode_RDtoRC8 RC, RD
2723     |  addu CARG3, BASE, RB
2724     |   addu CARG4, BASE, RC
2725     |  lw TMP1, HI(CARG3)
2726     |   lw TMP2, HI(CARG4)
2727     |  ldc1 FARG1, 0(CARG3)
2728     |   ldc1 FARG2, 0(CARG4)
2729     |  sltiu AT, TMP1, LJ_TISNUM
2730     |  sltiu TMP0, TMP2, LJ_TISNUM
2731     |  and AT, AT, TMP0
2732     |  load_got pow
2733     |  beqz AT, ->vmeta_arith
2734     |.  addu RA, BASE, RA
2735     |  call_extern
2736     |.  nop
2737     |  ins_next1
2738     |  sdc1 FRET1, 0(RA)
2739     |  ins_next2
2740     break;
2741
2742   case BC_CAT:
2743     |  // RA = dst*8, RB = src_start*8, RC = src_end*8
2744     |  decode_RB8a RB, INS
2745     |  decode_RB8b RB
2746     |   decode_RDtoRC8 RC, RD
2747     |  subu CARG3, RC, RB
2748     |   sw BASE, L->base
2749     |  addu CARG2, BASE, RC
2750     |  move MULTRES, RB
2751     |->BC_CAT_Z:
2752     |  load_got lj_meta_cat
2753     |  srl CARG3, CARG3, 3
2754     |   sw PC, SAVE_PC
2755     |  call_intern lj_meta_cat          // (lua_State *L, TValue *top, int left)
2756     |.  move CARG1, L
2757     |  // Returns NULL (finished) or TValue * (metamethod).
2758     |  bnez CRET1, ->vmeta_binop
2759     |.  lw BASE, L->base
2760     |  addu RB, BASE, MULTRES
2761     |  ldc1 f0, 0(RB)
2762     |   addu RA, BASE, RA
2763     |  ins_next1
2764     |   sdc1 f0, 0(RA)                  // Copy result from RB to RA.
2765     |  ins_next2
2766     break;
2767
2768   /* -- Constant ops ------------------------------------------------------ */
2769
2770   case BC_KSTR:
2771     |  // RA = dst*8, RD = str_const*8 (~)
2772     |  srl TMP1, RD, 1
2773     |  subu TMP1, KBASE, TMP1
2774     |  ins_next1
2775     |  lw TMP0, -4(TMP1)                // KBASE-4-str_const*4
2776     |  addu RA, BASE, RA
2777     |   li TMP2, LJ_TSTR
2778     |  sw TMP0, LO(RA)
2779     |   sw TMP2, HI(RA)
2780     |  ins_next2
2781     break;
2782   case BC_KCDATA:
2783 #if LJ_HASFFI
2784     |  // RA = dst*8, RD = cdata_const*8 (~)
2785     |  srl TMP1, RD, 1
2786     |  subu TMP1, KBASE, TMP1
2787     |  ins_next1
2788     |  lw TMP0, -4(TMP1)                // KBASE-4-cdata_const*4
2789     |  addu RA, BASE, RA
2790     |   li TMP2, LJ_TCDATA
2791     |  sw TMP0, LO(RA)
2792     |   sw TMP2, HI(RA)
2793     |  ins_next2
2794 #endif
2795     break;
2796   case BC_KSHORT:
2797     |  // RA = dst*8, RD = int16_literal*8
2798     |  sra RD, INS, 16
2799     |  mtc1 RD, f0
2800     |  addu RA, BASE, RA
2801     |  cvt.d.w f0, f0
2802     |  ins_next1
2803     |  sdc1 f0, 0(RA)
2804     |  ins_next2
2805     break;
2806   case BC_KNUM:
2807     |  // RA = dst*8, RD = num_const*8
2808     |  addu RD, KBASE, RD
2809     |   addu RA, BASE, RA
2810     |  ldc1 f0, 0(RD)
2811     |  ins_next1
2812     |   sdc1 f0, 0(RA)
2813     |  ins_next2
2814     break;
2815   case BC_KPRI:
2816     |  // RA = dst*8, RD = primitive_type*8 (~)
2817     |  srl TMP1, RD, 3
2818     |   addu RA, BASE, RA
2819     |  not TMP0, TMP1
2820     |  ins_next1
2821     |   sw TMP0, HI(RA)
2822     |  ins_next2
2823     break;
2824   case BC_KNIL:
2825     |  // RA = base*8, RD = end*8
2826     |  addu RA, BASE, RA
2827     |  sw TISNIL, HI(RA)
2828     |   addiu RA, RA, 8
2829     |  addu RD, BASE, RD
2830     |1:
2831     |  sw TISNIL, HI(RA)
2832     |  slt AT, RA, RD
2833     |  bnez AT, <1
2834     |.  addiu RA, RA, 8
2835     |  ins_next_
2836     break;
2837
2838   /* -- Upvalue and function ops ------------------------------------------ */
2839
2840   case BC_UGET:
2841     |  // RA = dst*8, RD = uvnum*8
2842     |  lw LFUNC:RB, FRAME_FUNC(BASE)
2843     |   srl RD, RD, 1
2844     |   addu RD, RD, LFUNC:RB
2845     |  lw UPVAL:RB, LFUNC:RD->uvptr
2846     |  ins_next1
2847     |  lw TMP1, UPVAL:RB->v
2848     |  ldc1 f0, 0(TMP1)
2849     |  addu RA, BASE, RA
2850     |  sdc1 f0, 0(RA)
2851     |  ins_next2
2852     break;
2853   case BC_USETV:
2854     |  // RA = uvnum*8, RD = src*8
2855     |  lw LFUNC:RB, FRAME_FUNC(BASE)
2856     |    srl RA, RA, 1
2857     |   addu RD, BASE, RD
2858     |    addu RA, RA, LFUNC:RB
2859     |   ldc1 f0, 0(RD)
2860     |  lw UPVAL:RB, LFUNC:RA->uvptr
2861     |  lbu TMP3, UPVAL:RB->marked
2862     |   lw CARG2, UPVAL:RB->v
2863     |  andi TMP3, TMP3, LJ_GC_BLACK     // isblack(uv)
2864     |  lbu TMP0, UPVAL:RB->closed
2865     |   lw TMP2, HI(RD)
2866     |   sdc1 f0, 0(CARG2)
2867     |  li AT, LJ_GC_BLACK|1
2868     |  or TMP3, TMP3, TMP0
2869     |  beq TMP3, AT, >2                 // Upvalue is closed and black?
2870     |.  addiu TMP2, TMP2, -(LJ_TISNUM+1)
2871     |1:
2872     |  ins_next
2873     |
2874     |2:  // Check if new value is collectable.
2875     |  sltiu AT, TMP2, LJ_TISGCV - (LJ_TISNUM+1)
2876     |  beqz AT, <1                      // tvisgcv(v)
2877     |.  lw TMP1, LO(RD)
2878     |  lbu TMP3, GCOBJ:TMP1->gch.marked
2879     |  andi TMP3, TMP3, LJ_GC_WHITES    // iswhite(v)
2880     |  beqz TMP3, <1
2881     |.  load_got lj_gc_barrieruv
2882     |  // Crossed a write barrier. Move the barrier forward.
2883     |  call_intern lj_gc_barrieruv      // (global_State *g, TValue *tv)
2884     |.  addiu CARG1, DISPATCH, GG_DISP2G
2885     |  b <1
2886     |.  nop
2887     break;
2888   case BC_USETS:
2889     |  // RA = uvnum*8, RD = str_const*8 (~)
2890     |  lw LFUNC:RB, FRAME_FUNC(BASE)
2891     |    srl RA, RA, 1
2892     |   srl TMP1, RD, 1
2893     |    addu RA, RA, LFUNC:RB
2894     |   subu TMP1, KBASE, TMP1
2895     |  lw UPVAL:RB, LFUNC:RA->uvptr
2896     |   lw STR:TMP1, -4(TMP1)           // KBASE-4-str_const*4
2897     |  lbu TMP2, UPVAL:RB->marked
2898     |   lw CARG2, UPVAL:RB->v
2899     |   lbu TMP3, STR:TMP1->marked
2900     |  andi AT, TMP2, LJ_GC_BLACK       // isblack(uv)
2901     |   lbu TMP2, UPVAL:RB->closed
2902     |   li TMP0, LJ_TSTR
2903     |   sw STR:TMP1, LO(CARG2)
2904     |  bnez AT, >2
2905     |.  sw TMP0, HI(CARG2)
2906     |1:
2907     |  ins_next
2908     |
2909     |2:  // Check if string is white and ensure upvalue is closed.
2910     |  beqz TMP2, <1
2911     |.  andi AT, TMP3, LJ_GC_WHITES     // iswhite(str)
2912     |  beqz AT, <1
2913     |.  load_got lj_gc_barrieruv
2914     |  // Crossed a write barrier. Move the barrier forward.
2915     |  call_intern lj_gc_barrieruv      // (global_State *g, TValue *tv)
2916     |.  addiu CARG1, DISPATCH, GG_DISP2G
2917     |  b <1
2918     |.  nop
2919     break;
2920   case BC_USETN:
2921     |  // RA = uvnum*8, RD = num_const*8
2922     |  lw LFUNC:RB, FRAME_FUNC(BASE)
2923     |   srl RA, RA, 1
2924     |    addu RD, KBASE, RD
2925     |   addu RA, RA, LFUNC:RB
2926     |    ldc1 f0, 0(RD)
2927     |  lw UPVAL:RB, LFUNC:RA->uvptr
2928     |  ins_next1
2929     |  lw TMP1, UPVAL:RB->v
2930     |  sdc1 f0, 0(TMP1)
2931     |  ins_next2
2932     break;
2933   case BC_USETP:
2934     |  // RA = uvnum*8, RD = primitive_type*8 (~)
2935     |  lw LFUNC:RB, FRAME_FUNC(BASE)
2936     |   srl RA, RA, 1
2937     |    srl TMP0, RD, 3
2938     |   addu RA, RA, LFUNC:RB
2939     |    not TMP0, TMP0
2940     |  lw UPVAL:RB, LFUNC:RA->uvptr
2941     |  ins_next1
2942     |  lw TMP1, UPVAL:RB->v
2943     |  sw TMP0, HI(TMP1)
2944     |  ins_next2
2945     break;
2946
2947   case BC_UCLO:
2948     |  // RA = level*8, RD = target
2949     |  lw TMP2, L->openupval
2950     |  branch_RD                        // Do this first since RD is not saved.
2951     |  load_got lj_func_closeuv
2952     |   sw BASE, L->base
2953     |  beqz TMP2, >1
2954     |.  move CARG1, L
2955     |  call_intern lj_func_closeuv      // (lua_State *L, TValue *level)
2956     |.  addu CARG2, BASE, RA
2957     |  lw BASE, L->base
2958     |1:
2959     |  ins_next
2960     break;
2961
2962   case BC_FNEW:
2963     |  // RA = dst*8, RD = proto_const*8 (~) (holding function prototype)
2964     |  srl TMP1, RD, 1
2965     |  load_got lj_func_newL_gc
2966     |  subu TMP1, KBASE, TMP1
2967     |  lw CARG3, FRAME_FUNC(BASE)
2968     |  lw CARG2, -4(TMP1)               // KBASE-4-tab_const*4
2969     |   sw BASE, L->base
2970     |   sw PC, SAVE_PC
2971     |  // (lua_State *L, GCproto *pt, GCfuncL *parent)
2972     |  call_intern lj_func_newL_gc
2973     |.  move CARG1, L
2974     |  // Returns GCfuncL *.
2975     |  lw BASE, L->base
2976     |   li TMP0, LJ_TFUNC
2977     |  ins_next1
2978     |  addu RA, BASE, RA
2979     |  sw TMP0, HI(RA)
2980     |  sw LFUNC:CRET1, LO(RA)
2981     |  ins_next2
2982     break;
2983
2984   /* -- Table ops --------------------------------------------------------- */
2985
2986   case BC_TNEW:
2987   case BC_TDUP:
2988     |  // RA = dst*8, RD = (hbits|asize)*8 | tab_const*8 (~)
2989     |  lw TMP0, DISPATCH_GL(gc.total)(DISPATCH)
2990     |  lw TMP1, DISPATCH_GL(gc.threshold)(DISPATCH)
2991     |   sw BASE, L->base
2992     |   sw PC, SAVE_PC
2993     |  sltu AT, TMP0, TMP1
2994     |  beqz AT, >5
2995     |1:
2996     if (op == BC_TNEW) {
2997       |  load_got lj_tab_new
2998       |  srl CARG2, RD, 3
2999       |  andi CARG2, CARG2, 0x7ff
3000       |  li TMP0, 0x801
3001       |  addiu AT, CARG2, -0x7ff
3002       |   srl CARG3, RD, 14
3003       |  movz CARG2, TMP0, AT
3004       |  // (lua_State *L, int32_t asize, uint32_t hbits)
3005       |  call_intern lj_tab_new
3006       |.  move CARG1, L
3007       |  // Returns Table *.
3008     } else {
3009       |  load_got lj_tab_dup
3010       |  srl TMP1, RD, 1
3011       |  subu TMP1, KBASE, TMP1
3012       |  move CARG1, L
3013       |  call_intern lj_tab_dup         // (lua_State *L, Table *kt)
3014       |.  lw CARG2, -4(TMP1)            // KBASE-4-str_const*4
3015       |  // Returns Table *.
3016     }
3017     |  lw BASE, L->base
3018     |  ins_next1
3019     |  addu RA, BASE, RA
3020     |   li TMP0, LJ_TTAB
3021     |  sw TAB:CRET1, LO(RA)
3022     |   sw TMP0, HI(RA)
3023     |  ins_next2
3024     |5:
3025     |  load_got lj_gc_step_fixtop
3026     |  move MULTRES, RD
3027     |  call_intern lj_gc_step_fixtop    // (lua_State *L)
3028     |.  move CARG1, L
3029     |  b <1
3030     |.  move RD, MULTRES
3031     break;
3032
3033   case BC_GGET:
3034     |  // RA = dst*8, RD = str_const*8 (~)
3035   case BC_GSET:
3036     |  // RA = src*8, RD = str_const*8 (~)
3037     |  lw LFUNC:TMP2, FRAME_FUNC(BASE)
3038     |   srl TMP1, RD, 1
3039     |   subu TMP1, KBASE, TMP1
3040     |  lw TAB:RB, LFUNC:TMP2->env
3041     |  lw STR:RC, -4(TMP1)              // KBASE-4-str_const*4
3042     if (op == BC_GGET) {
3043       |  b ->BC_TGETS_Z
3044     } else {
3045       |  b ->BC_TSETS_Z
3046     }
3047     |.  addu RA, BASE, RA
3048     break;
3049
3050   case BC_TGETV:
3051     |  // RA = dst*8, RB = table*8, RC = key*8
3052     |  decode_RB8a RB, INS
3053     |  decode_RB8b RB
3054     |   decode_RDtoRC8 RC, RD
3055     |  addu CARG2, BASE, RB
3056     |   addu CARG3, BASE, RC
3057     |  lw TMP1, HI(CARG2)
3058     |   lw TMP2, HI(CARG3)
3059     |    lw TAB:RB, LO(CARG2)
3060     |  li AT, LJ_TTAB
3061     |   ldc1 f0, 0(CARG3)
3062     |  bne TMP1, AT, ->vmeta_tgetv
3063     |.  addu RA, BASE, RA
3064     |  sltiu AT, TMP2, LJ_TISNUM
3065     |  beqz AT, >5
3066     |.  li AT, LJ_TSTR
3067     |
3068     |  // Convert number key to integer, check for integerness and range.
3069     |  cvt.w.d f2, f0
3070     |   lw TMP0, TAB:RB->asize
3071     |  mfc1 TMP2, f2
3072     |  cvt.d.w f4, f2
3073     |   lw TMP1, TAB:RB->array
3074     |  c.eq.d f0, f4
3075     |  sltu AT, TMP2, TMP0
3076     |  movf AT, r0
3077     |   sll TMP2, TMP2, 3
3078     |  beqz AT, ->vmeta_tgetv           // Integer key and in array part?
3079     |.  addu TMP2, TMP1, TMP2
3080     |  lw TMP0, HI(TMP2)
3081     |  beq TMP0, TISNIL, >2
3082     |.  ldc1 f0, 0(TMP2)
3083     |1:
3084     |  ins_next1
3085     |   sdc1 f0, 0(RA)
3086     |  ins_next2
3087     |
3088     |2:  // Check for __index if table value is nil.
3089     |  lw TAB:TMP2, TAB:RB->metatable
3090     |  beqz TAB:TMP2, <1                // No metatable: done.
3091     |.  nop
3092     |  lbu TMP0, TAB:TMP2->nomm
3093     |  andi TMP0, TMP0, 1<<MM_index
3094     |  bnez TMP0, <1                    // 'no __index' flag set: done.
3095     |.  nop
3096     |  b ->vmeta_tgetv
3097     |.  nop
3098     |
3099     |5:
3100     |  bne TMP2, AT, ->vmeta_tgetv
3101     |.  lw STR:RC, LO(CARG3)
3102     |  b ->BC_TGETS_Z                   // String key?
3103     |.  nop
3104     break;
3105   case BC_TGETS:
3106     |  // RA = dst*8, RB = table*8, RC = str_const*4 (~)
3107     |  decode_RB8a RB, INS
3108     |  decode_RB8b RB
3109     |  addu CARG2, BASE, RB
3110     |   decode_RC4a RC, INS
3111     |  lw TMP0, HI(CARG2)
3112     |   decode_RC4b RC
3113     |  li AT, LJ_TTAB
3114     |   lw TAB:RB, LO(CARG2)
3115     |   subu CARG3, KBASE, RC
3116     |   lw STR:RC, -4(CARG3)            // KBASE-4-str_const*4
3117     |  bne TMP0, AT, ->vmeta_tgets1
3118     |.  addu RA, BASE, RA
3119     |->BC_TGETS_Z:
3120     |  // TAB:RB = GCtab *, STR:RC = GCstr *, RA = dst*8
3121     |  lw TMP0, TAB:RB->hmask
3122     |  lw TMP1, STR:RC->hash
3123     |  lw NODE:TMP2, TAB:RB->node
3124     |  and TMP1, TMP1, TMP0             // idx = str->hash & tab->hmask
3125     |  sll TMP0, TMP1, 5
3126     |  sll TMP1, TMP1, 3
3127     |  subu TMP1, TMP0, TMP1
3128     |  addu NODE:TMP2, NODE:TMP2, TMP1  // node = tab->node + (idx*32-idx*8)
3129     |1:
3130     |  lw CARG1, offsetof(Node, key)+HI(NODE:TMP2)
3131     |   lw TMP0, offsetof(Node, key)+LO(NODE:TMP2)
3132     |    lw NODE:TMP1, NODE:TMP2->next
3133     |    lw CARG2, offsetof(Node, val)+HI(NODE:TMP2)
3134     |  addiu CARG1, CARG1, -LJ_TSTR
3135     |   xor TMP0, TMP0, STR:RC
3136     |  or AT, CARG1, TMP0
3137     |  bnez AT, >4
3138     |.  lw TAB:TMP3, TAB:RB->metatable
3139     |    beq CARG2, TISNIL, >5          // Key found, but nil value?
3140     |.    lw CARG1, offsetof(Node, val)+LO(NODE:TMP2)
3141     |3:
3142     |  ins_next1
3143     |    sw CARG2, HI(RA)
3144     |     sw CARG1, LO(RA)
3145     |  ins_next2
3146     |
3147     |4:  // Follow hash chain.
3148     |  bnez NODE:TMP1, <1
3149     |.  move NODE:TMP2, NODE:TMP1
3150     |  // End of hash chain: key not found, nil result.
3151     |
3152     |5:  // Check for __index if table value is nil.
3153     |  beqz TAB:TMP3, <3                // No metatable: done.
3154     |.  li CARG2, LJ_TNIL
3155     |  lbu TMP0, TAB:TMP3->nomm
3156     |  andi TMP0, TMP0, 1<<MM_index
3157     |  bnez TMP0, <3                    // 'no __index' flag set: done.
3158     |.  nop
3159     |  b ->vmeta_tgets
3160     |.  nop
3161     break;
3162   case BC_TGETB:
3163     |  // RA = dst*8, RB = table*8, RC = index*8
3164     |  decode_RB8a RB, INS
3165     |  decode_RB8b RB
3166     |  addu CARG2, BASE, RB
3167     |   decode_RDtoRC8 RC, RD
3168     |  lw CARG1, HI(CARG2)
3169     |  li AT, LJ_TTAB
3170     |   lw TAB:RB, LO(CARG2)
3171     |   addu RA, BASE, RA
3172     |  bne CARG1, AT, ->vmeta_tgetb
3173     |.  srl TMP0, RC, 3
3174     |  lw TMP1, TAB:RB->asize
3175     |   lw TMP2, TAB:RB->array
3176     |  sltu AT, TMP0, TMP1
3177     |  beqz AT, ->vmeta_tgetb
3178     |.  addu RC, TMP2, RC
3179     |  lw TMP1, HI(RC)
3180     |  beq TMP1, TISNIL, >5
3181     |.  ldc1 f0, 0(RC)
3182     |1:
3183     |  ins_next1
3184     |   sdc1 f0, 0(RA)
3185     |  ins_next2
3186     |
3187     |5:  // Check for __index if table value is nil.
3188     |  lw TAB:TMP2, TAB:RB->metatable
3189     |  beqz TAB:TMP2, <1                // No metatable: done.
3190     |.  nop
3191     |  lbu TMP1, TAB:TMP2->nomm
3192     |  andi TMP1, TMP1, 1<<MM_index
3193     |  bnez TMP1, <1                    // 'no __index' flag set: done.
3194     |.  nop
3195     |  b ->vmeta_tgetb                  // Caveat: preserve TMP0!
3196     |.  nop
3197     break;
3198
3199   case BC_TSETV:
3200     |  // RA = src*8, RB = table*8, RC = key*8
3201     |  decode_RB8a RB, INS
3202     |  decode_RB8b RB
3203     |   decode_RDtoRC8 RC, RD
3204     |  addu CARG2, BASE, RB
3205     |   addu CARG3, BASE, RC
3206     |  lw TMP1, HI(CARG2)
3207     |   lw TMP2, HI(CARG3)
3208     |    lw TAB:RB, LO(CARG2)
3209     |  li AT, LJ_TTAB
3210     |   ldc1 f0, 0(CARG3)
3211     |  bne TMP1, AT, ->vmeta_tsetv
3212     |.  addu RA, BASE, RA
3213     |  sltiu AT, TMP2, LJ_TISNUM
3214     |  beqz AT, >5
3215     |.  li AT, LJ_TSTR
3216     |
3217     |  // Convert number key to integer, check for integerness and range.
3218     |  cvt.w.d f2, f0
3219     |   lw TMP0, TAB:RB->asize
3220     |  mfc1 TMP2, f2
3221     |  cvt.d.w f4, f2
3222     |   lw TMP1, TAB:RB->array
3223     |  c.eq.d f0, f4
3224     |  sltu AT, TMP2, TMP0
3225     |  movf AT, r0
3226     |   sll TMP2, TMP2, 3
3227     |  beqz AT, ->vmeta_tsetv           // Integer key and in array part?
3228     |.  addu TMP1, TMP1, TMP2
3229     |   lbu TMP3, TAB:RB->marked
3230     |  lw TMP0, HI(TMP1)
3231     |  beq TMP0, TISNIL, >3
3232     |.  ldc1 f0, 0(RA)
3233     |1:
3234     |   andi AT, TMP3, LJ_GC_BLACK      // isblack(table)
3235     |   bnez AT, >7
3236     |.  sdc1 f0, 0(TMP1)
3237     |2:
3238     |  ins_next
3239     |
3240     |3:  // Check for __newindex if previous value is nil.
3241     |  lw TAB:TMP2, TAB:RB->metatable
3242     |  beqz TAB:TMP2, <1                // No metatable: done.
3243     |.  nop
3244     |  lbu TMP2, TAB:TMP2->nomm
3245     |  andi TMP2, TMP2, 1<<MM_newindex
3246     |  bnez TMP2, <1                    // 'no __newindex' flag set: done.
3247     |.  nop
3248     |  b ->vmeta_tsetv
3249     |.  nop
3250     |
3251     |5:
3252     |  bne TMP2, AT, ->vmeta_tsetv
3253     |.  lw STR:RC, LO(CARG3)
3254     |  b ->BC_TSETS_Z                   // String key?
3255     |.  nop
3256     |
3257     |7:  // Possible table write barrier for the value. Skip valiswhite check.
3258     |  barrierback TAB:RB, TMP3, TMP0, <2
3259     break;
3260   case BC_TSETS:
3261     |  // RA = src*8, RB = table*8, RC = str_const*8 (~)
3262     |  decode_RB8a RB, INS
3263     |  decode_RB8b RB
3264     |  addu CARG2, BASE, RB
3265     |   decode_RC4a RC, INS
3266     |  lw TMP0, HI(CARG2)
3267     |   decode_RC4b RC
3268     |  li AT, LJ_TTAB
3269     |   subu CARG3, KBASE, RC
3270     |    lw TAB:RB, LO(CARG2)
3271     |   lw STR:RC, -4(CARG3)            // KBASE-4-str_const*4
3272     |  bne TMP0, AT, ->vmeta_tsets1
3273     |.  addu RA, BASE, RA
3274     |->BC_TSETS_Z:
3275     |  // TAB:RB = GCtab *, STR:RC = GCstr *, RA = BASE+src*8
3276     |  lw TMP0, TAB:RB->hmask
3277     |  lw TMP1, STR:RC->hash
3278     |  lw NODE:TMP2, TAB:RB->node
3279     |   sb r0, TAB:RB->nomm             // Clear metamethod cache.
3280     |  and TMP1, TMP1, TMP0             // idx = str->hash & tab->hmask
3281     |  sll TMP0, TMP1, 5
3282     |  sll TMP1, TMP1, 3
3283     |  subu TMP1, TMP0, TMP1
3284     |  addu NODE:TMP2, NODE:TMP2, TMP1  // node = tab->node + (idx*32-idx*8)
3285     |   ldc1 f20, 0(RA)
3286     |1:
3287     |  lw CARG1, offsetof(Node, key)+HI(NODE:TMP2)
3288     |   lw TMP0, offsetof(Node, key)+LO(NODE:TMP2)
3289     |  li AT, LJ_TSTR
3290     |    lw NODE:TMP1, NODE:TMP2->next
3291     |  bne CARG1, AT, >5
3292     |.   lw CARG2, offsetof(Node, val)+HI(NODE:TMP2)
3293     |   bne TMP0, STR:RC, >5
3294     |.    lbu TMP3, TAB:RB->marked
3295     |    beq CARG2, TISNIL, >4          // Key found, but nil value?
3296     |.    lw TAB:TMP0, TAB:RB->metatable
3297     |2:
3298     |  andi AT, TMP3, LJ_GC_BLACK       // isblack(table)
3299     |  bnez AT, >7
3300     |.  sdc1 f20, NODE:TMP2->val
3301     |3:
3302     |  ins_next
3303     |
3304     |4:  // Check for __newindex if previous value is nil.
3305     |  beqz TAB:TMP0, <2                // No metatable: done.
3306     |.  nop
3307     |  lbu TMP0, TAB:TMP0->nomm
3308     |  andi TMP0, TMP0, 1<<MM_newindex
3309     |  bnez TMP0, <2                    // 'no __newindex' flag set: done.
3310     |.  nop
3311     |  b ->vmeta_tsets
3312     |.  nop
3313     |
3314     |5:  // Follow hash chain.
3315     |  bnez NODE:TMP1, <1
3316     |.  move NODE:TMP2, NODE:TMP1
3317     |  // End of hash chain: key not found, add a new one
3318     |
3319     |  // But check for __newindex first.
3320     |  lw TAB:TMP2, TAB:RB->metatable
3321     |  beqz TAB:TMP2, >6                // No metatable: continue.
3322     |.  addiu CARG3, DISPATCH, DISPATCH_GL(tmptv)
3323     |  lbu TMP0, TAB:TMP2->nomm
3324     |  andi TMP0, TMP0, 1<<MM_newindex
3325     |  beqz TMP0, ->vmeta_tsets         // 'no __newindex' flag NOT set: check.
3326     |.  li AT, LJ_TSTR
3327     |6:
3328     |  load_got lj_tab_newkey
3329     |  sw STR:RC, LO(CARG3)
3330     |  sw AT, HI(CARG3)
3331     |   sw BASE, L->base
3332     |  move CARG2, TAB:RB
3333     |   sw PC, SAVE_PC
3334     |  call_intern lj_tab_newkey        // (lua_State *L, GCtab *t, TValue *k
3335     |.  move CARG1, L
3336     |  // Returns TValue *.
3337     |  lw BASE, L->base
3338     |  b <3                             // No 2nd write barrier needed.
3339     |.  sdc1 f20, 0(CRET1)
3340     |
3341     |7:  // Possible table write barrier for the value. Skip valiswhite check.
3342     |  barrierback TAB:RB, TMP3, TMP0, <3
3343     break;
3344   case BC_TSETB:
3345     |  // RA = src*8, RB = table*8, RC = index*8
3346     |  decode_RB8a RB, INS
3347     |  decode_RB8b RB
3348     |  addu CARG2, BASE, RB
3349     |   decode_RDtoRC8 RC, RD
3350     |  lw CARG1, HI(CARG2)
3351     |  li AT, LJ_TTAB
3352     |   lw TAB:RB, LO(CARG2)
3353     |   addu RA, BASE, RA
3354     |  bne CARG1, AT, ->vmeta_tsetb
3355     |.  srl TMP0, RC, 3
3356     |  lw TMP1, TAB:RB->asize
3357     |   lw TMP2, TAB:RB->array
3358     |  sltu AT, TMP0, TMP1
3359     |  beqz AT, ->vmeta_tsetb
3360     |.  addu RC, TMP2, RC
3361     |  lw TMP1, HI(RC)
3362     |   lbu TMP3, TAB:RB->marked
3363     |  beq TMP1, TISNIL, >5
3364     |.  ldc1 f0, 0(RA)
3365     |1:
3366     |  andi AT, TMP3, LJ_GC_BLACK       // isblack(table)
3367     |  bnez AT, >7
3368     |.  sdc1 f0, 0(RC)
3369     |2:
3370     |  ins_next
3371     |
3372     |5:  // Check for __newindex if previous value is nil.
3373     |  lw TAB:TMP2, TAB:RB->metatable
3374     |  beqz TAB:TMP2, <1                // No metatable: done.
3375     |.  nop
3376     |  lbu TMP1, TAB:TMP2->nomm
3377     |  andi TMP1, TMP1, 1<<MM_newindex
3378     |  bnez TMP1, <1                    // 'no __newindex' flag set: done.
3379     |.  nop
3380     |  b ->vmeta_tsetb                  // Caveat: preserve TMP0!
3381     |.  nop
3382     |
3383     |7:  // Possible table write barrier for the value. Skip valiswhite check.
3384     |  barrierback TAB:RB, TMP3, TMP0, <2
3385     break;
3386
3387   case BC_TSETM:
3388     |  // RA = base*8 (table at base-1), RD = num_const*8 (start index)
3389     |  addu RA, BASE, RA
3390     |1:
3391     |   addu TMP3, KBASE, RD
3392     |  lw TAB:CARG2, -8+LO(RA)          // Guaranteed to be a table.
3393     |    addiu TMP0, MULTRES, -8
3394     |   lw TMP3, LO(TMP3)               // Integer constant is in lo-word.
3395     |    beqz TMP0, >4                  // Nothing to copy?
3396     |.    srl CARG3, TMP0, 3
3397     |  addu CARG3, CARG3, TMP3
3398     |  lw TMP2, TAB:CARG2->asize
3399     |   sll TMP1, TMP3, 3
3400     |    lbu TMP3, TAB:CARG2->marked
3401     |   lw CARG1, TAB:CARG2->array
3402     |  sltu AT, TMP2, CARG3
3403     |  bnez AT, >5
3404     |.  addu TMP2, RA, TMP0
3405     |   addu TMP1, TMP1, CARG1
3406     |  andi TMP0, TMP3, LJ_GC_BLACK     // isblack(table)
3407     |3:  // Copy result slots to table.
3408     |   ldc1 f0, 0(RA)
3409     |    addiu RA, RA, 8
3410     |  sltu AT, RA, TMP2
3411     |   sdc1 f0, 0(TMP1)
3412     |  bnez AT, <3
3413     |.   addiu TMP1, TMP1, 8
3414     |  bnez TMP0, >7
3415     |. nop
3416     |4:
3417     |  ins_next
3418     |
3419     |5:  // Need to resize array part.
3420     |  load_got lj_tab_reasize
3421     |   sw BASE, L->base
3422     |   sw PC, SAVE_PC
3423     |  move BASE, RD
3424     |  call_intern lj_tab_reasize       // (lua_State *L, GCtab *t, int nasize)
3425     |.  move CARG1, L
3426     |  // Must not reallocate the stack.
3427     |  move RD, BASE
3428     |  b <1
3429     |.  lw BASE, L->base        // Reload BASE for lack of a saved register.
3430     |
3431     |7:  // Possible table write barrier for any value. Skip valiswhite check.
3432     |  barrierback TAB:CARG2, TMP3, TMP0, <4
3433     break;
3434
3435   /* -- Calls and vararg handling ----------------------------------------- */
3436
3437   case BC_CALLM:
3438     |  // RA = base*8, (RB = (nresults+1)*8,) RC = extra_nargs*8
3439     |  decode_RDtoRC8 NARGS8:RC, RD
3440     |  b ->BC_CALL_Z
3441     |.  addu NARGS8:RC, NARGS8:RC, MULTRES
3442     break;
3443   case BC_CALL:
3444     |  // RA = base*8, (RB = (nresults+1)*8,) RC = (nargs+1)*8
3445     |  decode_RDtoRC8 NARGS8:RC, RD
3446     |->BC_CALL_Z:
3447     |  move TMP2, BASE
3448     |  addu BASE, BASE, RA
3449     |   li AT, LJ_TFUNC
3450     |  lw TMP0, HI(BASE)
3451     |   lw LFUNC:RB, LO(BASE)
3452     |   addiu BASE, BASE, 8
3453     |  bne TMP0, AT, ->vmeta_call
3454     |.  addiu NARGS8:RC, NARGS8:RC, -8
3455     |  ins_call
3456     break;
3457
3458   case BC_CALLMT:
3459     |  // RA = base*8, (RB = 0,) RC = extra_nargs*8
3460     |  addu NARGS8:RD, NARGS8:RD, MULTRES       // BC_CALLT gets RC from RD.
3461     |  // Fall through. Assumes BC_CALLT follows.
3462     break;
3463   case BC_CALLT:
3464     |  // RA = base*8, (RB = 0,) RC = (nargs+1)*8
3465     |  addu RA, BASE, RA
3466     |   li AT, LJ_TFUNC
3467     |  lw TMP0, HI(RA)
3468     |   lw LFUNC:RB, LO(RA)
3469     |   move NARGS8:RC, RD
3470     |    lw TMP1, FRAME_PC(BASE)
3471     |   addiu RA, RA, 8
3472     |  bne TMP0, AT, ->vmeta_callt
3473     |.  addiu NARGS8:RC, NARGS8:RC, -8
3474     |->BC_CALLT_Z:
3475     |  andi TMP0, TMP1, FRAME_TYPE      // Caveat: preserve TMP0 until the 'or'.
3476     |   lbu TMP3, LFUNC:RB->ffid
3477     |  bnez TMP0, >7
3478     |.  xori TMP2, TMP1, FRAME_VARG
3479     |1:
3480     |  sw LFUNC:RB, FRAME_FUNC(BASE)    // Copy function down, but keep PC.
3481     |  sltiu AT, TMP3, 2                // (> FF_C) Calling a fast function?
3482     |  move TMP2, BASE
3483     |  beqz NARGS8:RC, >3
3484     |.  move TMP3, NARGS8:RC
3485     |2:
3486     |   ldc1 f0, 0(RA)
3487     |    addiu RA, RA, 8
3488     |  addiu TMP3, TMP3, -8
3489     |   sdc1 f0, 0(TMP2)
3490     |  bnez TMP3, <2
3491     |.   addiu TMP2, TMP2, 8
3492     |3:
3493     |  or TMP0, TMP0, AT
3494     |  beqz TMP0, >5
3495     |.  nop
3496     |4:
3497     |  ins_callt
3498     |
3499     |5:  // Tailcall to a fast function with a Lua frame below.
3500     |  lw INS, -4(TMP1)
3501     |  decode_RA8a RA, INS
3502     |  decode_RA8b RA
3503     |  subu TMP1, BASE, RA
3504     |  lw LFUNC:TMP1, -8+FRAME_FUNC(TMP1)
3505     |  lw TMP1, LFUNC:TMP1->pc
3506     |  b <4
3507     |.  lw KBASE, PC2PROTO(k)(TMP1)     // Need to prepare KBASE.
3508     |
3509     |7:  // Tailcall from a vararg function.
3510     |  andi AT, TMP2, FRAME_TYPEP
3511     |  bnez AT, <1                      // Vararg frame below?
3512     |.  subu TMP2, BASE, TMP2           // Relocate BASE down.
3513     |  move BASE, TMP2
3514     |  lw TMP1, FRAME_PC(TMP2)
3515     |  b <1
3516     |.  andi TMP0, TMP1, FRAME_TYPE
3517     break;
3518
3519   case BC_ITERC:
3520     |  // RA = base*8, (RB = (nresults+1)*8, RC = (nargs+1)*8 ((2+1)*8))
3521     |  move TMP2, BASE
3522     |  addu BASE, BASE, RA
3523     |   li AT, LJ_TFUNC
3524     |  lw TMP1, -24+HI(BASE)
3525     |   lw LFUNC:RB, -24+LO(BASE)
3526     |    ldc1 f2, -8(BASE)
3527     |    ldc1 f0, -16(BASE)
3528     |  sw TMP1, HI(BASE)                // Copy callable.
3529     |   sw LFUNC:RB, LO(BASE)
3530     |    sdc1 f2, 16(BASE)              // Copy control var.
3531     |    sdc1 f0, 8(BASE)               // Copy state.
3532     |   addiu BASE, BASE, 8
3533     |  bne TMP1, AT, ->vmeta_call
3534     |.  li NARGS8:RC, 16                // Iterators get 2 arguments.
3535     |  ins_call
3536     break;
3537
3538   case BC_ITERN:
3539     |  // RA = base*8, (RB = (nresults+1)*8, RC = (nargs+1)*8 (2+1)*8)
3540 #if LJ_HASJIT
3541     |  // NYI: add hotloop, record BC_ITERN.
3542 #endif
3543     |  addu RA, BASE, RA
3544     |  lw TAB:RB, -16+LO(RA)
3545     |  lw RC, -8+LO(RA)                 // Get index from control var.
3546     |  lw TMP0, TAB:RB->asize
3547     |  lw TMP1, TAB:RB->array
3548     |   addiu PC, PC, 4
3549     |1:  // Traverse array part.
3550     |  sltu AT, RC, TMP0
3551     |  beqz AT, >5                      // Index points after array part?
3552     |.  sll TMP3, RC, 3
3553     |  addu TMP3, TMP1, TMP3
3554     |  lw TMP2, HI(TMP3)
3555     |   ldc1 f0, 0(TMP3)
3556     |    mtc1 RC, f2
3557     |     lhu RD, -4+OFS_RD(PC)
3558     |  beq TMP2, TISNIL, <1             // Skip holes in array part.
3559     |.  addiu RC, RC, 1
3560     |    cvt.d.w f2, f2
3561     |     lui TMP3, (-(BCBIAS_J*4 >> 16) & 65535)
3562     |   sdc1 f0, 8(RA)
3563     |     decode_RD4b RD
3564     |     addu RD, RD, TMP3
3565     |   sw RC, -8+LO(RA)                // Update control var.
3566     |     addu PC, PC, RD
3567     |    sdc1 f2, 0(RA)
3568     |3:
3569     |  ins_next
3570     |
3571     |5:  // Traverse hash part.
3572     |  lw TMP1, TAB:RB->hmask
3573     |  subu RC, RC, TMP0
3574     |   lw TMP2, TAB:RB->node
3575     |6:
3576     |  sltu AT, TMP1, RC                // End of iteration? Branch to ITERL+1.
3577     |  bnez AT, <3
3578     |.  sll TMP3, RC, 5
3579     |   sll RB, RC, 3
3580     |   subu TMP3, TMP3, RB
3581     |  addu NODE:TMP3, TMP3, TMP2
3582     |  lw RB, HI(NODE:TMP3)
3583     |  ldc1 f0, 0(NODE:TMP3)
3584     |     lhu RD, -4+OFS_RD(PC)
3585     |  beq RB, TISNIL, <6               // Skip holes in hash part.
3586     |.  addiu RC, RC, 1
3587     |   ldc1 f2, NODE:TMP3->key
3588     |     lui TMP3, (-(BCBIAS_J*4 >> 16) & 65535)
3589     |  sdc1 f0, 8(RA)
3590     |    addu RC, RC, TMP0
3591     |     decode_RD4b RD
3592     |     addu RD, RD, TMP3
3593     |   sdc1 f2, 0(RA)
3594     |     addu PC, PC, RD
3595     |  b <3
3596     |.  sw RC, -8+LO(RA)                // Update control var.
3597     break;
3598
3599   case BC_ISNEXT:
3600     |  // RA = base*8, RD = target (points to ITERN)
3601     |  addu RA, BASE, RA
3602     |  lw TMP0, -24+HI(RA)
3603     |  lw CFUNC:TMP1, -24+LO(RA)
3604     |   lw TMP2, -16+HI(RA)
3605     |    lw TMP3, -8+HI(RA)
3606     |  li AT, LJ_TFUNC
3607     |  bne TMP0, AT, >5
3608     |.  addiu TMP2, TMP2, -LJ_TTAB
3609     |  lbu TMP1, CFUNC:TMP1->ffid
3610     |  addiu TMP3, TMP3, -LJ_TNIL
3611     |   srl TMP0, RD, 1
3612     |  or TMP2, TMP2, TMP3
3613     |  addiu TMP1, TMP1, -FF_next_N
3614     |   addu TMP0, PC, TMP0
3615     |  or TMP1, TMP1, TMP2
3616     |  bnez TMP1, >5
3617     |.  lui TMP2, (-(BCBIAS_J*4 >> 16) & 65535)
3618     |  addu PC, TMP0, TMP2
3619     |  sw r0, -8+LO(RA)                 // Initialize control var.
3620     |1:
3621     |  ins_next
3622     |5:  // Despecialize bytecode if any of the checks fail.
3623     |  li TMP3, BC_JMP
3624     |   li TMP1, BC_ITERC
3625     |  sb TMP3, -4+OFS_OP(PC)
3626     |   addu PC, TMP0, TMP2
3627     |  b <1
3628     |.  sb TMP1, OFS_OP(PC)
3629     break;
3630
3631   case BC_VARG:
3632     |  // RA = base*8, RB = (nresults+1)*8, RC = numparams*8
3633     |  lw TMP0, FRAME_PC(BASE)
3634     |  decode_RDtoRC8 RC, RD
3635     |   decode_RB8a RB, INS
3636     |  addu RC, BASE, RC
3637     |   decode_RB8b RB
3638     |   addu RA, BASE, RA
3639     |  addiu RC, RC, FRAME_VARG
3640     |   addu TMP2, RA, RB
3641     |  addiu TMP3, BASE, -8             // TMP3 = vtop
3642     |  subu RC, RC, TMP0                // RC = vbase
3643     |  // Note: RC may now be even _above_ BASE if nargs was < numparams.
3644     |  beqz RB, >5                      // Copy all varargs?
3645     |.  subu TMP1, TMP3, RC
3646     |  addiu TMP2, TMP2, -16
3647     |1:  // Copy vararg slots to destination slots.
3648     |  lw CARG1, HI(RC)
3649     |  sltu AT, RC, TMP3
3650     |   lw CARG2, LO(RC)
3651     |    addiu RC, RC, 8
3652     |  movz CARG1, TISNIL, AT
3653     |  sw CARG1, HI(RA)
3654     |   sw CARG2, LO(RA)
3655     |  sltu AT, RA, TMP2
3656     |  bnez AT, <1
3657     |.   addiu RA, RA, 8
3658     |3:
3659     |  ins_next
3660     |
3661     |5:  // Copy all varargs.
3662     |  lw TMP0, L->maxstack
3663     |  blez TMP1, <3                    // No vararg slots?
3664     |.  li MULTRES, 8                   // MULTRES = (0+1)*8
3665     |  addu TMP2, RA, TMP1
3666     |  sltu AT, TMP0, TMP2
3667     |  bnez AT, >7
3668     |.  addiu MULTRES, TMP1, 8
3669     |6:
3670     |  ldc1 f0, 0(RC)
3671     |   addiu RC, RC, 8
3672     |  sdc1 f0, 0(RA)
3673     |  sltu AT, RC, TMP3
3674     |  bnez AT, <6                      // More vararg slots?
3675     |.  addiu RA, RA, 8
3676     |  b <3
3677     |.  nop
3678     |
3679     |7:  // Grow stack for varargs.
3680     |  load_got lj_state_growstack
3681     |   sw RA, L->top
3682     |  subu RA, RA, BASE
3683     |   sw BASE, L->base
3684     |  subu BASE, RC, BASE              // Need delta, because BASE may change.
3685     |   sw PC, SAVE_PC
3686     |  srl CARG2, TMP1, 3
3687     |  call_intern lj_state_growstack   // (lua_State *L, int n)
3688     |.  move CARG1, L
3689     |  move RC, BASE
3690     |  lw BASE, L->base
3691     |  addu RA, BASE, RA
3692     |  addu RC, BASE, RC
3693     |  b <6
3694     |.  addiu TMP3, BASE, -8
3695     break;
3696
3697   /* -- Returns ----------------------------------------------------------- */
3698
3699   case BC_RETM:
3700     |  // RA = results*8, RD = extra_nresults*8
3701     |  addu RD, RD, MULTRES             // MULTRES >= 8, so RD >= 8.
3702     |  // Fall through. Assumes BC_RET follows.
3703     break;
3704
3705   case BC_RET:
3706     |  // RA = results*8, RD = (nresults+1)*8
3707     |  lw PC, FRAME_PC(BASE)
3708     |   addu RA, BASE, RA
3709     |    move MULTRES, RD
3710     |1:
3711     |  andi TMP0, PC, FRAME_TYPE
3712     |  bnez TMP0, ->BC_RETV_Z
3713     |.  xori TMP1, PC, FRAME_VARG
3714     |
3715     |->BC_RET_Z:
3716     |  // BASE = base, RA = resultptr, RD = (nresults+1)*8, PC = return
3717     |   lw INS, -4(PC)
3718     |    addiu TMP2, BASE, -8
3719     |    addiu RC, RD, -8
3720     |  decode_RA8a TMP0, INS
3721     |   decode_RB8a RB, INS
3722     |  decode_RA8b TMP0
3723     |   decode_RB8b RB
3724     |   addu TMP3, TMP2, RB
3725     |  beqz RC, >3
3726     |.  subu BASE, TMP2, TMP0
3727     |2:
3728     |   ldc1 f0, 0(RA)
3729     |    addiu RA, RA, 8
3730     |  addiu RC, RC, -8
3731     |   sdc1 f0, 0(TMP2)
3732     |  bnez RC, <2
3733     |.   addiu TMP2, TMP2, 8
3734     |3:
3735     |  addiu TMP3, TMP3, -8
3736     |5:
3737     |  sltu AT, TMP2, TMP3
3738     |  bnez AT, >6
3739     |.  lw LFUNC:TMP1, FRAME_FUNC(BASE)
3740     |  ins_next1
3741     |  lw TMP1, LFUNC:TMP1->pc
3742     |  lw KBASE, PC2PROTO(k)(TMP1)
3743     |  ins_next2
3744     |
3745     |6:  // Fill up results with nil.
3746     |  sw TISNIL, HI(TMP2)
3747     |  b <5
3748     |.  addiu TMP2, TMP2, 8
3749     |
3750     |->BC_RETV_Z:  // Non-standard return case.
3751     |  andi TMP2, TMP1, FRAME_TYPEP
3752     |  bnez TMP2, ->vm_return
3753     |.  nop
3754     |  // Return from vararg function: relocate BASE down.
3755     |  subu BASE, BASE, TMP1
3756     |  b <1
3757     |.  lw PC, FRAME_PC(BASE)
3758     break;
3759
3760   case BC_RET0: case BC_RET1:
3761     |  // RA = results*8, RD = (nresults+1)*8
3762     |  lw PC, FRAME_PC(BASE)
3763     |   addu RA, BASE, RA
3764     |    move MULTRES, RD
3765     |  andi TMP0, PC, FRAME_TYPE
3766     |  bnez TMP0, ->BC_RETV_Z
3767     |.  xori TMP1, PC, FRAME_VARG
3768     |
3769     |  lw INS, -4(PC)
3770     |   addiu TMP2, BASE, -8
3771     if (op == BC_RET1) {
3772       |  ldc1 f0, 0(RA)
3773     }
3774     |  decode_RB8a RB, INS
3775     |   decode_RA8a RA, INS
3776     |  decode_RB8b RB
3777     |   decode_RA8b RA
3778     if (op == BC_RET1) {
3779       |  sdc1 f0, 0(TMP2)
3780     }
3781     |   subu BASE, TMP2, RA
3782     |5:
3783     |  sltu AT, RD, RB
3784     |  bnez AT, >6
3785     |.  lw LFUNC:TMP1, FRAME_FUNC(BASE)
3786     |  ins_next1
3787     |  lw TMP1, LFUNC:TMP1->pc
3788     |  lw KBASE, PC2PROTO(k)(TMP1)
3789     |  ins_next2
3790     |
3791     |6:  // Fill up results with nil.
3792     |  addiu TMP2, TMP2, 8
3793     |  addiu RD, RD, 8
3794     |  b <5
3795     if (op == BC_RET1) {
3796       |.  sw TISNIL, HI(TMP2)
3797     } else {
3798       |.  sw TISNIL, -8+HI(TMP2)
3799     }
3800     break;
3801
3802   /* -- Loops and branches ------------------------------------------------ */
3803
3804   case BC_FORL:
3805 #if LJ_HASJIT
3806     |  hotloop
3807 #endif
3808     |  // Fall through. Assumes BC_IFORL follows.
3809     break;
3810
3811   case BC_JFORI:
3812   case BC_JFORL:
3813 #if !LJ_HASJIT
3814     break;
3815 #endif
3816   case BC_FORI:
3817   case BC_IFORL:
3818     |  // RA = base*8, RD = target (after end of loop or start of loop)
3819     vk = (op == BC_IFORL || op == BC_JFORL);
3820     |  addu RA, BASE, RA
3821     if (vk) {
3822       |  ldc1 f0, FORL_IDX*8(RA)
3823       |  ldc1 f4, FORL_STEP*8(RA)
3824       |  ldc1 f2, FORL_STOP*8(RA)
3825       |   lw TMP3, FORL_STEP*8+HI(RA)
3826       |  add.d f0, f0, f4
3827       |  sdc1 f0, FORL_IDX*8(RA)
3828     } else {
3829       |  lw TMP1, FORL_IDX*8+HI(RA)
3830       |  lw TMP3, FORL_STEP*8+HI(RA)
3831       |  lw TMP2, FORL_STOP*8+HI(RA)
3832       |  sltiu TMP1, TMP1, LJ_TISNUM
3833       |  sltiu TMP0, TMP3, LJ_TISNUM
3834       |  sltiu TMP2, TMP2, LJ_TISNUM
3835       |  and TMP1, TMP1, TMP0
3836       |  and TMP1, TMP1, TMP2
3837       |   ldc1 f0, FORL_IDX*8(RA)
3838       |  beqz TMP1, ->vmeta_for
3839       |.  ldc1 f2, FORL_STOP*8(RA)
3840     }
3841     if (op != BC_JFORL) {
3842       |  srl RD, RD, 1
3843       |  lui TMP0, (-(BCBIAS_J*4 >> 16) & 65535)
3844     }
3845     |  c.le.d 0, f0, f2
3846     |  c.le.d 1, f2, f0
3847     |  sdc1 f0, FORL_EXT*8(RA)
3848     if (op == BC_JFORI) {
3849       |  li TMP1, 1
3850       |  li TMP2, 1
3851       |   addu TMP0, RD, TMP0
3852       |  slt TMP3, TMP3, r0
3853       |  movf TMP1, r0, 0
3854       |   addu PC, PC, TMP0
3855       |  movf TMP2, r0, 1
3856       |   lhu RD, -4+OFS_RD(PC)
3857       |  movn TMP1, TMP2, TMP3
3858       |  bnez TMP1, =>BC_JLOOP
3859       |.  decode_RD8b RD
3860     } else if (op == BC_JFORL) {
3861       |  li TMP1, 1
3862       |  li TMP2, 1
3863       |  slt TMP3, TMP3, r0
3864       |  movf TMP1, r0, 0
3865       |  movf TMP2, r0, 1
3866       |  movn TMP1, TMP2, TMP3
3867       |  bnez TMP1, =>BC_JLOOP
3868       |.  nop
3869     } else {
3870       |  addu TMP1, RD, TMP0
3871       |  slt TMP3, TMP3, r0
3872       |  move TMP2, TMP1
3873       if (op == BC_FORI) {
3874         |  movt TMP1, r0, 0
3875         |  movt TMP2, r0, 1
3876       } else {
3877         |  movf TMP1, r0, 0
3878         |  movf TMP2, r0, 1
3879       }
3880       |  movn TMP1, TMP2, TMP3
3881       |  addu PC, PC, TMP1
3882     }
3883     |  ins_next
3884     break;
3885
3886   case BC_ITERL:
3887 #if LJ_HASJIT
3888     |  hotloop
3889 #endif
3890     |  // Fall through. Assumes BC_IITERL follows.
3891     break;
3892
3893   case BC_JITERL:
3894 #if !LJ_HASJIT
3895     break;
3896 #endif
3897   case BC_IITERL:
3898     |  // RA = base*8, RD = target
3899     |  addu RA, BASE, RA
3900     |  lw TMP1, HI(RA)
3901     |  beq TMP1, TISNIL, >1             // Stop if iterator returned nil.
3902     |.  lw TMP2, LO(RA)
3903     if (op == BC_JITERL) {
3904       |  sw TMP1, -8+HI(RA)
3905       |  b =>BC_JLOOP
3906       |.  sw TMP2, -8+LO(RA)
3907     } else {
3908       |  branch_RD                      // Otherwise save control var + branch.
3909       |  sw TMP1, -8+HI(RA)
3910       |   sw TMP2, -8+LO(RA)
3911     }
3912     |1:
3913     |  ins_next
3914     break;
3915
3916   case BC_LOOP:
3917     |  // RA = base*8, RD = target (loop extent)
3918     |  // Note: RA/RD is only used by trace recorder to determine scope/extent
3919     |  // This opcode does NOT jump, it's only purpose is to detect a hot loop.
3920 #if LJ_HASJIT
3921     |  hotloop
3922 #endif
3923     |  // Fall through. Assumes BC_ILOOP follows.
3924     break;
3925
3926   case BC_ILOOP:
3927     |  // RA = base*8, RD = target (loop extent)
3928     |  ins_next
3929     break;
3930
3931   case BC_JLOOP:
3932 #if LJ_HASJIT
3933     |  // RA = base*8 (ignored), RD = traceno*8
3934     |  lw TMP1, DISPATCH_J(trace)(DISPATCH)
3935     |  srl RD, RD, 1
3936     |   li AT, 0
3937     |  addu TMP1, TMP1, RD
3938     |  // Traces on MIPS don't store the trace number, so use 0.
3939     |   sw AT, DISPATCH_GL(vmstate)(DISPATCH)
3940     |  lw TRACE:TMP2, 0(TMP1)
3941     |   sw BASE, DISPATCH_GL(jit_base)(DISPATCH)
3942     |   sw L, DISPATCH_GL(jit_L)(DISPATCH)
3943     |  lw TMP2, TRACE:TMP2->mcode
3944     |  jr TMP2
3945     |.  addiu JGL, DISPATCH, GG_DISP2G+32768
3946 #endif
3947     break;
3948
3949   case BC_JMP:
3950     |  // RA = base*8 (only used by trace recorder), RD = target
3951     |  branch_RD
3952     |  ins_next
3953     break;
3954
3955   /* -- Function headers -------------------------------------------------- */
3956
3957   case BC_FUNCF:
3958 #if LJ_HASJIT
3959     |  hotcall
3960 #endif
3961   case BC_FUNCV:  /* NYI: compiled vararg functions. */
3962     |  // Fall through. Assumes BC_IFUNCF/BC_IFUNCV follow.
3963     break;
3964
3965   case BC_JFUNCF:
3966 #if !LJ_HASJIT
3967     break;
3968 #endif
3969   case BC_IFUNCF:
3970     |  // BASE = new base, RA = BASE+framesize*8, RB = LFUNC, RC = nargs*8
3971     |  lw TMP2, L->maxstack
3972     |   lbu TMP1, -4+PC2PROTO(numparams)(PC)
3973     |    lw KBASE, -4+PC2PROTO(k)(PC)
3974     |  sltu AT, TMP2, RA
3975     |  bnez AT, ->vm_growstack_l
3976     |.  sll TMP1, TMP1, 3
3977     if (op != BC_JFUNCF) {
3978       |  ins_next1
3979     }
3980     |2:
3981     |  sltu AT, NARGS8:RC, TMP1         // Check for missing parameters.
3982     |  bnez AT, >3
3983     |.  addu AT, BASE, NARGS8:RC
3984     if (op == BC_JFUNCF) {
3985       |  decode_RD8a RD, INS
3986       |  b =>BC_JLOOP
3987       |.  decode_RD8b RD
3988     } else {
3989       |  ins_next2
3990     }
3991     |
3992     |3:  // Clear missing parameters.
3993     |  sw TISNIL, HI(AT)
3994     |  b <2
3995     |.  addiu NARGS8:RC, NARGS8:RC, 8
3996     break;
3997
3998   case BC_JFUNCV:
3999 #if !LJ_HASJIT
4000     break;
4001 #endif
4002     |  NYI  // NYI: compiled vararg functions
4003     break;  /* NYI: compiled vararg functions. */
4004
4005   case BC_IFUNCV:
4006     |  // BASE = new base, RA = BASE+framesize*8, RB = LFUNC, RC = nargs*8
4007     |   addu TMP1, BASE, RC
4008     |  lw TMP2, L->maxstack
4009     |  addu TMP0, RA, RC
4010     |   sw LFUNC:RB, LO(TMP1)           // Store copy of LFUNC.
4011     |   addiu TMP3, RC, 8+FRAME_VARG
4012     |  sltu AT, TMP0, TMP2
4013     |    lw KBASE, -4+PC2PROTO(k)(PC)
4014     |  beqz AT, ->vm_growstack_l
4015     |.  sw TMP3, HI(TMP1)               // Store delta + FRAME_VARG.
4016     |  lbu TMP2, -4+PC2PROTO(numparams)(PC)
4017     |   move RA, BASE
4018     |   move RC, TMP1
4019     |  ins_next1
4020     |  beqz TMP2, >3
4021     |.  addiu BASE, TMP1, 8
4022     |1:
4023     |  lw TMP0, HI(RA)
4024     |   lw TMP3, LO(RA)
4025     |  sltu AT, RA, RC                  // Less args than parameters?
4026     |  move CARG1, TMP0
4027     |  movz TMP0, TISNIL, AT            // Clear missing parameters.
4028     |  movn CARG1, TISNIL, AT           // Clear old fixarg slot (help the GC).
4029     |   sw TMP3, 8+LO(TMP1)
4030     |    addiu TMP2, TMP2, -1
4031     |  sw TMP0, 8+HI(TMP1)
4032     |    addiu TMP1, TMP1, 8
4033     |  sw CARG1, HI(RA)
4034     |  bnez TMP2, <1
4035     |.   addiu RA, RA, 8
4036     |3:
4037     |  ins_next2
4038     break;
4039
4040   case BC_FUNCC:
4041   case BC_FUNCCW:
4042     |  // BASE = new base, RA = BASE+framesize*8, RB = CFUNC, RC = nargs*8
4043     if (op == BC_FUNCC) {
4044       |  lw CFUNCADDR, CFUNC:RB->f
4045     } else {
4046       |  lw CFUNCADDR, DISPATCH_GL(wrapf)(DISPATCH)
4047     }
4048     |  addu TMP1, RA, NARGS8:RC
4049     |  lw TMP2, L->maxstack
4050     |   addu RC, BASE, NARGS8:RC
4051     |  sw BASE, L->base
4052     |  sltu AT, TMP2, TMP1
4053     |   sw RC, L->top
4054     |    li_vmstate C
4055     if (op == BC_FUNCCW) {
4056       |  lw CARG2, CFUNC:RB->f
4057     }
4058     |  bnez AT, ->vm_growstack_c        // Need to grow stack.
4059     |.  move CARG1, L
4060     |  jalr CFUNCADDR                   // (lua_State *L [, lua_CFunction f])
4061     |.   st_vmstate
4062     |  // Returns nresults.
4063     |  lw BASE, L->base
4064     |   sll RD, CRET1, 3
4065     |  lw TMP1, L->top
4066     |    li_vmstate INTERP
4067     |  lw PC, FRAME_PC(BASE)            // Fetch PC of caller.
4068     |   subu RA, TMP1, RD               // RA = L->top - nresults*8
4069     |  b ->vm_returnc
4070     |.   st_vmstate
4071     break;
4072
4073   /* ---------------------------------------------------------------------- */
4074
4075   default:
4076     fprintf(stderr, "Error: undefined opcode BC_%s\n", bc_names[op]);
4077     exit(2);
4078     break;
4079   }
4080 }
4081
4082 static int build_backend(BuildCtx *ctx)
4083 {
4084   int op;
4085
4086   dasm_growpc(Dst, BC__MAX);
4087
4088   build_subroutines(ctx);
4089
4090   |.code_op
4091   for (op = 0; op < BC__MAX; op++)
4092     build_ins(ctx, (BCOp)op, op);
4093
4094   return BC__MAX;
4095 }
4096
4097 /* Emit pseudo frame-info for all assembler functions. */
4098 static void emit_asm_debug(BuildCtx *ctx)
4099 {
4100   int fcofs = (int)((uint8_t *)ctx->glob[GLOB_vm_ffi_call] - ctx->code);
4101   int i;
4102   switch (ctx->mode) {
4103   case BUILD_elfasm:
4104     fprintf(ctx->fp, "\t.section .debug_frame,\"\",@progbits\n");
4105     fprintf(ctx->fp,
4106         ".Lframe0:\n"
4107         "\t.4byte .LECIE0-.LSCIE0\n"
4108         ".LSCIE0:\n"
4109         "\t.4byte 0xffffffff\n"
4110         "\t.byte 0x1\n"
4111         "\t.string \"\"\n"
4112         "\t.uleb128 0x1\n"
4113         "\t.sleb128 -4\n"
4114         "\t.byte 31\n"
4115         "\t.byte 0xc\n\t.uleb128 29\n\t.uleb128 0\n"
4116         "\t.align 2\n"
4117         ".LECIE0:\n\n");
4118     fprintf(ctx->fp,
4119         ".LSFDE0:\n"
4120         "\t.4byte .LEFDE0-.LASFDE0\n"
4121         ".LASFDE0:\n"
4122         "\t.4byte .Lframe0\n"
4123         "\t.4byte .Lbegin\n"
4124         "\t.4byte %d\n"
4125         "\t.byte 0xe\n\t.uleb128 %d\n"
4126         "\t.byte 0x9f\n\t.sleb128 1\n"
4127         "\t.byte 0x9e\n\t.sleb128 2\n",
4128         fcofs, CFRAME_SIZE);
4129     for (i = 23; i >= 16; i--)
4130       fprintf(ctx->fp, "\t.byte %d\n\t.uleb128 %d\n", 0x80+i, 26-i);
4131     for (i = 30; i >= 20; i -= 2)
4132       fprintf(ctx->fp, "\t.byte %d\n\t.uleb128 %d\n", 0x80+32+i, 42-i);
4133     fprintf(ctx->fp,
4134         "\t.align 2\n"
4135         ".LEFDE0:\n\n");
4136 #if LJ_HASFFI
4137     fprintf(ctx->fp,
4138         ".LSFDE1:\n"
4139         "\t.4byte .LEFDE1-.LASFDE1\n"
4140         ".LASFDE1:\n"
4141         "\t.4byte .Lframe0\n"
4142         "\t.4byte lj_vm_ffi_call\n"
4143         "\t.4byte %d\n"
4144         "\t.byte 0x9f\n\t.uleb128 1\n"
4145         "\t.byte 0x90\n\t.uleb128 2\n"
4146         "\t.byte 0xd\n\t.uleb128 0x10\n"
4147         "\t.align 2\n"
4148         ".LEFDE1:\n\n", (int)ctx->codesz - fcofs);
4149 #endif
4150     fprintf(ctx->fp, "\t.section .eh_frame,\"aw\",@progbits\n");
4151     fprintf(ctx->fp,
4152         "\t.globl lj_err_unwind_dwarf\n"
4153         ".Lframe1:\n"
4154         "\t.4byte .LECIE1-.LSCIE1\n"
4155         ".LSCIE1:\n"
4156         "\t.4byte 0\n"
4157         "\t.byte 0x1\n"
4158         "\t.string \"zPR\"\n"
4159         "\t.uleb128 0x1\n"
4160         "\t.sleb128 -4\n"
4161         "\t.byte 31\n"
4162         "\t.uleb128 6\n"                        /* augmentation length */
4163         "\t.byte 0\n"
4164         "\t.4byte lj_err_unwind_dwarf\n"
4165         "\t.byte 0\n"
4166         "\t.byte 0xc\n\t.uleb128 29\n\t.uleb128 0\n"
4167         "\t.align 2\n"
4168         ".LECIE1:\n\n");
4169     fprintf(ctx->fp,
4170         ".LSFDE2:\n"
4171         "\t.4byte .LEFDE2-.LASFDE2\n"
4172         ".LASFDE2:\n"
4173         "\t.4byte .LASFDE2-.Lframe1\n"
4174         "\t.4byte .Lbegin\n"
4175         "\t.4byte %d\n"
4176         "\t.uleb128 0\n"                        /* augmentation length */
4177         "\t.byte 0xe\n\t.uleb128 %d\n"
4178         "\t.byte 0x9f\n\t.sleb128 1\n"
4179         "\t.byte 0x9e\n\t.sleb128 2\n",
4180         fcofs, CFRAME_SIZE);
4181     for (i = 23; i >= 16; i--)
4182       fprintf(ctx->fp, "\t.byte %d\n\t.uleb128 %d\n", 0x80+i, 26-i);
4183     for (i = 30; i >= 20; i -= 2)
4184       fprintf(ctx->fp, "\t.byte %d\n\t.uleb128 %d\n", 0x80+32+i, 42-i);
4185     fprintf(ctx->fp,
4186         "\t.align 2\n"
4187         ".LEFDE2:\n\n");
4188 #if LJ_HASFFI
4189     fprintf(ctx->fp,
4190         ".Lframe2:\n"
4191         "\t.4byte .LECIE2-.LSCIE2\n"
4192         ".LSCIE2:\n"
4193         "\t.4byte 0\n"
4194         "\t.byte 0x1\n"
4195         "\t.string \"zR\"\n"
4196         "\t.uleb128 0x1\n"
4197         "\t.sleb128 -4\n"
4198         "\t.byte 31\n"
4199         "\t.uleb128 1\n"                        /* augmentation length */
4200         "\t.byte 0\n"
4201         "\t.byte 0xc\n\t.uleb128 29\n\t.uleb128 0\n"
4202         "\t.align 2\n"
4203         ".LECIE2:\n\n");
4204     fprintf(ctx->fp,
4205         ".LSFDE3:\n"
4206         "\t.4byte .LEFDE3-.LASFDE3\n"
4207         ".LASFDE3:\n"
4208         "\t.4byte .LASFDE3-.Lframe2\n"
4209         "\t.4byte lj_vm_ffi_call\n"
4210         "\t.4byte %d\n"
4211         "\t.uleb128 0\n"                        /* augmentation length */
4212         "\t.byte 0x9f\n\t.uleb128 1\n"
4213         "\t.byte 0x90\n\t.uleb128 2\n"
4214         "\t.byte 0xd\n\t.uleb128 0x10\n"
4215         "\t.align 2\n"
4216         ".LEFDE3:\n\n", (int)ctx->codesz - fcofs);
4217 #endif
4218     break;
4219   default:
4220     break;
4221   }
4222 }
4223