zgemm3m_tcopy_8.c

Optimized GotoBLAS libraries

	
	a1  = *(a_offset2 +  0);
	a2  = *(a_offset2 +  1);
	
	*(b_offset4 +  1) = CMULT(a1,  a2);

	a1  = *(a_offset3 +  0);
	a2  = *(a_offset3 +  1);
	
	*(b_offset4 +  2) = CMULT(a1,  a2);
	
	a1  = *(a_offset4 +  0);
	a2  = *(a_offset4 +  1);
	
	*(b_offset4 +  3) = CMULT(a1,  a2);
	
	a1  = *(a_offset5 +  0);
	a2  = *(a_offset5 +  1);
	
	*(b_offset4 +  4) = CMULT(a1,  a2);
	
	a1  = *(a_offset6 +  0);
	a2  = *(a_offset6 +  1);
	
	*(b_offset4 +  5) = CMULT(a1,  a2);
	
	a1  = *(a_offset7 +  0);
	a2  = *(a_offset7 +  1);
	
	*(b_offset4 +  6) = CMULT(a1,  a2);
	
	a1  = *(a_offset8 +  0);
	a2  = *(a_offset8 +  1);
	
	*(b_offset4 +  7) = CMULT(a1,  a2);

	b_offset4 += 8;
      }

      j--;
    }while(j > 0);
  }

  if (m & 4){
      a_offset1  = a_offset;
      a_offset2  = a_offset1 + lda;
      a_offset3  = a_offset2 + lda;
      a_offset4  = a_offset3 + lda;
      a_offset  += 4 * lda;
      
      b_offset1  = b_offset;
      b_offset  += 32;

      i = (n >> 3);
      if (i > 0){
	do{
	  a1  = *(a_offset1 +  0);
	  a2  = *(a_offset1 +  1);
	  a3  = *(a_offset1 +  2);
	  a4  = *(a_offset1 +  3);
	  a5  = *(a_offset1 +  4);
	  a6  = *(a_offset1 +  5);
	  a7  = *(a_offset1 +  6);
	  a8  = *(a_offset1 +  7);
	  a9  = *(a_offset1 +  8);
	  a10 = *(a_offset1 +  9);
	  a11 = *(a_offset1 + 10);
	  a12 = *(a_offset1 + 11);
	  a13 = *(a_offset1 + 12);
	  a14 = *(a_offset1 + 13);
	  a15 = *(a_offset1 + 14);
	  a16 = *(a_offset1 + 15);
	  
	  *(b_offset1 +  0) = CMULT(a1,  a2);
	  *(b_offset1 +  1) = CMULT(a3,  a4);
	  *(b_offset1 +  2) = CMULT(a5,  a6);
	  *(b_offset1 +  3) = CMULT(a7,  a8);
	  *(b_offset1 +  4) = CMULT(a9,  a10);
	  *(b_offset1 +  5) = CMULT(a11, a12);
	  *(b_offset1 +  6) = CMULT(a13, a14);
	  *(b_offset1 +  7) = CMULT(a15, a16);

	  a1  = *(a_offset2 +  0);
	  a2  = *(a_offset2 +  1);
	  a3  = *(a_offset2 +  2);
	  a4  = *(a_offset2 +  3);
	  a5  = *(a_offset2 +  4);
	  a6  = *(a_offset2 +  5);
	  a7  = *(a_offset2 +  6);
	  a8  = *(a_offset2 +  7);
	  a9  = *(a_offset2 +  8);
	  a10 = *(a_offset2 +  9);
	  a11 = *(a_offset2 + 10);
	  a12 = *(a_offset2 + 11);
	  a13 = *(a_offset2 + 12);
	  a14 = *(a_offset2 + 13);
	  a15 = *(a_offset2 + 14);
	  a16 = *(a_offset2 + 15);
	  
	  *(b_offset1 +  8) = CMULT(a1,  a2);
	  *(b_offset1 +  9) = CMULT(a3,  a4);
	  *(b_offset1 + 10) = CMULT(a5,  a6);
	  *(b_offset1 + 11) = CMULT(a7,  a8);
	  *(b_offset1 + 12) = CMULT(a9,  a10);
	  *(b_offset1 + 13) = CMULT(a11, a12);
	  *(b_offset1 + 14) = CMULT(a13, a14);
	  *(b_offset1 + 15) = CMULT(a15, a16);

	  a1  = *(a_offset3 +  0);
	  a2  = *(a_offset3 +  1);
	  a3  = *(a_offset3 +  2);
	  a4  = *(a_offset3 +  3);
	  a5  = *(a_offset3 +  4);
	  a6  = *(a_offset3 +  5);
	  a7  = *(a_offset3 +  6);
	  a8  = *(a_offset3 +  7);
	  a9  = *(a_offset3 +  8);
	  a10 = *(a_offset3 +  9);
	  a11 = *(a_offset3 + 10);
	  a12 = *(a_offset3 + 11);
	  a13 = *(a_offset3 + 12);
	  a14 = *(a_offset3 + 13);
	  a15 = *(a_offset3 + 14);
	  a16 = *(a_offset3 + 15);
	  
	  *(b_offset1 + 16) = CMULT(a1,  a2);
	  *(b_offset1 + 17) = CMULT(a3,  a4);
	  *(b_offset1 + 18) = CMULT(a5,  a6);
	  *(b_offset1 + 19) = CMULT(a7,  a8);
	  *(b_offset1 + 20) = CMULT(a9,  a10);
	  *(b_offset1 + 21) = CMULT(a11, a12);
	  *(b_offset1 + 22) = CMULT(a13, a14);
	  *(b_offset1 + 23) = CMULT(a15, a16);

	  a1  = *(a_offset4 +  0);
	  a2  = *(a_offset4 +  1);
	  a3  = *(a_offset4 +  2);
	  a4  = *(a_offset4 +  3);
	  a5  = *(a_offset4 +  4);
	  a6  = *(a_offset4 +  5);
	  a7  = *(a_offset4 +  6);
	  a8  = *(a_offset4 +  7);
	  a9  = *(a_offset4 +  8);
	  a10 = *(a_offset4 +  9);
	  a11 = *(a_offset4 + 10);
	  a12 = *(a_offset4 + 11);
	  a13 = *(a_offset4 + 12);
	  a14 = *(a_offset4 + 13);
	  a15 = *(a_offset4 + 14);
	  a16 = *(a_offset4 + 15);
	  
	  *(b_offset1 + 24) = CMULT(a1,  a2);
	  *(b_offset1 + 25) = CMULT(a3,  a4);
	  *(b_offset1 + 26) = CMULT(a5,  a6);
	  *(b_offset1 + 27) = CMULT(a7,  a8);
	  *(b_offset1 + 28) = CMULT(a9,  a10);
	  *(b_offset1 + 29) = CMULT(a11, a12);
	  *(b_offset1 + 30) = CMULT(a13, a14);
	  *(b_offset1 + 31) = CMULT(a15, a16);

	  a_offset1 += 16;
	  a_offset2 += 16;
	  a_offset3 += 16;
	  a_offset4 += 16;
	  
	  b_offset1 += m * 8;
	  i --;
	}while(i > 0);
      }

      if (n & 4){
	a1  = *(a_offset1 +  0);
	a2  = *(a_offset1 +  1);
	a3  = *(a_offset1 +  2);
	a4  = *(a_offset1 +  3);
	a5  = *(a_offset1 +  4);
	a6  = *(a_offset1 +  5);
	a7  = *(a_offset1 +  6);
	a8  = *(a_offset1 +  7);
	
	*(b_offset2 +  0) = CMULT(a1,  a2);
	*(b_offset2 +  1) = CMULT(a3,  a4);
	*(b_offset2 +  2) = CMULT(a5,  a6);
	*(b_offset2 +  3) = CMULT(a7,  a8);
	
	a1  = *(a_offset2 +  0);
	a2  = *(a_offset2 +  1);
	a3  = *(a_offset2 +  2);
	a4  = *(a_offset2 +  3);
	a5  = *(a_offset2 +  4);
	a6  = *(a_offset2 +  5);
	a7  = *(a_offset2 +  6);
	a8  = *(a_offset2 +  7);
	
	*(b_offset2 +  4) = CMULT(a1,  a2);
	*(b_offset2 +  5) = CMULT(a3,  a4);
	*(b_offset2 +  6) = CMULT(a5,  a6);
	*(b_offset2 +  7) = CMULT(a7,  a8);

	a1  = *(a_offset3 +  0);
	a2  = *(a_offset3 +  1);
	a3  = *(a_offset3 +  2);
	a4  = *(a_offset3 +  3);
	a5  = *(a_offset3 +  4);
	a6  = *(a_offset3 +  5);
	a7  = *(a_offset3 +  6);
	a8  = *(a_offset3 +  7);
	
	*(b_offset2 +  8) = CMULT(a1,  a2);
	*(b_offset2 +  9) = CMULT(a3,  a4);
	*(b_offset2 + 10) = CMULT(a5,  a6);
	*(b_offset2 + 11) = CMULT(a7,  a8);
	
	a1  = *(a_offset4 +  0);
	a2  = *(a_offset4 +  1);
	a3  = *(a_offset4 +  2);
	a4  = *(a_offset4 +  3);
	a5  = *(a_offset4 +  4);
	a6  = *(a_offset4 +  5);
	a7  = *(a_offset4 +  6);
	a8  = *(a_offset4 +  7);
	
	*(b_offset2 + 12) = CMULT(a1,  a2);
	*(b_offset2 + 13) = CMULT(a3,  a4);
	*(b_offset2 + 14) = CMULT(a5,  a6);
	*(b_offset2 + 15) = CMULT(a7,  a8);
	
	a_offset1 += 8;
	a_offset2 += 8;
	a_offset3 += 8;
	a_offset4 += 8;
	
	b_offset2 += 16;
      }

      if (n & 2){
	a1  = *(a_offset1 +  0);
	a2  = *(a_offset1 +  1);
	a3  = *(a_offset1 +  2);
	a4  = *(a_offset1 +  3);
	
	*(b_offset3 +  0) = CMULT(a1,  a2);
	*(b_offset3 +  1) = CMULT(a3,  a4);
	
	a1  = *(a_offset2 +  0);
	a2  = *(a_offset2 +  1);
	a3  = *(a_offset2 +  2);
	a4  = *(a_offset2 +  3);
	
	*(b_offset3 +  2) = CMULT(a1,  a2);
	*(b_offset3 +  3) = CMULT(a3,  a4);

	a1  = *(a_offset3 +  0);
	a2  = *(a_offset3 +  1);
	a3  = *(a_offset3 +  2);
	a4  = *(a_offset3 +  3);
	
	*(b_offset3 +  4) = CMULT(a1,  a2);
	*(b_offset3 +  5) = CMULT(a3,  a4);
	
	a1  = *(a_offset4 +  0);
	a2  = *(a_offset4 +  1);
	a3  = *(a_offset4 +  2);
	a4  = *(a_offset4 +  3);
	
	*(b_offset3 +  6) = CMULT(a1,  a2);
	*(b_offset3 +  7) = CMULT(a3,  a4);
	
	a_offset1 += 4;
	a_offset2 += 4;
	a_offset3 += 4;
	a_offset4 += 4;
	
	b_offset3 += 8;
      }

      if (n & 1){
	a1  = *(a_offset1 +  0);
	a2  = *(a_offset1 +  1);
	
	*(b_offset4 +  0) = CMULT(a1,  a2);
	
	a1  = *(a_offset2 +  0);
	a2  = *(a_offset2 +  1);
	
	*(b_offset4 +  1) = CMULT(a1,  a2);

	a1  = *(a_offset3 +  0);
	a2  = *(a_offset3 +  1);
	
	*(b_offset4 +  2) = CMULT(a1,  a2);
	
	a1  = *(a_offset4 +  0);
	a2  = *(a_offset4 +  1);
	
	*(b_offset4 +  3) = CMULT(a1,  a2);

	b_offset4 += 4;
      }
  }

  if (m & 2){
      a_offset1  = a_offset;
      a_offset2  = a_offset1 + lda;
      a_offset  += 2 * lda;
      
      b_offset1  = b_offset;
      b_offset  += 16;

      i = (n >> 3);
      if (i > 0){
	do{
	  a1  = *(a_offset1 +  0);
	  a2  = *(a_offset1 +  1);
	  a3  = *(a_offset1 +  2);
	  a4  = *(a_offset1 +  3);
	  a5  = *(a_offset1 +  4);
	  a6  = *(a_offset1 +  5);
	  a7  = *(a_offset1 +  6);
	  a8  = *(a_offset1 +  7);
	  a9  = *(a_offset1 +  8);
	  a10 = *(a_offset1 +  9);
	  a11 = *(a_offset1 + 10);
	  a12 = *(a_offset1 + 11);
	  a13 = *(a_offset1 + 12);
	  a14 = *(a_offset1 + 13);
	  a15 = *(a_offset1 + 14);
	  a16 = *(a_offset1 + 15);
	  
	  *(b_offset1 +  0) = CMULT(a1,  a2);
	  *(b_offset1 +  1) = CMULT(a3,  a4);
	  *(b_offset1 +  2) = CMULT(a5,  a6);
	  *(b_offset1 +  3) = CMULT(a7,  a8);
	  *(b_offset1 +  4) = CMULT(a9,  a10);
	  *(b_offset1 +  5) = CMULT(a11, a12);
	  *(b_offset1 +  6) = CMULT(a13, a14);
	  *(b_offset1 +  7) = CMULT(a15, a16);

	  a1  = *(a_offset2 +  0);
	  a2  = *(a_offset2 +  1);
	  a3  = *(a_offset2 +  2);
	  a4  = *(a_offset2 +  3);
	  a5  = *(a_offset2 +  4);
	  a6  = *(a_offset2 +  5);
	  a7  = *(a_offset2 +  6);
	  a8  = *(a_offset2 +  7);
	  a9  = *(a_offset2 +  8);
	  a10 = *(a_offset2 +  9);
	  a11 = *(a_offset2 + 10);
	  a12 = *(a_offset2 + 11);
	  a13 = *(a_offset2 + 12);
	  a14 = *(a_offset2 + 13);
	  a15 = *(a_offset2 + 14);
	  a16 = *(a_offset2 + 15);
	  
	  *(b_offset1 +  8) = CMULT(a1,  a2);
	  *(b_offset1 +  9) = CMULT(a3,  a4);
	  *(b_offset1 + 10) = CMULT(a5,  a6);
	  *(b_offset1 + 11) = CMULT(a7,  a8);
	  *(b_offset1 + 12) = CMULT(a9,  a10);
	  *(b_offset1 + 13) = CMULT(a11, a12);
	  *(b_offset1 + 14) = CMULT(a13, a14);
	  *(b_offset1 + 15) = CMULT(a15, a16);

	  a_offset1 += 16;
	  a_offset2 += 16;
	  
	  b_offset1 += m * 8;
	  i --;
	}while(i > 0);
      }

      if (n & 4){
	a1  = *(a_offset1 +  0);
	a2  = *(a_offset1 +  1);
	a3  = *(a_offset1 +  2);
	a4  = *(a_offset1 +  3);
	a5  = *(a_offset1 +  4);
	a6  = *(a_offset1 +  5);
	a7  = *(a_offset1 +  6);
	a8  = *(a_offset1 +  7);
	
	*(b_offset2 +  0) = CMULT(a1,  a2);
	*(b_offset2 +  1) = CMULT(a3,  a4);
	*(b_offset2 +  2) = CMULT(a5,  a6);
	*(b_offset2 +  3) = CMULT(a7,  a8);
	
	a1  = *(a_offset2 +  0);
	a2  = *(a_offset2 +  1);
	a3  = *(a_offset2 +  2);
	a4  = *(a_offset2 +  3);
	a5  = *(a_offset2 +  4);
	a6  = *(a_offset2 +  5);
	a7  = *(a_offset2 +  6);
	a8  = *(a_offset2 +  7);
	
	*(b_offset2 +  4) = CMULT(a1,  a2);
	*(b_offset2 +  5) = CMULT(a3,  a4);
	*(b_offset2 +  6) = CMULT(a5,  a6);
	*(b_offset2 +  7) = CMULT(a7,  a8);

	a_offset1 += 8;
	a_offset2 += 8;
	
	b_offset2 += 8;
      }

      if (n & 2){
	a1  = *(a_offset1 +  0);
	a2  = *(a_offset1 +  1);
	a3  = *(a_offset1 +  2);
	a4  = *(a_offset1 +  3);
	
	*(b_offset3 +  0) = CMULT(a1,  a2);
	*(b_offset3 +  1) = CMULT(a3,  a4);
	
	a1  = *(a_offset2 +  0);
	a2  = *(a_offset2 +  1);
	a3  = *(a_offset2 +  2);
	a4  = *(a_offset2 +  3);
	
	*(b_offset3 +  2) = CMULT(a1,  a2);
	*(b_offset3 +  3) = CMULT(a3,  a4);
	
	a_offset1 += 4;
	a_offset2 += 4;

	b_offset3 += 4;
      }

      if (n & 1){
	a1  = *(a_offset1 +  0);
	a2  = *(a_offset1 +  1);
	
	*(b_offset4 +  0) = CMULT(a1,  a2);
	
	a1  = *(a_offset2 +  0);
	a2  = *(a_offset2 +  1);
	
	*(b_offset4 +  1) = CMULT(a1,  a2);

	b_offset4 += 2;
      }
  }

  if (m & 1){
      a_offset1  = a_offset;
      b_offset1  = b_offset;

      i = (n >> 3);
      if (i > 0){
	do{
	  a1  = *(a_offset1 +  0);
	  a2  = *(a_offset1 +  1);
	  a3  = *(a_offset1 +  2);
	  a4  = *(a_offset1 +  3);
	  a5  = *(a_offset1 +  4);
	  a6  = *(a_offset1 +  5);
	  a7  = *(a_offset1 +  6);
	  a8  = *(a_offset1 +  7);
	  a9  = *(a_offset1 +  8);
	  a10 = *(a_offset1 +  9);
	  a11 = *(a_offset1 + 10);
	  a12 = *(a_offset1 + 11);
	  a13 = *(a_offset1 + 12);
	  a14 = *(a_offset1 + 13);
	  a15 = *(a_offset1 + 14);
	  a16 = *(a_offset1 + 15);
	  
	  *(b_offset1 +  0) = CMULT(a1,  a2);
	  *(b_offset1 +  1) = CMULT(a3,  a4);
	  *(b_offset1 +  2) = CMULT(a5,  a6);
	  *(b_offset1 +  3) = CMULT(a7,  a8);
	  *(b_offset1 +  4) = CMULT(a9,  a10);
	  *(b_offset1 +  5) = CMULT(a11, a12);
	  *(b_offset1 +  6) = CMULT(a13, a14);
	  *(b_offset1 +  7) = CMULT(a15, a16);

	  a_offset1 += 16;
	  
	  b_offset1 += m * 8;
	  i --;
	}while(i > 0);
      }

      if (n & 4){
	a1  = *(a_offset1 +  0);
	a2  = *(a_offset1 +  1);
	a3  = *(a_offset1 +  2);
	a4  = *(a_offset1 +  3);
	a5  = *(a_offset1 +  4);
	a6  = *(a_offset1 +  5);
	a7  = *(a_offset1 +  6);
	a8  = *(a_offset1 +  7);
	
	*(b_offset2 +  0) = CMULT(a1,  a2);
	*(b_offset2 +  1) = CMULT(a3,  a4);
	*(b_offset2 +  2) = CMULT(a5,  a6);
	*(b_offset2 +  3) = CMULT(a7,  a8);

	a_offset1 += 8;
	b_offset2 += 4;
      }

      if (n & 2){
	a1  = *(a_offset1 +  0);
	a2  = *(a_offset1 +  1);
	a3  = *(a_offset1 +  2);
	a4  = *(a_offset1 +  3);
	
	*(b_offset3 +  0) = CMULT(a1,  a2);
	*(b_offset3 +  1) = CMULT(a3,  a4);

	a_offset1 += 4;
	b_offset3 += 2;
      }

      if (n & 1){
	a1  = *(a_offset1 +  0);
	a2  = *(a_offset1 +  1);
	
	*(b_offset4 +  0) = CMULT(a1,  a2);
      }
  }
  
}