📄 zgemm_kernel_4x2_penryn.s

📁 Optimized GotoBLAS libraries
💻 S
📖 第 1 页 / 共 3 页
字号:
	pxor	%xmm0, %xmm13	pxor	%xmm0, %xmm15#endif	haddps	%xmm9,  %xmm8	haddps	%xmm11, %xmm10	haddps	%xmm13, %xmm12	haddps	%xmm15, %xmm14	shufps	$0xd8, %xmm8,  %xmm8	shufps	$0xd8, %xmm10, %xmm10	shufps	$0xd8, %xmm12, %xmm12	shufps	$0xd8, %xmm14, %xmm14	movaps	%xmm8, %xmm9	shufps	$0xe4, %xmm10, %xmm8	shufps	$0xe4, %xmm9, %xmm10	movaps	%xmm12, %xmm13	shufps	$0xe4, %xmm14, %xmm12	shufps	$0xe4, %xmm13, %xmm14	pshufd	$0xb1, %xmm8,  %xmm9	pshufd	$0xb1, %xmm10, %xmm11	pshufd	$0xb1, %xmm12, %xmm13	pshufd	$0xb1, %xmm14, %xmm15	mulps	%xmm2, %xmm8	mulps	%xmm3, %xmm9	mulps	%xmm2, %xmm12	mulps	%xmm3, %xmm13	mulps	%xmm2, %xmm10	mulps	%xmm3, %xmm11	mulps	%xmm2, %xmm14	mulps	%xmm3, %xmm15	addsubps	%xmm9,  %xmm8	addsubps	%xmm11, %xmm10	addsubps	%xmm13, %xmm12	addsubps	%xmm15, %xmm14#ifndef TRMMKERNEL	movsd	0 * SIZE(CO1), %xmm0	movhps	2 * SIZE(CO1), %xmm0	movsd	4 * SIZE(CO1), %xmm1	movhps	6 * SIZE(CO1), %xmm1	movsd	0 * SIZE(CO2), %xmm2	movhps	2 * SIZE(CO2), %xmm2	movsd	4 * SIZE(CO2), %xmm3	movhps	6 * SIZE(CO2), %xmm3	addps	%xmm0, %xmm8	addps	%xmm1, %xmm12	addps	%xmm2, %xmm10	addps	%xmm3, %xmm14#endif	movsd	%xmm8,  0 * SIZE(CO1)	movhps	%xmm8,  2 * SIZE(CO1)	movsd	%xmm12, 4 * SIZE(CO1)	movhps	%xmm12, 6 * SIZE(CO1)	movsd	%xmm10, 0 * SIZE(CO2)	movhps	%xmm10, 2 * SIZE(CO2)	movsd	%xmm14, 4 * SIZE(CO2)	movhps	%xmm14, 6 * SIZE(CO2)#if (defined(TRMMKERNEL) &&  defined(LEFT) &&  defined(TRANSA)) || \    (defined(TRMMKERNEL) && !defined(LEFT) && !defined(TRANSA))	movq	K, %rax	subq	KKK, %rax	salq	$ZBASE_SHIFT, %rax	leaq	(AO, %rax, 4), AO	leaq	(BO, %rax, 2), BO#endif#if defined(TRMMKERNEL) && defined(LEFT)	addq	$4, KK#endif	addq	$8 * SIZE, CO1		# coffset += 4	addq	$8 * SIZE, CO2		# coffset += 4	decq	I			# i --	jg,pt	.L11	ALIGN_4	.L20:	testq	$2, M	jle,pt	.L30#if !defined(TRMMKERNEL) || \	(defined(TRMMKERNEL) &&  defined(LEFT) &&  defined(TRANSA)) || \	(defined(TRMMKERNEL) && !defined(LEFT) && !defined(TRANSA))	movq	B, BO#else	movq	B, BO	movq	KK, %rax	salq	$ZBASE_SHIFT, %rax	leaq	(AO, %rax, 2), AO	leaq	(BO, %rax, 2), BO#endif		movaps	-32 * SIZE(AO), %xmm0	pxor	%xmm4, %xmm4	pxor	%xmm6, %xmm6	movaps	-32 * SIZE(BO), %xmm2	pxor	%xmm8, %xmm8	pxor	%xmm9, %xmm9	pxor	%xmm10, %xmm10	pxor	%xmm11, %xmm11#ifndef TRMMKERNEL	movq	K, %rax#elif (defined(LEFT) && !defined(TRANSA)) || (!defined(LEFT) && defined(TRANSA))	movq	K, %rax	subq	KK, %rax	movq	%rax, KKK	#else	movq	KK, %rax#ifdef LEFT	addq	$2, %rax#else	addq	$2, %rax#endif	movq	%rax, KKK#endif	sarq	$2, %rax	jle,pn	.L25	ALIGN_3.L22:		ADD1	%xmm6, %xmm10	PREFETCH (PREFETCHSIZE +  0) * SIZE(AO)	pshufd	$0xb1, %xmm2, %xmm7	mulps	%xmm0, %xmm2	ADD2	%xmm4, %xmm11	pshufd	$0x1b, %xmm7, %xmm6	mulps	%xmm0, %xmm7	ADD1	%xmm2, %xmm8	movaps	-28 * SIZE(BO), %xmm2	pshufd	$0xb1, %xmm6, %xmm4	mulps	%xmm0, %xmm6	ADD2	%xmm7, %xmm9	mulps	%xmm0, %xmm4	movaps	-28 * SIZE(AO), %xmm0	ADD1	%xmm6, %xmm10	pshufd	$0xb1, %xmm2, %xmm7	mulps	%xmm0, %xmm2	ADD2	%xmm4, %xmm11	pshufd	$0x1b, %xmm7, %xmm6	mulps	%xmm0, %xmm7	ADD1	%xmm2, %xmm8	movaps	-24 * SIZE(BO), %xmm2	pshufd	$0xb1, %xmm6, %xmm4	mulps	%xmm0, %xmm6	ADD2	%xmm7, %xmm9	mulps	%xmm0, %xmm4	movaps	-24 * SIZE(AO), %xmm0	ADD1	%xmm6, %xmm10	pshufd	$0xb1, %xmm2, %xmm7	mulps	%xmm0, %xmm2	ADD2	%xmm4, %xmm11	pshufd	$0x1b, %xmm7, %xmm6	mulps	%xmm0, %xmm7	ADD1	%xmm2, %xmm8	movaps	-20 * SIZE(BO), %xmm2	pshufd	$0xb1, %xmm6, %xmm4	mulps	%xmm0, %xmm6	ADD2	%xmm7, %xmm9	mulps	%xmm0, %xmm4	movaps	-20 * SIZE(AO), %xmm0	ADD1	%xmm6, %xmm10	pshufd	$0xb1, %xmm2, %xmm7	mulps	%xmm0, %xmm2	ADD2	%xmm4, %xmm11	pshufd	$0x1b, %xmm7, %xmm6	mulps	%xmm0, %xmm7	ADD1	%xmm2, %xmm8	movaps	-16 * SIZE(BO), %xmm2	pshufd	$0xb1, %xmm6, %xmm4	mulps	%xmm0, %xmm6	subq	$-16 * SIZE, AO	ADD2	%xmm7, %xmm9	mulps	%xmm0, %xmm4	movaps	-32 * SIZE(AO), %xmm0	subq	$-16 * SIZE, BO	subq	$1, %rax	jg,pt	.L22	ALIGN_3.L25:#ifndef TRMMKERNEL	movq	K, %rax#else	movq	KKK, %rax#endif	andq	$3, %rax		# if (k & 1)	je,pt	.L28	ALIGN_3.L26:	ADD1	%xmm6, %xmm10	pshufd	$0xb1, %xmm2, %xmm7	mulps	%xmm0, %xmm2	ADD2	%xmm4, %xmm11	pshufd	$0x1b, %xmm7, %xmm6	mulps	%xmm0, %xmm7	ADD1	%xmm2, %xmm8	movaps	-28 * SIZE(BO), %xmm2	pshufd	$0xb1, %xmm6, %xmm4	mulps	%xmm0, %xmm6	ADD2	%xmm7, %xmm9	mulps	%xmm0, %xmm4	movaps	-28 * SIZE(AO), %xmm0	addq	$4 * SIZE, AO	addq	$4 * SIZE, BO	subq	$1, %rax	jg,pt	.L26	ALIGN_3.L28:	ADD1	%xmm6, %xmm10	ADD2	%xmm4, %xmm11	pcmpeqb	%xmm0, %xmm0	psllq	$63,   %xmm0	movddup	ALPHA_R, %xmm2	movddup	ALPHA_I, %xmm3#if   defined(NN) || defined(NT) || defined(TN) || defined(TT) || \      defined(RR) || defined(RC) || defined(CR) || defined(CC)	pxor	%xmm0, %xmm8	pxor	%xmm0, %xmm10#elif defined(NR) || defined(NC) || defined(TR) || defined(TC)	pshufd	$0xb1, %xmm0, %xmm0	pxor	%xmm0, %xmm9	pxor	%xmm0, %xmm11#elif defined(RN) || defined(RT) || defined(CN) || defined(CT)	pxor	%xmm0, %xmm9	pxor	%xmm0, %xmm11#endif	haddps	%xmm9,  %xmm8	haddps	%xmm11, %xmm10	shufps	$0xd8, %xmm8,  %xmm8	shufps	$0xd8, %xmm10, %xmm10	movaps	%xmm8, %xmm9	shufps	$0xe4, %xmm10, %xmm8	shufps	$0xe4, %xmm9, %xmm10	pshufd	$0xb1, %xmm8,  %xmm9	pshufd	$0xb1, %xmm10, %xmm11	mulps	%xmm2, %xmm8	mulps	%xmm3, %xmm9	mulps	%xmm2, %xmm10	mulps	%xmm3, %xmm11	addsubps	%xmm9,  %xmm8	addsubps	%xmm11, %xmm10#ifndef TRMMKERNEL	movsd	0 * SIZE(CO1), %xmm0	movhps	2 * SIZE(CO1), %xmm0	movsd	0 * SIZE(CO2), %xmm2	movhps	2 * SIZE(CO2), %xmm2	addps	%xmm0, %xmm8	addps	%xmm2, %xmm10#endif	movsd	%xmm8,  0 * SIZE(CO1)	movhps	%xmm8,  2 * SIZE(CO1)	movsd	%xmm10, 0 * SIZE(CO2)	movhps	%xmm10, 2 * SIZE(CO2)#if (defined(TRMMKERNEL) &&  defined(LEFT) &&  defined(TRANSA)) || \    (defined(TRMMKERNEL) && !defined(LEFT) && !defined(TRANSA))	movq	K, %rax	subq	KKK, %rax	salq	$ZBASE_SHIFT, %rax	leaq	(AO, %rax, 2), AO	leaq	(BO, %rax, 2), BO#endif#if defined(TRMMKERNEL) && defined(LEFT)	addq	$2, KK#endif	addq	$4 * SIZE, CO1	addq	$4 * SIZE, CO2	ALIGN_4	.L30:	testq	$1, M	jle,pt	.L39#if !defined(TRMMKERNEL) || \	(defined(TRMMKERNEL) &&  defined(LEFT) &&  defined(TRANSA)) || \	(defined(TRMMKERNEL) && !defined(LEFT) && !defined(TRANSA))	movq	B, BO#else	movq	B, BO	movq	KK, %rax	salq	$ZBASE_SHIFT, %rax	leaq	(AO, %rax, 1), AO	leaq	(BO, %rax, 2), BO#endif		movsd	-32 * SIZE(AO), %xmm0	pxor	%xmm4, %xmm4	pxor	%xmm6, %xmm6	movaps	-32 * SIZE(BO), %xmm2	pxor	%xmm8, %xmm8	pxor	%xmm9, %xmm9	pxor	%xmm10, %xmm10	pxor	%xmm11, %xmm11#ifndef TRMMKERNEL	movq	K, %rax#elif (defined(LEFT) && !defined(TRANSA)) || (!defined(LEFT) && defined(TRANSA))	movq	K, %rax	subq	KK, %rax	movq	%rax, KKK	#else	movq	KK, %rax#ifdef LEFT	addq	$1, %rax#else	addq	$2, %rax#endif	movq	%rax, KKK#endif	sarq	$2, %rax	jle,pn	.L35	ALIGN_3.L32:		ADD1	%xmm6, %xmm10	PREFETCH (PREFETCHSIZE +  0) * SIZE(AO)	pshufd	$0xb1, %xmm2, %xmm7	mulps	%xmm0, %xmm2	ADD2	%xmm4, %xmm11	pshufd	$0x1b, %xmm7, %xmm6	mulps	%xmm0, %xmm7	ADD1	%xmm2, %xmm8	movaps	-28 * SIZE(BO), %xmm2	pshufd	$0xb1, %xmm6, %xmm4	mulps	%xmm0, %xmm6	ADD2	%xmm7, %xmm9	mulps	%xmm0, %xmm4	movsd	-30 * SIZE(AO), %xmm0	ADD1	%xmm6, %xmm10	pshufd	$0xb1, %xmm2, %xmm7	mulps	%xmm0, %xmm2	ADD2	%xmm4, %xmm11	pshufd	$0x1b, %xmm7, %xmm6	mulps	%xmm0, %xmm7	ADD1	%xmm2, %xmm8	movaps	-24 * SIZE(BO), %xmm2	pshufd	$0xb1, %xmm6, %xmm4	mulps	%xmm0, %xmm6	ADD2	%xmm7, %xmm9	mulps	%xmm0, %xmm4	movsd	-28 * SIZE(AO), %xmm0	ADD1	%xmm6, %xmm10	pshufd	$0xb1, %xmm2, %xmm7	mulps	%xmm0, %xmm2	ADD2	%xmm4, %xmm11	pshufd	$0x1b, %xmm7, %xmm6	mulps	%xmm0, %xmm7	ADD1	%xmm2, %xmm8	movaps	-20 * SIZE(BO), %xmm2	pshufd	$0xb1, %xmm6, %xmm4	mulps	%xmm0, %xmm6	ADD2	%xmm7, %xmm9	mulps	%xmm0, %xmm4	movsd	-26 * SIZE(AO), %xmm0	ADD1	%xmm6, %xmm10	pshufd	$0xb1, %xmm2, %xmm7	mulps	%xmm0, %xmm2	ADD2	%xmm4, %xmm11	pshufd	$0x1b, %xmm7, %xmm6	mulps	%xmm0, %xmm7	ADD1	%xmm2, %xmm8	movaps	-16 * SIZE(BO), %xmm2	pshufd	$0xb1, %xmm6, %xmm4	mulps	%xmm0, %xmm6	subq	$-8 * SIZE, AO	ADD2	%xmm7, %xmm9	mulps	%xmm0, %xmm4	movsd	-32 * SIZE(AO), %xmm0	subq	$-16 * SIZE, BO	subq	$1, %rax	jg,pt	.L32	ALIGN_3.L35:#ifndef TRMMKERNEL	movq	K, %rax#else	movq	KKK, %rax#endif	andq	$3, %rax		# if (k & 1)	je,pt	.L38	ALIGN_3.L36:	ADD1	%xmm6, %xmm10	pshufd	$0xb1, %xmm2, %xmm7	mulps	%xmm0, %xmm2	ADD2	%xmm4, %xmm11	pshufd	$0x1b, %xmm7, %xmm6	mulps	%xmm0, %xmm7	ADD1	%xmm2, %xmm8	movaps	-28 * SIZE(BO), %xmm2	pshufd	$0xb1, %xmm6, %xmm4	mulps	%xmm0, %xmm6	ADD2	%xmm7, %xmm9	mulps	%xmm0, %xmm4	movsd	-30 * SIZE(AO), %xmm0	addq	$2 * SIZE, AO	addq	$4 * SIZE, BO	subq	$1, %rax	jg,pt	.L36	ALIGN_3.L38:	ADD1	%xmm6, %xmm10	ADD2	%xmm4, %xmm11	pcmpeqb	%xmm0, %xmm0	psllq	$63,   %xmm0	movddup	ALPHA_R, %xmm2	movddup	ALPHA_I, %xmm3#if   defined(NN) || defined(NT) || defined(TN) || defined(TT) || \      defined(RR) || defined(RC) || defined(CR) || defined(CC)	pxor	%xmm0, %xmm8	pxor	%xmm0, %xmm10#elif defined(NR) || defined(NC) || defined(TR) || defined(TC)	pshufd	$0xb1, %xmm0, %xmm0	pxor	%xmm0, %xmm9	pxor	%xmm0, %xmm11#elif defined(RN) || defined(RT) || defined(CN) || defined(CT)	pxor	%xmm0, %xmm9	pxor	%xmm0, %xmm11#endif	haddps	%xmm9,  %xmm8	haddps	%xmm11, %xmm10	shufps	$0xd8, %xmm8,  %xmm8	shufps	$0xd8, %xmm10, %xmm10	movaps	%xmm8, %xmm9	shufps	$0xe4, %xmm10, %xmm8	shufps	$0xe4, %xmm9, %xmm10	pshufd	$0xb1, %xmm8,  %xmm9	pshufd	$0xb1, %xmm10, %xmm11	mulps	%xmm2, %xmm8	mulps	%xmm3, %xmm9	mulps	%xmm2, %xmm10	mulps	%xmm3, %xmm11	addsubps	%xmm9,  %xmm8	addsubps	%xmm11, %xmm10#ifndef TRMMKERNEL	movsd	0 * SIZE(CO1), %xmm0	movsd	0 * SIZE(CO2), %xmm2	addps	%xmm0, %xmm8	addps	%xmm2, %xmm10#endif	movsd	%xmm8,  0 * SIZE(CO1)	movsd	%xmm10, 0 * SIZE(CO2)#if (defined(TRMMKERNEL) &&  defined(LEFT) &&  defined(TRANSA)) || \    (defined(TRMMKERNEL) && !defined(LEFT) && !defined(TRANSA))	movq	K, %rax	subq	KKK, %rax	salq	$ZBASE_SHIFT, %rax	leaq	(AO, %rax, 1), AO	leaq	(BO, %rax, 2), BO#endif#if defined(TRMMKERNEL) && defined(LEFT)	addq	$1, KK#endif	ALIGN_4		.L39:#if defined(TRMMKERNEL) && !defined(LEFT)	addq	$2, KK#endif	leaq	(C, LDC, 2), C	movq	BO, B	subq	$1, J	jg,pt	.L01	ALIGN_4.L40:	testq	$1, N	jle,pt	.L999#if defined(TRMMKERNEL) && defined(LEFT)        movq    OFFSET, %rax	movq    %rax, KK#endif	movq	C, CO1	movq	A, AO	movq	M,  I	sarq	$2, I	jle,pn	.L50	ALIGN_4.L41:#if !defined(TRMMKERNEL) || \	(defined(TRMMKERNEL) &&  defined(LEFT) &&  defined(TRANSA)) || \	(defined(TRMMKERNEL) && !defined(LEFT) && !defined(TRANSA))	movq	B, BO#else	movq	B, BO	movq	KK, %rax	salq	$ZBASE_SHIFT, %rax	leaq	(AO, %rax, 4), AO	leaq	(BO, %rax, 1), BO#endif		movaps	-32 * SIZE(AO), %xmm0	pxor	%xmm3, %xmm3	movaps	-28 * SIZE(AO), %xmm1	pxor	%xmm4, %xmm4	movaps	-32 * SIZE(BO), %xmm2	pxor	%xmm5, %xmm5	pxor	%xmm6, %xmm6
⌨️ 快捷键说明

复制代码 Ctrl + C
搜索代码 Ctrl + F
全屏模式 F11
切换主题 Ctrl + Shift + D
显示快捷键 ?
增大字号 Ctrl + =
减小字号 Ctrl + -