viscsum.s

优龙2410linux2.6.8内核源代码

/* $Id: VIScsum.S,v 1.7 2002/02/09 19:49:30 davem Exp $
 * VIScsum.S: High bandwidth IP checksumming utilizing the UltraSparc
 *            Visual Instruction Set.
 *
 * Copyright (C) 1997 Jakub Jelinek ([e-mail])
 * Copyright (C) 2000 David S. Miller ([e-mail])
 *
 * Based on older sparc32/sparc64 checksum.S, which is:
 *
 *      Copyright(C) 1995 Linus Torvalds
 *      Copyright(C) 1995 Miguel de Icaza
 *      Copyright(C) 1996, 1997 David S. Miller
 *    derived from:
 *	  Linux/Alpha checksum c-code
 *        Linux/ix86 inline checksum assembly
 *        RFC1071 Computing the Internet Checksum (esp. Jacobsons m68k code)
 *	  David Mosberger-Tang for optimized reference c-code
 *	  BSD4.4 portable checksum routine
 */

#ifdef __sparc_v9__
#define STACKOFF	2175
#else
#define STACKOFF	64
#endif

#ifdef __KERNEL__
#include <asm/head.h>
#include <asm/asi.h>
#include <asm/visasm.h>
#include <asm/thread_info.h>
#else
#define ASI_BLK_P	0xf0
#define FRPS_FEF	0x04
#endif

/* Dobrou noc, SunSoft engineers. Spete sladce.
 * This has a couple of tricks in and those
 * tricks are UltraLinux trade secrets :))
 */

#define START_THE_TRICK(fz,f0,f2,f4,f6,f8,f10)						\
	fcmpgt32	%fz, %f0, %g1		/*  FPM		Group	*/;		\
	fcmpgt32	%fz, %f2, %g2		/*  FPM		Group	*/;		\
	fcmpgt32	%fz, %f4, %g3		/*  FPM		Group	*/;		\
	inc		%g1			/*  IEU0	Group	*/;		\
	fcmpgt32	%fz, %f6, %g5		/*  FPM			*/;		\
	srl		%g1, 1, %g1		/*  IEU0	Group	*/;		\
	fcmpgt32	%fz, %f8, %g7		/*  FPM			*/;		\
	inc		%g2			/*  IEU0	Group	*/;		\
	fcmpgt32	%fz, %f10, %o3		/*  FPM			*/;		\
	srl		%g2, 1, %g2		/*  IEU0	Group	*/;		\
	inc		%g3			/*  IEU1		*/;		\
	srl		%g3, 1, %g3		/*  IEU0	Group	*/;		\
	add		%o2, %g1, %o2		/*  IEU1		*/;		\
	add		%o2, %g2, %o2		/*  IEU0	Group	*/;		\
	inc		%g5			/*  IEU1		*/;		\
	add		%o2, %g3, %o2		/*  IEU0	Group	*/;

#define DO_THE_TRICK(O12,O14,f0,f2,f4,f6,f8,f10,f12,f14,F0,F2,F4,F6,F8,F10,F12,F14)	\
	srl		%g5, 1, %g5		/*  IEU0	Group	*/;		\
	fpadd32		%F0, %f0, %F0		/*  FPA			*/;		\
	fcmpgt32	%O12, %f12, %o4		/*  FPM			*/;		\
	inc		%g7			/*  IEU0	Group	*/;		\
	fpadd32		%F2, %f2, %F2		/*  FPA			*/;		\
	fcmpgt32	%O14, %f14, %o5		/*  FPM			*/;		\
	add		%o2, %g5, %o2		/*  IEU1	Group	*/;		\
	fpadd32		%F4, %f4, %F4		/*  FPA			*/;		\
	fcmpgt32	%f0, %F0, %g1		/*  FPM			*/;		\
	srl		%g7, 1, %g7		/*  IEU0	Group	*/;		\
	fpadd32		%F6, %f6, %F6		/*  FPA			*/;		\
	fcmpgt32	%f2, %F2, %g2		/*  FPM			*/;		\
	add		%o2, %g7, %o2		/*  IEU0	Group	*/;		\
	fpadd32		%F8, %f8, %F8		/*  FPA			*/;		\
	fcmpgt32	%f4, %F4, %g3		/*  FPM			*/;		\
	inc		%o3			/*  IEU0	Group	*/;		\
	fpadd32		%F10, %f10, %F10	/*  FPA			*/;		\
	fcmpgt32	%f6, %F6, %g5		/*  FPM			*/;		\
	srl		%o3, 1, %o3		/*  IEU0	Group	*/;		\
	fpadd32		%F12, %f12, %F12	/*  FPA			*/;		\
	fcmpgt32	%f8, %F8, %g7		/*  FPM			*/;		\
	add		%o2, %o3, %o2		/*  IEU0	Group	*/;		\
	fpadd32		%F14, %f14, %F14	/*  FPA			*/;		\
	fcmpgt32	%f10, %F10, %o3		/*  FPM			*/;		\
	inc		%o4			/*  IEU0	Group	*/;		\
	inc		%o5			/*  IEU1		*/;		\
	srl		%o4, 1, %o4		/*  IEU0	Group	*/;		\
	inc		%g1			/*  IEU1		*/;		\
	srl		%o5, 1, %o5		/*  IEU0	Group	*/;		\
	add		%o2, %o4, %o2		/*  IEU1		*/;		\
	srl		%g1, 1, %g1		/*  IEU0	Group	*/;		\
	add		%o2, %o5, %o2		/*  IEU1		*/;		\
	inc		%g2			/*  IEU0	Group	*/;		\
	add		%o2, %g1, %o2		/*  IEU1		*/;		\
	srl		%g2, 1, %g2		/*  IEU0	Group	*/;		\
	inc		%g3			/*  IEU1		*/;		\
	srl		%g3, 1, %g3		/*  IEU0	Group	*/;		\
	add		%o2, %g2, %o2		/*  IEU1		*/;		\
	inc		%g5			/*  IEU0	Group	*/;		\
	add		%o2, %g3, %o2		/*  IEU0		*/;

#define END_THE_TRICK(O12,O14,f0,f2,f4,f6,f8,f10,f12,f14,S0,S1,S2,S3,T0,T1,U0,fz)	\
	srl		%g5, 1, %g5		/*  IEU0	Group	*/;		\
	fpadd32		%f2, %f0, %S0		/*  FPA			*/;		\
	fcmpgt32	%O12, %f12, %o4		/*  FPM			*/;		\
	inc		%g7			/*  IEU0	Group	*/;		\
	fpadd32		%f6, %f4, %S1		/*  FPA			*/;		\
	fcmpgt32	%O14, %f14, %o5		/*  FPM			*/;		\
	srl		%g7, 1, %g7		/*  IEU0	Group	*/;		\
	fpadd32		%f10, %f8, %S2		/*  FPA			*/;		\
	fcmpgt32	%f0, %S0, %g1		/*  FPM			*/;		\
	inc		%o3			/*  IEU0	Group	*/;		\
	fpadd32		%f14, %f12, %S3		/*  FPA			*/;		\
	fcmpgt32	%f4, %S1, %g2		/*  FPM			*/;		\
	add		%o2, %g5, %o2		/*  IEU0	Group	*/;		\
	fpadd32		%S0, %S1, %T0		/*  FPA			*/;		\
	fcmpgt32	%f8, %S2, %g3		/*  FPM			*/;		\
	add		%o2, %g7, %o2		/*  IEU0	Group	*/;		\
	fzero		%fz			/*  FPA			*/;		\
	fcmpgt32	%f12, %S3, %g5		/*  FPM			*/;		\
	srl		%o3, 1, %o3		/*  IEU0	Group	*/;		\
	fpadd32		%S2, %S3, %T1		/*  FPA			*/;		\
	fcmpgt32	%S0, %T0, %g7		/*  FPM			*/;		\
	add		%o2, %o3, %o2		/*  IEU0	Group	*/;		\
	fpadd32		%T0, %T1, %U0		/*  FPA			*/;		\
	fcmpgt32	%S2, %T1, %o3		/*  FPM			*/;		\
	inc		%o4			/*  IEU0	Group	*/;		\
	inc		%o5			/*  IEU1		*/;		\
	srl		%o4, 1, %o4		/*  IEU0	Group	*/;		\
	inc		%g1			/*  IEU1		*/;		\
	add		%o2, %o4, %o2		/*  IEU0	Group	*/;		\
	fcmpgt32	%fz, %f2, %o4		/*  FPM			*/;		\
	srl		%o5, 1, %o5		/*  IEU0	Group	*/;		\
	inc		%g2			/*  IEU1		*/;		\
	add		%o2, %o5, %o2		/*  IEU0	Group	*/;		\
	fcmpgt32	%fz, %f6, %o5		/*  FPM			*/;		\
	srl		%g1, 1, %g1		/*  IEU0	Group	*/;		\
	inc		%g3			/*  IEU1		*/;		\
	add		%o2, %g1, %o2		/*  IEU0	Group	*/;		\
	fcmpgt32	%fz, %f10, %g1		/*  FPM			*/;		\
	srl		%g2, 1, %g2		/*  IEU0	Group	*/;		\
	inc		%g5			/*  IEU1		*/;		\
	add		%o2, %g2, %o2		/*  IEU0	Group	*/;		\
	fcmpgt32	%fz, %f14, %g2		/*  FPM			*/;		\
	srl		%g3, 1, %g3		/*  IEU0	Group	*/;		\
	inc		%g7			/*  IEU1		*/;		\
	add		%o2, %g3, %o2		/*  IEU0	Group	*/;		\
	fcmpgt32	%fz, %S1, %g3		/*  FPM			*/;		\
	srl		%g5, 1, %g5		/*  IEU0	Group	*/;		\
	inc		%o3			/*  IEU1		*/;		\
	add		%o2, %g5, %o2		/*  IEU0	Group	*/;		\
	fcmpgt32	%fz, %S3, %g5		/*  FPM			*/;		\
	srl		%g7, 1, %g7		/*  IEU0	Group	*/;		\
	inc		%o4			/*  IEU1		*/;		\
	add		%o2, %g7, %o2		/*  IEU0	Group	*/;		\
	fcmpgt32	%fz, %T1, %g7		/*  FPM			*/;		\
	srl		%o3, 1, %o3		/*  IEU0	Group	*/;		\
	inc		%o5			/*  IEU1		*/;		\
	add		%o2, %o3, %o2		/*  IEU0	Group	*/;		\
	fcmpgt32	%T0, %U0, %o3		/*  FPM			*/;		\
	srl		%o4, 1, %o4		/*  IEU0	Group	*/;		\
	inc		%g1			/*  IEU1		*/;		\
	sub		%o2, %o4, %o2		/*  IEU0	Group	*/;		\
	fcmpgt32	%fz, %U0, %o4		/*  FPM			*/;		\
	srl		%o5, 1, %o5		/*  IEU0	Group	*/;		\
	inc		%g2			/*  IEU1		*/;		\
	srl		%g1, 1, %g1		/*  IEU0	Group	*/;		\
	sub		%o2, %o5, %o2		/*  IEU1		*/;		\
	std		%U0, [%sp + STACKOFF]	/*  Store		*/;		\
	srl		%g2, 1, %g2		/*  IEU0	Group	*/;		\
	sub		%o2, %g1, %o2		/*  IEU1		*/;		\
	inc		%g3			/*  IEU0	Group	*/;		\
	sub		%o2, %g2, %o2		/*  IEU1		*/;		\
	srl		%g3, 1, %g3		/*  IEU0	Group	*/;		\
	inc		%g5			/*  IEU1		*/;		\
	srl		%g5, 1, %g5		/*  IEU0	Group	*/;		\
	sub		%o2, %g3, %o2		/*  IEU1		*/;		\
	ldx		[%sp + STACKOFF], %o5	/*  Load	Group	*/;		\
	inc		%g7			/*  IEU0		*/;		\
	sub		%o2, %g5, %o2		/*  IEU1		*/;		\
	srl		%g7, 1, %g7		/*  IEU0	Group	*/;		\
	inc		%o3			/*  IEU1		*/;		\
	srl		%o3, 1, %o3		/*  IEU0	Group	*/;		\
	sub		%o2, %g7, %o2		/*  IEU1		*/;		\
	inc		%o4			/*  IEU0	Group	*/;		\
	add		%o2, %o3, %o2		/*  IEU1		*/;		\
	srl		%o4, 1, %o4		/*  IEU0	Group	*/;		\
	sub		%o2, %o4, %o2		/*  IEU0	Group	*/;		\
	addcc		%o2, %o5, %o2		/*  IEU1	Group	*/;		\
	bcs,a,pn	%xcc, 33f		/*  CTI			*/;		\
	 add		%o2, 1, %o2		/*  IEU0		*/;		\
33:						/*  That's it		*/;

#define CSUM_LASTCHUNK(offset)								\
        ldx             [%o0 - offset - 0x10], %g2;					\
        ldx             [%o0 - offset - 0x08], %g3;					\
        addcc           %g2, %o2, %o2;							\
        bcs,a,pn        %xcc, 31f;							\
         add            %o2, 1, %o2;							\
31:     addcc           %g3, %o2, %o2;							\
        bcs,a,pn        %xcc, 32f;							\
         add            %o2, 1, %o2;							\
32:

	.text
	.globl		csum_partial
	.align		32
csum_partial:
	andcc		%o0, 7, %g0		/*  IEU1	Group		*/
	be,pt		%icc, 4f		/*  CTI				*/
	 andcc		%o0, 0x38, %g3		/*  IEU1			*/
	mov		1, %g5			/*  IEU0	Group		*/
	cmp		%o1, 6			/*  IEU1			*/
	bl,pn		%icc, 21f		/*  CTI				*/
	 andcc		%o0, 1, %g0		/*  IEU1	Group		*/
	bne,pn		%icc, csump_really_slow /*  CTI				*/
	 andcc		%o0, 2, %g0		/*  IEU1	Group		*/
	be,pt		%icc, 1f		/*  CTI				*/
	 and		%o0, 4, %g7		/*  IEU0			*/
	lduh		[%o0], %g2		/*  Load			*/
	sub		%o1, 2, %o1		/*  IEU0	Group		*/
	add		%o0, 2, %o0		/*  IEU1			*/
	andcc		%o0, 4, %g7		/*  IEU1	Group		*/
	sll		%g5, 16, %g5		/*  IEU0			*/
	sll		%g2, 16, %g2		/*  IEU0	Group 		*/
	addcc		%g2, %o2, %o2		/*  IEU1	Group (regdep)	*/
	bcs,a,pn	%icc, 1f		/*  CTI				*/
	 add		%o2, %g5, %o2		/*  IEU0			*/
1:	ld		[%o0], %g2		/*  Load			*/
	brz,a,pn	%g7, 4f			/*  CTI+IEU1	Group		*/
	 and		%o0, 0x38, %g3		/*  IEU0			*/
	add		%o0, 4, %o0		/*  IEU0	Group		*/
	sub		%o1, 4, %o1		/*  IEU1			*/
	addcc		%g2, %o2, %o2		/*  IEU1	Group		*/
	bcs,a,pn	%icc, 1f		/*  CTI				*/
	 add		%o2, 1, %o2		/*  IEU0			*/
1:	and		%o0, 0x38, %g3		/*  IEU1	Group		*/
4:	srl		%o2, 0, %o2		/*  IEU0	Group		*/
	mov		0x40, %g1		/*  IEU1			*/
	brz,pn		%g3, 3f			/*  CTI+IEU1	Group		*/
	 sub		%g1, %g3, %g1		/*  IEU0			*/
	cmp		%o1, 56			/*  IEU1	Group		*/
	blu,pn		%icc, 20f		/*  CTI				*/
	 andcc		%o0, 8, %g0		/*  IEU1	Group		*/
	be,pn		%icc, 1f		/*  CTI				*/
	 ldx		[%o0], %g2		/*  Load			*/
	add		%o0, 8, %o0		/*  IEU0	Group		*/
	sub		%o1, 8, %o1		/*  IEU1			*/
	addcc		%g2, %o2, %o2		/*  IEU1	Group		*/
	bcs,a,pn	%xcc, 1f		/*  CTI				*/
	 add		%o2, 1, %o2		/*  IEU0			*/
1:	andcc		%g1, 0x10, %g0		/*  IEU1	Group		*/
	be,pn		%icc, 2f		/*  CTI				*/
	 and		%g1, 0x20, %g1		/*  IEU0			*/
	ldx		[%o0], %g2		/*  Load			*/
	ldx		[%o0+8], %g3		/*  Load	Group		*/
	add		%o0, 16, %o0		/*  IEU0			*/
	sub		%o1, 16, %o1		/*  IEU1			*/
	addcc		%g2, %o2, %o2		/*  IEU1	Group		*/
	bcs,a,pn	%xcc, 1f		/*  CTI				*/
	 add		%o2, 1, %o2		/*  IEU0			*/
1:	addcc		%g3, %o2, %o2		/*  IEU1	Group		*/
	bcs,a,pn	%xcc, 2f		/*  CTI				*/
	 add		%o2, 1, %o2		/*  IEU0			*/
2:	brz,pn		%g1, 3f			/*  CTI+IEU1	Group		*/
	 ldx		[%o0], %g2		/*  Load			*/
	ldx		[%o0+8], %g3		/*  Load	Group		*/
	ldx		[%o0+16], %g5		/*  Load	Group		*/
	ldx		[%o0+24], %g7		/*  Load	Group		*/
	add		%o0, 32, %o0		/*  IEU0			*/
	sub		%o1, 32, %o1		/*  IEU1			*/
	addcc		%g2, %o2, %o2		/*  IEU1	Group		*/
	bcs,a,pn	%xcc, 1f		/*  CTI				*/
	 add		%o2, 1, %o2		/*  IEU0			*/