Index: third_party/boringssl/linux-arm/crypto/sha/sha1-armv4-large.S |
diff --git a/third_party/boringssl/linux-arm/crypto/sha/sha1-armv4-large.S b/third_party/boringssl/linux-arm/crypto/sha/sha1-armv4-large.S |
index 0979cfe599a56319632c6722259539852d3f32b4..b0893359cac772a1c3532d8c8584944da8bd3e99 100644 |
--- a/third_party/boringssl/linux-arm/crypto/sha/sha1-armv4-large.S |
+++ b/third_party/boringssl/linux-arm/crypto/sha/sha1-armv4-large.S |
@@ -1,14 +1,22 @@ |
-#if defined(__arm__) |
#include "arm_arch.h" |
.text |
+.code 32 |
.global sha1_block_data_order |
-.hidden sha1_block_data_order |
.type sha1_block_data_order,%function |
-.align 2 |
+.align 5 |
sha1_block_data_order: |
+#if __ARM_MAX_ARCH__>=7 |
+ sub r3,pc,#8 @ sha1_block_data_order |
+ ldr r12,.LOPENSSL_armcap |
+ ldr r12,[r3,r12] @ OPENSSL_armcap_P |
+ tst r12,#ARMV8_SHA1 |
+ bne .LARMv8 |
+ tst r12,#ARMV7_NEON |
+ bne .LNEON |
+#endif |
stmdb sp!,{r4-r12,lr} |
add r2,r1,r2,lsl#6 @ r2 to point at the end of r1 |
ldmia r0,{r3,r4,r5,r6,r7} |
@@ -444,13 +452,1004 @@ sha1_block_data_order: |
moveq pc,lr @ be binary compatible with V4, yet |
.word 0xe12fff1e @ interoperable with Thumb ISA:-) |
#endif |
-.align 2 |
+.size sha1_block_data_order,.-sha1_block_data_order |
+ |
+.align 5 |
.LK_00_19: .word 0x5a827999 |
.LK_20_39: .word 0x6ed9eba1 |
.LK_40_59: .word 0x8f1bbcdc |
.LK_60_79: .word 0xca62c1d6 |
-.size sha1_block_data_order,.-sha1_block_data_order |
-.asciz "SHA1 block transform for ARMv4, CRYPTOGAMS by <appro@openssl.org>" |
-.align 2 |
+#if __ARM_MAX_ARCH__>=7 |
+.LOPENSSL_armcap: |
+.word OPENSSL_armcap_P-sha1_block_data_order |
+#endif |
+.asciz "SHA1 block transform for ARMv4/NEON/ARMv8, CRYPTOGAMS by <appro@openssl.org>" |
+.align 5 |
+#if __ARM_MAX_ARCH__>=7 |
+.arch armv7-a |
+.fpu neon |
+ |
+.type sha1_block_data_order_neon,%function |
+.align 4 |
+sha1_block_data_order_neon: |
+.LNEON: |
+ stmdb sp!,{r4-r12,lr} |
+ add r2,r1,r2,lsl#6 @ r2 to point at the end of r1 |
+ @ dmb @ errata #451034 on early Cortex A8 |
+ @ vstmdb sp!,{d8-d15} @ ABI specification says so |
+ mov r14,sp |
+ sub sp,sp,#64 @ alloca |
+ adr r8,.LK_00_19 |
+ bic sp,sp,#15 @ align for 128-bit stores |
+ |
+ ldmia r0,{r3,r4,r5,r6,r7} @ load context |
+ mov r12,sp |
+ |
+ vld1.8 {q0-q1},[r1]! @ handles unaligned |
+ veor q15,q15,q15 |
+ vld1.8 {q2-q3},[r1]! |
+ vld1.32 {d28[],d29[]},[r8,:32]! @ load K_00_19 |
+ vrev32.8 q0,q0 @ yes, even on |
+ vrev32.8 q1,q1 @ big-endian... |
+ vrev32.8 q2,q2 |
+ vadd.i32 q8,q0,q14 |
+ vrev32.8 q3,q3 |
+ vadd.i32 q9,q1,q14 |
+ vst1.32 {q8},[r12,:128]! |
+ vadd.i32 q10,q2,q14 |
+ vst1.32 {q9},[r12,:128]! |
+ vst1.32 {q10},[r12,:128]! |
+ ldr r9,[sp] @ big RAW stall |
+ |
+.Loop_neon: |
+ vext.8 q8,q0,q1,#8 |
+ bic r10,r6,r4 |
+ add r7,r7,r9 |
+ and r11,r5,r4 |
+ vadd.i32 q13,q3,q14 |
+ ldr r9,[sp,#4] |
+ add r7,r7,r3,ror#27 |
+ vext.8 q12,q3,q15,#4 |
+ eor r11,r11,r10 |
+ mov r4,r4,ror#2 |
+ add r7,r7,r11 |
+ veor q8,q8,q0 |
+ bic r10,r5,r3 |
+ add r6,r6,r9 |
+ veor q12,q12,q2 |
+ and r11,r4,r3 |
+ ldr r9,[sp,#8] |
+ veor q12,q12,q8 |
+ add r6,r6,r7,ror#27 |
+ eor r11,r11,r10 |
+ vst1.32 {q13},[r12,:128]! |
+ sub r12,r12,#64 |
+ mov r3,r3,ror#2 |
+ add r6,r6,r11 |
+ vext.8 q13,q15,q12,#4 |
+ bic r10,r4,r7 |
+ add r5,r5,r9 |
+ vadd.i32 q8,q12,q12 |
+ and r11,r3,r7 |
+ ldr r9,[sp,#12] |
+ vsri.32 q8,q12,#31 |
+ add r5,r5,r6,ror#27 |
+ eor r11,r11,r10 |
+ mov r7,r7,ror#2 |
+ vshr.u32 q12,q13,#30 |
+ add r5,r5,r11 |
+ bic r10,r3,r6 |
+ vshl.u32 q13,q13,#2 |
+ add r4,r4,r9 |
+ and r11,r7,r6 |
+ veor q8,q8,q12 |
+ ldr r9,[sp,#16] |
+ add r4,r4,r5,ror#27 |
+ veor q8,q8,q13 |
+ eor r11,r11,r10 |
+ mov r6,r6,ror#2 |
+ add r4,r4,r11 |
+ vext.8 q9,q1,q2,#8 |
+ bic r10,r7,r5 |
+ add r3,r3,r9 |
+ and r11,r6,r5 |
+ vadd.i32 q13,q8,q14 |
+ ldr r9,[sp,#20] |
+ vld1.32 {d28[],d29[]},[r8,:32]! |
+ add r3,r3,r4,ror#27 |
+ vext.8 q12,q8,q15,#4 |
+ eor r11,r11,r10 |
+ mov r5,r5,ror#2 |
+ add r3,r3,r11 |
+ veor q9,q9,q1 |
+ bic r10,r6,r4 |
+ add r7,r7,r9 |
+ veor q12,q12,q3 |
+ and r11,r5,r4 |
+ ldr r9,[sp,#24] |
+ veor q12,q12,q9 |
+ add r7,r7,r3,ror#27 |
+ eor r11,r11,r10 |
+ vst1.32 {q13},[r12,:128]! |
+ mov r4,r4,ror#2 |
+ add r7,r7,r11 |
+ vext.8 q13,q15,q12,#4 |
+ bic r10,r5,r3 |
+ add r6,r6,r9 |
+ vadd.i32 q9,q12,q12 |
+ and r11,r4,r3 |
+ ldr r9,[sp,#28] |
+ vsri.32 q9,q12,#31 |
+ add r6,r6,r7,ror#27 |
+ eor r11,r11,r10 |
+ mov r3,r3,ror#2 |
+ vshr.u32 q12,q13,#30 |
+ add r6,r6,r11 |
+ bic r10,r4,r7 |
+ vshl.u32 q13,q13,#2 |
+ add r5,r5,r9 |
+ and r11,r3,r7 |
+ veor q9,q9,q12 |
+ ldr r9,[sp,#32] |
+ add r5,r5,r6,ror#27 |
+ veor q9,q9,q13 |
+ eor r11,r11,r10 |
+ mov r7,r7,ror#2 |
+ add r5,r5,r11 |
+ vext.8 q10,q2,q3,#8 |
+ bic r10,r3,r6 |
+ add r4,r4,r9 |
+ and r11,r7,r6 |
+ vadd.i32 q13,q9,q14 |
+ ldr r9,[sp,#36] |
+ add r4,r4,r5,ror#27 |
+ vext.8 q12,q9,q15,#4 |
+ eor r11,r11,r10 |
+ mov r6,r6,ror#2 |
+ add r4,r4,r11 |
+ veor q10,q10,q2 |
+ bic r10,r7,r5 |
+ add r3,r3,r9 |
+ veor q12,q12,q8 |
+ and r11,r6,r5 |
+ ldr r9,[sp,#40] |
+ veor q12,q12,q10 |
+ add r3,r3,r4,ror#27 |
+ eor r11,r11,r10 |
+ vst1.32 {q13},[r12,:128]! |
+ mov r5,r5,ror#2 |
+ add r3,r3,r11 |
+ vext.8 q13,q15,q12,#4 |
+ bic r10,r6,r4 |
+ add r7,r7,r9 |
+ vadd.i32 q10,q12,q12 |
+ and r11,r5,r4 |
+ ldr r9,[sp,#44] |
+ vsri.32 q10,q12,#31 |
+ add r7,r7,r3,ror#27 |
+ eor r11,r11,r10 |
+ mov r4,r4,ror#2 |
+ vshr.u32 q12,q13,#30 |
+ add r7,r7,r11 |
+ bic r10,r5,r3 |
+ vshl.u32 q13,q13,#2 |
+ add r6,r6,r9 |
+ and r11,r4,r3 |
+ veor q10,q10,q12 |
+ ldr r9,[sp,#48] |
+ add r6,r6,r7,ror#27 |
+ veor q10,q10,q13 |
+ eor r11,r11,r10 |
+ mov r3,r3,ror#2 |
+ add r6,r6,r11 |
+ vext.8 q11,q3,q8,#8 |
+ bic r10,r4,r7 |
+ add r5,r5,r9 |
+ and r11,r3,r7 |
+ vadd.i32 q13,q10,q14 |
+ ldr r9,[sp,#52] |
+ add r5,r5,r6,ror#27 |
+ vext.8 q12,q10,q15,#4 |
+ eor r11,r11,r10 |
+ mov r7,r7,ror#2 |
+ add r5,r5,r11 |
+ veor q11,q11,q3 |
+ bic r10,r3,r6 |
+ add r4,r4,r9 |
+ veor q12,q12,q9 |
+ and r11,r7,r6 |
+ ldr r9,[sp,#56] |
+ veor q12,q12,q11 |
+ add r4,r4,r5,ror#27 |
+ eor r11,r11,r10 |
+ vst1.32 {q13},[r12,:128]! |
+ mov r6,r6,ror#2 |
+ add r4,r4,r11 |
+ vext.8 q13,q15,q12,#4 |
+ bic r10,r7,r5 |
+ add r3,r3,r9 |
+ vadd.i32 q11,q12,q12 |
+ and r11,r6,r5 |
+ ldr r9,[sp,#60] |
+ vsri.32 q11,q12,#31 |
+ add r3,r3,r4,ror#27 |
+ eor r11,r11,r10 |
+ mov r5,r5,ror#2 |
+ vshr.u32 q12,q13,#30 |
+ add r3,r3,r11 |
+ bic r10,r6,r4 |
+ vshl.u32 q13,q13,#2 |
+ add r7,r7,r9 |
+ and r11,r5,r4 |
+ veor q11,q11,q12 |
+ ldr r9,[sp,#0] |
+ add r7,r7,r3,ror#27 |
+ veor q11,q11,q13 |
+ eor r11,r11,r10 |
+ mov r4,r4,ror#2 |
+ add r7,r7,r11 |
+ vext.8 q12,q10,q11,#8 |
+ bic r10,r5,r3 |
+ add r6,r6,r9 |
+ and r11,r4,r3 |
+ veor q0,q0,q8 |
+ ldr r9,[sp,#4] |
+ add r6,r6,r7,ror#27 |
+ veor q0,q0,q1 |
+ eor r11,r11,r10 |
+ mov r3,r3,ror#2 |
+ vadd.i32 q13,q11,q14 |
+ add r6,r6,r11 |
+ bic r10,r4,r7 |
+ veor q12,q12,q0 |
+ add r5,r5,r9 |
+ and r11,r3,r7 |
+ vshr.u32 q0,q12,#30 |
+ ldr r9,[sp,#8] |
+ add r5,r5,r6,ror#27 |
+ vst1.32 {q13},[r12,:128]! |
+ sub r12,r12,#64 |
+ eor r11,r11,r10 |
+ mov r7,r7,ror#2 |
+ vsli.32 q0,q12,#2 |
+ add r5,r5,r11 |
+ bic r10,r3,r6 |
+ add r4,r4,r9 |
+ and r11,r7,r6 |
+ ldr r9,[sp,#12] |
+ add r4,r4,r5,ror#27 |
+ eor r11,r11,r10 |
+ mov r6,r6,ror#2 |
+ add r4,r4,r11 |
+ bic r10,r7,r5 |
+ add r3,r3,r9 |
+ and r11,r6,r5 |
+ ldr r9,[sp,#16] |
+ add r3,r3,r4,ror#27 |
+ eor r11,r11,r10 |
+ mov r5,r5,ror#2 |
+ add r3,r3,r11 |
+ vext.8 q12,q11,q0,#8 |
+ eor r10,r4,r6 |
+ add r7,r7,r9 |
+ ldr r9,[sp,#20] |
+ veor q1,q1,q9 |
+ eor r11,r10,r5 |
+ add r7,r7,r3,ror#27 |
+ veor q1,q1,q2 |
+ mov r4,r4,ror#2 |
+ add r7,r7,r11 |
+ vadd.i32 q13,q0,q14 |
+ eor r10,r3,r5 |
+ add r6,r6,r9 |
+ veor q12,q12,q1 |
+ ldr r9,[sp,#24] |
+ eor r11,r10,r4 |
+ vshr.u32 q1,q12,#30 |
+ add r6,r6,r7,ror#27 |
+ mov r3,r3,ror#2 |
+ vst1.32 {q13},[r12,:128]! |
+ add r6,r6,r11 |
+ eor r10,r7,r4 |
+ vsli.32 q1,q12,#2 |
+ add r5,r5,r9 |
+ ldr r9,[sp,#28] |
+ eor r11,r10,r3 |
+ add r5,r5,r6,ror#27 |
+ mov r7,r7,ror#2 |
+ add r5,r5,r11 |
+ eor r10,r6,r3 |
+ add r4,r4,r9 |
+ ldr r9,[sp,#32] |
+ eor r11,r10,r7 |
+ add r4,r4,r5,ror#27 |
+ mov r6,r6,ror#2 |
+ add r4,r4,r11 |
+ vext.8 q12,q0,q1,#8 |
+ eor r10,r5,r7 |
+ add r3,r3,r9 |
+ ldr r9,[sp,#36] |
+ veor q2,q2,q10 |
+ eor r11,r10,r6 |
+ add r3,r3,r4,ror#27 |
+ veor q2,q2,q3 |
+ mov r5,r5,ror#2 |
+ add r3,r3,r11 |
+ vadd.i32 q13,q1,q14 |
+ eor r10,r4,r6 |
+ vld1.32 {d28[],d29[]},[r8,:32]! |
+ add r7,r7,r9 |
+ veor q12,q12,q2 |
+ ldr r9,[sp,#40] |
+ eor r11,r10,r5 |
+ vshr.u32 q2,q12,#30 |
+ add r7,r7,r3,ror#27 |
+ mov r4,r4,ror#2 |
+ vst1.32 {q13},[r12,:128]! |
+ add r7,r7,r11 |
+ eor r10,r3,r5 |
+ vsli.32 q2,q12,#2 |
+ add r6,r6,r9 |
+ ldr r9,[sp,#44] |
+ eor r11,r10,r4 |
+ add r6,r6,r7,ror#27 |
+ mov r3,r3,ror#2 |
+ add r6,r6,r11 |
+ eor r10,r7,r4 |
+ add r5,r5,r9 |
+ ldr r9,[sp,#48] |
+ eor r11,r10,r3 |
+ add r5,r5,r6,ror#27 |
+ mov r7,r7,ror#2 |
+ add r5,r5,r11 |
+ vext.8 q12,q1,q2,#8 |
+ eor r10,r6,r3 |
+ add r4,r4,r9 |
+ ldr r9,[sp,#52] |
+ veor q3,q3,q11 |
+ eor r11,r10,r7 |
+ add r4,r4,r5,ror#27 |
+ veor q3,q3,q8 |
+ mov r6,r6,ror#2 |
+ add r4,r4,r11 |
+ vadd.i32 q13,q2,q14 |
+ eor r10,r5,r7 |
+ add r3,r3,r9 |
+ veor q12,q12,q3 |
+ ldr r9,[sp,#56] |
+ eor r11,r10,r6 |
+ vshr.u32 q3,q12,#30 |
+ add r3,r3,r4,ror#27 |
+ mov r5,r5,ror#2 |
+ vst1.32 {q13},[r12,:128]! |
+ add r3,r3,r11 |
+ eor r10,r4,r6 |
+ vsli.32 q3,q12,#2 |
+ add r7,r7,r9 |
+ ldr r9,[sp,#60] |
+ eor r11,r10,r5 |
+ add r7,r7,r3,ror#27 |
+ mov r4,r4,ror#2 |
+ add r7,r7,r11 |
+ eor r10,r3,r5 |
+ add r6,r6,r9 |
+ ldr r9,[sp,#0] |
+ eor r11,r10,r4 |
+ add r6,r6,r7,ror#27 |
+ mov r3,r3,ror#2 |
+ add r6,r6,r11 |
+ vext.8 q12,q2,q3,#8 |
+ eor r10,r7,r4 |
+ add r5,r5,r9 |
+ ldr r9,[sp,#4] |
+ veor q8,q8,q0 |
+ eor r11,r10,r3 |
+ add r5,r5,r6,ror#27 |
+ veor q8,q8,q9 |
+ mov r7,r7,ror#2 |
+ add r5,r5,r11 |
+ vadd.i32 q13,q3,q14 |
+ eor r10,r6,r3 |
+ add r4,r4,r9 |
+ veor q12,q12,q8 |
+ ldr r9,[sp,#8] |
+ eor r11,r10,r7 |
+ vshr.u32 q8,q12,#30 |
+ add r4,r4,r5,ror#27 |
+ mov r6,r6,ror#2 |
+ vst1.32 {q13},[r12,:128]! |
+ sub r12,r12,#64 |
+ add r4,r4,r11 |
+ eor r10,r5,r7 |
+ vsli.32 q8,q12,#2 |
+ add r3,r3,r9 |
+ ldr r9,[sp,#12] |
+ eor r11,r10,r6 |
+ add r3,r3,r4,ror#27 |
+ mov r5,r5,ror#2 |
+ add r3,r3,r11 |
+ eor r10,r4,r6 |
+ add r7,r7,r9 |
+ ldr r9,[sp,#16] |
+ eor r11,r10,r5 |
+ add r7,r7,r3,ror#27 |
+ mov r4,r4,ror#2 |
+ add r7,r7,r11 |
+ vext.8 q12,q3,q8,#8 |
+ eor r10,r3,r5 |
+ add r6,r6,r9 |
+ ldr r9,[sp,#20] |
+ veor q9,q9,q1 |
+ eor r11,r10,r4 |
+ add r6,r6,r7,ror#27 |
+ veor q9,q9,q10 |
+ mov r3,r3,ror#2 |
+ add r6,r6,r11 |
+ vadd.i32 q13,q8,q14 |
+ eor r10,r7,r4 |
+ add r5,r5,r9 |
+ veor q12,q12,q9 |
+ ldr r9,[sp,#24] |
+ eor r11,r10,r3 |
+ vshr.u32 q9,q12,#30 |
+ add r5,r5,r6,ror#27 |
+ mov r7,r7,ror#2 |
+ vst1.32 {q13},[r12,:128]! |
+ add r5,r5,r11 |
+ eor r10,r6,r3 |
+ vsli.32 q9,q12,#2 |
+ add r4,r4,r9 |
+ ldr r9,[sp,#28] |
+ eor r11,r10,r7 |
+ add r4,r4,r5,ror#27 |
+ mov r6,r6,ror#2 |
+ add r4,r4,r11 |
+ eor r10,r5,r7 |
+ add r3,r3,r9 |
+ ldr r9,[sp,#32] |
+ eor r11,r10,r6 |
+ add r3,r3,r4,ror#27 |
+ mov r5,r5,ror#2 |
+ add r3,r3,r11 |
+ vext.8 q12,q8,q9,#8 |
+ add r7,r7,r9 |
+ and r10,r5,r6 |
+ ldr r9,[sp,#36] |
+ veor q10,q10,q2 |
+ add r7,r7,r3,ror#27 |
+ eor r11,r5,r6 |
+ veor q10,q10,q11 |
+ add r7,r7,r10 |
+ and r11,r11,r4 |
+ vadd.i32 q13,q9,q14 |
+ mov r4,r4,ror#2 |
+ add r7,r7,r11 |
+ veor q12,q12,q10 |
+ add r6,r6,r9 |
+ and r10,r4,r5 |
+ vshr.u32 q10,q12,#30 |
+ ldr r9,[sp,#40] |
+ add r6,r6,r7,ror#27 |
+ vst1.32 {q13},[r12,:128]! |
+ eor r11,r4,r5 |
+ add r6,r6,r10 |
+ vsli.32 q10,q12,#2 |
+ and r11,r11,r3 |
+ mov r3,r3,ror#2 |
+ add r6,r6,r11 |
+ add r5,r5,r9 |
+ and r10,r3,r4 |
+ ldr r9,[sp,#44] |
+ add r5,r5,r6,ror#27 |
+ eor r11,r3,r4 |
+ add r5,r5,r10 |
+ and r11,r11,r7 |
+ mov r7,r7,ror#2 |
+ add r5,r5,r11 |
+ add r4,r4,r9 |
+ and r10,r7,r3 |
+ ldr r9,[sp,#48] |
+ add r4,r4,r5,ror#27 |
+ eor r11,r7,r3 |
+ add r4,r4,r10 |
+ and r11,r11,r6 |
+ mov r6,r6,ror#2 |
+ add r4,r4,r11 |
+ vext.8 q12,q9,q10,#8 |
+ add r3,r3,r9 |
+ and r10,r6,r7 |
+ ldr r9,[sp,#52] |
+ veor q11,q11,q3 |
+ add r3,r3,r4,ror#27 |
+ eor r11,r6,r7 |
+ veor q11,q11,q0 |
+ add r3,r3,r10 |
+ and r11,r11,r5 |
+ vadd.i32 q13,q10,q14 |
+ mov r5,r5,ror#2 |
+ vld1.32 {d28[],d29[]},[r8,:32]! |
+ add r3,r3,r11 |
+ veor q12,q12,q11 |
+ add r7,r7,r9 |
+ and r10,r5,r6 |
+ vshr.u32 q11,q12,#30 |
+ ldr r9,[sp,#56] |
+ add r7,r7,r3,ror#27 |
+ vst1.32 {q13},[r12,:128]! |
+ eor r11,r5,r6 |
+ add r7,r7,r10 |
+ vsli.32 q11,q12,#2 |
+ and r11,r11,r4 |
+ mov r4,r4,ror#2 |
+ add r7,r7,r11 |
+ add r6,r6,r9 |
+ and r10,r4,r5 |
+ ldr r9,[sp,#60] |
+ add r6,r6,r7,ror#27 |
+ eor r11,r4,r5 |
+ add r6,r6,r10 |
+ and r11,r11,r3 |
+ mov r3,r3,ror#2 |
+ add r6,r6,r11 |
+ add r5,r5,r9 |
+ and r10,r3,r4 |
+ ldr r9,[sp,#0] |
+ add r5,r5,r6,ror#27 |
+ eor r11,r3,r4 |
+ add r5,r5,r10 |
+ and r11,r11,r7 |
+ mov r7,r7,ror#2 |
+ add r5,r5,r11 |
+ vext.8 q12,q10,q11,#8 |
+ add r4,r4,r9 |
+ and r10,r7,r3 |
+ ldr r9,[sp,#4] |
+ veor q0,q0,q8 |
+ add r4,r4,r5,ror#27 |
+ eor r11,r7,r3 |
+ veor q0,q0,q1 |
+ add r4,r4,r10 |
+ and r11,r11,r6 |
+ vadd.i32 q13,q11,q14 |
+ mov r6,r6,ror#2 |
+ add r4,r4,r11 |
+ veor q12,q12,q0 |
+ add r3,r3,r9 |
+ and r10,r6,r7 |
+ vshr.u32 q0,q12,#30 |
+ ldr r9,[sp,#8] |
+ add r3,r3,r4,ror#27 |
+ vst1.32 {q13},[r12,:128]! |
+ sub r12,r12,#64 |
+ eor r11,r6,r7 |
+ add r3,r3,r10 |
+ vsli.32 q0,q12,#2 |
+ and r11,r11,r5 |
+ mov r5,r5,ror#2 |
+ add r3,r3,r11 |
+ add r7,r7,r9 |
+ and r10,r5,r6 |
+ ldr r9,[sp,#12] |
+ add r7,r7,r3,ror#27 |
+ eor r11,r5,r6 |
+ add r7,r7,r10 |
+ and r11,r11,r4 |
+ mov r4,r4,ror#2 |
+ add r7,r7,r11 |
+ add r6,r6,r9 |
+ and r10,r4,r5 |
+ ldr r9,[sp,#16] |
+ add r6,r6,r7,ror#27 |
+ eor r11,r4,r5 |
+ add r6,r6,r10 |
+ and r11,r11,r3 |
+ mov r3,r3,ror#2 |
+ add r6,r6,r11 |
+ vext.8 q12,q11,q0,#8 |
+ add r5,r5,r9 |
+ and r10,r3,r4 |
+ ldr r9,[sp,#20] |
+ veor q1,q1,q9 |
+ add r5,r5,r6,ror#27 |
+ eor r11,r3,r4 |
+ veor q1,q1,q2 |
+ add r5,r5,r10 |
+ and r11,r11,r7 |
+ vadd.i32 q13,q0,q14 |
+ mov r7,r7,ror#2 |
+ add r5,r5,r11 |
+ veor q12,q12,q1 |
+ add r4,r4,r9 |
+ and r10,r7,r3 |
+ vshr.u32 q1,q12,#30 |
+ ldr r9,[sp,#24] |
+ add r4,r4,r5,ror#27 |
+ vst1.32 {q13},[r12,:128]! |
+ eor r11,r7,r3 |
+ add r4,r4,r10 |
+ vsli.32 q1,q12,#2 |
+ and r11,r11,r6 |
+ mov r6,r6,ror#2 |
+ add r4,r4,r11 |
+ add r3,r3,r9 |
+ and r10,r6,r7 |
+ ldr r9,[sp,#28] |
+ add r3,r3,r4,ror#27 |
+ eor r11,r6,r7 |
+ add r3,r3,r10 |
+ and r11,r11,r5 |
+ mov r5,r5,ror#2 |
+ add r3,r3,r11 |
+ add r7,r7,r9 |
+ and r10,r5,r6 |
+ ldr r9,[sp,#32] |
+ add r7,r7,r3,ror#27 |
+ eor r11,r5,r6 |
+ add r7,r7,r10 |
+ and r11,r11,r4 |
+ mov r4,r4,ror#2 |
+ add r7,r7,r11 |
+ vext.8 q12,q0,q1,#8 |
+ add r6,r6,r9 |
+ and r10,r4,r5 |
+ ldr r9,[sp,#36] |
+ veor q2,q2,q10 |
+ add r6,r6,r7,ror#27 |
+ eor r11,r4,r5 |
+ veor q2,q2,q3 |
+ add r6,r6,r10 |
+ and r11,r11,r3 |
+ vadd.i32 q13,q1,q14 |
+ mov r3,r3,ror#2 |
+ add r6,r6,r11 |
+ veor q12,q12,q2 |
+ add r5,r5,r9 |
+ and r10,r3,r4 |
+ vshr.u32 q2,q12,#30 |
+ ldr r9,[sp,#40] |
+ add r5,r5,r6,ror#27 |
+ vst1.32 {q13},[r12,:128]! |
+ eor r11,r3,r4 |
+ add r5,r5,r10 |
+ vsli.32 q2,q12,#2 |
+ and r11,r11,r7 |
+ mov r7,r7,ror#2 |
+ add r5,r5,r11 |
+ add r4,r4,r9 |
+ and r10,r7,r3 |
+ ldr r9,[sp,#44] |
+ add r4,r4,r5,ror#27 |
+ eor r11,r7,r3 |
+ add r4,r4,r10 |
+ and r11,r11,r6 |
+ mov r6,r6,ror#2 |
+ add r4,r4,r11 |
+ add r3,r3,r9 |
+ and r10,r6,r7 |
+ ldr r9,[sp,#48] |
+ add r3,r3,r4,ror#27 |
+ eor r11,r6,r7 |
+ add r3,r3,r10 |
+ and r11,r11,r5 |
+ mov r5,r5,ror#2 |
+ add r3,r3,r11 |
+ vext.8 q12,q1,q2,#8 |
+ eor r10,r4,r6 |
+ add r7,r7,r9 |
+ ldr r9,[sp,#52] |
+ veor q3,q3,q11 |
+ eor r11,r10,r5 |
+ add r7,r7,r3,ror#27 |
+ veor q3,q3,q8 |
+ mov r4,r4,ror#2 |
+ add r7,r7,r11 |
+ vadd.i32 q13,q2,q14 |
+ eor r10,r3,r5 |
+ add r6,r6,r9 |
+ veor q12,q12,q3 |
+ ldr r9,[sp,#56] |
+ eor r11,r10,r4 |
+ vshr.u32 q3,q12,#30 |
+ add r6,r6,r7,ror#27 |
+ mov r3,r3,ror#2 |
+ vst1.32 {q13},[r12,:128]! |
+ add r6,r6,r11 |
+ eor r10,r7,r4 |
+ vsli.32 q3,q12,#2 |
+ add r5,r5,r9 |
+ ldr r9,[sp,#60] |
+ eor r11,r10,r3 |
+ add r5,r5,r6,ror#27 |
+ mov r7,r7,ror#2 |
+ add r5,r5,r11 |
+ eor r10,r6,r3 |
+ add r4,r4,r9 |
+ ldr r9,[sp,#0] |
+ eor r11,r10,r7 |
+ add r4,r4,r5,ror#27 |
+ mov r6,r6,ror#2 |
+ add r4,r4,r11 |
+ vadd.i32 q13,q3,q14 |
+ eor r10,r5,r7 |
+ add r3,r3,r9 |
+ vst1.32 {q13},[r12,:128]! |
+ sub r12,r12,#64 |
+ teq r1,r2 |
+ sub r8,r8,#16 |
+ subeq r1,r1,#64 |
+ vld1.8 {q0-q1},[r1]! |
+ ldr r9,[sp,#4] |
+ eor r11,r10,r6 |
+ vld1.8 {q2-q3},[r1]! |
+ add r3,r3,r4,ror#27 |
+ mov r5,r5,ror#2 |
+ vld1.32 {d28[],d29[]},[r8,:32]! |
+ add r3,r3,r11 |
+ eor r10,r4,r6 |
+ vrev32.8 q0,q0 |
+ add r7,r7,r9 |
+ ldr r9,[sp,#8] |
+ eor r11,r10,r5 |
+ add r7,r7,r3,ror#27 |
+ mov r4,r4,ror#2 |
+ add r7,r7,r11 |
+ eor r10,r3,r5 |
+ add r6,r6,r9 |
+ ldr r9,[sp,#12] |
+ eor r11,r10,r4 |
+ add r6,r6,r7,ror#27 |
+ mov r3,r3,ror#2 |
+ add r6,r6,r11 |
+ eor r10,r7,r4 |
+ add r5,r5,r9 |
+ ldr r9,[sp,#16] |
+ eor r11,r10,r3 |
+ add r5,r5,r6,ror#27 |
+ mov r7,r7,ror#2 |
+ add r5,r5,r11 |
+ vrev32.8 q1,q1 |
+ eor r10,r6,r3 |
+ add r4,r4,r9 |
+ vadd.i32 q8,q0,q14 |
+ ldr r9,[sp,#20] |
+ eor r11,r10,r7 |
+ vst1.32 {q8},[r12,:128]! |
+ add r4,r4,r5,ror#27 |
+ mov r6,r6,ror#2 |
+ add r4,r4,r11 |
+ eor r10,r5,r7 |
+ add r3,r3,r9 |
+ ldr r9,[sp,#24] |
+ eor r11,r10,r6 |
+ add r3,r3,r4,ror#27 |
+ mov r5,r5,ror#2 |
+ add r3,r3,r11 |
+ eor r10,r4,r6 |
+ add r7,r7,r9 |
+ ldr r9,[sp,#28] |
+ eor r11,r10,r5 |
+ add r7,r7,r3,ror#27 |
+ mov r4,r4,ror#2 |
+ add r7,r7,r11 |
+ eor r10,r3,r5 |
+ add r6,r6,r9 |
+ ldr r9,[sp,#32] |
+ eor r11,r10,r4 |
+ add r6,r6,r7,ror#27 |
+ mov r3,r3,ror#2 |
+ add r6,r6,r11 |
+ vrev32.8 q2,q2 |
+ eor r10,r7,r4 |
+ add r5,r5,r9 |
+ vadd.i32 q9,q1,q14 |
+ ldr r9,[sp,#36] |
+ eor r11,r10,r3 |
+ vst1.32 {q9},[r12,:128]! |
+ add r5,r5,r6,ror#27 |
+ mov r7,r7,ror#2 |
+ add r5,r5,r11 |
+ eor r10,r6,r3 |
+ add r4,r4,r9 |
+ ldr r9,[sp,#40] |
+ eor r11,r10,r7 |
+ add r4,r4,r5,ror#27 |
+ mov r6,r6,ror#2 |
+ add r4,r4,r11 |
+ eor r10,r5,r7 |
+ add r3,r3,r9 |
+ ldr r9,[sp,#44] |
+ eor r11,r10,r6 |
+ add r3,r3,r4,ror#27 |
+ mov r5,r5,ror#2 |
+ add r3,r3,r11 |
+ eor r10,r4,r6 |
+ add r7,r7,r9 |
+ ldr r9,[sp,#48] |
+ eor r11,r10,r5 |
+ add r7,r7,r3,ror#27 |
+ mov r4,r4,ror#2 |
+ add r7,r7,r11 |
+ vrev32.8 q3,q3 |
+ eor r10,r3,r5 |
+ add r6,r6,r9 |
+ vadd.i32 q10,q2,q14 |
+ ldr r9,[sp,#52] |
+ eor r11,r10,r4 |
+ vst1.32 {q10},[r12,:128]! |
+ add r6,r6,r7,ror#27 |
+ mov r3,r3,ror#2 |
+ add r6,r6,r11 |
+ eor r10,r7,r4 |
+ add r5,r5,r9 |
+ ldr r9,[sp,#56] |
+ eor r11,r10,r3 |
+ add r5,r5,r6,ror#27 |
+ mov r7,r7,ror#2 |
+ add r5,r5,r11 |
+ eor r10,r6,r3 |
+ add r4,r4,r9 |
+ ldr r9,[sp,#60] |
+ eor r11,r10,r7 |
+ add r4,r4,r5,ror#27 |
+ mov r6,r6,ror#2 |
+ add r4,r4,r11 |
+ eor r10,r5,r7 |
+ add r3,r3,r9 |
+ eor r11,r10,r6 |
+ add r3,r3,r4,ror#27 |
+ mov r5,r5,ror#2 |
+ add r3,r3,r11 |
+ ldmia r0,{r9,r10,r11,r12} @ accumulate context |
+ add r3,r3,r9 |
+ ldr r9,[r0,#16] |
+ add r4,r4,r10 |
+ add r5,r5,r11 |
+ add r6,r6,r12 |
+ moveq sp,r14 |
+ add r7,r7,r9 |
+ ldrne r9,[sp] |
+ stmia r0,{r3,r4,r5,r6,r7} |
+ addne r12,sp,#3*16 |
+ bne .Loop_neon |
+ |
+ @ vldmia sp!,{d8-d15} |
+ ldmia sp!,{r4-r12,pc} |
+.size sha1_block_data_order_neon,.-sha1_block_data_order_neon |
+#endif |
+#if __ARM_MAX_ARCH__>=7 |
+.type sha1_block_data_order_armv8,%function |
+.align 5 |
+sha1_block_data_order_armv8: |
+.LARMv8: |
+ vstmdb sp!,{d8-d15} @ ABI specification says so |
+ |
+ veor q1,q1,q1 |
+ adr r3,.LK_00_19 |
+ vld1.32 {q0},[r0]! |
+ vld1.32 {d2[0]},[r0] |
+ sub r0,r0,#16 |
+ vld1.32 {d16[],d17[]},[r3,:32]! |
+ vld1.32 {d18[],d19[]},[r3,:32]! |
+ vld1.32 {d20[],d21[]},[r3,:32]! |
+ vld1.32 {d22[],d23[]},[r3,:32] |
+ |
+.Loop_v8: |
+ vld1.8 {q4-q5},[r1]! |
+ vld1.8 {q6-q7},[r1]! |
+ vrev32.8 q4,q4 |
+ vrev32.8 q5,q5 |
+ |
+ vadd.i32 q12,q8,q4 |
+ vrev32.8 q6,q6 |
+ vmov q14,q0 @ offload |
+ subs r2,r2,#1 |
+ vadd.i32 q13,q8,q5 |
+ vrev32.8 q7,q7 |
+ .byte 0xc0,0x62,0xb9,0xf3 @ sha1h q3,q0 @ 0 |
+ .byte 0x68,0x0c,0x02,0xf2 @ sha1c q0,q1,q12 |
+ vadd.i32 q12,q8,q6 |
+ .byte 0x4c,0x8c,0x3a,0xf2 @ sha1su0 q4,q5,q6 |
+ .byte 0xc0,0x42,0xb9,0xf3 @ sha1h q2,q0 @ 1 |
+ .byte 0x6a,0x0c,0x06,0xf2 @ sha1c q0,q3,q13 |
+ vadd.i32 q13,q8,q7 |
+ .byte 0x8e,0x83,0xba,0xf3 @ sha1su1 q4,q7 |
+ .byte 0x4e,0xac,0x3c,0xf2 @ sha1su0 q5,q6,q7 |
+ .byte 0xc0,0x62,0xb9,0xf3 @ sha1h q3,q0 @ 2 |
+ .byte 0x68,0x0c,0x04,0xf2 @ sha1c q0,q2,q12 |
+ vadd.i32 q12,q8,q4 |
+ .byte 0x88,0xa3,0xba,0xf3 @ sha1su1 q5,q4 |
+ .byte 0x48,0xcc,0x3e,0xf2 @ sha1su0 q6,q7,q4 |
+ .byte 0xc0,0x42,0xb9,0xf3 @ sha1h q2,q0 @ 3 |
+ .byte 0x6a,0x0c,0x06,0xf2 @ sha1c q0,q3,q13 |
+ vadd.i32 q13,q9,q5 |
+ .byte 0x8a,0xc3,0xba,0xf3 @ sha1su1 q6,q5 |
+ .byte 0x4a,0xec,0x38,0xf2 @ sha1su0 q7,q4,q5 |
+ .byte 0xc0,0x62,0xb9,0xf3 @ sha1h q3,q0 @ 4 |
+ .byte 0x68,0x0c,0x04,0xf2 @ sha1c q0,q2,q12 |
+ vadd.i32 q12,q9,q6 |
+ .byte 0x8c,0xe3,0xba,0xf3 @ sha1su1 q7,q6 |
+ .byte 0x4c,0x8c,0x3a,0xf2 @ sha1su0 q4,q5,q6 |
+ .byte 0xc0,0x42,0xb9,0xf3 @ sha1h q2,q0 @ 5 |
+ .byte 0x6a,0x0c,0x16,0xf2 @ sha1p q0,q3,q13 |
+ vadd.i32 q13,q9,q7 |
+ .byte 0x8e,0x83,0xba,0xf3 @ sha1su1 q4,q7 |
+ .byte 0x4e,0xac,0x3c,0xf2 @ sha1su0 q5,q6,q7 |
+ .byte 0xc0,0x62,0xb9,0xf3 @ sha1h q3,q0 @ 6 |
+ .byte 0x68,0x0c,0x14,0xf2 @ sha1p q0,q2,q12 |
+ vadd.i32 q12,q9,q4 |
+ .byte 0x88,0xa3,0xba,0xf3 @ sha1su1 q5,q4 |
+ .byte 0x48,0xcc,0x3e,0xf2 @ sha1su0 q6,q7,q4 |
+ .byte 0xc0,0x42,0xb9,0xf3 @ sha1h q2,q0 @ 7 |
+ .byte 0x6a,0x0c,0x16,0xf2 @ sha1p q0,q3,q13 |
+ vadd.i32 q13,q9,q5 |
+ .byte 0x8a,0xc3,0xba,0xf3 @ sha1su1 q6,q5 |
+ .byte 0x4a,0xec,0x38,0xf2 @ sha1su0 q7,q4,q5 |
+ .byte 0xc0,0x62,0xb9,0xf3 @ sha1h q3,q0 @ 8 |
+ .byte 0x68,0x0c,0x14,0xf2 @ sha1p q0,q2,q12 |
+ vadd.i32 q12,q10,q6 |
+ .byte 0x8c,0xe3,0xba,0xf3 @ sha1su1 q7,q6 |
+ .byte 0x4c,0x8c,0x3a,0xf2 @ sha1su0 q4,q5,q6 |
+ .byte 0xc0,0x42,0xb9,0xf3 @ sha1h q2,q0 @ 9 |
+ .byte 0x6a,0x0c,0x16,0xf2 @ sha1p q0,q3,q13 |
+ vadd.i32 q13,q10,q7 |
+ .byte 0x8e,0x83,0xba,0xf3 @ sha1su1 q4,q7 |
+ .byte 0x4e,0xac,0x3c,0xf2 @ sha1su0 q5,q6,q7 |
+ .byte 0xc0,0x62,0xb9,0xf3 @ sha1h q3,q0 @ 10 |
+ .byte 0x68,0x0c,0x24,0xf2 @ sha1m q0,q2,q12 |
+ vadd.i32 q12,q10,q4 |
+ .byte 0x88,0xa3,0xba,0xf3 @ sha1su1 q5,q4 |
+ .byte 0x48,0xcc,0x3e,0xf2 @ sha1su0 q6,q7,q4 |
+ .byte 0xc0,0x42,0xb9,0xf3 @ sha1h q2,q0 @ 11 |
+ .byte 0x6a,0x0c,0x26,0xf2 @ sha1m q0,q3,q13 |
+ vadd.i32 q13,q10,q5 |
+ .byte 0x8a,0xc3,0xba,0xf3 @ sha1su1 q6,q5 |
+ .byte 0x4a,0xec,0x38,0xf2 @ sha1su0 q7,q4,q5 |
+ .byte 0xc0,0x62,0xb9,0xf3 @ sha1h q3,q0 @ 12 |
+ .byte 0x68,0x0c,0x24,0xf2 @ sha1m q0,q2,q12 |
+ vadd.i32 q12,q10,q6 |
+ .byte 0x8c,0xe3,0xba,0xf3 @ sha1su1 q7,q6 |
+ .byte 0x4c,0x8c,0x3a,0xf2 @ sha1su0 q4,q5,q6 |
+ .byte 0xc0,0x42,0xb9,0xf3 @ sha1h q2,q0 @ 13 |
+ .byte 0x6a,0x0c,0x26,0xf2 @ sha1m q0,q3,q13 |
+ vadd.i32 q13,q11,q7 |
+ .byte 0x8e,0x83,0xba,0xf3 @ sha1su1 q4,q7 |
+ .byte 0x4e,0xac,0x3c,0xf2 @ sha1su0 q5,q6,q7 |
+ .byte 0xc0,0x62,0xb9,0xf3 @ sha1h q3,q0 @ 14 |
+ .byte 0x68,0x0c,0x24,0xf2 @ sha1m q0,q2,q12 |
+ vadd.i32 q12,q11,q4 |
+ .byte 0x88,0xa3,0xba,0xf3 @ sha1su1 q5,q4 |
+ .byte 0x48,0xcc,0x3e,0xf2 @ sha1su0 q6,q7,q4 |
+ .byte 0xc0,0x42,0xb9,0xf3 @ sha1h q2,q0 @ 15 |
+ .byte 0x6a,0x0c,0x16,0xf2 @ sha1p q0,q3,q13 |
+ vadd.i32 q13,q11,q5 |
+ .byte 0x8a,0xc3,0xba,0xf3 @ sha1su1 q6,q5 |
+ .byte 0x4a,0xec,0x38,0xf2 @ sha1su0 q7,q4,q5 |
+ .byte 0xc0,0x62,0xb9,0xf3 @ sha1h q3,q0 @ 16 |
+ .byte 0x68,0x0c,0x14,0xf2 @ sha1p q0,q2,q12 |
+ vadd.i32 q12,q11,q6 |
+ .byte 0x8c,0xe3,0xba,0xf3 @ sha1su1 q7,q6 |
+ .byte 0xc0,0x42,0xb9,0xf3 @ sha1h q2,q0 @ 17 |
+ .byte 0x6a,0x0c,0x16,0xf2 @ sha1p q0,q3,q13 |
+ vadd.i32 q13,q11,q7 |
+ |
+ .byte 0xc0,0x62,0xb9,0xf3 @ sha1h q3,q0 @ 18 |
+ .byte 0x68,0x0c,0x14,0xf2 @ sha1p q0,q2,q12 |
+ |
+ .byte 0xc0,0x42,0xb9,0xf3 @ sha1h q2,q0 @ 19 |
+ .byte 0x6a,0x0c,0x16,0xf2 @ sha1p q0,q3,q13 |
+ |
+ vadd.i32 q1,q1,q2 |
+ vadd.i32 q0,q0,q14 |
+ bne .Loop_v8 |
+ |
+ vst1.32 {q0},[r0]! |
+ vst1.32 {d2[0]},[r0] |
+ |
+ vldmia sp!,{d8-d15} |
+ bx lr @ bx lr |
+.size sha1_block_data_order_armv8,.-sha1_block_data_order_armv8 |
+#endif |
+#if __ARM_MAX_ARCH__>=7 |
+.comm OPENSSL_armcap_P,4,4 |
#endif |