최근 수정 시각 : 2024-12-04 10:30:55

SPEC

SPEC 벤치마크에서 넘어옴


파일:나무위키+유도.png  
은(는) 여기로 연결됩니다.
기타 동음이의어에 대한 내용은 스펙 문서
를
의 번 문단을
의 부분을
, 에 대한 내용은 문서
를
의 번 문단을
의 번 문단을
의 부분을
의 부분을
, 에 대한 내용은 문서
를
의 번 문단을
의 번 문단을
의 부분을
의 부분을
, 에 대한 내용은 문서
를
의 번 문단을
의 번 문단을
의 부분을
의 부분을
, 에 대한 내용은 문서
를
의 번 문단을
의 번 문단을
의 부분을
의 부분을
, 에 대한 내용은 문서
를
의 번 문단을
의 번 문단을
의 부분을
의 부분을
, 에 대한 내용은 문서
를
의 번 문단을
의 번 문단을
의 부분을
의 부분을
, 에 대한 내용은 문서
를
의 번 문단을
의 번 문단을
의 부분을
의 부분을
, 에 대한 내용은 문서
를
의 번 문단을
의 번 문단을
의 부분을
의 부분을
, 에 대한 내용은 문서
를
의 번 문단을
의 번 문단을
의 부분을
의 부분을
참고하십시오.
SPEC
Standard Performance Evaluation Corporation
파일:SPEC 로고.svg
<colbgcolor=#07223e><colcolor=#ffffff> 설립일 1988년
국가
[[미국|]][[틀:국기|]][[틀:국기|]] ( 비영리 단체)
본부 버지니아주 게인즈빌
구성멤버 하드웨어&소프트웨어 공급자, 대학, 연구센터
링크 www.spec.org

1. 개요2. SPEC 벤치마크 제품군
2.1. SPEC CPU
2.1.1. SPEC2006
2.1.1.1. 아난드텍 SPEC2006 결과
2.1.2. SPEC2017
2.1.2.1. 아난드텍 SPECrate2017 결과

[clearfix]

1. 개요

Standard Performance Evaluation Corporation[1], 즉 SPEC은 컴퓨터를 위한 표준화된 성능 벤치마크를 생산, 수립, 유지, 보증하기 위한 미국의 비영리단체이다.

1988년 설립되었으며 멤버로는 Intel, AMD, NVIDIA, ARM, 아마존닷컴, Apple, 오라클, 퀄컴 등의 기업과 대학, 연구센터로 이루어진 수백 개 단체가 가입되어 있다.

이곳에서 만드는 벤치마크는 SPEC 벤치마크라 불리며 컴퓨터 시스템을 평가하는데 널리 사용된다. 컴퓨터공학과라면 수업 시간에 한 번쯤은 다루고 지나가게 되는 벤치마크이며 논문이나 기업의 공식 자료에 자주 인용되는 산업표준에 가장 가까운 벤치마크이다. 인텔, AMD, ARM이 새로운 CPU의 성능을 발표할 때도 SPEC 벤치마크 기준으로 발표하는 경우가 많다.

2. SPEC 벤치마크 제품군

SPEC 벤치마크는 클라우드, CPU, 그래픽, 워크스테이션, OpenCL, 스토리지, 파워 등 수많은 제품군을 평가하기 위해 다양한 종류로 개발되어 있다.
현재 판매되고 있는 벤치마크 종류는 크게 28가지이며, 단일 CPU 성능을 평가하는 데 주로 쓰이는 SPEC CPU의 경우 라이선스 하나에 1000달러에 판매되고, 워크스테이션을 평가하기 위한 SPECworkstation의 경우 상업용 라이선스가 5000달러에 판매되고 있다.

2.1. SPEC CPU

SPEC2017과 SPEC2006은 서로 다른 시스템, 서로 다른 아키텍처, 서로 다른 마이크로아키텍처 간의 성능을 비교하는데 표준이 되는 테스트이다.

CPU 설계 초기 단계엔 벤치마크 테스트를 RTL 시뮬레이션이나 ASIC 에뮬레이션을 통해 수행하는데, 일반적으로 ASIC 에뮬레이터는 현실보다 1000배 느리며 RTL 시뮬레이터는 ASIC 에뮬레이터보다 1000배 느리다. 따라서 Dhrystone이나 Coremark같은 작은 단위의 동일한 연산을 반복하여 수행하는 테스트를 주로 사용하여 성능을 검증하고, 전력 소모량을 예측한다. 하지만 Dhrystone과 Coremark가 정수연산만을 수행하고 부동소수점 연산이 포함되어 있지 않으며, 단순 연산만을 반복하기 때문에 CPU의 실제 연산 능력을 모두 표현하지 못한다는 단점이 존재했다. 따라서 SPEC은 SpecInt와 SpecFP 두가지 큰 틀 아래 각각 정수연산과 부동소수점 연산을 테스트 할 수 있도록 구성되어 있다.

SpecInt와 SpecFP는 실제 사용자가 CPU를 통해 주로 수행하는 코드컴파일과 인터프리터연산(perlbench, gcc), XML처리(xlancbmk), 비디오압축(x264), AI(deepsjeng,leela,exchange), 압축(xz), 각종 물리연산과 시뮬레이션(bwaves,cactuBSSN,namd,parest,povray,lbm,wrf 등) 같은 다양한 연산을 테스트에 반영하고 있다. 물론 Dhrystone과 Coremark에 비해 각 테스트의 연산량이 많고, 종류가 다양하기 때문에 반도체 설계 단계에서 RTL 시뮬레이션이나 ASIC 에뮬레이션으로 이를 수행하는 것에는 여전히 무리가 따르며, 이를 위해 통계학적으로 특이점만 추출해 테스트 하는 SimPoint 기법을 활용한다.

SPEC에 참여한 기업 목록에서 짐작 할 수 있겠지만, ARM과 x86 두 아키텍처 간의 비교에 사용하는데 무리가 없으며 두 진영 모두 프로세서 설계 단계에서 SPEC을 적극 활용하고 있다.

여담으로, 벤치마크를 컴파일할 때 사용한 컴파일러 종류나 플래그에 따라 결과가 달라질 수 있으므로 일관된 환경에서 컴파일된 벤치마크로 테스트하는것이 중요하다.[2]

현재 최신 버전은 SPEC2017이며 이전 버전은 SPEC2006이다.

2.1.1. SPEC2006

SPEC2006
SPECint2006
정수 연산성능 평가 		SPECfp2006
부동소수점 연산성능 평가

2006년에 공개되었다.

후속 버전인 SPEC2017이 이를 대체하게 되었지만 여전히 구성이 알차고, 2017에 돈을 또 쓰긴 아깝고[3] 최신 명령어 셋을 사용하도록 빌드되기 때문에 현재까지도 공식 성능 발표나 논문에 자주 인용되는 벤치마크이다.

정수 연산을 평가하기 위한 SPECint2006과 부동소수점 연산을 평가하기 위한 SPECfp2006으로 나뉜다.

각 항목의 처리 속도를 측정한 다음 기하평균을 내 전체 점수를 도출한다.
  • SPECint2006
    인터프리터, 압축, 컴파일러, 조합 최적화 문제, 인공지능 바둑/체스, 양자 물리 컴퓨팅, 영상 처리, 이산 사건 시뮬레이션, 경로 최적화 알고리즘, XML 처리 등의 12가지 항목을 통해 정수 성능을 평가한다.
  • SPECfp2006
    유체역학, 양자화학, 양자색역학, 전산유체역학, 레이 트레이싱, 음성 인식, 유한요소해석, 분자역학 등 17가지[4] 항목을 통해 부동소수점 성능을 평가한다.
2.1.1.1. 아난드텍 SPEC2006 결과
마이크로아키텍처별 벤치마크 결과이다. 아키텍처 규모가 클수록 클럭당 처리성능이 높은 경향을 보인다.[5]
밴더 마이크로프로세서 테스트 CPU 동작클럭 SPECint SPECfp SPECint
@1GHz 		SPECfp
@1GHz 		출처
Apple Firestorm M1 3.2 69.4 104.1 <colcolor=#3D99AA>21.68 <colcolor=#3D99AA>32.53 출처
Apple Firestorm A14 2.99 63.34 88.64 21.18 29.64 출처
Apple Lightning A13 2.65 52.82 70.28 20.18 26.52 출처
Apple Vortex A12 2.49 45.32 54.84 18.2 22.02 출처
Apple Monsoon A11 2.38 36.8 42.59 15.46 17.89 출처
Qualcomm Kyro 680 Prime Snapdragon 888 2.84 41.3 59.29 14.54 20.87 출처
AMD Vermeer 5950X 4.9 68.53 94.08 13.98 19.2 출처
Samsung Cortex-X1 Exynos 2100 2.91 39.28 58.34 13.49 20.04 출처
Samsung Cortex-A78 Exynos 2100 2.81 36.03 51.88 12.82 18.46 출처
Qualcomm Kyro 680 Gold Snapdragon 888 2.43 30.32 43.65 12.47 17.96 출처
Intel Ice Lake i7-1065G7 3.9 47.7 66.5 12.31 17.16 출처
Huawei Cortex-A77 Kirin 9000 3.13 37.77 50.94 12.06 16.27 출처
Amazon Neoverse N1 Amazon Graviton2 2.49 29.99 38.78 12.04 15.57 출처
Qualcomm Kryo 585 Gold Snapdragon 865 2.43 28.9 40.05 11.89 16.48 출처
Qualcomm Kryo 585 Prime Snapdragon 865 2.84 33.35 45.88 11.74 16.15 출처
Intel Tiger Lake i7-1185G7 4.8 55.28 72.42 11.51 15.08 출처
Qualcomm Kryo 585 Prime Snapdragon 865+ 3.09 36.15 49.36 11.5 15.57 출처
Intel Ice Lake i7-1065G7 3.9 44.77 66.5 11.47 17.05 출처
Samsung M5 Exynos 990 2.73 30.9 46.62 11.31 17.07 출처
Intel Comet Lake i9-10900K 5.3 58.58 75.11 11.05 14.17 출처
Apple Icestorm A14 1.82 20.03 18.4 11 10.1 출처
Intel Coffee Lake i9-9900K 5 54.28 75.15 10.86 15.03 출처
AMD Matisse 3900X 4.6 49.02 73.66 10.66 16.01 출처
AMD Matisse 3950X 4.7 50.1 72.7 10.65 15.46 출처
Intel Coffee Lake i3-8100B 3.6 37.5 46.53 10.41 12.92 출처
Huawei Cortex-A76 Kirin 980 2.6 25.74 33.97 9.9 13.06 출처
Samsung M4 Exynos 9820 2.7 26.3 34.24 9.74 12.68 출처
Huawei Cortex-A76 Kirin 990 2.86 27.68 38.72 9.67 13.53 출처
Intel Sky Lake i5-6267U 3.3 31.5 37.45 9.54 11.34 출처
Qualcomm Cortex-A76 Snapdragon 855 2.84 26.65 36.87 9.38 12.98 출처
Intel Kaby lake R i7-8550U 4 36.9 49.59 9.23 12.4 출처
Qualcomm Cortex-A76 Snapdragon 855 2.43 22.41 31.93 9.22 13.13 출처
Samsung M3 Exynos 9810 2.3 20.79 26.13 9.03 11.36 출처
AMD Pinnacle Ridge 2700X 4.35 39.1 55.67 8.98 12.79 출처
Samsung M3 Exynos 9810 2.7 23.76 29.81 8.8 11.04 출처
Apple Thunder A13 1.73 14.83 13.44 8.57 7.76 출처
Apple Tempest A12 1.54 12.07 12.25 7.83 7.95 출처
Apple Mistral A11 1.69 11.98 10.87 7.08 6.43 출처
Samsung Cortex-A75 Exynos 9820 2.3 15.61 20.5 6.78 8.91 출처
Qualcomm Cortex-A75 Snapdragon 845 2.8 17.69 22.93 6.31 8.18 출처
Qualcomm Cortex-A73 Snapdragon 835 2.45 13.59 16.63 5.54 6.78 출처
Qualcomm Cortex-A55 Snapdragon 855 1.8 5.42 5.56 3.01 3.08 출처
Samsung Cortex-A55 Exynos 9820 1.95 5.08 5.16 2.6 2.64 출처

2.1.2. SPEC2017

<colbgcolor=#a6b1b7,#505050> SPEC2017
<rowcolor=#000000,#e5e5e5> SPECint2017
정수
연산성능 평가 		SPECfp2017
부동소수점
연산성능 평가
<colcolor=#000000,#e5e5e5> 정해진 시간동안
처리하는 연산량 평가 		SPECrate2017
Integer 		SPECrate2017
Floadting Point
정해진 연산량을
처리하는 속도 평가 		SPECspeed2017
Integer 		SPECspeed2017
Floadting Point

2017년에 공개된 SPEC CPU 벤치마크의 최신 버전이다.

정수와 부동소수점 연산이 SPECrate와 SPECspeed로 나뉜다.
  • SPECint2017
    인터프리터, 컴파일러, 영상처리, 인공지능, 데이터 압축 등 10개의 항목을 거쳐 정수 처리 성능을 평가한다.
  • SPECfp2017
    폭발, 날씨, 대기, 해양 시뮬레이션 모델 구동, 상대성 이론, 분자역학, 레이 트레이싱, 유체역학, 의생명 영상공학등 14가지 항목을 거쳐 부동소수점 성능을 평가한다.
2.1.2.1. 아난드텍 SPECrate2017 결과
마이크로아키텍처별 벤치마크 결과이다. 캐시나 아키텍처 규모가 클 수록 클럭당 처리 성능이 높은 경향을 보인다.
밴더 마이크로프로세서 테스트 CPU 동작클럭 SPECint SPECfp SPECint
@1GHz 		SPECfp
@1GHz 		출처
Apple Firestorm M1 3.2 7.14 12.54 <colcolor=#3D99AA>2.23 <colcolor=#3D99AA>3.91 출처
Intel Ice Lake SP Xeon 8380 3.4 5.73 8.65 1.68 2.54 출처
Ampere Neoverse N1 Altra Q80-33(monolithic) 3.3 5.2 6.12 1.57 1.85 출처
AMD Vermeer 5950X 4.9 7.65 12.19 1.51 2.41 출처
Intel Tiger Lake i9-11980HK(45W) 5 6.91 11.13 1.38 2.22 출처
Amazon Neoverse N1 Graviton2 2.49 3.36 5.3 1.34 2.12 출처
Intel Cascade Lake Xeon 8280 4 5.39 7.54 1.34 1.88 출처
Intel Tiger Lake i7-1185G7 (28W) 4.8 6.42 10.75 1.33 2.23 출처
Intel Ice Lake i7-1065G7(15W) 3.9 5.16 9.11 1.32 2.33 출처
AMD Matisse 3950X 4.7 5.78 9.72 1.26 2.09 출처
AMD Matisse 3900X 4.6 5.77 9.56 1.25 2.07 출처
Intel Comet Lake i9-10900K 5.3 6.34 10.12 1.19 1.91 출처
Intel Coffee Lake i9-9900K 5 5.95 9.59 1.19 1.92 출처
AMD Renoir 4900HS (35W) 4.3 5.01 8.38 1.16 1.94 출처
AMD Renoir 4800U (15W) 4.2 4.56 7.79 1.08 1.85 출처
AMD Pinnacle Ridge 2700X 4.35 4.64 7.81 1.07 1.81 출처
Intel Coffee Lake i3-8100B 3.6 3.85 5.35 1.06 1.48 출처
Intel Kaby lake R i7-8550U 4 4.16 6.54 1.04 1.63 출처
Intel Sky Lake i5-6267U 3.3 3.27 4.81 0.99 1.45 출처
[1] 표준 성능 평가 기관 [2] 아난드텍은 이 부분을 늘 명시하며 일관성 있는 벤치마크 결과를 꾸준히 게시하고 있다. [3] 벤치 한 카피당 1000달러씩 한다. [4] 3개는 C언어, 4개는 C++, 6개는 포트란, 나머지 4개는 C언어와 포트란을 둘 다 사용하여 짜여 있다. [5] 아키텍처가 같을 경우 캐시크기나 메모리의 영향을 받는다.

분류