최근 수정 시각 : 2024-07-29 11:14:01

SPEC

SPEC 벤치마크에서 넘어옴


파일:나무위키+유도.png  
은(는) 여기로 연결됩니다.
기타 동음이의어에 대한 내용은 스펙 문서
번 문단을
부분을
, 에 대한 내용은 문서
번 문단을
번 문단을
부분을
부분을
, 에 대한 내용은 문서
번 문단을
번 문단을
부분을
부분을
, 에 대한 내용은 문서
번 문단을
번 문단을
부분을
부분을
, 에 대한 내용은 문서
번 문단을
번 문단을
부분을
부분을
, 에 대한 내용은 문서
번 문단을
번 문단을
부분을
부분을
, 에 대한 내용은 문서
번 문단을
번 문단을
부분을
부분을
, 에 대한 내용은 문서
번 문단을
번 문단을
부분을
부분을
, 에 대한 내용은 문서
번 문단을
번 문단을
부분을
부분을
, 에 대한 내용은 문서
번 문단을
번 문단을
부분을
부분을
참고하십시오.
<colbgcolor=#07223e><colcolor=#ffffff> SPEC
Standard Performance Evaluation Corporation
파일:SPEC 로고.png
설립일 1988년
국가
[[미국|]][[틀:국기|]][[틀:국기|]] (비영리 단체)
본부 버지니아주 게인즈빌
구성멤버 하드웨어&소프트웨어 공급자, 대학, 연구센터
링크 www.spec.org

1. 개요2. SPEC 벤치마크 제품군
2.1. SPEC CPU
2.1.1. SPEC2006
2.1.1.1. 아난드텍 SPEC2006 결과
2.1.2. SPEC2017
2.1.2.1. 아난드텍 SPECrate2017 결과

[clearfix]

1. 개요

Standard Performance Evaluation Corporation[1], 즉 SPEC은 컴퓨터를 위한 표준화된 성능 벤치마크를 생산, 수립, 유지, 보증하기 위한 미국의 비영리단체이다.

1988년 설립되었으며 멤버로는 Intel, AMD, NVIDIA, ARM, 아마존닷컴, Apple, 오라클, 퀄컴 등의 기업과 대학, 연구센터로 이루어진 수백 개 단체가 가입되어 있다.

이곳에서 만드는 벤치마크는 SPEC 벤치마크라 불리며 컴퓨터 시스템을 평가하는데 널리 사용된다. 컴퓨터공학과라면 수업 시간에 한 번쯤은 다루고 지나가게 되는 벤치마크이며 논문이나 기업의 공식 자료에 자주 인용되는 산업표준에 가장 가까운 벤치마크이다. 인텔, AMD, ARM이 새로운 CPU의 성능을 발표할 때도 SPEC 벤치마크 기준으로 발표하는 경우가 많다.

2. SPEC 벤치마크 제품군

SPEC 벤치마크는 클라우드, CPU, 그래픽, 워크스테이션, OpenCL, 스토리지, 파워 등 수많은 제품군을 평가하기 위해 다양한 종류로 개발되어 있다.
현재 판매되고 있는 벤치마크 종류는 크게 28가지이며, 단일 CPU 성능을 평가하는 데 주로 쓰이는 SPEC CPU의 경우 라이선스 하나에 1000달러에 판매되고, 워크스테이션을 평가하기 위한 SPECworkstation의 경우 상업용 라이선스가 5000달러에 판매되고 있다.

2.1. SPEC CPU

SPEC2017과 SPEC2006은 서로 다른 시스템, 서로 다른 아키텍처, 서로 다른 마이크로아키텍처 간의 성능을 비교하는데 표준이 되는 테스트이다.

CPU 설계 초기 단계엔 벤치마크 테스트를 RTL 시뮬레이션이나 ASIC 에뮬레이션을 통해 수행하는데, 일반적으로 ASIC 에뮬레이터는 현실보다 1000배 느리며 RTL 시뮬레이터는 ASIC 에뮬레이터보다 1000배 느리다. 따라서 Dhrystone이나 Coremark같은 작은 단위의 동일한 연산을 반복하여 수행하는 테스트를 주로 사용하여 성능을 검증하고, 전력 소모량을 예측한다. 하지만 Dhrystone과 Coremark가 정수연산만을 수행하고 부동소수점 연산이 포함되어 있지 않으며, 단순 연산만을 반복하기 때문에 CPU의 실제 연산 능력을 모두 표현하지 못한다는 단점이 존재했다. 따라서 SPEC은 SpecInt와 SpecFP 두가지 큰 틀 아래 각각 정수연산과 부동소수점 연산을 테스트 할 수 있도록 구성되어 있다.

SpecInt와 SpecFP는 실제 사용자가 CPU를 통해 주로 수행하는 코드컴파일과 인터프리터연산(perlbench, gcc), XML처리(xlancbmk), 비디오압축(x264), AI(deepsjeng,leela,exchange), 압축(xz), 각종 물리연산과 시뮬레이션(bwaves,cactuBSSN,namd,parest,povray,lbm,wrf 등) 같은 다양한 연산을 테스트에 반영하고 있다. 물론 Dhrystone과 Coremark에 비해 각 테스트의 연산량이 많고, 종류가 다양하기 때문에 반도체 설계 단계에서 RTL 시뮬레이션이나 ASIC 에뮬레이션으로 이를 수행하는 것에는 여전히 무리가 따르며, 이를 위해 통계학적으로 특이점만 추출해 테스트 하는 SimPoint 기법을 활용한다.

SPEC에 참여한 기업 목록에서 짐작 할 수 있겠지만, ARM과 x86 두 아키텍처 간의 비교에 사용하는데 무리가 없으며 두 진영 모두 프로세서 설계 단계에서 SPEC을 적극 활용하고 있다.

여담으로, 벤치마크를 컴파일할 때 사용한 컴파일러 종류나 플래그에 따라 결과가 달라질 수 있으므로 일관된 환경에서 컴파일된 벤치마크로 테스트하는것이 중요하다.[2]

현재 최신 버전은 SPEC2017이며 이전 버전은 SPEC2006이다.

2.1.1. SPEC2006

SPEC2006
SPECint2006
정수 연산성능 평가
SPECfp2006
부동소수점 연산성능 평가

2006년에 공개되었다.

후속 버전인 SPEC2017이 이를 대체하게 되었지만 여전히 구성이 알차고, 2017에 돈을 또 쓰긴 아깝고[3] 최신 명령어 셋을 사용하도록 빌드되기 때문에 현재까지도 공식 성능 발표나 논문에 자주 인용되는 벤치마크이다.

정수 연산을 평가하기 위한 SPECint2006과 부동소수점 연산을 평가하기 위한 SPECfp2006으로 나뉜다.

각 항목의 처리 속도를 측정한 다음 기하평균을 내 전체 점수를 도출한다.
  • SPECint2006
    인터프리터, 압축, 컴파일러, 조합 최적화 문제, 인공지능 바둑/체스, 양자 물리 컴퓨팅, 영상 처리, 이산 사건 시뮬레이션, 경로 최적화 알고리즘, XML 처리 등의 12가지 항목을 통해 정수 성능을 평가한다.
  • SPECfp2006
    유체역학, 양자화학, 양자색역학, 전산유체역학, 레이 트레이싱, 음성 인식, 유한요소해석, 분자역학 등 17가지[4] 항목을 통해 부동소수점 성능을 평가한다.
2.1.1.1. 아난드텍 SPEC2006 결과
마이크로아키텍처별 벤치마크 결과이다. 아키텍처 규모가 클수록 클럭당 처리성능이 높은 경향을 보인다.[5]
밴더마이크로프로세서테스트 CPU동작클럭SPECintSPECfpSPECint
@1GHz
SPECfp
@1GHz
출처
AppleFirestormM13.269.4104.1<colcolor=#3D99AA>21.68<colcolor=#3D99AA>32.53출처
AppleFirestormA142.9963.3488.6421.1829.64출처
AppleLightningA132.6552.8270.2820.1826.52출처
AppleVortexA122.4945.3254.8418.222.02출처
AppleMonsoonA112.3836.842.5915.4617.89출처
QualcommKyro 680 PrimeSnapdragon 8882.8441.359.2914.5420.87출처
AMDVermeer 5950X4.968.5394.0813.9819.2출처
SamsungCortex-X1Exynos 21002.9139.2858.3413.4920.04출처
SamsungCortex-A78Exynos 21002.8136.0351.8812.8218.46출처
QualcommKyro 680 GoldSnapdragon 8882.4330.3243.6512.4717.96출처
IntelIce Lakei7-1065G73.947.766.512.3117.16출처
HuaweiCortex-A77Kirin 90003.1337.7750.9412.0616.27출처
AmazonNeoverse N1Amazon Graviton22.4929.9938.7812.0415.57출처
QualcommKryo 585 GoldSnapdragon 8652.4328.940.0511.8916.48출처
QualcommKryo 585 Prime Snapdragon 8652.8433.3545.8811.7416.15출처
IntelTiger Lakei7-1185G74.855.2872.4211.5115.08출처
QualcommKryo 585 Prime Snapdragon 865+3.0936.1549.3611.515.57출처
IntelIce Lakei7-1065G73.944.7766.511.4717.05출처
SamsungM5Exynos 9902.7330.946.6211.3117.07출처
IntelComet Lakei9-10900K5.358.5875.1111.0514.17출처
AppleIcestormA141.8220.0318.41110.1출처
IntelCoffee Lakei9-9900K554.2875.1510.8615.03출처
AMDMatisse3900X4.649.0273.6610.6616.01출처
AMDMatisse3950X4.750.172.710.6515.46출처
IntelCoffee Lakei3-8100B3.637.546.5310.4112.92출처
HuaweiCortex-A76Kirin 9802.625.7433.979.913.06출처
SamsungM4Exynos 98202.726.334.249.7412.68출처
HuaweiCortex-A76Kirin 9902.8627.6838.729.6713.53출처
IntelSky Lakei5-6267U3.331.537.459.5411.34출처
QualcommCortex-A76Snapdragon 8552.8426.6536.879.3812.98출처
IntelKaby lake Ri7-8550U436.949.599.2312.4출처
QualcommCortex-A76Snapdragon 8552.4322.4131.939.2213.13출처
SamsungM3Exynos 98102.320.7926.139.0311.36출처
AMDPinnacle Ridge2700X4.3539.155.678.9812.79출처
SamsungM3Exynos 98102.723.7629.818.811.04출처
AppleThunderA131.7314.8313.448.577.76출처
AppleTempestA121.5412.0712.257.837.95출처
AppleMistralA111.6911.9810.877.086.43출처
SamsungCortex-A75Exynos 98202.315.6120.56.788.91출처
QualcommCortex-A75Snapdragon 8452.817.6922.936.318.18출처
QualcommCortex-A73Snapdragon 8352.4513.5916.635.546.78출처
QualcommCortex-A55Snapdragon 8551.85.425.563.013.08출처
SamsungCortex-A55Exynos 98201.955.085.162.62.64출처

2.1.2. SPEC2017

<colbgcolor=#a6b1b7,#505050> SPEC2017
<rowcolor=#000000,#e5e5e5> SPECint2017
정수
연산성능 평가
SPECfp2017
부동소수점
연산성능 평가
<colcolor=#000000,#e5e5e5> 정해진 시간동안
처리하는 연산량 평가
SPECrate2017
Integer
SPECrate2017
Floadting Point
정해진 연산량을
처리하는 속도 평가
SPECspeed2017
Integer
SPECspeed2017
Floadting Point

2017년에 공개된 SPEC CPU 벤치마크의 최신 버전이다.

정수와 부동소수점 연산이 SPECrate와 SPECspeed로 나뉜다.
  • SPECint2017
    인터프리터, 컴파일러, 영상처리, 인공지능, 데이터 압축 등 10개의 항목을 거쳐 정수 처리 성능을 평가한다.
  • SPECfp2017
    폭발, 날씨, 대기, 해양 시뮬레이션 모델 구동, 상대성 이론, 분자역학, 레이 트레이싱, 유체역학, 의생명 영상공학등 14가지 항목을 거쳐 부동소수점 성능을 평가한다.
2.1.2.1. 아난드텍 SPECrate2017 결과
마이크로아키텍처별 벤치마크 결과이다. 캐시나 아키텍처 규모가 클 수록 클럭당 처리 성능이 높은 경향을 보인다.
밴더마이크로프로세서테스트 CPU동작클럭SPECintSPECfpSPECint
@1GHz
SPECfp
@1GHz
출처
AppleFirestormM13.27.1412.54<colcolor=#3D99AA>2.23<colcolor=#3D99AA>3.91출처
IntelIce Lake SPXeon 83803.45.738.651.682.54출처
AmpereNeoverse N1Altra Q80-33(monolithic)3.35.26.121.571.85출처
AMDVermeer 5950X4.97.6512.191.512.41출처
IntelTiger Lakei9-11980HK(45W)56.9111.131.382.22출처
AmazonNeoverse N1Graviton22.493.365.31.342.12출처
IntelCascade LakeXeon 828045.397.541.341.88출처
IntelTiger Lakei7-1185G7 (28W)4.86.4210.751.332.23출처
IntelIce Lakei7-1065G7(15W)3.95.169.111.322.33출처
AMDMatisse3950X4.75.789.721.262.09출처
AMDMatisse3900X4.65.779.561.252.07출처
IntelComet Lakei9-10900K5.36.3410.121.191.91출처
IntelCoffee Lakei9-9900K55.959.591.191.92출처
AMDRenoir4900HS (35W)4.35.018.381.161.94출처
AMDRenoir4800U (15W)4.24.567.791.081.85출처
AMDPinnacle Ridge2700X4.354.647.811.071.81출처
IntelCoffee Lakei3-8100B3.63.855.351.061.48출처
IntelKaby lake Ri7-8550U44.166.541.041.63출처
IntelSky Lakei5-6267U3.33.274.810.991.45출처

[1] 표준 성능 평가 기관[2] 아난드텍은 이 부분을 늘 명시하며 일관성 있는 벤치마크 결과를 꾸준히 게시하고 있다.[3] 벤치 한 카피당 1000달러씩 한다.[4] 3개는 C언어, 4개는 C++, 6개는 포트란, 나머지 4개는 C언어포트란을 둘 다 사용하여 짜여 있다.[5] 아키텍처가 같을 경우 캐시크기나 메모리의 영향을 받는다.