1. 개요
AWS에서 설계한 AI 가속기.AWS Inf1 인스턴스와 Inf2 인스턴스에서 사용할 수 있다.
2. 사용
스캐터랩[1], 하이퍼커넥트[2], 중고나라[3] 등에서 사용하고 있다.3. 칩
3.1. Inferentia
AWS 공식 문서.NeuronCore v1 코어를 4개 가지고 있다.
| 메모리 | 8 GiB |
| 메모리 대역폭 | 50 GiB/s |
3.2. Inferentia2
AWS 공식 문서.NeuronCore v2 코어를 2개 가지고 있다.
| 메모리 | 32 GiB |
| 메모리 대역폭 | 820 GiB/s |
4. 서버
4.1. Inf1
AWS 공식 문서.4.2. Inf2
AWS 공식 문서.[1] 2022년 7월 13일. AWS Inferentia를 이용한 모델 서빙 비용 최적화: 모델 서버 비용 2배 줄이기 1탄. 2022년 8월 16일. AWS Inferentia를 이용한 모델 서빙 비용 최적화: 모델 서버 비용 2배 줄이기 2탄.[2] 2022년 12월 13일. 머신러닝 모델 서빙 비용 1/4로 줄이기.[3] 2023년 8월 4일. 효율적인 딥러닝 모델 배포를 위한 AWS Inferentia 도입기.