본문으로 이동

신경망 처리 장치

위키백과, 우리 모두의 백과사전.
(AI 가속기에서 넘어옴)

신경망 처리 장치(Neural processing unit, NPU), AI 가속기(AI accelerator) 또는 딥러닝 프로세서(deep learning processor)는 하드웨어 가속 또는 인공지능 (AI) 및 기계 학습 애플리케이션(예: 인공 신경망 및 컴퓨터 비전)을 가속화하도록 설계된 특수 하드웨어 가속 장치[1] 또는 컴퓨터 시스템[2][3]의 한 종류이다.

사용

[편집]

이들의 목적은 이미 훈련된 AI 모델을 효율적으로 실행(추론)하거나 AI 모델을 훈련하는 것이다. 이들의 응용 분야에는 로봇공학, 사물인터넷, 데이터 집약적 또는 센서 기반 작업을 위한 알고리즘이 포함된다.[4] 이들은 종종 다중 코어 또는 공간적 디자인이며, 저정밀도 연산, 새로운 데이터플로 아키텍처 또는 인메모리 컴퓨팅 기능에 중점을 둔다. 2024년 기준, 일반적인 데이터센터급 AI 집적 회로 칩인 H100 GPU는 수십억 개의 MOSFET을 포함한다.[5]

소비자 장치

[편집]

AI 가속기는 애플 아이폰과 같은 모바일 장치, Versal 및 NPU의 AMD AI 엔진,[6] 화웨이 및 구글 픽셀 스마트폰[7]에 사용되며, 많은 애플 실리콘, 퀄컴, 삼성, 구글 텐서 스마트폰 프로세서에서 볼 수 있다.[8]

최근(대략 2022년)에는 인텔,[9] AMD,[10] 및 애플 실리콘의 컴퓨터 프로세서에도 추가되었다.[11] 메테오레이크 프로세서의 모든 모델에는 컴퓨터 비전 및 딥러닝을 위한 통계적 추론을 가속화하기 위한 내장된 다목적 프로세서 유닛(VPU)이 있다.[12]

소비자 장치에서 NPU는 소형 모델을 실행할 때 작고 전력 효율적이지만 합리적으로 빠르게 작동하도록 설계되었다. 이를 위해 INT4, INT8, FP8, FP16과 같은 데이터 유형을 사용하여 저비트 연산을 지원하도록 설계되었다. 일반적인 측정 단위는 초당 수조 회 연산(TOPS)이지만, 이 측정 단위만으로는 어떤 종류의 연산이 수행되는지 정량화할 수 없다.[13]

데이터센터

[편집]

가속기는 클라우드 컴퓨팅 서버에서 사용되며, 여기에는 구글 클라우드 플랫폼의 텐서 처리 장치(TPU)[14]와 아마존 웹 서비스의 Trainium 및 Inferentia 칩이 포함된다.[15] 이 범주의 장치에 대한 많은 공급업체별 용어가 존재하며, 이는 신흥 기술로 지배적 디자인이 아직 없다.

엔비디아 및 AMD와 같은 회사에서 설계한 그래픽 처리 장치는 종종 AI 관련 하드웨어를 포함하며, 기계 학습 훈련 및 추론 모두를 위한 AI 가속기로 일반적으로 사용된다.[16]

프로그래밍

[편집]

모바일 NPU 공급업체는 일반적으로 스냅드래곤 뉴럴 프로세싱 엔진과 같은 자체 응용 프로그래밍 인터페이스를 제공한다. 운영 체제 또는 상위 수준 라이브러리는 LiteRT Next (안드로이드) 또는 CoreML (iOS, macOS)이 있는 텐서플로 라이트와 같은 더 일반적인 인터페이스를 제공할 수 있다.

소비자 CPU 통합 NPU는 공급업체별 API를 통해 접근할 수 있다. AMD (Ryzen AI), 인텔 (OpenVINO), 애플 실리콘 (CoreML)[a] 각각 자체 API를 가지고 있으며, 이는 상위 수준 라이브러리에 의해 구축될 수 있다.

GPU는 일반적으로 낮은 정밀도에 맞춰 조정된 CUDA 및 OpenCL과 같은 기존 GPGPU 파이프라인을 사용한다. 구글 TPU와 같은 맞춤형 시스템은 개인 인터페이스를 사용한다.

같이 보기

[편집]

각주

[편집]
  1. ↑ “Intel unveils Movidius Compute Stick USB AI Accelerator”. 2017년 7월 21일. 2017년 8월 11일에 원본 문서에서 보존된 문서. 2017년 8월 11일에 확인함.
  2. ↑ “Inspurs unveils GX4 AI Accelerator”. 2017년 6월 21일. 2020년 9월 27일에 원본 문서에서 보존된 문서. 2024년 5월 15일에 확인함.
  3. ↑ Wiggers, Kyle (2019년 11월 6일), 《Neural Magic raises $15 million to boost AI inferencing speed on off-the-shelf processors》, 2020년 3월 6일에 원본 문서에서 보존된 문서, 2020년 3월 14일에 확인함
  4. ↑ “Google Designing AI Processors”. 2016년 5월 18일. Google using its own AI accelerators.
  5. ↑ Moss, Sebastian (2022년 3월 23일). “Nvidia reveals new Hopper H100 GPU, with 80 billion transistors”. 《Data Center Dynamics》. 2024년 1월 30일에 확인함.
  6. ↑ Brown, Nick (2023년 2월 12일). 《Exploring the Versal AI Engines for Accelerating Stencil-based Atmospheric Advection Simulation》. 《Proceedings of the 2023 ACM/SIGDA International Symposium on Field Programmable Gate Arrays》. FPGA '23 (New York, NY, USA: Association for Computing Machinery). 91–97쪽. arXiv:2301.13016. doi:10.1145/3543622.3573047. ISBN 978-1-4503-9417-8.
  7. ↑ “HUAWEI Reveals the Future of Mobile AI at IFA”. 2021년 11월 10일에 원본 문서에서 보존된 문서. 2025년 7월 25일에 확인함.
  8. ↑ “Snapdragon 8 Gen 3 mobile platform” (PDF). 2023년 10월 25일에 원본 문서 (PDF)에서 보존된 문서.
  9. ↑ “Intel's Lunar Lake Processors Arriving Q3 2024”. 《Intel》. 2024년 5월 20일.
  10. ↑ “AMD XDNA Architecture”.
  11. ↑ “Deploying Transformers on the Apple Neural Engine” (미국 영어). 《Apple Machine Learning Research》. 2023년 8월 24일에 확인함.
  12. ↑ “Intel to Bring a 'VPU' Processor Unit to 14th Gen Meteor Lake Chips”. 《PCMAG》. August 2022.
  13. ↑ “A guide to AI TOPS and NPU performance metrics”.
  14. ↑ Jouppi, Norman P. 외 (2017년 6월 24일). 《In-Datacenter Performance Analysis of a Tensor Processing Unit》 (영어). 《ACM SIGARCH Computer Architecture News》 45. 1–12쪽. arXiv:1704.04760. doi:10.1145/3140659.3080246.
  15. ↑ “How silicon innovation became the 'secret sauce' behind AWS's success”. 《Amazon Science》. 2022년 7월 27일. 2024년 7월 19일에 확인함.
  16. ↑ Patel, Dylan; Nishball, Daniel; Xie, Myron (2023년 11월 9일). “Nvidia's New China AI Chips Circumvent US Restrictions”. 《SemiAnalysis》. 2024년 2월 7일에 확인함.
내용주
  1. ↑ MLX는 애플 실리콘 칩의 애플 뉴럴 엔진(ANE) 부분이 아닌 CPU 및 GPU 부분 위에 구축된다. 상대적으로 우수한 성능은 크고 빠른 통합 메모리 설계 사용 때문이다.

외부 링크

[편집]
원본 주소 "https://ko.wikipedia.org/w/index.php?title=신경망_처리_장치&oldid=42334282"