RISC-V 칩 사업인 SiFive는 자사 프로세서가 Google 데이터 센터에서 AI 워크로드를 관리하는 데 어느 정도 사용되고 있다고 말합니다.
SiFive에 따르면 문제의 프로세서는 인텔리전스입니다. X280, 벡터 확장 기능이 있는 멀티 코어 RISC-V 설계로, 데이터 센터의 AI/ML 애플리케이션에 최적화되어 있습니다. Google의 Tensor Processing Units(TPU), 이는 기계 학습 워크로드 프로그래밍에 더 큰 유연성을 제공한다고 주장됩니다.
기본적으로 프로세서에 있는 X280의 범용 RV64 코어는 장치를 관리하는 코드를 실행하고 작업을 완료하는 데 필요한 머신 러닝 계산을 Google의 MXU에 제공합니다. X280은 또한 가속기 장치가 할 수 없는 작업을 처리할 수 있는 자체 벡터 수학 장치를 포함합니다.
SiFive와 Google은 아마도 상업적인 이유로 이것이 정확히 어떻게 패키징되고 사용되는지에 대해 약간 수줍어했습니다. Google이 설계한 MXU는 RISC-V 코어 콤플렉스에 직접 연결됩니다. 이 칩은 Google의 데이터 센터, 즉 SiFive에 따르면 "AI 컴퓨팅 호스트"에서 기계 학습 작업의 속도를 높이는 데 사용됩니다.
이것이 생산에 사용된다면 이 칩이 서비스 내에서 작업을 처리한다고 상상합니다. 이 하드웨어는 기존 x86, Arm, TPU 및 GPU 기술로 구동되는 AI 최적화 가상 머신을 제공하는 Google Cloud에서 직접 대여할 수 없습니다.
이 세부 사항은 이달 초 실리콘 밸리에서 열린 AI 하드웨어 서밋에서 SiFive 공동 설립자이자 수석 설계자인 Krste Asanović와 Google TPU 설계자인 Cliff Young의 강연에서 공개되었습니다. SiFive 블로그 게시물 이번 주.
SiFive에 따르면 X280이 도입된 후 일부 고객은 가속기가 수행하도록 설계되지 않은 모든 하우스키핑 및 범용 처리 작업을 처리하기 위해 XXNUMX을 가속기와 함께 컴패니언 코어로 사용하기 시작했다는 사실을 알게 되었습니다.
많은 사람들이 가속기를 관리하기 위해 완전한 기능을 갖춘 소프트웨어 스택이 필요하다는 것을 알게 되었고 고객은 대형 가속기 옆에 있는 X280 코어 콤플렉스, 모든 유지 관리 및 연산 코드, 빅 액셀러레이터가 할 수 없는 수학 연산 수행, 기타 다양한 기능 제공. 기본적으로 X280은 가속기를 위한 일종의 관리 노드 역할을 할 수 있습니다.
이를 활용하기 위해 SiFive는 Google과 같은 고객과 협력하여 VCIX(Vector Coprocessor Interface eXtension)라고 부르는 것을 개발했습니다. 이를 통해 고객은 가속기를 X280의 벡터 레지스터 파일에 직접 밀접하게 연결하여 향상된 성능과 더 많은 데이터를 제공할 수 있습니다. 대역폭.
Asanović에 따르면 고객이 자체 보조 프로세서를 RISC-V 에코시스템으로 가져와 완전한 가상 메모리 및 캐시 일관성 지원으로 Linux를 부팅할 수 있는 기능을 갖춘 완전한 소프트웨어 스택 및 프로그래밍 환경을 실행할 수 있다는 이점이 있습니다. 범용 CPU 코어와 가속 장치의 혼합.
Google의 관점에서 볼 때 TPU 기술 제품군을 개선하는 데 집중하고 처음부터 자체 애플리케이션 프로세서를 만드는 데 시간을 낭비하지 않기를 원했기 때문에 이러한 가속 기능을 기성 범용 프로세서와 페어링하는 것이 올바른 방법처럼 보였습니다. 영에 따르면 갈 것입니다.
VCIX는 기본적으로 MXU를 짧은 대기 시간으로 RISC-V 코어에 연결하므로 메모리, 캐시 또는 PCIe를 통해 CPU와 가속 장치 간에 데이터를 전송하기 위해 대기하는 많은 주기를 보낼 필요가 없습니다. 그 대신 벡터 레지스터 액세스를 통해 수십 사이클이 소요된다는 말을 들었습니다. 이는 또한 모든 것(RISC-V CPU 컴플렉스 및 맞춤형 가속기)이 시스템 온칩으로 패키징된 동일한 다이에 있음을 시사합니다.
애플리케이션 코드는 범용 RISC-V 코어에서 실행되며 MXU에 의해 가속화될 수 있는 모든 작업은 VCIX를 통해 전달됩니다. Young에 따르면 이 접근 방식에는 효율성뿐만 아니라 다른 이점도 있습니다. 프로그래밍 모델이 단순화되어 스칼라, 벡터 및 보조 프로세서 명령어가 인터리브된 단일 프로그램이 생성되고 개발자가 선호하는 대로 C/C++ 또는 어셈블러로 코딩할 수 있는 단일 소프트웨어 도구 체인이 허용됩니다.
“SiFive VCIX 기반 범용 코어를 Google MXU와 '하이브리드화'하면 MXU의 모든 성능과 일반 CPU는 물론 X280 프로세서의 벡터 성능까지.”라고 Young은 말했다.
이와 같은 맞춤형 칩을 만드는 능력은 Google과 같은 하이퍼스케일러의 영역으로 남거나 틈새 요구 사항과 깊은 주머니가 있는 사람들의 영역으로 남을 가능성이 높지만 개방형 에코시스템 RISC-V 모델의 유연성 덕분에 달성할 수 있는 것이 무엇인지 보여줍니다. .
이러한 유연성과 개방성은 RISC-V의 오랜 지지자이자 일부 다른 제품에 RV 코어를 사용하는 Google을 끌어들여 맞춤형 보조 프로세서를 x86 칩이나 Arm에 집어넣는 것과는 대조적으로 신생 아키텍처를 사용하도록 유인하기에 충분합니다. - 라이센스 디자인. ®
추신: Google이 있었던 때를 기억하십시오. 놀리는 데이터 센터에서 POWER CPU 아키텍처를 사용하여?