글로벌 오픈소스 솔루션 선도기업 레드햇이 레드햇 오픈시프트(Red Hat OpenShift) 기반의 개방형 하이브리드 인공지능(AI) 및 머신러닝(ML) 플랫폼인 ‘레드햇 오픈시프트 AI(Red Hat OpenShift AI)’의 업데이트 내용을 발표했다.

 

레드햇 오픈시프트 AI는 기업이 하이브리드 클라우드 전반에 걸쳐 AI 지원 애플리케이션을 대규모로 생성하고 제공할 수 있도록 돕는다. 이번 업데이트는 기본 하드웨어부터 주피터(Jupyter)나 파이토치(PyTorch)와 같이 플랫폼 구축에 사용되는 서비스 및 도구에 이르기까지 지능형 워크로드에 대한 고객의 선택권을 보장하고자 하는 레드햇의 AI 비전을 강조한다. 레드햇은 클라우드 환경 사용 여부에 관계없이 예측형 및 생성형 AI 모델을 모두 지원하는 보다 유연하고 확장 가능하며 적응력이 뛰어난 오픈소스 플랫폼을 통해, 고객에게 더욱 빠른 혁신 및 생산성 향상과 더불어 일상적인 비즈니스 운영에 AI를 적용할 수 있는 역량을 제공할 계획이다.

 

고객은 AI 모델을 실험 단계에서 프로덕션 단계로 전환하는 과정에서 하드웨어 비용 증가, 데이터 프라이버시 문제, SaaS 기반 모델 및 데이터 공유에 대한 신뢰 부족 등 많은 어려움에 직면한다. 생성형 AI는 빠르게 변화하고 있으며, 많은 조직이 온프레미스 또는 클라우드에서 실행할 수 있는 안정적인 핵심 AI 플랫폼을 구축하기 위해 고심하고 있다.

 

레드햇의 AI 전략은 하이브리드 클라우드 전반에서 유연성을 지원하고, 고객 데이터로 사전 학습되거나 선별된 파운데이션 모델을 강화할 수 있는 기능 및 다양한 하드웨어 · 소프트웨어 가속기를 자유롭게 사용할 수 있는 기능을 제공한다. 새롭게 업데이트된 레드햇 오픈시프트 AI는 최신 AI/ML 혁신에 대한 액세스와 AI 중심의 광범위한 파트너 에코시스템 지원을 통해 이러한 요구 사항을 충족한다. 해당 플랫폼의 최신 버전인 레드햇 오픈시프트 AI 2.9는 아래와 같은 기능을 제공한다:

 

●   엣지에서의 모델 서빙: 엣지에서의 모델 서빙은 단일 노드 오픈시프트를 통해 AI 모델 배포를 원격으로 확장한다. 이는 외부와 연결이 끊겼거나(air-gapped) 간헐적(intermittent)인 네트워크 액세스 등 리소스의 제약이 있는 환경에 추론 기능을 제공한다. 이 기술 프리뷰는 조직에 코어부터 클라우드, 엣지에 이르기까지 확장 가능하고 일관된 운영 환경을 제공하며, 즉시 사용 가능한 통합 가시성을 포함한다.

●    향상된 모델 서빙:여러 모델 서버를 사용해 예측형 및 생성형 AI를 모두 지원할 수 있게 한다. 지원되는 내용으로는 모든 유형의 모델에 대한 서빙을 오케스트레이션하는 쿠버네티스(Kubernetes) 커스텀 리소스 정의인 K서브(KServe), vLLM 및 텍스트 생성 추론 서버(TGIS), LLM용 서빙 엔진, 자연어 처리(NLP) 모델과 작업을 다루는 Caikit-nlp-tgis 런타임 등이 포함된다. 향상된 모델 서빙을 통해 사용자는 단일 플랫폼에서 여러 사용 사례를 위한 예측형 및 생성형 AI 실행이 가능해, 비용을 절감하고 운영을 간소화할 수 있다. 이는 즉시 사용할 수 있는 모델 서비스를 LLM에 제공하고 주변 사용자 워크플로우 또한 간소화한다.

●    레이(Ray)로 워크로드 분산:더 빠르고 효율적인 데이터 처리와 모델 학습을 위하여, 여러 클러스터 노드를 사용하는 코드플레어(CodeFlare)와 큐브레이(KubeRay)를 통해 레이로 워크로드를 분산한다. 레이는 AI 워크로드 가속화를 위한 프레임워크이며, 큐브레이(KubeRay)는 쿠버네티스에서 이러한 워크로드 관리를 돕는다. 코드플레어는 레드햇 오픈시프트 AI의 분산 워크로드 기능의 핵심으로, 작업 오케스트레이션 및 모니터링 간소화에 도움이 되는 사용자 친화적인 프레임워크를 제공한다. 또한 중앙 큐잉 및 관리 기능으로 최적의 노드 활용이 가능하고 GPU와 같은 리소스를 적절한 사용자 및 워크로드에 할당할 수 있다.

●   모델 개발 개선: 프로젝트 작업 공간과 추가 워크벤치 이미지를 통해 모델 개발을 개선하여, 데이터 과학자가 다양한 사용 사례와 모델 유형에 대해 현재 기술 프리뷰로 제공되는 VS Code 및 RStudio, 향상된 CUDA를 포함한 IDE와 툴킷을 유연하게 사용할 수 있도록 한다.

●    모델 모니터링 시각화: 성능 및 운영 메트릭에 대한 모델 모니터링을 시각화하여 AI 모델의 성능에 대한 가시성을 개선한다.

●   새로운 가속기 프로필: 관리자가 모델 개발 및 모델 제공 워크플로우에 사용 가능한 다양한 유형의 하드웨어 가속기를 구성할 수 있도록 새로운 가속기 프로필이 추가됐다. 사용자는 이를 통해 특정 워크로드에 적합한 가속기 유형에 셀프서비스 방식으로 간단히 접근할 수 있다.

 

 

 

 

현재 IBM의 왓슨x.ai(watsonx.ai) 뿐만 아니라 AGESIC과 오텍 파이낸스(Ortec Finance) 등 다양한 산업 분야의 기업들이 더욱 큰 AI 혁신과 성장을 추진하기 위해 레드햇 오픈시프트 AI를 도입하고 있다. 또한 다양한 파트너들과 협업을 통해 에코시스템을 확장하고 있다.

 

레드햇은 레드햇 오픈시프트 AI에서의 엔터프라이즈 AI 활용 강화를 위해 인텔과 협력한다고 발표했다. 양사는 가우디(Gaudi) AI 가속기, 제온(Xeon) 프로세서, 코어 울트라(Core Ultra) 및 코어(Core) 프로세서, 아크(Arc) GPU 등의 인텔 AI 제품에서 하이브리드 클라우드 인프라 전반에 걸친 모델 개발 · 교육, 제공, 관리, 관리 · 모니터링을 위한 엔드투엔드 AI 솔루션을 제공할 예정이다. 레드햇 오픈시프트 AI는 인텔의 AI 제품에 대한 일관된 지원을 제공해 조직이 다양한 환경에서 AI 애플리케이션을 원활히 배포할 수 있도록 지원한다. 양사는 이번 협력을 통해 데이터 센터에서 엣지까지 유연하고 탄력적인 AI 솔루션을 제공해 상호 운용성을 보장하고 확장 가능한 소프트웨어 제품을 통해 AI 혁신을 가속화할 예정이다.

 

또한 AI 워크로드의 구축, 배포, 관리에 대한 고객 선택권 확대를 위한 AMD의 협력도 발표했다. 레드햇과 AMD는 AMD GPU를 레드햇 오픈시프트 AI에 통합함으로써 AI 아키텍처에 더 큰 선택권과 유연성을 제공하고 AI 워크로드를 채택하는 기업의 진입 장벽을 낮춰 엔터프라이즈 AI 역량을 강화할 계획이다. 양사는 레드햇 오픈시프트 AI에서 AMD GPU 오퍼레이터(AMD GPU Operator)를 지원해 AI 워크플로우의 간소화, 인프라 격차 해소, 지능형 애플리케이션의 시장 배포 가속화를 돕고, AMD 인스팅트(AMD Instinct) 가속기에서 레드햇 오픈 하이브리드 클라우드 기술을 지원해 AI 혁신을 더욱 촉진하고 고객에게 향상된 GPU 리소스 선택권을 제공할 예정이다.