Seldon Core – 개요

Seldon Core는 쿠버네티스에 머신 러닝 모델을 배포하는 오픈 소스 플랫폼입니다. Seldon Core는 머신 러닝 모델 (Tensorflow, Pytorch 등) 과 언어 래퍼 (Python, Java 등)를 프로덕션 REST / GRPC 마이크로 서비스로 변환합니다. Seldon은 수천 개의 프로덕션 머신 러닝 모델을 확장 할 수 있는 기능을 제공하고, 고급 메트릭, 요청 로깅, 설명자, 이상치 탐지기, A/B 테스트, 카나리아 등을 포함한 고급 머신 러닝 기능을 기본적으로 제공합니다.

PV (PersistentVolume), Google Cloud Storage 버킷 또는 Amazon S3 스토리지에 저장된 모델이 있는 경우 Seldon Core에서 제공하는 사전 패키지 모델 서버 중 하나를 사용할 수 있습니다.

Selon Core 에서 제공하는 사전 패키지 모델 서버는 다음과 같습니다.

  • MLflow Server
  • SKLean Server
  • Tensorflow Serving
  • XGBoost server

Seldon Core는 추론 코드를 Seldon Core에서 실행되도록 래핑하기 위해 “언어 래퍼”를 제공합니다.

Selon Core 에서 제공하는 언어별 모델 래퍼는 다음과 같습니다.

  • Python Language Wrapper (Production)
  • Java Language Wrapper (Incubating)
  • R Language Wrapper (ALPHA)
  • NodesJS Lanuage Wrapper (ALPHA)
  • Go Lanugage Wrapper (ALPHA)

출처 : seldon.io

Seldon Core 의 장점은 다음과 같습니다.

  • 클라우드에 구애받지 않고 AWS EKS, Azure AKS, Google GKE, Alicloud, Digital Ocean 및 Openshift에서 테스트되었습니다.
  • 언어 래퍼 또는 사전 패키지 추론 서버를 사용하여 머신 러닝 모델을 쉽게 컨테이너화할 수 있습니다.
  • 예측 변수, 변환기, 라우터, 결합기 등으로 구성된 강력하고 풍부한 추론 그래프 기능을 제공합니다.
  • 이기종 툴킷 및 언어의 모델에서 표준화 된 서빙 계층을 제공합니다.
  • Prometheus와 Grafana 를 연동하여 사용자 정의 메트릭을 제공합니다.
  • Elasticsearch와 연동하여 모델 입/출력 요청 로깅을 남길 수 있으면, 이를 이용하여 감사 기능을 제공합니다.
  • 예거(Jaeger)와 연동하여 마이크로 서비스 홉 간 지연 시간에 대한 통찰력을 얻기 위해 마이크로 서비스 추적을 제공합니다.

Seldon Core는 Kubeflow와 함께 설치됩니다. 그래서 별도의 설치 없이 사용할 수 있습니다. 물론 Kubeflow 없이 독립적으로 설치해서 사용할 수도 있습니다.

댓글 남기기

이메일은 공개되지 않습니다. 필수 입력창은 * 로 표시되어 있습니다