SeldonDeployment from MLflow

[visionhong]

안녕하세요,
API DEPLOYMENT 5. Model from MLflow에서 막힌부분이 있어서 질문드립니다!

Seldon Core yaml 파일 작성에서 모델의 주소를 저의 s3주소로 변경 후 apply하여 정상적으로 pod가 작동되었습니다.

하지만 이후 Swagger UI에서 Request body를 어떤식으로 작성해야 하는지 감이 잡히질 않습니다.

우선 API DEPLOYMENT 2. Deploy SeldonDeployment 와 동일하게 작성을 하였지만 아래와 같은 에러가 발생하였습니다.

Request body:
{ "data": { "ndarray":[[1.0, 2.0, 5.0, 6.0]] } }

Response body:
{"status":{"code":-1,"info":"Model is missing inputs ['sepal length (cm)', 'sepal width (cm)', 'petal length (cm)', 'petal width (cm)']. Note that there were extra inputs: [0, 1, 2, 3]","reason":"MICROSERVICE_INTERNAL_ERROR","status":1}}

위 형식은 gs://seldon-models/v1.12.0-dev/sklearn/iris 의 모델에서 쓰이는 형식이기 때문에 현재 모델에 맞지 않는것이라 판단했고 kfp 구축과정에서 생성되는 input_example.json의 형식을 넣어보았습니다.

Request body:
{ "columns": [ "sepal length (cm)", "sepal width (cm)", "petal length (cm)", "petal width (cm)" ], "data": [ [ 7, 3.2, 4.7, 1.4 ] ] }

Response body:
{"status":{"code":-1,"info":"Model is missing inputs ['sepal length (cm)', 'sepal width (cm)', 'petal length (cm)', 'petal width (cm)']. Note that there were extra inputs: [0]","reason":"MICROSERVICE_INTERNAL_ERROR","status":1}}

이번에도 완전히 같지는 않지만 비슷한 에러가 발생하였습니다. 이후 여러차례 형식을 바꿔가면서 시도해보았지만 모두 응답을 얻지 못하였습니다. 모델 input의 형식을 어디에서 확인할 수 있을까요?

[Aiden-Jeon]

안녕하세요.
body를 구성하는 부분은 자동으로 생성해주는 swagger 로는 이해하기 어려운 부분이 있습니다.
해당 내용은 seldon core 공식 문서를 참고하면 좋을 것 같습니다.
공식 문서에 따르면 다음과 같이 작성해야 합니다.

curl -X POST <YOUR PREDICTION URI> \
    -H 'Content-Type: application/json' \
    -d '{
    "data": {
        "ndarray": [
            [ 7, 3.2, 4.7, 1.4 ]
        ],
        "names": [ "sepal length (cm)", "sepal width (cm)", "petal length (cm)", "petal width (cm)" ]
    }
}'

위에 처럼 data안에 ndarray와 names로 입력해주셔야 합니다.

[visionhong]

request:
curl -X POST http://{IP}:{PORT}/seldon/kubeflow-user-example-com/seldon-example/api/v1.0/predictions \ -H 'Content-Type: application/json' \ -d '{ "data": { "ndarray": [ [ 7, 3.2, 4.7, 1.4 ] ], "names": [ "sepal length (cm)", "sepal width (cm)", "petal length (cm)", "petal width (cm)" ] } }'

input_example.json:

[visionhong]

추가적으로 작성한 mlflow-pipeline.py 와 seldon-mlflow.yaml은 아래와 같습니다.

mlflow-pipeline.py:

from functools import partial
from kfp.components import InputPath, OutputPath, create_component_from_func
from kfp.dsl import pipeline
import kfp


@partial(
   create_component_from_func,
   packages_to_install=["pandas", "scikit-learn"],
)
def load_iris_data(data_path: OutputPath('csv'), target_path: OutputPath('csv')):
   import pandas as pd
   from sklearn.datasets import load_iris

   iris = load_iris()

   data = pd.DataFrame(iris['data'], columns=iris['feature_names'])
   target = pd.DataFrame(iris['target'], columns=['target'])

   data.to_csv(data_path, index=False)
   target.to_csv(target_path, index=False)


@partial(
   create_component_from_func,
   packages_to_install=["dill==0.3.4", "pandas==1.3.4", "scikit-learn==1.0.1", "mlflow"],
)

def train_from_csv(train_data_path: InputPath('csv'),
                  train_target_path: InputPath('csv'),
                  model_path: OutputPath('dill'),
                  input_example_path: OutputPath('dill'),
                  signature_path: OutputPath('dill'),
                  conda_env_path: OutputPath('dill'),
                  kernel: str):
   import dill
   import pandas as pd
   from sklearn.svm import SVC

   from mlflow.models.signature import infer_signature
   from mlflow.utils.environment import _mlflow_conda_env

   train_data = pd.read_csv(train_data_path)
   train_target = pd.read_csv(train_target_path)

   clf = SVC(kernel=kernel)
   clf.fit(train_data, train_target)

   with open(model_path, mode='wb') as f:
       dill.dump(clf, f)

   input_example = train_data.sample(1)
   with open(input_example_path, mode="wb") as f:
       dill.dump(input_example, f)

   signature = infer_signature(train_data, clf.predict(train_data))
   with open(signature_path, "wb") as f:
       dill.dump(signature, f)

   conda_env = _mlflow_conda_env(
       additional_pip_deps=["dill", "pandas", "scikit-learn"]
   )
   with open(conda_env_path, "wb") as f:
       dill.dump(conda_env, f)


@partial(
   create_component_from_func,
   packages_to_install=["dill", "pandas", "scikit-learn", "mlflow", "boto3"],
)
def upload_sklearn_model_to_mlflow(
       model_name: str,
       model_path: InputPath("dill"),
       input_example_path: InputPath("dill"),
       signature_path: InputPath("dill"),
       conda_env_path: InputPath("dill"),
):
   import os
   import dill
   from mlflow.sklearn import save_model
   from mlflow.tracking.client import MlflowClient

   os.environ["MLFLOW_S3_ENDPOINT_URL"] = "http://minio-service.kubeflow.svc:9000"
   os.environ["AWS_ACCESS_KEY_ID"] = "minio"
   os.environ["AWS_SECRET_ACCESS_KEY"] = "minio123"

   client = MlflowClient("http://mlflow-server-service.mlflow-system.svc:5000")

   with open(model_path, mode="rb") as file_reader:
       clf = dill.load(file_reader)

   with open(input_example_path, "rb") as file_reader:
       input_example = dill.load(file_reader)

   with open(signature_path, "rb") as file_reader:
       signature = dill.load(file_reader)

   with open(conda_env_path, "rb") as file_reader:
       conda_env = dill.load(file_reader)

   save_model(
       sk_model=clf,
       path=model_name,
       serialization_format="cloudpickle",
       conda_env=conda_env,
       signature=signature,
       input_example=input_example,
   )
   run = client.create_run(experiment_id="0")
   client.log_artifact(run.info.run_id, model_name)



@pipeline(name='complex_pipeline')
def mlflow_pipeline(kernel: str, model_name: str):
   iris_data = load_iris_data()
   model = train_from_csv(
       train_data=iris_data.outputs["data"],
       train_target=iris_data.outputs["target"],
       kernel=kernel,
   )

   _ = upload_sklearn_model_to_mlflow(
       model_name=model_name,
       model=model.outputs["model"],
       input_example=model.outputs["input_example"],
       signature=model.outputs["signature"],
       conda_env=model.outputs["conda_env"],
   )



if __name__ == '__main__':
   kfp.compiler.Compiler().compile(mlflow_pipeline, "mlflow_pipeline.yaml")

seldon-mlflow.yaml

apiVersion: machinelearning.seldon.io/v1
kind: SeldonDeployment
metadata:
  name: seldon-example
  namespace: kubeflow-user-example-com
spec:
  name: model
  predictors:
  - name: model

    componentSpecs:
    - spec:
        volumes:
        - name: model-provision-location
          emptyDir: {}

        initContainers:
        - name: model-initializer
          image: gcr.io/kfserving/storage-initializer:v0.4.0
          args:
            - "s3://mlflow/mlflow/artifacts/0/39ff2e97b8944e9287e31d382a75f12f/artifacts/support-vector-machine"
            - "/mnt/models"
          volumeMounts:
          - mountPath: /mnt/models
            name: model-provision-location
          envFrom:
          - secretRef:
              name: seldon-init-container-secret

        containers:
        - name: model
          image: ghcr.io/mlops-for-all/mlflowserver
          volumeMounts:
          - mountPath: /mnt/models
            name: model-provision-location
            readOnly: true
          securityContext:
            privileged: true
            runAsUser: 0
            runAsGroup: 0

    graph:
      name: model
      type: MODEL
      parameters:
      - name: model_uri
        type: STRING
        value: "/mnt/models"
      children: []

[Aiden-Jeon]

해당 이슈는 seldon core가 schema를 처리하는 부분에서 오류가 나는 것 같습니다.
input schema로 불러온 부분과 현재 입력으로 주는 부분이 일치하지 않아서 생기는 것 같은데...
제가 현재 디버깅을 할 수 있는 환경이 아니라서 내일 한번 다시 환경에서 진행해보도록 하겠습니다.
빠르게 답변 드릴수가 없어서 죄송합니다 😢

[Aiden-Jeon]

@tjems6498
안녕하세요 해당 이슈 확인했는데 문제는 seldon core 를 선언하는 부분에 있었습니다.
현재 서빙을하는 코드는 아래와 같습니다.
https://github.com/mlops-for-all/seldon-servers/blob/e2c3baedbea6013e61ff19119b976ad6f861d9bb/servers/mlflowserver/mlflowserver/MLFlowServer.py#L33-L51

    def predict(
        self, X: np.ndarray, feature_names: List[str] = [], meta: Dict = None
    ) -> Union[np.ndarray, List, Dict, str, bytes]:
        logger.debug(f"Requesting prediction with: {X}")


        if not self.ready:
            raise requests.HTTPError("Model not loaded yet")


        if self.xtype == "ndarray":
            result = self._model.predict(X)
        else:
            if feature_names is not None and len(feature_names) > 0:
                df = pd.DataFrame(data=X, columns=feature_names)
            else:
                df = pd.DataFrame(data=X)
            result = self._model.predict(df)


        logger.debug(f"Prediction result: {result}")
        return result

여기서 xtype이 ndarray이면 바로 모델로 predict를 하는데, 스키마는 데이터 프레임 타입을 필요로 하기 때문에 나는 에러였습니다.
해결법은 간단하게 parameter를 추가하면 되는데요.
아래와 같이 수정하시면 됩니다.

apiVersion: machinelearning.seldon.io/v1
kind: SeldonDeployment
metadata:
  name: seldon-example
  namespace: kubeflow-user-example-com
spec:
  name: model
  predictors:
  - name: model

    componentSpecs:
    - spec:
        volumes:
        - name: model-provision-location
          emptyDir: {}

        initContainers:
        - name: model-initializer
          image: gcr.io/kfserving/storage-initializer:v0.4.0
          args:
            - "s3://mlflow/mlflow/artifacts/0/39ff2e97b8944e9287e31d382a75f12f/artifacts/support-vector-machine"
            - "/mnt/models"
          volumeMounts:
          - mountPath: /mnt/models
            name: model-provision-location
          envFrom:
          - secretRef:
              name: seldon-init-container-secret

        containers:
        - name: model
          image: ghcr.io/mlops-for-all/mlflowserver
          volumeMounts:
          - mountPath: /mnt/models
            name: model-provision-location
            readOnly: true
          securityContext:
            privileged: true
            runAsUser: 0
            runAsGroup: 0

    graph:
      name: model
      type: MODEL
      parameters:
      - name: model_uri
        type: STRING
        value: "/mnt/models"
      - name: xtype
        type: STRING
        value: "dataframe"
      children: []

이 내용을 반영해 수정하도록 하겠습니다.
#95
감사합니다!

[visionhong]

덕분에 해결하였습니다. 좋은 자료와 빠른 답변 주셔서 정말 감사합니다!