v811_spc009/vendor/huanglong/system/hlai/api/include/HLAIModelManagerService.h

/**
 * Copyright (c) Hisilicon Technologies Co., Ltd.. 2020-2020. All rights reserved.
 *
 * @file HLAIModelManagerService.h
 *
 *
*/

#ifndef __AI_MODEL_MANGER_SERVICE_H__
#define __AI_MODEL_MANGER_SERVICE_H__

#include <string>
#include <vector>
#include <map>
#include <mutex>
#include "HLAIModelManagerType.h"

namespace hlai {
class AiModelMngerClientImpl;
class AiModelMngerClient;
class AiModelBuilderImpl;
class AiModelBuilder {
public:
    explicit AiModelBuilder(std::shared_ptr<AiModelMngerClient> client = nullptr);

    virtual ~AiModelBuilder();

    /*
    * @brief 从文件读取OM离线模型proto信息
    * @param [in] path, 模型文件路径
    * @return MemBuffer * proto信息存储地址
    * @return nullptr 获取失败
    */
    MemBuffer* ReadBinaryProto(const std::string path);

    /*
    * @brief 从内存读取OM离线模型proto信息
    * @param [in] data, OM离线模型内存地址
    * @param [in] size, OM离线模型内存存储大小
    * @return MemBuffer * proto信息存储地址
    * @return nullptr 获取失败
    */
    MemBuffer* ReadBinaryProto(void* data, uint32_t size);

    /*
    * @brief 为输入OM离线模型用户内存buffer创建通用MemBuffer
    * @param [in] data, 模型用户内存地址
    * @param [in] size, 模型内存存储大小
    * @return MemBuffer * proto信息存储地址
    * @return nullptr 获取失败
    */
    MemBuffer* InputMemBufferCreate(void *data, uint32_t size);

    /*
    * @brief 为输入OM离线模型从文件创建MemBuffer
    * @param [in] path 文件路径
    * @return MemBuffer * 创建的输入MemBuffer内存指针
    * @return nullptr 创建失败
    */
    MemBuffer* InputMemBufferCreate(const std::string path);

    /*
    * @brief 为在线编译输出模型创建MemBuffer
    * @param [in] framework 模型平台类型
    * @param [in] pinputMemBuffer 输入的OM离线模型buffer
    * @return MemBuffer * 创建的输出模型MemBuffer内存指针
    * @return nullptr 创建失败
    */
    MemBuffer* OutputMemBufferCreate(const int32_t framework, const std::vector<MemBuffer *> &pinputMemBuffer);
    /*
    * @brief 注销MemBuffer内存，通过上述MemBuffer申请的内存最终都需要由此接口进行释放
    * @param [in] membuf, 创建的MemBuffer内存
    * @return void
    */
    void MemBufferDestroy(MemBuffer *membuf);

    /*
    * @brief 将模型buffer导出到文件
    * @param [in] membuf, 存储离线模型信息内存指针
    * @param [in] pbuildSize, 离线模型大小
    * @param [in] pbuildPath, 离线模型导出文件存储路径
    * @return AIStatus::AI_SUCCESS 导出成功
    * @return Others 导出失败
    */
    AIStatus MemBufferExportFile(MemBuffer *membuf, const uint32_t pbuildSize, const std::string pbuildPath);

private:
    std::shared_ptr<AiModelBuilderImpl> builderImpl_;
};

class AiModelMngerClient {
public:
    AiModelMngerClient();
    virtual ~AiModelMngerClient();

    /*
    * @brief 初始化接口
    * @param [in] listener 监听接口, 设置为nullptr时为同步调用, 否则为异步
    * @return AIStatus::AI_SUCCESS 成功
    * @return Others 失败
    */
    AIStatus Init(std::shared_ptr<AiModelManagerClientListener> listener);

    /*
    * @brief 加载模型
    * @param [in] pmodelDesc 模型信息
    * @param [in] piStamp 异步返回标识，基于该标识和模型名称做回调索引
    * @return AIStatus::AI_SUCCESS 成功
    * @return AIStatus::AI_INVALID_API 失败，表示设备不支持NPU
    * @return Others 失败
    */
    AIStatus Load(std::vector<std::shared_ptr<AiModelDescription>> &pmodelDesc);

    /*
    * @brief 模型处理接口, 运行加载模型的模型推理
    * @param [in] context, 模型运行上下文, 必须带model_name字段
    * @param [in] pinputTensor, 模型输入节点tensor信息
    * @param [in] poutputTensor, 模型输出节点tensor信息
    * @param [in] timeout, 推理超时时间
    * @param [in] piStamp 异步返回标识，基于该标识和模型名称做回调索引
    * @return AIStatus::AI_SUCCESS 成功
    * @return Others 失败
    */
    AIStatus Process(AiContext &context, std::vector<std::shared_ptr<AiTensor>> &pinputTensor,
                        std::vector<std::shared_ptr<AiTensor>> &poutputTensor, uint32_t timeout, int32_t &piStamp);

    /*
    * @brief 模型兼容性检查接口
    * @param [in] pmodelDesc, 模型描述
    * @param [out] pisModelCompatibility, 兼容性检查标识
    * @return AIStatus::AI_SUCCESS 兼容性检查通过
    * @return Others 兼容性检查失败
    */
    AIStatus CheckModelCompatibility(AiModelDescription &pmodelDesc, bool &pisModelCompatibility);

    /*
    * @brief 获取模型输入输出tensor信息
    * @param [in] pmodelName, 模型名
    * @param [out] pinputTensor 输出参数, 存储模型输入节点tensor信息
    * @param [out] poutputTensor 输出参数, 存储模型输出节点tensor信息
    * @return AIStatus::AI_SUCCESS 获取成功
    * @return Others 获取失败
    */
    AIStatus GetModelIOTensorDim(const std::string& pmodelName, std::vector<TensorDimension>& pinputTensor,
                                    std::vector<TensorDimension>& poutputTensor);

    /*
    * @brief 获取DDK版本
    * @return char * DDK版本
    * @return nullptr 获取失败
    */
    const char* GetVersion();

    /*
    * @brief 卸载模型
    * @return AIStatus::AI_SUCCESS 卸载成功
    * @return Others 卸载失败
    */
    AIStatus UnLoadModel();
private:
    friend class AiModelBuilderImpl;
    std::shared_ptr<AiModelMngerClientImpl> clientImpl_;
};
} // end namespace hlai

#endif