该模块是embedding模块，用于将文本表示成浮点数向量，输入为List[str]，输出为。服务部署了两种模型，通过输入字段决定使用哪个模型推理。目前线上版本使用 FastAPI 封装，提供 HTTP 接口服务。由于时间紧迫，且服务协议不能改变，还需要对模型输出进行后处理，而我对torch转onnx模型不够熟练，因此先直接使用，后续再研究如何转tensorrt或onnx进行模型加速。Triton

该模块是embedding模块，用于将文本表示成浮点数向量，输入为List[str]，输出为。服务部署了两种模型，通过输入字段决定使用哪个模型推理。目前线上版本使用 FastAPI 封装，提供 HTTP 接口服务。由于时间紧迫，且服务协议不能改变，还需要对模型输出进行后处理，而我对torch转onnx模型不够熟练，因此先直接使用，后续再研究如何转tensorrt或onnx进行模型加速。Triton

当调用C语言函数时，Go语言会将当前协程的栈空间和调用栈保存起来，并创建一个新的C语言栈空间和调用栈。Go 是强类型语言，所以 cgo 中传递的参数类型必须与声明的类型完全一致，而且传递前必须用”C” 中的转化函数转换成对应的 C 类型，不能直接传入 Go 中类型的变量。在 Go 语言中方法是依附于类型存在的，不同 Go 包中引入的虚拟的 C 包的类型却是不同的（等类似的虚拟 C 包的类型，其它的

先说结论，单独靠这里的业务场景是：单机只启动一个进程，也就是，同时只能只处理一个请求，其他的请求全部拒绝，而不进行排队。我们使用了fastapi。