这篇文章介绍了通过grpc的流式通信方式实现双向通讯的方法. grpc介绍 grpc是谷歌开源的一套基于rpc实现的通讯框架(官网有更完整的定义)。在搞懂grpc之前，首先要弄懂rpc是什么。下面是自...
实现基于 GPRC 流式应答的 ChatGPT 服务
本文介绍了如何实现流式应答（stream）的 grpc 大模型服务。 介绍 使用 LangChain 可以很轻易地实现 大模型（llm）的流式应答（stream），其主要原理是实现 CallbackH...
