![Board logo](images/default/logo.gif)
标题: OpenLLM 操作大语言模型的开放平台 [打印本页]
作者: wdks 时间: 2023-6-28 09:36 标题: OpenLLM 操作大语言模型的开放平台
OpenLLM 是一个生产级的操作大语言模型 (LLM) 的开放平台。支持便捷 Fine-tune 微调、Serve 模型服务、部署和监控任何 LLM。借助 OpenLLM,可以使用任何开源大语言模型运行推理,部署到云端或本地,并构建强大的 AI 应用程序。
OpenLLM 特性包括:
- 先进的 LLM:内置支持各种开源 LLM 和模型运行时,包括 StableLM、Falcon、Dolly、Flan-T5、ChatGLM、StarCoder 等。
- 灵活的 API:只需一个命即可通过 RESTful API 或 gRPC 为 LLM 提供服务,并通过 WebUI、CLI、Python/Javascript 客户端或任何 HTTP 客户端进行查询。
- 自由构建:对 LangChain、BentoML 和 Hugging Face 具有一级支持,可以通过将 LLM 与其它模型和服务组合来轻松创建自己的 AI 应用程序。
- 简化部署:自动生成 LLM 服务器 Docker 镜像或通过 BentoCloud 部署为无服务器端节点。
- 自建 LLM:使用 LLM.tuning () 微调任何 LLM 以满足特定需求。 (即将推出)
欢迎光临 WDlinux官方论坛 (http://wdlinux.cn/bbs/) |
Powered by Discuz! 7.2 |