大模型

本文介绍了通过 Docker 安装 Dify，然后集成 Ollama 和 XInference，并利用 Dify 快速搭建一个基于知识库问答的应用。

开源的AI Agent框架：加速智能应用开发的利器

Al Agent（人工智能代理）是一种能够感知环境、进行决策和执行动作的智能实体。旨在大模型技术驱动下，让人们以自然语言为交互方式高自动化地执行和处理专业或繁复的工作任务，从而极大程度释放人员精力。Agent 其…

近期出现一些基于大模型的情感陪伴型对话机器人，主要是结合心理学知识，使用心理咨询数据训练，实现量表测量、情绪安抚、情感陪伴等功能，为老人、青少年等提供心理健康支持。本文选取了两个项目，分别用ChatGLM6B…

通过部署LLama2示例，比较不同LLM开源推理服务框架的优缺点。本文没介绍深度学习模型推理服务的传统库，如TorchServe，KServe或Triton Inference Server。 1. vLLM 它的吞吐量比HuggingFace Transformer （HF） 高 …

本文介绍如何使用 Llama 2 和 FastAPI、Redis 和 Celery 构建基于大模型对话的应用程序，将介绍这些概念以及它们如何协同工作的。 我们一直在使用 FastAPI 来构建我们的LLM应用，是一个用高性能 Web 框架，其异步功…

Bloom是一个开源可商用模型，它是如何一步步设计的？用了哪些数据和硬件资源?模型结构细节是怎样的？训练细节是怎样的？......