自然语言处理

通过部署LLama2示例，比较不同LLM开源推理服务框架的优缺点。本文没介绍深度学习模型推理服务的传统库，如TorchServe，KServe或Triton Inference Server。 1. vLLM 它的吞吐量比HuggingFace Transformer （HF） 高 …

本文介绍如何使用 Llama 2 和 FastAPI、Redis 和 Celery 构建基于大模型对话的应用程序，将介绍这些概念以及它们如何协同工作的。 我们一直在使用 FastAPI 来构建我们的LLM应用，是一个用高性能 Web 框架，其异步功…

LoRA​模型加速原理、peft包使用、Autocust自动混合精度、Accelerate和deepspeed加速、多GPU分布式训练等大模型加速训练和微调的方法和代码模板

Prefix-Tuning、P-tuning V1和 V2相关的原理和思路，并结合了大模型ChatGLM微调解析。

书山有路勤为径，学海无涯苦作舟！新年更有新气象，财源广进、广开财路！

智能对话机器人技术进展如何？存在哪些问题？如何设计一个企业对话机器人？用到哪些技术？

写bug的程旭源，和大家见面啦！

上百篇博士生存指南：从申请到毕业，手把手教学！

工作之余，我开发了一款留学问答机器人，服务母校马来亚大学的学弟学妹们。提高留学申请时获取关键信息的效率。

文本摘要的常见问题和解决方法概述，以及使用Hugging Face Transformers代码示例。