1、文本生成算法 2、使用 ONNX 优化 Bloom 3b 3、在 Triton 推理服务器上，结合动态批处理 托管 Bloom 3b BigScience Large Open-Science Open Access Language（简称BLOOM）是一个大型语言模型。开源可商用。BLOOM…

本文主要探讨如下两个方面： 1、outputs = model.generate(**inputs, ...) generate()中各个参数是什么含义？ 2、我们的模型在文本生成的时候，最终的结果文本是如何产生的？常见的解码策略有哪些？ 常用参数释义 m…

本文探索云原生向量数据库Milvus的安装和使用，使用Langchain和港大的Instruction-XL模型做本地数据的切分和转向量，为那些无法使用OpenAIEmbeddings、不想将数据外泄到境外的项目提供了一个示例。 Milvus架构和简…

tokenize的目标是把输入的文本切分成一个个子串，便于embedding处理和后续模型的使用。本文总结了Tokenize流程、方法和特点，并使用Huggingface库和tiktoken库做了示例。 tokenizer工作流程 大致工作流程： Normali…

本文包括用于文本识别的 OCR、用于信息提取的语言模型和 NER，以及用于特定数据模式匹配和填写表单的正则表达式/规则。 1. 文本数据提取 格式：基于文本的 PDF、基于图像的 PDF、图像 为了有效地从这些格式中提取文…

Langchain是什么？ Langchain可以说是现阶段十分值得学习的一个AI架构，它标准的定义了我们在构建一个LLM应用开发时可能会用到的东西。比如说在之前写过的AI文章中介绍的prompt，就可以通过Langchain中的PromptTemp…

DeepSpeed是由Microsoft提供的分布式训练工具，旨在支持更大规模的模型和提供更多的优化策略和工具。与其他框架相比，DeepSpeed支持更大规模的模型和提供更多的优化策略和工具。其中，主要优势在于支持更大规模的模…

数据并行 数据并行，就是将数据集分为N份，分别装载到N个GPU节点中，每个GPU节点持有一个完整的模型副本，分别基于每个GPU中的数据去进行梯度求导。在GPU0上对每个GPU中的梯度进行累加，最后，再将GPU0聚合后的结果…

开源的AI Agent框架：加速智能应用开发的利器

Al Agent（人工智能代理）是一种能够感知环境、进行决策和执行动作的智能实体。旨在大模型技术驱动下，让人们以自然语言为交互方式高自动化地执行和处理专业或繁复的工作任务，从而极大程度释放人员精力。Agent 其…

工作中我们常用pandas作为数据处理的工具，读取Excel/csv/mysql等数据源后处理成dataframe，本文介绍一些常用的高级操作技巧、组合使用技巧，尤其是文本相关的处理。 另一篇：https://www.icnma.com/pandasre_re/ …

通过部署LLama2示例，比较不同LLM开源推理服务框架的优缺点。本文没介绍深度学习模型推理服务的传统库，如TorchServe，KServe或Triton Inference Server。 1. vLLM 它的吞吐量比HuggingFace Transformer （HF） 高 …

本文介绍如何使用 Llama 2 和 FastAPI、Redis 和 Celery 构建基于大模型对话的应用程序，将介绍这些概念以及它们如何协同工作的。 我们一直在使用 FastAPI 来构建我们的LLM应用，是一个用高性能 Web 框架，其异步功…

马来西亚国立大学 (马来文全称: Universiti Kebangsaan Malaysia; 英文全称: National University of Malaysia), 简称UKM。学校成立于1970 年，是马来西亚第三所公立大学，也是马来西亚五…

马来西亚留学，公立大学TOP5申请汇总 根据文章一步步准备材料和申请，联系美熙小助手mx499134319 进群讨论哦~ 订阅本站年度会员，top5申请全免哦！！ 马来亚大学 马来亚大学官方系统Maya，本硕博留学申请，图文详解…