默认分类

1、文本生成算法 2、使用 ONNX 优化 Bloom 3b 3、在 Triton 推理服务器上，结合动态批处理 托管 Bloom 3b BigScience Large Open-Science Open Access Language（简称BLOOM）是一个大型语言模型。开源可商用。BLOOM…

YC 合伙人 Aaron Epstein 谈论了不同的创业商业模式、如何盈利以及如何为产品定价。定价和盈利是创始人最常问的问题之一，Aaron Epstein 概述了 9 种商业模式，并重点介绍了 YC 顶级公司的商业模式经验。   文末附…

本文探索云原生向量数据库Milvus的安装和使用，使用Langchain和港大的Instruction-XL模型做本地数据的切分和转向量，为那些无法使用OpenAIEmbeddings、不想将数据外泄到境外的项目提供了一个示例。 Milvus架构和简…

tokenize的目标是把输入的文本切分成一个个子串，便于embedding处理和后续模型的使用。本文总结了Tokenize流程、方法和特点，并使用Huggingface库和tiktoken库做了示例。 tokenizer工作流程 大致工作流程： Normali…

本文包括用于文本识别的 OCR、用于信息提取的语言模型和 NER，以及用于特定数据模式匹配和填写表单的正则表达式/规则。 1. 文本数据提取 格式：基于文本的 PDF、基于图像的 PDF、图像 为了有效地从这些格式中提取文…

Langchain是什么？ Langchain可以说是现阶段十分值得学习的一个AI架构，它标准的定义了我们在构建一个LLM应用开发时可能会用到的东西。比如说在之前写过的AI文章中介绍的prompt，就可以通过Langchain中的PromptTemp…

DeepSpeed是由Microsoft提供的分布式训练工具，旨在支持更大规模的模型和提供更多的优化策略和工具。与其他框架相比，DeepSpeed支持更大规模的模型和提供更多的优化策略和工具。其中，主要优势在于支持更大规模的模…

数据并行 数据并行，就是将数据集分为N份，分别装载到N个GPU节点中，每个GPU节点持有一个完整的模型副本，分别基于每个GPU中的数据去进行梯度求导。在GPU0上对每个GPU中的梯度进行累加，最后，再将GPU0聚合后的结果…

开源的AI Agent框架：加速智能应用开发的利器

Al Agent（人工智能代理）是一种能够感知环境、进行决策和执行动作的智能实体。旨在大模型技术驱动下，让人们以自然语言为交互方式高自动化地执行和处理专业或繁复的工作任务，从而极大程度释放人员精力。Agent 其…

本文介绍通过微调 Meta 的 Llama 2 7B 模型对18 个不同类别的新闻文章进行分类，本教程将详细解释每个步骤，涵盖使用的所有类、函数和参数。 安装所需库 加载所需库  Bitsandbytes 配置 定义一个函数&nbs…

近期出现一些基于大模型的情感陪伴型对话机器人，主要是结合心理学知识，使用心理咨询数据训练，实现量表测量、情绪安抚、情感陪伴等功能，为老人、青少年等提供心理健康支持。本文选取了两个项目，分别用ChatGLM6B…

通过部署LLama2示例，比较不同LLM开源推理服务框架的优缺点。本文没介绍深度学习模型推理服务的传统库，如TorchServe，KServe或Triton Inference Server。 1. vLLM 它的吞吐量比HuggingFace Transformer （HF） 高 …

马来西亚国立大学 (马来文全称: Universiti Kebangsaan Malaysia; 英文全称: National University of Malaysia), 简称UKM。学校成立于1970 年，是马来西亚第三所公立大学，也是马来西亚五…

马来西亚沙巴大学（Univerisiti MalaysiaSabah) ——东南亚最美的大学之一！每天放学后在海边看日落！竟然有这么粉嫩的校园！本，硕，博最新招生简章及申请指南来了。 马来西亚沙巴大学。马来西亚沙巴大学位于马…