1、文本生成算法 2、使用 ONNX 优化 Bloom 3b 3、在 Triton 推理服务器上，结合动态批处理 托管 Bloom 3b BigScience Large Open-Science Open Access Language（简称BLOOM）是一个大型语言模型。开源可商用。BLOOM…
本文主要探讨如下两个方面： 1、outputs = model.generate(**inputs, ...) generate()中各个参数是什么含义？ 2、我们的模型在文本生成的时候，最终的结果文本是如何产生的？常见的解码策略有哪些？ 常用参数释义 m…
YC 合伙人 Aaron Epstein 谈论了不同的创业商业模式、如何盈利以及如何为产品定价。定价和盈利是创始人最常问的问题之一，Aaron Epstein 概述了 9 种商业模式，并重点介绍了 YC 顶级公司的商业模式经验。 文末附…
好的文章特征 在结构上，论文由几章组成。在这方面，我们建议考虑七章的最佳数字来报告整个研究研究的整个过程。 摘要：本章节内容的摘要。它包括对本章的目标的陈述。它可以帮助读者（考官）理解身体中各部分的流…
Cambridge Online Dictionary 这本词典提供了深入的解释、关键发音和例句。在大学水平的英语学习中，使用英语-英语词典来查未知单词并丰富你的词汇量（即对单词的知识）是个好主意。 https://dictionary.cambridge.…
一、前言 FastAPI 是用于开发API应用最受欢迎的Python库之一，NGINX、Gunicorn 和 Uvicorn 都是经过实践验证的技术，常被用作反向代理和ASGI服务器来部署Python网页应用。 本文将展示如何结合这些工具来部署一个 Fa…
01 引言 Python装饰器是一种强大而优雅的语法特性，能够在不修改原有函数代码的情况下，为函数添加新的功能。 本文将为你揭示15个实用的Python装饰器技巧，帮助你写出更加简洁、高效的代码。 02 核心概念解析 装饰…
本文介绍了通过 Docker 安装 Dify，然后集成 Ollama 和 XInference，并利用 Dify 快速搭建一个基于知识库问答的应用。
引言 Python 模块是包含代码的文件，可以定义函数、类和变量，并被其他 Python 程序导入。模块是 Python 编程的基础组件之一，能够提高代码的复用性和组织性。本文将介绍模块的基本概念、常用操作及一些高级技巧。 …
为什么需要并发？ 在日常生活中，我们会同时做很多事情。比如边听音乐边做饭，或者一边看视频一边回复消息。这些行为让我们提高了效率。同样的，在编程中，我们也希望程序能同时处理多个任务，这样可以提高程序的执…
一、Ollama 快速入门 Ollama 是一个用于在本地运行大型语言模型的工具，下面将介绍如何在不同操作系统上安装和使用 Ollama。 官网：https://ollama.com Github：https://github.com/ollama/ollama 1. 安装 (1). mac…
Agent 应用适用场景 Agent 是大语言模型（LLM）的主要应用形态，通过大语言模型的推理能力和使用工具的能力完成复杂的任务： Agent 智能体=大模型推理能力 +工具使用能力 如果你有以下的业务场景，Agent 应用架构是…
本文探索云原生向量数据库Milvus的安装和使用，使用Langchain和港大的Instruction-XL模型做本地数据的切分和转向量，为那些无法使用OpenAIEmbeddings、不想将数据外泄到境外的项目提供了一个示例。 Milvus架构和简…
tokenize的目标是把输入的文本切分成一个个子串，便于embedding处理和后续模型的使用。本文总结了Tokenize流程、方法和特点，并使用Huggingface库和tiktoken库做了示例。 tokenizer工作流程 大致工作流程： Normali…
本文包括用于文本识别的 OCR、用于信息提取的语言模型和 NER，以及用于特定数据模式匹配和填写表单的正则表达式/规则。 1. 文本数据提取 格式：基于文本的 PDF、基于图像的 PDF、图像 为了有效地从这些格式中提取文…
Langchain是什么？ Langchain可以说是现阶段十分值得学习的一个AI架构，它标准的定义了我们在构建一个LLM应用开发时可能会用到的东西。比如说在之前写过的AI文章中介绍的prompt，就可以通过Langchain中的PromptTemp…
DeepSpeed是由Microsoft提供的分布式训练工具，旨在支持更大规模的模型和提供更多的优化策略和工具。与其他框架相比，DeepSpeed支持更大规模的模型和提供更多的优化策略和工具。其中，主要优势在于支持更大规模的模…
数据并行 数据并行，就是将数据集分为N份，分别装载到N个GPU节点中，每个GPU节点持有一个完整的模型副本，分别基于每个GPU中的数据去进行梯度求导。在GPU0上对每个GPU中的梯度进行累加，最后，再将GPU0聚合后的结果…
开源的AI Agent框架：加速智能应用开发的利器