优选专题 专栏
-
【DeepSpeed】3D 并行原理解读
DeepSpeed 的 3D 并行 是一种高级分布式训练策略,通过结合 数据并行 (Data Parallelism, DP)、模型并行 (Model Parallelism, MP) 和 流水线并行 (Pipeline Parallelism, PP),在多 GPU 和多节点环境中高效训练超大…
-
用 LLM 将非结构化文本转为知识图谱
核心内容: 1. 构建知识图谱的挑战与LLM的解决方案 2. 环境配置与关键Python库的安装使用 3. 知识图谱的基本概念及其在项目中的应用实例 从非结构化文本中构建知识图谱是一项具有挑战性的任务。它通常需要识别关键…
-
11步骤,使用大语言模型构建知识图谱
大数据本身蕴藏着丰富价值,但从中挖掘洞见需要耗费大量人力。而知识图谱能够简化这一过程,通过将零散信息整合成结构化、可搜索的形式,能显著提高效率。一项研究表明,使用知识图谱可将数据探索时间最高缩短 70%…
-
Embedding模型微调:基于已有数据快速构建训练与评估数据集
? 本文目标 本文主要面向希望在特定领域或任务中提升Embedding模型表现的初学者。希望读完之后,能帮助大家: 准确理解Embedding模型微调的核心概念及其对数据集的依赖。 初步掌握基于已有数据构建高质量微调训练集…
-
Attention Please! MLA、MHA、MQA与GQA原理与代码实现
多头注意力机制(Multi-Head Attention,MHA) 多头注意力(Multi-Head Attention, MHA)是Transformer模型的核心机制,通过并行计算多个注意力头,使模型能够同时关注输入序列中不同位置的特征。其核心思想是将输…
-
常用聚类算法
在机器学习中,无监督学习一直是我们追求的方向,而其中的聚类算法更是发现隐藏数据结构与知识的有效手段。目前如谷歌新闻等很多应用都将聚类算法作为主要的实现手段,它们能利用大量的未标注数据构建强大的主题聚…
-
Faiss 索引选择和构建
# Faiss 索引方法概览 Faiss 索引方法主要分为两大类: ### 精确索引 (Exact Index) : 这类索引方法会遍历所有向量,保证返回最精确的近邻结果。IndexFlatIP 和 IndexFlatL2 就属于精确索引。虽然结果精确,但当数…
-
HF datasets 使用技巧总结
1. 常用操作: **Sort, shuffle, select, split, shard, rename, remove, cast, and flatten** 2. 结合 map 处理数据 3. 不同格式的加载和存储 4. 多线程加速处理 5. 与pytorch操作示例 # 常用操作 ## 加载 ```pyth…
-
DeepSeek超全指南【本地部署、构建知识库、指令技巧、热门客户端】
Deepseek本地部署方法和构建个人知识库,指令技巧,配合客户端和插件使用。在 Word和WPS中又如何调用Deepseek服务?
-
DeepSeek-R1是怎样炼成的?
DeepSeek-R1反响非常大,主要是因为使用较低的成本得到了OpenAI O1的效果。开源还便宜。 在这篇文章中,我们将了解它是如何构建的。 目录: DeepSeek-R1 的训练方法 1. 大规模推理导向强化学习 (R1-Zero) 2. R1 …
-
Agents
Table of Contents 目录 Agent Overview 代理概述 Tools 工具 Knowledge augmentation 知识增强 Capability extension 能力扩展 Write actions 写入操作 Planning 规划 Planning overview 规划概述 Foundation mode…
-
free cursor
问题: Too many free trial accounts used on this machine. Please upgrade to pro. We have this limit in place to prevent abuse. Please let us know if you believe this is a mistake. 一键式解决方案 url …
-
SGLang, Ollama, VLLM, LLaMA.cpp推理框架对比
这篇文章对 SGLang、Ollama、VLLM 和 LLaMA.cpp 四款大模型工具进行了多维度的对比,包括性能、易用性和适用场景等方面。 SGLang 的性能卓越,使其特别适合企业级应用。 Ollama 的安装便捷性使其非常适合个人轻量级…
-
VS Code 调试
launch.json创建:可以点击菜单栏:运行->添加配置 生成 { "version": "0.2.0", "configurations": [ { "name": "train_ds_zero2", "type": "…
-
ollama run Model on Hugging Face Hub
之前写了篇比较全的ollama使用文档: https://www.icnma.com/ollama-tutorial/ 本篇主要是如何使用ollama直接运行huggingface上的gguf模型。 直接使用Ollama在Hugging Face上任何GGUF quant model,而无需创建新的M…