Python
-
FastAPI + NGINX + Gunicorn:部署一个高性能的Python应用
一、前言 FastAPI 是用于开发API应用最受欢迎的Python库之一,NGINX、Gunicorn 和 Uvicorn 都是经过实践验证的技术,常被用作反向代理和ASGI服务器来部署Python网页应用。 本文将展示如何结合这些工具来部署一个 Fa…
-
Python装饰器技巧篇
01 引言 Python装饰器是一种强大而优雅的语法特性,能够在不修改原有函数代码的情况下,为函数添加新的功能。 本文将为你揭示15个实用的Python装饰器技巧,帮助你写出更加简洁、高效的代码。 02 核心概念解析 装饰…
-
python并发编程,异步、线程、栈的那些事~
为什么需要并发? 在日常生活中,我们会同时做很多事情。比如边听音乐边做饭,或者一边看视频一边回复消息。这些行为让我们提高了效率。同样的,在编程中,我们也希望程序能同时处理多个任务,这样可以提高程序的执…
-
大模型的N种高效部署方法:以LLama2为例
通过部署LLama2示例,比较不同LLM开源推理服务框架的优缺点。本文没介绍深度学习模型推理服务的传统库,如TorchServe,KServe或Triton Inference Server。 1. vLLM 它的吞吐量比HuggingFace Transformer (HF) 高 …
-
LLama2: 使用 FastAPI、Celery、Redis 和 Docker 构建可扩展的聊天机器人
本文介绍如何使用 Llama 2 和 FastAPI、Redis 和 Celery 构建基于大模型对话的应用程序,将介绍这些概念以及它们如何协同工作的。 我们一直在使用 FastAPI 来构建我们的LLM应用,是一个用高性能 Web 框架,其异步功…
-
Ubuntu安装Nvidia 显卡驱动、CUDA Tookit、CuDNN极简指南(不想浪费生命了)
有一块显卡,怎么在Ubuntu中安装驱动和cuda那些依赖? 要快速安装。 如果之前安装了,就卸载: 版本如何对应 https://docs.nvidia.com/cuda/cuda-toolkit-release-notes/index.html#id3 驱动版本最低的适配版本 不…
-
深度学习项目中配置文件探析,用ini、json还是yaml?附源码示例
Python项目配置文件高效管理参数,例如通过ini/cfg、json、yaml文件。
-
Pandas+Re正则,处理文本字符串
Pandas+Re正则处理文本字符串示例
-
高频Python正则表达式,基础语法、常用函数和工具汇总
工作学习中常用的正则表达式总结、工具分享和示例
-
在Mac上体验Pytorch 2.0 自注意力性能提升示例
扫码关注程旭源,一起精进和成长 ...通过本文可以了解:在MacBookPro 上设计实验,体验一下等优化改
-
Win10 RTX4090深度学习配置,并Mac远程登录
在Windows上安装RTX4090深度学习环境,并远程连接的相关方法
-
流程化微调大模型:香科大开源LMFlow
介绍流程化微调大模型 LMFlow库和使用示例
-
新年新气象,2023年计划单暨『程旭源的小店』开业了!
书山有路勤为径,学海无涯苦作舟!新年更有新气象,财源广进、广开财路!
-
一次解决python环境管理和更换镜像源『Mac/Win/Linux』
Mac/Windows/Linux下,一次解决python环境管理和换镜像源。
-
如何搭建一个智能对话机器人?行业应用和问答技术梳理
智能对话机器人技术进展如何?存在哪些问题?如何设计一个企业对话机器人?用到哪些技术?