在Mac上体验Pytorch 2.0 自注意力性能提升示例

扫码关注程旭源,一起精进和成长 ...通过本文可以了解:在MacBookPro 上设计实验,体验一下等优化改

在Mac上体验Pytorch 2.0 自注意力性能提升示例


扫码关注程旭源,一起精进和成长 ...

在Mac上体验Pytorch 2.0 自注意力性能提升示例

通过本文可以了解:
在MacBookPro 上设计实验,体验一下等优化改进后的Transformer Self Attention的性能,具体的有 FlashAttention、Memory-Efficient Attention、CausalSelfAttention 等。并给出了torch.compile(model) 和 scaled_dot_product_attention的使用示例。


相关代码已上传GitHub:https://github.com/chensaics/Pytorch2DL


作 者丨程旭源
学习笔记
在Mac上体验Pytorch 2.0 自注意力性能提升示例
原创文章。转载请注明: 作者:meixi 网址: https://www.icnma.com
Like (0)
meixi管理
Previous 06/04/2023 13:33
Next 06/04/2023 13:34

猜你想看