登录社区云，与社区用户共同成长
邀请您加入社区
VGG首先就先简单的介绍一些VGG，VGVGG16模型VGG模型Oxford的Visual Geometry Group的组提出的，这个网络是在ILSVRC 2014上进行相关的工作，在ILSVRC 2014中超过Alex Net网络，拿到了当时分类项目的top 2 和 定位项目的top 1，VGGNet的拓展性很强，迁移到其他图片数据上的泛化性非常好。从此VGG进入了我们的视野，主要证明了增加网
pytorch安装问题
介绍ImageNet是一个图像数据集，关于它的详细介绍可以参考这篇文章：Dataset之ImageNet：ImageNet数据集简介、下载、使用方法之详细攻略。ILSVRC是ImageNet Large Scale Visual Recognition Challenge的缩写，是基于ImageNet的一个图像识别大赛，每年都会举办。ILSVRC2012就是2012年举办的，比赛组织者会发布一整套
Stable Diffusion 是用 LAION-5B 的子集（图像大小为512*512）训练的扩散模型。此模型冻结 CLIP 的 ViT-L/14 文本编码器建模 prompt text。模型包含 860M UNet 和123M 文本编码器，可运行在具有至少10GB VRAM 的 GPU 上。接下来实战一下本地部署。
本文全面解析PyTorch分布式训练技术，从基础理论到大规模集群实践。主要内容包括： 分布式训练三大范式：详细讲解数据并行（DDP）、模型并行和流水线并行的原理与实现，提供完整代码示例。数据并行通过分割批次实现梯度聚合，模型并行拆分网络层突破单卡限制，流水线并行采用微批次提高吞吐量。 核心组件剖析：深入讲解进程组初始化、通信原语等PyTorch分布式基础设施，展示灵活的进程组管理方法。 实践指导：
一. ResNet算法介绍残差神经网络(ResNet)是由微软研究院的何恺明等人提出的。ResNet 在2015 年的ILSVRC中取得了冠军。通过实验，ResNet随着网络层不断的加深，模型的准确率先是不断的提高，达到最大值（准确率饱和），然后随着网络深度的继续增加，模型准确率毫无征兆的出现大幅度的降低。这个现象与“越深的网络准确率越高”的信念显然是矛盾的、冲突的。ResNet团队把这一现象称为
Tokenizer简介和工作流程Transformers，以及基于BERT家族的预训练模型+微调模式已经成为NLP领域的标配。而作为文本数据预处理的主要方法-Tokenizer（分词器）则成为了必不可少的工具。本篇文章以Transformers中使用的AutoTokenizer为例说明其用法。但如果实际场景中使用BERT、ALBERT等预训练模型，原理类似，但需要使用模型相对应的Tokenizer
目录一、引言二、下载数据三、数据形式四、自定义数据加载一、引言 最近在做一些大规模数据集（ImageNet-1k、ImageNet-21k）的实验之外，还做了一些小数据集的 ablation study。其中pytorch有自带的cifar10、cifar100数据加载，而Tiny ImageNet是没有的。于是简单在此记录一下这个数据集的处理。 Tiny ImageNet Challenge
残差网络是由来自Microsoft Research的4位学者提出的卷积神经网络，在2015年的ImageNet大规模视觉识别竞赛（ImageNet Large Scale Visual Recognition Challenge, ILSVRC）中获得了图像分类和物体识别的优胜。 **残差网络的特点是容易优化，并且能够通过增加相当的深度来提高准确率。其内部的残差块使用了跳跃连接（shortcut
前言： 近几天想研究了多卡训练，就花了点时间，本以为会很轻松，可是好多坑，一步一步踏过来，一般分布式训练分为单机多卡与多机多卡两种类型；主要有两种方式实现：１、DataParallel: Parameter Server模式，一张卡位reducer，实现也超级简单，一行代码DataParallel是基于Parameter server的算法，负载不均衡的问题比较严重，有时在模型较大的时候（比如b
这个问题解决了一天。。。。好好的训练代码，换了一台机器，就报错了。以为是cuda11造成的，担心cuda版本和pytorch版本不匹配，一顿重装，结果没解决。问题现象：raceback (most recent call last):File "train.py", line 100, in <module>main(opt)File "train.py", line 71, in m
#一般在训练模型的代码段加入：model.train()#在测试模型时候加入：model.eval()同时发现，如果不写这两个程序也可以运行，这是因为这两个方法是针对在网络训练和测试时采用不同方式的情况，比如Batch Normalization 和 Dropout。训练时是正对每个min-batch的，但是在测试中往往是针对单张图片，即不存在min-batch的概念。由于网络训练完毕后参数都是固
最近在学习pytorch，所以必须首先配置环境，但是在此期间出现了如题所述的错误，更奇怪的是当自己要安装opencv是竟然出现了同样的错误（以上均是在服务器上进行的），真是令人发指。。。。首先看错误信息：Traceback (most recent call last):File "/home/zqzhu/anaconda3/lib/python3.7/site-packages
#将 mask必须是一个 ByteTensor 而且shape必须和 a一样 并且元素只能是 0或者1 ，是将 mask中为1的 元素所在的索引，在a中相同的的索引处替换为 value ,mask value必须同为tensor a=torch.tensor([1,0,2,3]) # a.masked_fill(mask = torch.ByteTensor([1,1,0,0]),...
删除tensor中维度为1的维度在pytorch中，用torch.squeeze()函数或者tensor的自身成员函数squeeze()去除维度为1的维度。import torchx = torch.randn(3,1,4,1,2)a = x.squeeze(dim=1)# 成员函数删除第二维度print(a.shape)b = torch.squeeze(x, dim=1)# torch自带函数
对数据集处理虽说很方便但在参数选取和其他的细节方面还容易出问题，尤其是最后一个Batch长度不足，会导致输出维度发生问题，若直接舍去，我还想要全部的数据结果使用方法① 创建一个 Dataset 对象② 创建一个 DataLoader 对象③ 循环这个 DataLoader 对象，将xx, xx加载到模型中进行训练train_loader = DataLoader(dataset, batch_si
