李沐從小就是個學習認真的好孩子，小時候的夢想是當服裝設計師，但到了大學念服裝設計系，和同學相比突然沒了自信，於是在大一時休了學；隨後，她申請了英國的藝術學校，並且繼續工作。 偶然的機會在社交平台上遇到她的經紀人，本想着好玩去演戲試試，沒想到成為了正職演員[15-16]。 2019年3月24日，参演由贾静雯、吴慷仁主演的社会写实剧《我们与恶的距离》首播；5月24日，出演独立乐团夕阳武士的单曲MV《牵手》上线；9月20日，与王净、傅孟柏、曾敬骅等共同出演的悬疑惊悚片《返校》上映，她在片中饰演读书会成员周欣。 李沐从小就是个学习认真的好孩子，小时候的梦想是当服装设计师，但到了大学念服装设计系，和同学相比突然没了自信，于是在大一时休了学；随后，她申请了英国的艺术学校，并且继续工作。 偶然的机会在社交平台上遇到她的经纪人，本想着好玩去演戏试试，没想到成为了正职演员[15-16]。
基本现在视频分类的工作是一定要在Kinetics上跑一个结果。 Youtube 8M：2016年由google提出，共有800万视频。 但是数据集实在是太大了，一般人即使下载了也根本玩不动，所以比赛时都是直接提供抽取好的特征。 双流网络也可以看做是多模态网络，RGB图片和光流可以看做是不同的模态，有点类似CLIP（两个网络输入分别是图片和文本）。
李沐: 李沐人物经历
要想突破必须有新的网络结构，指标之一就是要能很好地处理视频数据。 双流网络除了引入光流这一点，也展示了一种可能性：当神经网络即使如何魔改也无法解决某个问题的时候（比如改模型结构或者目标函数），不如给模型提供一些先验信息，模型学不到就帮它学，往往能大幅简化这个任务。 所以一个网络无法解决问题，就可以尝试加入另一个网络，使用别的的数据、别的模型。 这种多流网络的思想（网络互补），在别的领域也被广为应用，效果也很好。
双流网络整体还是2D网络结构，但额外引入一个时间流网络。 通过巧妙的利用光流来提供的物体运动信息，而不用神经网络自己去隐式地学习运动特征，大大提高了模型的性能。 Spatial stream ConvNet、Temporal stream ConvNet：单独的空间流和时间流网络。 可以看到单独的时间流网络效果已经非常好，而且是从头训练的网络，没有使用预训练模型。 双流网络是第一个能让深度学习网络效果媲美手工设计特征的视频分类结构，从此之后，深度学习在视频领域开始占据主流。
李沐: 《誰是被害者》最強女兒「李沐」作品盤點！《你的孩子》、《返校》不可忽視的仙氣配角
具体来说，就是先抽取视频中的关键帧得到K张图，然后将这K张图输入CNN网络得到图片特征。 再将这些特征全部输入LSTM网络，进行各个时间戳上图片特征的融合，得到整个视频的融合特征。 最后将LSTM最终时刻的特征接一个FC层得到分类结果。 视频处理是未来突破的方向：目前计算机视觉领域，很多研究热衷于在ImageNet等几个榜单刷分，往往训练了很大的模型，使用很多的策略，也只能提高一点点，类似深度学习出现以前，CV领域中机器学习的现状，已经达到了一个瓶颈期。
3D网络：将视频帧（分割好的一个个的视频段，每段含有K张图片）直接输入3D 的CNN网络进行时空学习。 「怪物新人」李沐曾坦言自己過往談過四次戀愛，對於感情則是大方面對，因為身為演員，「談戀愛也是人生的一部分」。 本刊就直擊她在一連串的電影宣傳行程結束後，與男友一起去浪漫約會、甜蜜共餐，這位神祕男子經調查，就讀於台大電機系，喜愛音樂的他擁有音樂夢，從在建中時期就有許多作品發表，是位相當有才華的藝術人鄒序。 直到现在也很难构建一个很好的视频数据集，让模型能很好的利用上下文信息，进而可以处理长时间、复杂的视频任务，拓展到真实世界的方方面面。 视频理解的模型，最好是在视频上做预训练，正要视频领域缺少这样的一个数据集，所以提出了Kinetics。 本文提出的I3D模型在Kinetics上做预训练，然后迁移到别的数据集上，模型性能得到了巨大的提升（UCF101精度刷到了98%，宣告了这个数据集的终结）。
如此有文采的理念，似乎跟李沐在藝術上的表現也頗為契合。 多样性好：每段视频都来自独一无二的YouTube视频。 有些视频数据集的视频，都是一个长视频中截取的，比如UCF101。 当时UCF-101数据集和HMDB-51数据集视频长度都是5-7秒，按一秒30帧算，一共是 帧。 固定取25帧就基本是每隔6到8帧取一帧，约0.25秒。
这篇文章根据Kinetics人类行为动作来重新评估这些先进的结构。 Kinetics有两个数量级的数据，400类人类行为，每一类有超过400剪辑，并且这些都是从现实的，有挑战性的YouTube视频中收集的。 I3D最大的亮点就是Inflating操作，不仅不用再从头设计一个3D网络，直接使用成熟的2D网络进行扩充就行，而且看还可以使用2D网络的预训练参数，简化了训练过程，使用更少的训练时间达到了更好的训练效果。 如果你想从头设计一个3D网络，那么可以使用Kinetics 400 数据集进行预训练，是一个不错的选择（不需要依赖于ImageNet预训练的模型参数）。 可以说I3D之前的3D视频处理网络都不流行，被光流网络和传统手工特征碾压。 验证模型是否正确初始化：使用预训练模型初始化自己的模型时，如果同一张图片，分别输入原模型和初始化后的模型，最终输出的结果都一样，就说明原模型的参数初始化是对的（因为两个模型的结构和输入都是一样的）。
两个网络互不干扰，很好训练也很好优化，最终模型的性能也非常高（见实验部分）。 Spatio Stream Convet：空间流卷积网络，输入是单个帧画面（静态图片），主要学习场景信息。 因为是处理静态图片，所以可以使用预训练的模型来做，更容易优化。 最后根据网络输出的特征得出一个logist（假设模型是在UCF-101数据集上做测试，数据集共101个类，logist是softmax之后的类别概率，那么时间流网络的输出就是一个1×101维的向量）。 在这篇文章出来之前其实也有人尝试用深度学习来处理行为识别，例如李飞飞团队【Large-scale video classification with】通过叠加视频多帧输入到网络中进行学习，但是不幸的是这种方法比手动提取特征更加糟糕。
在这期间，他创建了一套分布式机器学习广告系统，具体来看就是使用机器学习来预测一个广告是不是会被用户点击。 即使是中文课程也想配上字幕，为了让不方便开声音的粉丝静音也能学习，换了能自动识别字幕的剪辑软件，但发现并不好用。 第三遍，也是最后一遍精读，要弄懂论文中每一句话在说什么，李沐推荐读的时候“脑补”一下如果是自己在做这个工作可以怎么做。 这一遍只需要花十几分钟，目的是了解这篇论文大概讲了什么、质量如何，以便快速判断这篇论文是否适合自己。
儘管做這麼多事情，但李沐坦言，「很多東西對我來說都好模糊喔」，是真的到了片場才覺得「我跟著我的直覺走」。 其中，每一小节都是可以运行的 Jupyter 记事本，你可以自由修改代码和超参数来获取及时反馈，从而积累深度学习的实战经验。 具体来说，I3D使用的是Inception-V1进行3D扩张，模型结构如下图所示，整体改动还是很小的。 上图是单向/双向光流、加权平均/SVM分类、是否多任务的消融试验（时空流网络融合时，双向光流是不利的）。
李沐才剛奪下金鐘新人，本月又要挑戰金馬新人寶座，有「怪物新人」的稱號，這次她在電影《青春弒戀》中飾演女主角玉芳，與陳庭妮、林哲熹都有煽情的床戲鏡頭，玉芳這個角色感情複雜，對李沐來說也是一大考驗。 戲裡李沐與男女都有感情戲，戲外李沐已和男友穩定交往快2年，她透露感情中最重要的是理解與包容，希望自己能夠愛情事業兩得意。 比如输入是64帧，输出也是64帧，这个对应的实际只有2秒左右，已经很短了。 3D Conv：将视频帧（分割好的一个个的视频段，每段含有K张图片）直接输入3D 的CNN网络进行时空学习。 论文题目中的Quo Vadis来自1951年的电影《A still from ‘Quo Vadis’ 》，英语译为Where is this going?
作者认为，目前CNN网络无法将视频处理的很好，是因为卷积神经网络很擅长处理静态的外观信息（ appearance information，比如物体形状大小颜色、场景信息等等），而非运动信息（motion information） 。 既然如此，就干脆用另一个网络（光流网络）抽取好运动信息的特征，CNN只需要学习输入的光流和最后的动作信息之间的映射就行（或者说是光流输入到时间流网络的分类之间的映射），这种映射是深度神经网络最擅长的。 也就是说CNN本身不需要学习运动信息，也不需要进行时序建模，这些都交给光流做了，所以模型非常的简单。
另外在3D网络中，使用的是30view；引入了vision transformer之后，测试方式又进一步改变了，有12view、4view、3view等等。 所以每篇视频论文看结果之前，要看看其测试方式是怎样的。 1983年12月20日出生，山東莒縣人，現在居住在哈爾濱。 主要作品：《三國亂世》中飾男一號呂布，《常勝將軍》中的男一號趙子龍。 2017年11月21日，出演歌手關喆的單曲MV《更好的我們》上線；同年，她還主演了特殊教育公益微電影《青春手拉手》，飾演中學生楊雨婕。 2018年7月7日，參演由陳慧翎執導的家庭情感劇《你的孩子不是你的孩子》系列之《孔雀》播出，飾演劉巧藝的同學施宇婕。
- 在懸疑犯罪劇《誰是被害者》中，李沐飾演張孝全的叛逆女兒，儘管身形纖細清瘦，但卻散發頗大的氣場，配上精緻五官跟空靈氣質，其亮眼的表現受到了觀眾的喜愛（《GQ》雜誌評）。
- 既然如此，就干脆用另一个网络（光流网络）抽取好运动信息的特征，CNN只需要学习输入的光流和最后的动作信息之间的映射就行（或者说是光流输入到时间流网络的分类之间的映射），这种映射是深度神经网络最擅长的。
- 第三遍，也是最后一遍精读，要弄懂论文中每一句话在说什么，李沐推荐读的时候“脑补”一下如果是自己在做这个工作可以怎么做。
- 双流网络整体还是2D网络结构，但额外引入一个时间流网络。
- 即使是中文课程也想配上字幕，为了让不方便开声音的粉丝静音也能学习，换了能自动识别字幕的剪辑软件，但发现并不好用。
之前的深度学习处理视频的方法没有利用物体的运动信息，导致其效果还不如传统的手工设计的特征效果好，这也是本文的研究动机。 引入运动信息有多种方式，光流是其中最好用的一种，其本身就包含了非常准确和强大的物体运动信息在里面。 2.提供了一个比较好的数据集k400（足够大，种类均匀），可以让你从头训练一个模型。
Two stream（late fusion）`：如果不想用LSTM进行时序建模，也不想用3D网络直接进行时空学习，那么还可以使用光流来得到时序信息（运动信息）。 双流网络在视频理解的地位，可看做是AlexNet在图片分类中的地位。 一旦证明其做视频的有效性，就马上有大批工作跟进了，称得上是开山之作。 2017年，主演公益微電影《青春手拉手》，從而進入演藝圈。 2019年3月24日，參演的社會寫實劇《我們與惡的距離》首播；同年，出演懸疑驚悚片《返校》。 2020年，憑藉懸疑犯罪劇《誰是被害者》獲得第55屆台灣電視金鐘獎戲劇節目最具潛力新人獎。
在懸疑犯罪劇《誰是被害者》中，李沐飾演張孝全的叛逆女兒，儘管身形纖細清瘦，但卻散發頗大的氣場，配上精緻五官跟空靈氣質，其亮眼的表現受到了觀眾的喜愛（《GQ》雜誌評）。 在悬疑犯罪剧《谁是被害者》中，李沐饰演张孝全的叛逆女儿，尽管身形纤细清瘦，但却散发颇大的气场，配上精致五官跟空灵气质，其亮眼的表现受到了观众的喜爱（《GQ》杂志评）。 2020年，李沐将获得的金钟奖奖金三分之一，捐给野生保育协会做公益。 他曾和陈天奇在GitHub上创建DMLC组织，就是这个社区开发出了大名鼎鼎的深度学习框架——MXNet。
SEO服務由 Featured 提供
