如何理解模型 如何理解模型思想

如果两个变量有共变关系,我们就可以用其中一个变量来预测另外一个变量的走势,如果这种共变关系是一种因果关系,我们就可以在统计分析中对其进行控制。

有点难以理解,所以今天给大家准备了一个例子,用数字来说明问题。

实践今天的数据还是r提供的diamonds数据集,数据变量的含义请自行百度。

在上一篇文章中,我们使用方框图绘制了不同切割的钻石价格分布,如下所示

0bde88353a0e4471af165dc519430d6e?_iz=31825&from=article.detail&x-expires=1702521367&x-signature=G8v6GZcwORURyScIOGx4WA9ko4E%3D&index=0

在上面的图中我们可以看到随着钻石的cut越好,似乎钻石的价格越低,这个关系明显是不符合常理的,值得探讨一下。

其实探讨切工与价格的关系相当复杂,因为切工与克拉、克拉与价格之间有着密切的关系,所以我们目前的思路是,希望能够在去除了carat对price的效应之后,再看cut和price的关系。

下面的代码建立了carat和price的模型,并且计算了模型的残差(就是预测值和实际值的区别),残差就反映了因变量未被自变量解释的部分,在本例中就是price的变异中carat解释不了的部分。

library(modelr)\ n \ nmod-lm(log(price)~ log(carat),data=diamonds)\ n \ ndia monds 2-diamonds % % \ n add _ residuals(mod)% % \ n mutate(resid=exp(resid))\ n \ nggplot(data=diamonds 2)\ n geom _ point(mapping=AES(x=carat,y=resid))

cf1789c598bb4e2a9a5d173f1b251934?_iz=31825&from=article.detail&x-expires=1702521367&x-signature=1zM2WC1vsgJZBe8Q8d%2B9scIJtdc%3D&index=1

上面的代码同时还做出了carat与模型残差的散点图,可以看出只用carat来解释price是不太好的。

那么在挖掘出克拉和价格的关系后,你怎么看待切工和价格的关系呢?代码如下:

gg plot(data=diamonds 2)\ n geom _ box plot(mapping=AES(x=cut,y=resid))

9dfe2d4099274b00a0950195708a538a?_iz=31825&from=article.detail&x-expires=1702521367&x-signature=W88Ac1xoy12ax%2FHaoYkZEYi1v6I%3D&index=2

这个时候我们是用cut为自变量,残差为因变量进行了作图,也就是看一看抠掉了carat对price的效应后,cut对price的实际的关系,可以看到这回随着cut越来越好,price也愈来愈高,这下就对了。

其实上面的过程就是一个统计控制的过程,我们在看cut对price的关系的时候需要控制掉carat对price的关系,这样得到的结果才是纯净的结果,有兴趣的同学还可以去看一看控制变量和混杂变量的区别,嘿嘿。

今天总结用一个实际的例子为你写统计控制。谢谢你耐心看完。发布这些东西的主要目的是督促自己。希望大家关注评论指出不足,共同进步。我会把所有的内容都详细写出来,用到的数据集也会在原文中链接。只要按照文章中的代码操作,就可以得到同样的结果。一个目的是没有任何基础也能理解,因为你没有从零开始学Python和R。走吧。

(站外外链无法收发,请关注后私信回复“数据链”获取本头条号所有使用数据)

以前的内容:

R数据分析:R语言模拟著名的“三个问题”

R数据分析:如何用R进行数据模拟R数据分析:贝叶斯定理的R语言模拟

R数据分析:R Markdown:数据分析过程报告的利器。你必须学会它。

r数据分析:stargazer给你一个漂亮的结果表,可以直接公布。

如何理解模型思想

亲爱的同学们,感谢等待。时隔一年,今天又出了三本新书。

从2017年3月我写第一篇《全网模型压缩概述》开始,一直从事模型设计和优化相关的工作。

这几年大家都做了什么来压榨CNN的模式?

2019年2月,首次在全网总结了12种主流深度学习模型设计思路,并被广泛转载。

“End”总结了12个主要CNN模型的架构设计思路。

2019年年中,联合阿里天池在哔哩哔哩做了三场共计3个多小时的直播,是我在哔哩哔哩做的唯一三场直播,平均一万人在线,可见这是一件很有意义的事情。

“总结”说有三个天池深度学习模型设计的现场总结,200多页的课件。

所以他们三个肯定会总结成一本比较系统的书,一共两本。第一本书致力于深度学习模型的设计,第二本书致力于深度学习模型的优化。今天,第一本书发行了。请听下面的介绍!

比如书名是《深度学习之模型设计:核心算法与案例实践》,是一本关于深度学习模型设计核心算法的书。同时伴随着大量的实战案例。以下是实拍。

本书共14章,内容如下:

第一章神经网络和计算机视觉的基础

第2章深度学习的基础

第三章数据集、评价指标和优化目标

第4章深化网络,提高模型的性能。

第五章:11卷积,通道维度升降的利器

第六章拓宽网络,提高模型的性能。

第七章剩余连接,深度网络融合的关键

第八章分组卷积和卷积分裂,移动终端高效的经典模型

第九章多尺度网络和反常卷积,更丰富的感受野和不变性

第十章多输入网络,图像检索和排序的基准模型

第11章时间序列神经网络,有记忆的网络更聪明

第十二章卷积由二维变为三维,实现升维。

第十三章动态推理和注意机制,网络因样本而异。

第十四章一代对抗网络

第一章,讲解神经网络和计算机视觉的基础,将为图像基础薄弱的同学补充必要的图像处理知识。

第二章阐述了深度学习的基础、发展背景和核心优化技术。

第3章重点介绍了本书使用的数据集、评价指标和优化目标。

第四章追根溯源,从理论和实践上分析了深度与模型性能的关系。

第五章详细介绍了11卷积结构和模型压缩实践。

第六章追根溯源,从理论和实践上分析了宽度与模型性能的关系。

第七章详细讨论了剩余连接的起源、有效性分析和结构发展。

第八章详细讨论了块卷积的起源、有效性分析和结构发展。

第九章详细阐述了多尺度网络、异常卷积和感受野控制的设计思想。

第十章介绍了多输入网络在图像检索和分类中的应用。

第11章解释了RNN及其变种,LSTM原理和实际战斗。

第十二章分析了三维卷积结构及其应用。

第十三章详细讲解了动态推理和注意机制,分析了同一个网络如何因为样本产生不同的工作机制。

第14章详细阐述了生成对抗网络的优化目标和结构设计。

遵循三个一贯的风格,本书有以下几个特点:

(1)内容全面,时间跨度大,紧跟前沿。这本书不仅详细讲解了90年代萌芽的卷积神经网络技术,还介绍了最新的技术,时间跨度超过30年,力求全程详细。

(2)理论详尽,原理深刻。这本书不仅仅是简单的列举当前的模型,而是从起源上分析了它们背后的原理,并详细分析了设计思路。

(3)充分练习,由浅入深。书中章节设置为先讲解理论,再选取最具代表性的内容进行项目实践。

更多评论,你可以查看

深度学习,尤其是卷积神经网络,在过去几年里极大地推动了计算机视觉在学术界和工业界的发展。掌握深度学习模型的设计思想,对于相关技术人员更好地完成计算机视觉的各项任务非常重要。作者根据自己丰富的实践经验,对当前深度卷积神经网络模型的发展做了详细的总结。遵循作者的指导,读者不仅可以进行全面的理论学习,还可以深入体验相关实践。

新智元创始人兼CEO杨静:

深度学习将人工智能的浪潮推向了一个新的高峰,模型设计的迭代速度和复杂度甚至超过了以前。颜三在深度学习领域丰富的专业知识和经验,填补了行业内深度学习模型设计书籍的空白。这本书可以带领从业者了解更多关于深度学习的知识,尤其是卷积神经网络模型架构的演进及其核心设计技术。知识体系完善,理论与实践并重。为相关教学和开发提供参考。

中国科学院半导体研究所研究员陆:

这本书是一个在深度学习和计算机视觉领域工作多年的有为青年。本书以自己的经历和经验为基础,以理论结合案例的形式,系统阐述了深度学习模型,尤其是卷积神经网络模型的发展过程。这本书的内容非常完整和专业,值得认真阅读和研究。

知识CEO吴路佳:

颜三在深度学习领域有着丰富的经验,建立了三个AI微信官方账号和三个AI知识星球的高质量学习社区。本书非常详细地介绍了卷积神经网络模型架构的演变,具有很高的理论和实用价值,相关内容将在星球三AI知识中不断更新,值得相关从业者学习和参考。

当然,由于水平和时间的限制,本书也存在一些不足。

(1)内容可能不是最全的。本书重点讲述深度学习模型的总体设计思路。限于篇幅,无法详细介绍每一个研究方向。有兴趣的可以搬到三个AI知识星球的各大板块去学习。

《扎坦》有三个AI知识星球一周年!星球微信官方账号为什么完整?

另外,关于模型优化和压缩的内容没有全面收录,我下一本书《深度学习模型优化》会详细讲解。如果想提前学习,可以加入秋季三个AI计划的模型优化组,先睹为快。

(2)本书力图全面阐述原理和实践,成为适合本学科教学的教材。但课后没有相关练习,需要读者多读多思考。

现在,该谈谈我们的好处了。有很多种,看你遇到哪一种。

(1)集齐三套三艾文化产品者,获赠签名本一份。

(2)集齐三套三个AI赛季者,将获得签名本一份。

(3)扫码进入本书第一组。前200名订购者可以购买签名版,可以联系优三的助理Alex或者团。新书售价78.6元,总运费88元。

(4)在本文底部留言至明天(2020年6月11日)晚上22:00,点赞最高的10人将获得签名版。

注:快递日期为本周六(2020年6月13日)。设计的签名如下,但实际签名不会这么漂亮。另外签名需要拆包,介意的话就不拍了。

最后,你也可以在JD.COM直接买到。官网链接如下,预计本周末发货!

书的创作需要所有人的努力,在此感谢:

感谢米君平编辑对“三艾”的认可和发现,以及在本书终稿中的反复修改和修正。

感谢电子工业出版社出版这本书及其对普及知识的贡献。

感谢我的衣食父母,我有三个AI季节计划和三个AI知识星球付费会员,让我不需要一边写一本书一边露宿街头。

感谢业内四大咖啡制造商的真诚

下载700多万次的应用其实是“高仿版”吗?江苏警方:能保留证据及时报案。

2022-9-8 19:06:11

综合资源

今日份壁纸

2025-1-17 19:10:00

购物车
优惠劵
搜索