大家好，我是对白。今天给大家分享一位大佬在Facebook做了四年机器学习，又到CMU攻读AI PhD的经历，希望给后续也想要深造的朋友们一点经验和帮助，以下为原文。不知不觉在 CMU 待了快一年了，时间过得可太快了。。。以前总觉得 PhD 五年时间很漫长，实际上第一年已经不知不觉溜走了，给人感觉也就过了一个月。。。第一年过得很开心，然而感觉个人的成长却没有很多，主要还是自己花的时间不够多，之后应该更努力一些。我一直蛮明确自己的 research taste，想要做 “可以解决实际问题的 research，

大家好，我是对白。最近互联网裁员，有网友热议：2022年大规模裁员后，计算机专业会不会成为下一个土木？这也引起了我的思考，未来的计算机专业会是怎样的呢？会不会真的变成“土木专业”？有个匿名网友写了这样一个回答，我认为挺好的，想跟大家分享一下。我学了10年计算机现在还在找工作，我爸干了一辈子土木现在也在找工作。我觉得计算机不会成为下一个土木。至于是不是49年入国军，我觉得楼主的眼光可以看长远一点，就是你这辈子到底想从事什么职业，或者干个什么事情。这篇相当于回忆录，供大家参考。我12年高考完了那年选专业还十分纠

大家好，我是对白。今天给大家分享一位大佬在Facebook担任ML Engineer四年的工作总结与感悟，目前已去CMU继续攻读AI phd，国外与国内虽然工作环境不同，但很多工作方法与思考都是可以互相学习的，以下为原文。四年前加入 FB 的时候，当时只是把 FB 的工作经历当作 gap 一年去读 phd 的跳板，从没想过竟会在 FB 待这么长时间。现在回头看看，4年来自己成长了很多，是时候做个回顾总结了。目标一直蛮明确：去读 phd。本来的打算是在 FB 工作一年，赚一年签字费 ＋ 大四做的 resear

大家好，我是对白。在我读研一那会儿，也参加过几个Kaggle比赛，如Two Sigma公司举办的AI量化比赛，当时虽然没有得奖，但也为我后续学习NLP和推荐算法奠定了良好的基础。今天给大家分享一篇大佬参加Kaggle的经验文章，作者是一名阿里算法工程师，希望对也想玩转Kaggle竞赛的朋友有所帮助，以下为原文。作者：jiazhuamh | 编辑：对白的算法屋https://zhuanlan.zhihu.com/p/60953933这篇文章是我对自己第一次参加 kaggle 竞赛并获得金牌(14/4129)的

大家好，我是对白。最近各大平台都上线了 IP 属地，对于程序员来说，大家都知道这是什么。但还是有很多朋友不太熟悉，所以我开个文章来说一说。IP，就是 Internet Protocol，意思是互联网协议。你在互联网的每一个访问，都是从一个「IP地址」到另外一个「IP地址」，从协议的原理决定了，通讯的双方必然知道对方的IP地址。因此，你访问网站，网站就一定知道你访问它时使用的IP地址，这个功能与定位权限没有关系。IP地址有多少个呢？目前广泛使用的IPV4协议，使用了32位数据存储，地址一共有42亿多个，而且这

大家好，我是对白。作为一个平时就很辛苦的科研er，本着能用工具解决的问题绝对不花苦力的原则，收集了很多科研利器，现在分享给大家，相信大家看完以后科研效率都能够得到质的提升！俗话说“工欲善其事，必先利其器”，在搞科研的过程中“升级打怪”，又怎能少的了一些利器加持呢？一. 文献管理软件1）Endnote首选当然是大名鼎鼎的Endnote。Endnote是一款文献管理和编辑软件，帮助你在论文中管理你想要插入的参考文献，统一更改文献的格式。对于想要针对性的投稿某家杂志的文章，还可以下载该杂志的参考文献引用格式，动动

大家好，我是对白。今天给大家分享一位博主对于深度学习的看法，文笔清奇而幽默。炼丹多了，会感觉DL越来越玄学，越来越难以解释，到现在我也有这样的感触，只能通过多做几组实验来解除困扰，以下为原文。作者：Cherrise | 编辑：对白的算法屋https://zhuanlan.zhihu.com/p/466568642我确实在DL上没有天赋，不知道CNN和RNN有啥作用。我确实无法理解神经网络结构，也不知道如何修改结构，一时间只能将其理解为玄学。我确实学不会DL，我所有项目的神经网络都是照抄开源项目的，我甚至连任

大家好，我是对白。今天给大家分享一位腾讯程序媛之前在字节实习的经历，她做的是推荐算法方向，字节已经是她实习的第五家公司了，在字节的工作环境和体验究竟如何，让我们一起来看一看，以下为原文。我所在的部门是data-推荐，负责西瓜视频的所有算法，包括推荐、内容理解等，和今日头条、番茄小说是一个大部门，周会在一起开。部门内有近半清北，还有几位姚班同学和多位ACM金牌，近几个月来了不少大三研二的实习生。一. 工作环境字节的特点主要体现在：设备齐全、福利好、大小周。1、设备齐全字节入职的实习生，即使是实习生也会配置新款

大家好，我是对白。今天给大家分享一位朋友在大疆做算法工程师的日常，工作内容还是比较有趣的，也给我们科普了大疆的一些福利，以下为原文。作者：全之 | 编辑：对白的算法屋https://zhuanlan.zhihu.com/p/491400284参加过大疆校招或者从网上多多少少了解过大疆的人应该知道，算法算得上是大疆的强势技术之一了。但现在我更想以一个普通员工的视角，讲讲在大疆做算法到底在做什么，体验有什么不一样。首先是工作内容，算法迭代优化、部署调试、算力评估、规划业务推进方向等都可以算是我工作的日常。这份工

大家好，我是对白。ACM SIGIR 2022是CCF A类会议，人工智能领域智能信息检索（ Information Retrieval，IR）方向最权威的国际会议。会议专注于信息的存储、检索和传播等各个方面，包括研究战略、输出方案和系统评估等等。第45届国际计算机学会信息检索大会（The 45rd International ACM SIGIR Conference on Research and Development in Information Retrieval, SIGIR 2022）计划于今年

点击上方，选择星标或置顶，每天给你送上干货作者|对白  出品|公众号：对白的算法屋大家好，我是对白。目前，越来越多的互联网公司内部都有自己的一套框架去训练模型，而模型训练时需要的数据则都保存在分布式文件系统（HDFS）上。Hive作为构建在HDFS上的一个数据仓库，它本质上可以看作是一个翻译器，可以将HiveSQL语句翻译成MapReduce程序或Spark程序，因此模型需要的数据例如csv/libsvm文件都会保存成Hive表并存放在HDFS上，那么问题就来了，如何大规模地把HDFS中

点击上方，选择星标或置顶，每天给你送上干货作者|对白  出品|公众号：对白的算法屋大家好，我是对白。最近对比学习真的太火了，已然成为各大顶会争相投稿的一个热门领域，而它火的原因也很简单，就是因为它解决了有监督训练标注数据有限这个典型问题（这个问题在工业界非常滴常见）。所以对比学习的出现，给CV、NLP和推荐都带来了极大的福音，具体来说：1、在CV领域，解决了“在没有更大标注数据集的情况下，如何采用自监督预训练模式，来从中吸取图像本身的先验知识分布，得到一个预训练模型”的问题；2、在NLP

点击上方，选择星标或置顶，每天给你送上干货作者|对白  出品|公众号：对白的算法屋大家好，我是对白。今天我们来聊一聊推荐系统中不得不学的Contrastive Learning方法，近年来Contrastive Learning在CV和NLP领域的应用越来越广泛，在推荐系统中当然也不例外。我想大家将对比学习与推荐系统结合主要有以下四个原因：一、是因为数据的稀疏性。众所周知，在推荐系统中有点击的数据是非常少的，可能系统推荐了十篇文章，用户只点击了一篇文章，因此我们可以通过自监督学习对点击数

点击上方，选择星标或置顶，每天给你送上干货作者|对白  出品|公众号：对白的算法屋我为大家整理了对比学习在最新各大顶会上的论文合集及相应代码，所列举的论文涉及领域包括但不限于CV, NLP, Audio, Video, Multimodal, Graph, Language model等，GitHub地址：https://github.com/coder-duibai/Contrastive-Learning-Papers-Codes（请大家多多点赞支持ヽ(✿ﾟ▽ﾟ)ノ，笔芯！）大家好，

点击上方，选择星标或置顶，每天给你送上干货作者|对白  出品|公众号：对白的算法屋大家好，我是对白。本次我挑选了ICLR2021中NLP领域下的六篇文章进行解读，包含了文本生成、自然语言理解、预训练语言模型训练和去偏、以及文本匹配和文本检索。从这些论文的思想中借鉴了一些idea用于公司自身的业务中，最终起到了一个不错的效果。Contrastive Learning with Adversarial Perturbations for Conditional Text Generation

点击上方，选择星标或置顶，每天给你送上干货对比学习方法（CV）对比学习要做什么？有监督训练的典型问题，就是标注数据是有限的。目前NLP领域的经验，自监督预训练使用的数据量越大，模型越复杂，那么模型能够吸收的知识越多，对下游任务效果来说越好。这可能是自从Bert出现以来，一再被反复证明。所以对比学习的出现，是图像领域为了解决“在没有更大标注数据集的情况下，如何采用自监督预训练模式，来从中吸取图像本身的先验知识分布，得到一个预训练的模型”。对比学习是自监督学习的一种，也就是说，不依赖标注数据，要从无标注图像中自

大家好，我是对白。最近又有几家互联网大厂正在裁员，比如腾讯和美团，裁员势头越发猛烈。最近有小伙伴向我询问offer选择，华为与腾讯该选择哪家，我个人认为：华为企业文化偏国企，所以有很多条条框框，看似时长多，但是想苟住很容易。腾讯虽然看似比较自由，但是在产出方面还是很残酷的。华为这边看部门，硬件如数通无线这些普遍加班多，消费者这些软开工作时长少很多，然后年终奖还很香。腾讯同样，CSIG和PCG相对微信是比较轻松的。今天给大家分享一位朋友今年从华为跳腾讯的经历，让我们来一起看一看。我在华为待了4年多，刚来腾讯4

大家好，我是对白。今天给大家分享一位腾讯朋友清明节后的第一天就被公司优化的真实案例，昨天也登上了脉脉热榜。如果员工拼死拼活为公司卖命，最终还被公司所优化，这样真的值吗？以下为原文。来源：脉脉作者：洋葱在写文档  | 编辑：对白的算法屋一、会议邀请2022年4月6日，清明节放假归来第一天，一大早在群里面看见有人在说HR约了一个名曰“沟通会”的腾讯会议，让上午集中去会议室“沟通”。看看会议预约通知，才发现自己也被邀请了，当时顿感不妙，因为这个会议很蹊跷，首先它是HRBP约的会，没有显示会议主

有幸在去年4月份，被分配到鹅厂推荐组，接触了国内顶尖的算法团队，截止现在自己做推荐也有半年时间了，如果说以前自己的成长速度是线性成长，那么在这半年时间，自己的成长可以说是指数级成长。鉴于目前工作上越来越驾轻就熟，逐渐从小白状态脱离出来，回答一下这个问题，算是给自己这半年算法工作的一个记录。先给大家奉上，一名合格的推荐算法工程师所需要掌握的各项知识点和技能图：如题主所说，推荐系统涉及到的知识点“大而杂”，是一项复杂的工程，那么一条完整的推荐系统学习进阶路径，需要包含哪些方面呢，我认为至少需要包含以下6大方面：

大家好，我是对白。今天给大家分享一位朋友上个月从算法岗转工程岗的血泪史，当你做的算法方向非常小众，且不能带来较大的业务收益时，不妨换个组或转岗试试，以下为原文。一、背景本人目前开发经验两年（其实是一年多）在第一次跳槽（2022年3月）中收获阿里、腾讯、滴滴等公司的offer，从跳槽动机、准备、面试等角度去复盘这次跳槽，希望对自己和读者（尤其是校招和短经验社招背景的读者）都能有所收获。1.1 校招入职：从算法到工程，理想到现实我在2020年的7月份从某个双非本科的毕业后进入某个互联网公司工作，入职的岗位是算法

大家好，我是对白。今天给大家分享一位清华计算机系庞天宇师兄的读博心得，他本科毕业于清华，之后直博计算机系并师从朱军教授，博士期间共发表20多篇顶会和顶刊，包含CVPR、ICCV、NIPS、ICLR和TPAMI等，还获得了百度、微软等奖学金，科研能力在我认识的清华同学里，也是数一数二的。他将自己的经验分享了出来，相信一定会对很多人有所启发，以下为原文。马上要结束五年的直博生涯了，在这个过程中对很多事情有了新的感悟和理解，写在这里作为一个记录，简单分享一下。一、从竞争到合作在小学、中学以及本科的时候，我们处于应

如果说「LSTM」已死，它为何依然能够在Kaggle竞赛中成为赢家呢？长短期记忆（Long Short-Term Memory，LSTM）是一种时间循环神经网络（RNN），论文首次发表于1997年。由于独特的设计结构，LSTM适合于处理和预测时间序列中间隔和延迟非常长的重要事件。在过去几十年里，LSTM发展如何了？密切关注机器学习的研究者，最近几年他们见证了科学领域前所未有的革命性进步。这种进步就像20世纪初，爱因斯坦的论文成为量子力学的基础一样。只是这一次，奇迹发生在AlexNet论文的推出，该论文一作为

大家好，我是对白。今天给大家分享一位42岁码农跳槽找工作的经历，这个年龄再找工作压力是很大的，体力和学习能力已经完全赶不上年轻人了，看了后颇有感触，以下为原文。作者：胡说 | 编辑：对白的算法屋https://zhuanlan.zhihu.com/p/461526410给自己记录一下。32岁的时候还在硅谷大厂做架构师，35岁的时候回国在阿里P8+，然后自己任性的去挑战各种奇葩的方向。现在一个大型外企里面做着一些不疼不痒的工作。最近觉得工作确实碰到天花板了。各种方向上都觉得无所适从。换了新老板之后，又觉得有点

大家好，我是对白。最近各大互联网公司都在裁员，还有的公司已经锁死了HC，只出不进，公司内部也不让转正以及活水，周围的同事们也越来越卷，深怕自己被领导约谈。很多小伙伴也在问我，相比于互联网大厂，现在去外企是不是一个更好的选择？今天分享一位朋友刚进微软的体验，希望对于求职的小伙伴们，在选择offer上有所帮助。作者：FreewheelLee | 编辑：对白的算法屋https://zhuanlan.zhihu.com/p/486283887加入微软满三个月了，感觉是时候简单聊聊一些体验和感想。前两天发了个想法也征

大家好，我是对白。今天无聊刷GitHub看到一个让我血压上来的项目乍一看，2.4k star，应该不像是什么小项目应该是比较有用的项目，但接下来的事情属实是让我气的很对于开源项目我是不喜欢下载预构建的成品的，我更喜欢自己动手从源代码构建，所以我熟练的clone到本地根据readme里面写的指引构建构建完我一运行，既然上面写着支持学堂在线，那就输个学堂在线的地址进去试试呗很快啊就给我返回了一个视频链接不合法那就翻翻代码看看是不是哪里有需要微调的地方呗这一翻代码不得了啊，我根本没在代码里找到学堂在线相关的组件…

转自：新智元 | David 小咸鱼约翰·冯·诺依曼是20世纪最有影响力的人物之一。从原子弹，到计算机、再到量子力学、气候变化，你可能很难出对我们今天的世界和生活影响更大的科学家了。在20世纪的天才中，有几个杰出的人物：爱因斯坦、图灵、霍金，毫无疑问，冯·诺依曼也属于他们中的一个，尽管许多人不知道他是谁。 约翰·冯·诺依曼是20世纪最有影响力的人物之一。他可能比过去150年中任何一位伟大的思想更直接地影响了你的生活，他的研究涉及从量子力学到气候科学的一切。  冯·诺依

关注 ▲对白▲ 和百万AI爱好者，一起向上生长这是对白的第 77 期分享来源 l 千寻    出品 l 对白的算法屋大家好，我是对白。推荐系统技术，总体而言，与 NLP 和图像领域比，发展速度不算太快。不过最近两年，由于深度学习等一些新技术的引入，总体还是表现出了一些比较明显的技术发展趋势。在写技术趋势前，照例还是对推荐系统的宏观架构做个简单说明，以免读者迷失在技术细节中。实际的工业推荐系统，如果粗分的化，经常讲的有两个阶段。首先是召回，主要根据用

大家好，我是对白。今天给大家分享一下在推荐中召回和粗排是如何构造负样本的。推荐系统通常分为召回->粗排->精排->重排这几个漏斗。深度模型也从精排逐步下沉到了粗排和召回。拿业界常用的粗排DSSM模型来说，模型训练样本的构造方式一般是复用精排下发的正负样本，但这会造成一个问题：粗排训练样本和实际线上打分样本分布不一致，训练样本仅是线上打分样本一个比较小的子集。面对这个问题大家通常的解法是，从精排未下发的样本里采一部分，添加至粗排模型的训练负样本中，通常会带来一定的提升。其中的原理是什么呢？以

大家好，我是对白。经常有学弟学妹问我，在公司里领导PUA下属一般是怎样的，下面我将自己或周围同事听过的这类话语总结如下，不分岗位：你这个问题的底层逻辑是什么？顶层设计在哪？最终交付价值是什么？过程的抓手在哪？如何保证回答闭环？你比别人的亮点在哪？优势在哪？你的思考和沉淀是什么？这个问题换成我来问是否会不一样？你的独特价值在哪？......如果以上问题你被领导问过大部分，那么恭喜你，你已经被PUA了。众所周知，阿里的领导们特别喜欢PUA，俗称”阿里味“。那么问题来了，如果将阿里味用编程语言该怎么写？从程序员c

关注 ▲对白▲ 和百万AI爱好者，一起向上生长这是对白的第 78 期分享来源 l  乐谷说    出品 l 对白的算法屋大家好，我是对白。见过身边的阿里P8，记录一下我的观察，这里仅说技术线的P8，有同学有想问的直接评论区留言：1、薪资水平上，现在字节挖阿里P8的报价已经能谈到100万税前现金年薪 + 50-100万期权，阿里P8去字节低于这个数是侮辱（已跳槽的可以自查一下是不是被低估了），字节入职即巅峰，竞业协议保证你进得去出不来。2、

大家好，我是对白。今天给大家总结了101道Transformer的面试题，建议收藏：1，请阐述 Transformer 能够进行训练来表达和生成信息背后的数学假设，什么数学模型或者公式支持了 Transformer 模型的训练目标？请展示至少一个相关数学公式的具体推导过程。2，Transformer 中的可训练 Queries、Keys 和 Values 矩阵从哪儿来？Transformer 中为何会有 Queries、Keys 和 Values 矩阵，只设置 Values 矩阵本身来求 Atte

大家好，我是对白。今天想和大家聊一聊跳槽的话题。我认为跳槽是一件一定要经常关注，但尽可能少做的事情。在互联网公司中，一般来说，只要下家待遇符合预期，工作内容合适，涨幅有个30%-50%，就可以选择跳槽。而一般跳槽的年限是3年一跳最好，因为2年议价能力稍微有点弱，4年时间又有些长。而对于一些职级比较高的人来说，跳槽考虑的就不再只是现金了，例如一位百度的高T,一家猎头开出了500W年薪却被婉拒：原因如下：我来给大家算一笔账。首先这里的 500 万年薪指的是总包，总包的组成为月工资*12 + 年终奖 + 股票/期

关注 ▲对白▲ 和百万AI爱好者，一起向上生长这是对白的第 83 期分享作者 l 对白    出品 l 对白的算法屋大家好，我是对白。今天给大家解读一篇NIPS2021中GNN与对比学习结合的论文，后面会持续更新NIPS2021中关于对比学习（Contrastive Learning）论文的解读，欢迎大家关注。这篇论文来自美国普渡大学，通过引入对抗学习作为图数据增强方法，从而避免在训练期间捕获冗余信息导致下游任务效果差的问题。一、摘要由于现实世界图/网络数据

关注 ▲对白▲ 和百万AI爱好者，一起向上生长这是对白的第 84 期分享作者 l 对白    出品 l 对白的算法屋大家好，我是对白。BERT在工业界落地已经很普遍了，主要在搜索、推荐和NLP中广泛应用，我将自己运用BERT的心得总结如下：BERT在工业界的落地：新数据预训练、多任务、蒸馏/裁剪、双塔的在线应用；如何蒸馏模型；在BERT基础上有哪些有效的改进点；如何融入知识图谱；相关性的框架：考虑到业务效果，必要的前置/后置规则可能有效；两阶段分别

在科学研究中，从方法论上来讲，都应“先见森林，再见树木”。当前，人工智能学术研究方兴未艾，技术迅猛发展，可谓万木争荣，日新月异。对于AI从业者来说，在广袤的知识森林中，系统梳理脉络，才能更好地把握趋势。为此，我们精选国内外优秀的综述文章，开辟“综述专栏”，敬请关注。来源：知乎—trouble地址：https://zhuanlan.zhihu.com/p/43361015501UPRec: User-Aware Pre-training for Recommender Systems [submitted t

2020年疫情刚开始的时候，《动手学深度学习》的英文版相较中文版已经多出不少内容了。我们书第一版的不少老读者表示，疫情在家虽然想学习，但第一版早就刷完，于是只好刷阿信和小抖。沐神和我的第一反应是：这样对眼睛不好。于是不等英文版完成，我们就立即发起中文版2.0的项目。具体来说：我们继续在英文版添加新内容和改进已有内容。何孝霆与Rachel（瑞潮儿）两位主力选手和d2l-ai/d2l-zh GitHub社区众多小伙伴共同努力，不断将英文版的最新内容同步到中文版，包括PyTorch和TensorFlow的实现。沐

你好，我是对白，今天分享一位毕业一年有余的程序员裸辞之后在家接单赚钱的经历，非常有意思！下面是正文。背景鄙人本科毕业一年有余，计算机专业。全栈工程师，但更喜欢前端的工作，于是在一家游戏公司任职前端工作。在这个内卷的时代，身处一线城市，来自全国各地的优秀学院/培训机构人才辈出，涌入市场，竞争激烈，各大公司并驱争先用丰厚的薪水，优渥的待遇去吸引更优秀人才入职。但是，现在已经过了 ”不会但我会学“ 就能感动面试官的时代，随着供需关系的变化，不论是对于面试官还是面试者，面试的成本越来越高。为了筛

大家好，我是对白。今天在知乎上看到了田渊栋老师最新写的 《技术之外三部曲》，看了后感觉受益匪浅，很多时候我们不能一直沉迷于技术，也需要跳出纯技术的圈子去思考问题。我将这三部曲进行了汇总，特此分享给大家，希望能对你们有所感悟与启发，以下为原文。技术之外一：交流最近太忙，很久没在知乎上写专栏了，这次乘着ICML结束后稍微写一点。从小到大，中国家长都训练孩子考高分，啥事不用管，只要闷头做题就好了。现在还有“做题家”的称呼。虽然“一个人把活干了”值得惊叹，也能赢得一时的赞誉，但这并非长久之计。我去年写过要

大家好，我是对白。为今年校招的同学准备了一份笔面试经验大礼包。主要结合本人当年校招时候的经验以及近两年工作学习过程中的感悟收获。主要面向搜推广nlp岗位的同学。总体而言，个人认为算法岗要找的好，除了本身的长期积累沉淀的硬实力之外(Paper，比赛，实习，项目)，主要考核的就是两个方面的能力："基础扎实程度"和"前沿知识广度"。文章内容包括四个部分：基础能力(基础扎实程度)、搜推知识(前沿知识广度)、nlp知识(前沿知识广度)、总结。其中，基础部分变化不大，前沿知识部分相较于我当年校招时变化较大，在此做了更新

大家好，我是对白。Prompt tuning，作为NLP领域中的一个“新宠”，甚至曾被学者誉为NLP预训练新范式。那么，它能否借鉴到CV领域并产生同样的成绩呢？现在，来自康奈尔大学和Meta AI等机构，通过Prompt来调整基于Transformer的视觉模型，结果发现：完全可以！比起全面微调，Prompt性能提升显著。无论模型的规模和训练数据怎么变，24种情况中有20种都完全胜出。与此同时，它还能大幅降低每项任务所需的存储成本。只使用不到1%的模型参数大家一贯使用的全面微调（full fine-tuni