的学习笔记，本集合主要针对《百面机器学习——算法工程师带你去面试》这本书。主要记录我认为重要的知识点，希望对大家有帮助。

书中介绍的二分类损失函数有：0-1损失、Hinge损失、Logistic损失、交叉熵损失等，如下图。

书中介绍的回归问题损失函数有：平方损失函数、绝对损失函数、Huber损失函数。如下图：

注：这一节讲的是，写出求梯度的代码之后，如何验证自己写的代码是正确的。这里我们平常都用已有的框架，里面求梯度的代码已经写好了，所以没有考虑过这个问题。

的平均损失来近似目标函数，当数据量很大时，需要很大的计算量，耗费很长时间。为了解决这个问题，随机梯度下降法(Stochastic Gradient Descent，SGD)用

，在实际运用中我们用小批量梯度下降法(Mini-Batch Gradient Descent)，同时处理小批量的训练数据。其中

这是本章的第一部分，第一部分讲的内容比较容易理解，并且可能在这之前见过，稍微有些了解。例如常见的损失函数、常见的优化方法、批量梯度下降、随机梯度下降、小批量梯度下降。后面的第二部分讲了随机梯度下降的加速，即一些改进的优化方法，如动量方法、AdaGrad方法、Adam方法，还讲了L1正则化产生稀疏解的原因。第二部分涉及较多的优化技巧，放到下一篇中整理。

如果您发现我的文章有任何错误，或对我的文章有什么好的建议，请联系我！如果您喜欢我的文章，请点喜欢~*我是蓝白绛，感谢你的阅读！

机器学习中的算法涉及诸多的优化问题，典型的就是利用梯度下降法(gradient descent)求使损失函数 J(theta) 下降的模型参数 theta 。…

[TOC]优化算法是机器学习中的“方法论”，优化算法会告诉机器应该如何优化学习的进程，让自己能够更好地掌握学习到的知识，本文将针对机器学习领域中常用的几种优化算法进行总结。 梯度下降法 梯度下降法与梯度、导数的概念 梯度下降法是用来求解无约束优化问题的一种数学方法，通过梯度…

机器学习是做NLP和计算机视觉这类应用算法的基础，虽然现在深度学习模型大行其道，但是懂一些传统算法的原理和它们之间的区别还是很有必要的。可以帮助我们做一些模型选择。本篇博文就总结一下各种机器学习算法的特点和应用场景。本文是笔者结合自身面试中遇到的问题和总结网络上的资源得到的…

《陪安东尼度过漫长岁月》是一部我蛮喜欢的弥漫着清新怀旧味道的电影，我喜欢整体暖色系的风格，喜欢它如诗如画的风景，喜欢主人公安东尼的情怀和心境，也喜欢他那种忠于青春的孤独感，虽然电影没有曲折剧情，没有出彩人物，没有浓郁氛围，但故事主题却在安静淡然中隐隐浮现——花开，seo最新忆一…

无需别人的赞美，我是一曲流浪的音符，我的旋律，就是我流浪的脚步 我流连在三亚的海边，感叹三亚海水的多情 我的生命如此卑微，我只是一颗心碎的尘埃 我属于这片土地和海，我要洗礼我的脆弱的灵魂 我欣赏着自己的诗句，哼着唯有自己听得懂得曲调 我莫名感动地流出了眼泪，我为自己的热情而…

今天有多家媒体网站发文宣称8月24日，贵州省国资委下发了《省国资委关于季克良等同志免职的通知》文件。 文件显示： “季克良不再担任中国贵州茅台酒厂（集团）有限责任公司名誉董事长、技术总顾问，贵州省酒业高级技术顾问职务。 刘自力不再担任中国贵州茅台酒厂（集团）有限责任公司技术…