「深度学习推荐系统」这本书中有哪些错误？
80 个回答
P46关于L1正则化为什么更容易找到稀疏解的理解应该是有误，主要是下图红框中的内容。
求解加入正则化项的loss最小，并不是求解红圈上一点和蓝圈上一点之和的最小值，这种理解应该是对loss+reg这种形式的直观刻板理解。
先说为什么这个理解不对。这个理解最显著的问题之一在于：参数w1和w2都只有一个唯一的最优值，因此不存在“红圈上一个点和蓝圈上一个点之和”这样的说法，而是在整个二维平面中只存在一个最优的w1和w2，只是这组解需要满足多个条件而已。此外单纯从从相切点的唯一性来判断结果是否极值也存在不严谨之处，毕竟loss等高线和正方形（或图a的圆形）可以相切的地方不止这一个，而且即使承认这里是极值点也无法判定这里是极大值点还是极小值点，所以并不能很好地解释原问题。
下面提供一种合理的理解方法。根据最优化理论中朗格朗日算子的方法，每一个正则化参数lambda都对应一个参数c，lambda越大c越小，可使得原来的loss最优化问题变成一个带约束的最优化问题，其中L1范数下的约束为：|x1| + |x2| <= c，而这个约束就是图b中红色实心正方形的含义，带约束的最优化问题意味着在寻找loss最小的同时还需要满足这个约束，图形化的表示就是满足条件的最优点需要在红色正方形之内（包括边界）。
而蓝圈代表着loss等高线，也就是说每个圈上的w1和w2对应的loss都是相同的。最中心点的loss是最低的，越往外扩loss是越高的，如果不考虑正则化，那么最中心点的w就是最优解。但是为了满足约束，loss等高线必须要不断扩大，直到和红色正方形相切，这种情况下的解才是满足约束的最优解。
这个理解出自PRML第三章的3.1.4节，公式3.29和3.30，如下面两张图所示：
以上，欢迎讨论。
先自问自答一下，发布一下已发现的问题，避免重复。
勘误表
下面是截止目前的勘误表：
- 32页 @机器喵子
“直观地讲，逻辑回归模型目标函数的形式是各特征的加权和，再施以 sigmoid 函数。“
改为
“直观地讲，逻辑回归模型的数学形式是各特征的加权和，再施以 sigmoid 函数。“
- 69页，PNN乘积层的z部分描述有误 @橘子葡萄水蜜桃
“PNN 模型对于深度学习结构的创新主要在于乘积层的引入。具体地说，PNN 模型的乘积层由内积操作部分(图 3-12 中乘积层的 z 部分)和外积(outer product) 操作部分(图 3-12 中乘积层的 p 部分)组成。其中，无论是内积操作还是外积 操作，都是对不同的特征 Embedding 向量进行两两组合。为保证内积操作和外积 操作能够顺利进行，各 Embedding 向量的维度必须相同。“
改为
“PNN 模型对于深度学习结构的创新主要在于乘积层的引入。具体地说，PNN 模型的乘积层由线性内积操作部分(图 3-12 中乘积层的 z 部分，对各特征向量进行线性拼接)和乘积外积(outer product) 操作部分(图 3-12 中乘积层的 p 部分)组成。其中，乘积特征交叉部分又分为无论是内积操作和还是外积 操作，使用内积操作的PNN模型被称为IPNN（Inner Product-based Neural Network），使用外积操作的PNN被称为OPNN（Outer Product-based Neural Network）。“
- 97页 某微信好友
图3-29中 “搜索网络“改为“探索网络”
公式8-4 第二项负号应为正号
公式8-5 第二项负号应为正号
公式8-6 第二项负号应为正号，第四项负号应为正号