Rpengの博客
文章
标签
项目
小工具
关于
文章
标签
项目
小工具
关于
搜索
Tag: 机器学习
DCN模型
8/20/2024
·
约 956 字
·
2 分钟
机器学习
搜广推
DCN模型是一种结合了深度神经网络和显示特征交叉的模型,旨在高效解决高维稀疏数据的特征交叉问题。它由深度学习神经网络(负责学习特征的复杂非线性组合)和交叉网络(负责显式地建模特征之间的交叉,捕捉高阶特征之间的相互作用)组成。这两种网络的输出通过简单的加权求和或简单拼接融合,最终通过线性层和激活函数得到预测结果。...
ID3、C4.5和Cart树
8/20/2024
·
约 7055 字
·
15 分钟
机器学习
This is a blog post on the implementation of DecisionTree algorithm using C++....
FM模型
8/20/2024
·
约 1122 字
·
3 分钟
机器学习
搜广推
本文介绍了FM模型,这是一种统计学模型,用于处理高维稀疏数据和特征交叉,能捕捉特征之间的关系。FM模型通过引入低秩因子向量来减少计算参数的数量,并增加对特征交互作用的捕捉,特别关注二阶相互作用。该模型采用梯度下降法优化损失函数,并通过因子向量学习用户与物品之间的相互作用。在推荐系统中,FM模型可用于预测用户对物品的评分或点击概率,通过分析用户与商品的特征相互作用来进行预测。...
分类问题常用CE而不是MSE
10/2/2024
·
约 1432 字
·
4 分钟
机器学习
本文分析了机器学习中分类任务常用MSE而非CE的原因,并从分布角度、优化角度进行了详细讨论。文章指出,MSE假设数据服从高斯分布,而现实中长尾分布也很常见,直接使用MSE可能导致效果不佳。同时,文中还提到在优化的角度上,如果分类问题使用MSE作为损失函数,是非凸优化,难以求出最优解。...
XGBoost原理必知必会
7/25/2024
·
约 4018 字
·
9 分钟
机器学习
本文详细推导了XGBoost的原理,包括损失函数的定义、目标函数的优化以及正则化方法。文章还介绍了XGBoost的训练方法和常见的疑难点,如训练速度慢、并行化问题、高维特征处理和过拟合缓解等。...