一：机器学习

1.机器学习（Machine Learning, ML）是一种强大的技术，能从经验中学习，通过观测数据或与环境交互提升性能。它分为监督学习、无监督学习和强化学习。监督学习利用带标签的数据集训练模型，进行预测。例如，在图像识别中，输入特征是图像像素，输出标签是图像类别。常见的监督学习算法有决策树、支持向量机和神经网络等。

2.回归是一种监督学习任务，旨在预测连续值，如房价。其目标是使模型预测值与实际值尽可能接近。

平方误差损失函数是回归中常用的评估指标，计算预测值与真实值差的平方的平均值。

该函数对大误差给予较大惩罚，使模型更关注大误差，适用于需精确预测的场景。

平方误差损失函数的计算公式为L = 1/n ∑(yi - yhat_i)^2。

3.交叉熵是衡量分类模型预测结果与真实标签差异的损失函数，在机器学习中至关重要。它起源于信息论，表示两个概率分布间的差异，用于评估分类的准确性。

二项分类中，如猫狗识别，模型预测样本属于“猫”或“狗”二类别之一，输出是二元的。

多项分类中，如手写数字识别，模型需预测样本属于0至9的任一数字，输出是多个类别的概率分布。

4.多标签分类是指一个样本可以同时属于多个类别，这些类别之间不是互斥的。例如，在图像分类中，一张图片可能同时包含人物、动物和植物等多个对象，因此需要为其分配多个标签。多标签分类常见于文本分类、图像分类、音乐及视频分类等领域。与传统的单标签分类不同，多标签分类需要处理标签之间的相关性或依赖关系，这使得问题变得更加复杂。

5.推荐系统⽬标是向特定用户进行“个性化”推荐。例如，对于电影推荐，科幻迷和喜剧爱好者的推荐结果页面可能会有很大不同。序列问题输入和输出都是可变长度的序列。标记和解析自动语音识别文本到语音机器翻译。

无监督学习数据中不含有标签的机器学习问题。聚类问题主成分分析问题因果关系和概率图模型生成对抗网络。

与环境互动有⼈一直心存疑虑：机器学习的输⼊（数据）来自哪里？机器学习的输出又将去往何方？到目前为止，不管是监督学习还是无监督学习，我们都会预先获取大量数据，然后启动模型，不再与环境交互。这⾥所有学习都是在算法与环境断开后进行的，被称为离线学习（offline learning）。优点是，我们可以孤⽴地进行模式识别，而不必分心于其他问题。缺点是，解决的问题相当有限。

21世纪带来了高速互联网，智能手机摄像头、视频游戏等照片共享网站。数据池正在被填满。廉价又高质量的传感器、廉价的数据存储以及廉价计算的普及，特别是GPU的普及，使大规模的算力唾手可得。

6.成功案例

 二：线性回归

1.梯度法是神经网络中用于寻找最优参数的优化技术，即通过最小化损失函数来确定权重和偏置的最佳值。损失函数衡量模型的预测值与实际值之间的差异，而梯度则表示损失函数在各点的变化率。梯度下降法通过沿着梯度的反方向更新参数，逐步降低损失函数的值，从而逐步接近最优解。常见的梯度下降算法包括批量梯度下降、随机梯度下降和小批量梯度下降。

2.梯度是一个多元函数在某一点的向量，其每个分量是函数对该变量的偏导数。梯度指向函数值增长最快的方向，即函数的“最低处”。例如，在二维地形函数中，梯度向量指向地势上升最快的方向。离“最低处”越远，梯度向量越大，表示在该方向上函数值的变化率越大。在机器学习中，梯度下降法利用梯度方向更新模型参数，以找到函数的最小值

3.梯度下降法是一种通过迭代调整参数来最小化目标函数的优化算法。梯度指示的是函数值减小最快的方向，但并非总是指向全局最小值。尽管如此，沿着梯度方向前进能最大限度地减少函数值。具体流程是，从当前位置沿梯度方向前进一小段距离后，在新位置重新计算梯度，并继续沿该方向前进，重复此过程直至收敛。

4.在机器学习和深度学习中，批量大小是影响训练效率的关键参数。批量值太小，难以充分利用计算资源，因为模型更新频繁，导致收敛速度慢，且每次更新的梯度估计不够准确，可能使模型陷入局部最优。而批量值太大，则会浪费计算资源，因为每次更新使用的数据量增加，导致计算量增大，收敛速度变慢，且可能引起内存不足。因此，选择合适的批量大小至关重要，通常需要在计算效率和模型性能之间进行权衡。

5.梯度下降是一种优化算法，通过计算损失函数的梯度并沿其反方向更新参数来最小化目标函数。在深度学习中，小批量随机梯度下降（MBGD）是常用的求解算法，它结合了批量梯度下降（BGD）的稳定性和随机梯度下降（SGD）的效率。MBGD在每次迭代中使用一小批样本计算梯度，既能有效减少计算量，又能保持较快的收敛速度。超参数批量大小和学习率对模型的训练效果至关重要。较大的批量大小可加快训练速度，但需更多内存；较小的批量大小则有助于提高模型的泛化能力。