在最优化，统计学，计量经济学，决策论，机器学习和计算神经科学的领域中，损失函数或成本函数是指一种将一个事件映射到一个表达与其事件相关的经济成本或机会成本的实数上的一种函数，借此直观表示的一些"成本"与事件的关联。一个最佳化问题的目标是将损失函数最小化。一个目标函数通常为一个损失函数的本身或者为其负值。当一个目标函数为损失函数的负值时，目标函数的值寻求最大化。
1
量子退火是一种量子涨落特性的次经验算法，可以在损失函数拥有多组候选解答的情况下，找到全局最优解。量子退火主要用于解决离散空间有多个局部最小值的问题，例如寻找自旋玻璃的基态。
最优控制理论是数学最优化中的分支，要找到动力系统在特定一段时间的控制，可以使特定的损失函数最佳化。最佳控制在科学、工程及作业研究上都有很多应用，例如其控制的系统可能是航天器，控制为其动力来源的火箭推进器，目标是在消耗最小燃料的情形下登陆月球，其系统也可能是国家的经济，目标是使失业降到最低，控制是财政政策及货币政策。系统也可以是作业研究的运筹学，以最佳控制的框架来进行研究。
最优控制理论是数学最优化中的分支，要找到动力系统在特定一段时间的控制，可以使特定的损失函数最佳化。最佳控制在科学、工程及作业研究上都有很多应用，例如其控制的系统可能是航天器，控制为其动力来源的火箭推进器，目标是在消耗最小燃料的情形下登陆月球，其系统也可能是国家的经济，目标是使失业降到最低，控制是财政政策及货币政策。系统也可以是作业研究的运筹学，以最佳控制的框架来进行研究。
最优控制中的控制是指控制器选定的变数，用来调整状态变数，类似实际控制阀的情形。控制和状态变数不同，没有事先指定的运动方程。最优控制理论的目标是要在可行集内找到控制量的序列，让状态变数在最佳路径上，使损失函数最小。
在数值分析最优化中， Broyden–Fletcher–Goldfarb–Shanno算法是一种求解无约束非线性规划问题的迭代法。 和相关的Davidon–Fletcher–Powell算法类似，BFGS算法通过利用曲率信息对梯度进行预处理来确定下降方向。曲率信息则是通过维护一个使用广义的割线法逐步近似的关于损失函数的Hessian矩阵来获得。
梯度提升是一种用于回归分析和统计分类问题的机器学习技术，其产生的预测模型是弱预测模型的集成学习，如采用典型的决策树学习作为弱预测模型，这时则为梯度提升树。像其他提升方法一样，它以分阶段的方式构建模型，但它通过允许对任意可可微函数损失函数进行优化作为对一般提升方法的推广。
反向传播是对多层人工神经网络进行梯度下降法的算法，也就是用链式法则以网络每层的权重为变数计算损失函数的梯度，以更新权重来最小化损失函数。
半正定规划是凸优化问题的一个分支，它具有线性损失函数，且其定义在半正定矩阵构成的凸锥与仿射空间的交集上，即光谱面。
最优控制理论是数学最优化中的分支，要找到动力系统在特定一段时间的控制，可以使特定的损失函数最佳化。最佳控制在科学、工程及作业研究上都有很多应用，例如其控制的系统可能是航天器，控制为其动力来源的火箭推进器，目标是在消耗最小燃料的情形下登陆月球，其系统也可能是国家的经济，目标是使失业降到最低，控制是财政政策及货币政策。系统也可以是作业研究的运筹学，以最佳控制的框架来进行研究。
三元组损失是机器学习损失函数，该损失函数将锚点样本与正样本和负样本进行比较。具体做法是，将锚点样本与正样本之间的距离最小化，将锚点样本与负样本之间的距离最大化。 2003 年，早期的三元组损失公式由 M. Schultze 和 T. Joachims 依照相对比较法提出，将其用于度量学习。
Mini wiki
