Differentiable Optimization 工作整理
2020年3月31日
在深度学习中,可微(Differentiable)是一个很重要的环节,可微意味着能够进行训练。在 SLAM 和很多 3D 系统中,后端往往伴随着大量的在线优化(Optimization)算法,这些算法对于整个 pipeline 很重要,如果要进行 End-to-end 学习的话,如果随意用回归之类的方法代替优化,往往不能取得满意的效果。一个比较简单直接的思想也就是把优化部分进行可微化,这样就可以比较容易地进行替换。
目前基于将优化算法可微化的论文和开源工作感觉还比较有限,这里就看到的一些进行整理,大家如果有相关工作欢迎留言补充。
标题 | 论文 | 源码 | 说明 |
---|---|---|---|
Differentiable Convex Optimization Layers | Github | 可微凸优化库,基于 CVXPY,包含 PyTorch 和 Tensorflow 版本 | |
OptNet: Differentiable Optimization as a Layer in Neural Networks | Github | 针对 Quadratic Programming 问题的可微算法。包含 PyTorch 版本 | |
Theseus: A Library for Differentiable Nonlinear Optimization | Github | 针对机器人场景 PyTorch 非线性最小二乘问题的可微优化库,包含 GN、LM 以及李群李代数等。 |