ai - llm - 函数的求导 w.grad
访问量: 8
refer to: https://www.doubao.com/thread/wdda4a2a13006c528
如果某个事物a, 会随着 事物 b的变化而变化，就可以说：
a = f(b)
进一步，可以说，求 a 对 b 的导数。（导函数）
写作：
d
---- a
db
对于 a = b^2 , 如何求 a 对于b的导数呢？
假设 b 增加一点点 h, 那么
a' = (b + h )^2 = b^2 + 2hb + h^2
所以，此时a的变化为： a' - a = 2bh + h^2
由于h 为常量，极小，所以 h^2 可以忽略。
所以，此时的变化为 2bh .
由于求导是 ：”变化率“，所以，求的是：”增加了b 之后，最终变化的“量”是2bh"， 所以变化率 为 2bh/h = 2b
（这里说的很明白：https://www.doubao.com/thread/w906d9a036604cf22 )
所以， d/db (a) = 2b
也就是, 对于 y = x^2, 求 y 对于x 的导数， d/dx (y) = 2x