Lineární rovnici
řešíme například minimalizací
funkce
.
V každém kroku
takové, aby
bylo minimální. Tedy
Pro řídké matice se složitost násobení vektoru maticí
snižuje z počtu operací na počet operací
.
Pozn. Existuje řada moderních často používaných gradientních metod.