Minimum bychom mohli hledat tak, že bychom je opakovaně hledali
postupně v N pevných směrech, tvořících bázi prostoru (např. ve
směrech standardní báze). Tento postup může být neefektivní.
V případě dlouhých úzkých údolí vede k posloupnosti velmi malých
kroků a tedy k velmi pomalé konvergenci k minimu.
Potřeba lepší volby směrů. Chceme volit následující směr
tak, abychom neporušili minimum v předchozím
konjugované směry
Pro kvadratickou formu pak získáme minimum po krocích.
Funkci lze v okolí bodu rozvinout do Taylorovy
řady (
)
Zachováme-li pouze členy do 2. řádu, pak pro gradient funkce platí
Následující metodu konjugovaných směrů navrhl roku 1964 Powell.
V prvním kroku volíme směry
, kde
. Jako další směr volíme
,
tedy směr ke kterému
vedlo N minimalizací ve směru. Z původní báze směrů 1. směr vynecháme.
Tato metoda je kvadraticky konvergentní, pro kvadratickou formu
minimalizace ve směru najde minimum.
Navržená metoda může ovšem vést ke vzniku lineární závislosti
souboru vektorů směrů minimalizace.
Jsou následující možnosti odstranění tohoto problému