Оптимизация - это выбор наилучшего варианта из множества возможных. Если критерий выбора известен и вариантов не много, то решение может быть найдено простым перебором и сравнением всех вариантов. Однако часто бывает так, что количество возможных вариантов велико и перебор практически невозможен. Тогда приходится формализовать задачу, составлять ее математическую модель и применять специальные методы поиска наилучшего решения.
Среди множества оптимизационных задач выделяют группу классических задач оптимизации или задач на безусловный экстремум. Общая постановка этих задач такова: найти вектор 
, при котором достигается наибольшее или наименьшее значение скалярной непрерывно дифференцируемой функции 
: 
.
