Методы спуска и градиентной минимизации

Другие итерационные методы. Популярными методами решения систем с симметричными положительно определенными матрицами являются метод наискорейшего градиентного спуска и метод сопряженных градиентов, изложенные в п. 5.1.10 в связи с задачей минимизации квадратичной функции (5.4). Изложение метода минимальных невязок, линейного многошагового метода с чебышев-ским набором параметров и других методов можно найти в [8, 13, 16, 58, 59]. [c.129]

МЕТОДЫ СПУСКА И ГРАДИЕНТНОЙ МИНИМИЗАЦИИ [c.303]

Недостатком метода (2.24) является требование, чтобы начальное приближение <7 было достаточно близким к искомому решению = arg min q). При отсутствии хорошего начального приближения алгоритм (2.24) может расходиться, поэтому метод Ньютона целесообразно применять в сочетании с методом наискорейшего спуска, который призван предварительно отыскать приемлемое начальное приближение. Трудоемкость каждого шага у метода Ньютона, вообще говоря, выше, чем у градиентных методов. Тем не менее общий объем вычислений, необходимых для минимизации (2.21) с требуемой точностью при применении этого метода, может оказаться меньше, чем при применении более простых градиентных методов. [c.46]

Используя в качестве отправной точки (17.10), рассмотрим некоторые итерационные методы минимизации функции Р (X) = = (X) i (X). Эти методы отличаются выбором К и Гчасть из них относится к методам спуска Р (Х О Р (Х ], а в других используются градиенты (или сопряженные градиенты) функции Р (X). Поскольку в большинстве этих методов фигурируют некоторые аппроксимации градиента g, их обычно называют градиентными методами. [c.303]

Существует две разновидности градиентного метода [Л. 30] метод скорейшего спуска (рис. 2-5,а) и собственно градиентный метод (рис. 2-5,6). На рис. 2-5 даны иллюстрации для простейшего случая минимизации функции двух переменных у(хи Хг). Вектор-градиент функции у перпендикулярен изолиниям г/ = onst. [c.42]

В этой главе рассматриваются итеративные методы решения обратных задач скалярной теории дифракции примешетельно к синтезу ДОЭ. Результаты, которые получаются с помощью итеративных методов, являются квазиоптимальными, так как они приводят к достижению локального минимума функционала-критерия или целевой функции. И сами итеративные методы получаются в результате решения вариационной задачи на экстремум целевой функции. В качестве такой фзшкции, как правило, используется среднеквадратичное отклонение заданной амплитуды светового поля в некоторой плоскости пространства от рассчитанной. Иногда вместо амплитуд сравниваются интенсивности, а вместо среднеквадратичного критерия выбираются критерии более высокого порядка. Итеративные методы, используемые в этой главе, можно разделить на две группы параметрические и градиентные. В параметрических алгоритмах один или два параметра, от которых зависит скорость сходимости алгоритма, остаются постоянными в течение нескольких итераций. В градиентных алгоритмах (сопряженного градиента или наискорейшего спуска) оптимальное значение шага вычисляется на каж/д,ой итерации. Кроме известных однопараметрических методов расчета ДОЭ, рассматриваются также двухпараметрические алгоритмы, полученные на основе минимизации функционала-критерия с регулярпзующим слагаемым. [c.49]

В работе [1] можно найти обзор алгоритмов нелинейного программирования для задач восстановления изображений. Задача сводится к минимизации целевых функционалов с учетом ограничений, накладываемых на функции, входящие в задачу. Если результирующий функционал с учетом ограничений можно нредставить в виде суммы линейного и квадратичных функционалов, то решение задачи находится аналитически. В противном случае требуется создавать вычислительные алгоритмы. Среди них можно выделить следующие метод прямой оптимизации, метод градиентного спуска, метод наискорейшего спуска, метод сопряженных градиентов. Последний из перечисленных методов имеет наилучшую сходимость. Еще более быструю сходимость демонстрирует метод модифицированных функций Лагранжа, [c.67]

Решение уравнения (2.288) эквивалентно минимизации функционала (2.290). Минимум критерия можно искать с помошцю градиентного метода наискорейшего спуска. В данном случае, следуя работе [5], градиентный метод можно представить в 01в 1ующем виде [c.118]

Количество проб на одном цикле поиска в методе Розенброка превышает количество проб одного шага градиентным методом и составляет Ппт,об — пк, где к — среднее количество проб при одномерной минимизации целевой функции вдоль каждой координатной оси п — количество управляемых параметров. Следует отметить, что точность одномерной минимизации должна быть достаточно высокой, иначе цели преобразования координат могут быть не достигнуты. Это обстоятельство увеличивает к. При узких оврагах точка, из которой начинается покоординатный спуск в каждом новом цикле, оказывается на малом расстоянии от дна оврага. В этих условиях существует опасение, что поиск будет выполняться с чрезмерно малым шагом, что также приводит к росту потерь на поиск. Несмотря на эти недостатки, метод Розенброка, безусловно, более эффективен, чем метод Гаусса — Зайделя или наискорейшего спуска. [c.164]

Энциклопедия по машиностроению XXL

Оборудование, материаловедение, механика и ...