Los problemas lineales inversos existen en numerosas ramas de la ciencia e ingeniería, lo cual genera la necesidad de definir algoritmos de solución e cientes, que requieran poco costo computacional y converjan en el menor número de iteraciones. Se desea recuperar información original a la cual no se tiene acceso lo más similarmente posible y con dimensiones reducidas, produciendo así una disminución en el uso de recursos computacionales y por ende en el tiempo de ejecución. Esto es de particular importancia debido a que el tamaño de las señales se encuentra en constante aumento y su manipulación puede resultar muy costosa. Se estudia el algoritmo de optimización de primer orden FISTA (Fast Iterative Shrinkage-Thresholding Algorithm), el cual es utilizado en problemas inversos cuya solución se resume a la minimización de funciones convexas empleando información de la gradi...

At the core of deep learning optimization problems reside algorithms such as the Stochastic Gradient Descent (SGD), which employs a subset of the data per iteration to estimate the gradient in order to minimize a cost function. Adaptive algorithms, based on SGD, are well known for being effective in using gradient information from past iterations, generating momentum or memory that enables a more accurate prediction of the true gradient slope in future iterations, thus accelerating convergence. Nevertheless, these algorithms still need an initial (scalar) learning rate (LR) as well as a LR scheduler. In this work we propose a new SGD algorithm that estimates the initial (scalar) LR via an adaptation of the ideal Cauchy step size for the multinomial logistic regression; furthermore, the LR is recursively updated up to a given number of epochs, after which a decaying LR scheduler is used. ...

Los problemas lineales inversos existen en numerosas ramas de la ciencia e ingeniería, lo cual genera la necesidad de definir algoritmos de solución e cientes, que requieran poco costo computacional y converjan en el menor número de iteraciones. Se desea recuperar información original a la cual no se tiene acceso lo más similarmente posible y con dimensiones reducidas, produciendo así una disminución en el uso de recursos computacionales y por ende en el tiempo de ejecución. Esto es de particular importancia debido a que el tamaño de las señales se encuentra en constante aumento y su manipulación puede resultar muy costosa. Se estudia el algoritmo de optimización de primer orden FISTA (Fast Iterative Shrinkage-Thresholding Algorithm), el cual es utilizado en problemas inversos cuya solución se resume a la minimización de funciones convexas empleando información de la gradi...