Диффузные алгоритмы обучения нейронных сетей прямого распространения - Скороход, Б.А (Кибернетика и системный анализ, 2013)
Розглянуто задачу навчання нейронних мереж прямого поширення. Для її розв’язання запропоновано нові алгоритми, що грунтуються на асимптотичному аналізі поведінки розширеного фільтра Калмана і сепарабельній структурі мережі. Лінійнi ваги інтерпретуються як дифузні випадкові величини, що мають нульове математичне сподівання і матрицю коваріації, пропорційну великому параметру λ. Знайдено асимптотичні зображення при λ→∞ РФК — дифузні алгоритми навчання (ДАН). Показано, що на відміну від їх прототипу РФК з великим, але скінченним λ, їм властива робастність відносно накопичення помилок округлення. Із ДАН при певних спрощуючих припущеннях отримуємо ELM-алгоритм (extreme learning machine). Показано, що ДАН можуть перевершувати ELM-алгоритм за точністю апроксимації.