Обучение, эффективное с точки зрения атрибутов: различия между версиями

Онлайновые алгоритмы обучения естественным образом находят применение в обработке сигналов. Предположим, что отправитель излучает истинный сигнал <math>y_t</math> в момент времени t, для t = 1, 2, 3... . В некоторый более поздний момент времени (t + d) приемник получает сигнал <math>z_t</math>, представляющий собой сумму исходного сигнала <math>y_t</math> и различных эхо предыдущих сигналов <math>y_t', t' < t</math>, все они искажены случайным шумом. Задача заключается в восстановлении истинного сигнала <math>y_t</math> на основе полученных сигналов <math>z_t, z_{t - z}, ..., z_{t - l}</math> за некоторый отрезок времени <math>l</math>. В настоящее время эффективные с точки зрения атрибутов алгоритмы для таких задач не используются, предварительные результаты см. в работе [11].

Эффективные с точки зрения атрибутов алгоритмы обучения по духу схожи со статистическими методами, работающими с разреженными моделями. В частности, статистические алгоритмы, использующие регуляризацию <math>L_1</math>, тесно связаны с мультипликативными алгоритмами, такими как Winnow и Exponentiated Gradient. Напротив, более классическая регуляризация <math>L_2</math> приводит к тому, что алгоритмы не являются эффективными с точки зрения атрибутов [13].