DA DENSIDADE DE PROBABILIDADE À NÃO LINEARIDADE NEURAL: A FAMÍLIA 4RS COMO NOVA CLASSE PARAMÉTRICA DE FUNÇÕES DE ATIVAÇÃO PARA REDES NEURAIS

Resumen

Este artigo apresenta o 4Rs-Gate, uma nova função de ativação paramétrica para redes neurais. Enquanto ativações auto-moduladas populares, como GELU e Swish, multiplicam a entrada pela função de distribuição acumulada (FDA) de uma densidade fixa e unimodal, o 4Rs-Gate inova ao utilizar a FDA da Família 4Rs. Essa função consiste em uma mistura convexa entre uma B-spline cúbica e o módulo normalizado de uma wavelet mãe. A interpolação entre a suavidade da B-spline e a localização da wavelet é controlada por um único parâmetro, , com valores entre 0 e 1. No trabalho, foram derivadas suas propriedades analíticas, validados os gradientes por diferenças finitas e avaliado o desempenho do modelo em perceptrons multicamadas (MLP) treinados em duas tarefas sintéticas com cinco sementes aleatórias. Nos testes, o 4Rs-Gate (com ) superou as funções tradicionais ReLU, GELU, Swish e Tanh na tarefa com estrutura local em múltiplas escalas, enquanto na tarefa sem essa estrutura seu desempenho foi equivalente ao das ativações clássicas.