Regularizers ti consentono di applicare penalità ai parametri del layer o all'attività del layer durante l'ottimizzazione. Queste penalità sono sommate nella funzione di perdita che la rete ottimizza. Le penalità di regolarizzazione vengono applicate per livello.
Cos'è il regolarizzatore di attività?
Il regolatore di attività funziona in funzione dell'output della rete, e viene utilizzato principalmente per regolarizzare le unità nascoste, mentre il regolatore di peso, come dice il nome, lavora sui pesi (es. facendoli decadere).
Quando dovrei usare il regolarizzatore di attività?
Se vuoi che la funzione di output passi attraverso (o abbia un'intercettazione più vicina) all'origine, puoi usare il regolarizzazione del bias. Se vuoi che l'output sia più piccolo (o più vicino a 0), puoi usare il regolarizzatore di attività.
Come si usa il regolarizzante Keras?
Per aggiungere un regolarizzatore a un livello, devi semplicemente passare la tecnica di regolarizzazione preferita all'argomento della parola chiave del livello 'kernel_regularizer'. I metodi di implementazione della regolarizzazione Keras possono fornire un parametro che rappresenta il valore dell'iperparametro di regolarizzazione.
Che cos'è kernel e bias?
Classe densa
Dense implementa l'operazione: output=attivazione(punto(input, kernel) + bias) dove attivazione è la funzione di attivazione a livello di elemento passata come argomento di attivazione, kernel è una matrice di pesi creata dal layer, ebias è un vettore di bias creato dal livello (applicabile solo se use_bias è True).
