Universal Weight Subspace Hypothesis: eficiencia en modelos IA
¿Qué es la Universal Weight Subspace Hypothesis?La Universal Weight Subspace Hypothesis (UWSH) sostiene que, al entrenar redes neuronales profundas en tareas, dominios y con inicializaciones distintos, sus pesos acaban convergiendo a subespacios espectrales compartidos y de baja dimensionalidad. Dichos subespacios resumen la mayoría de la varianza espectral (~90–95%) de las matrices de pesos, lo que …









