ENG: The methodology proposed by researchers at MIT and Computer Science and Artificial Intelligence Laboratory is based on aligning internal representations between two neural networks during training. Instead of training a target network independently from random initialization, the approach introduces a guide network whose role is to shape the learning dynamics of the target. During an initial guidance phase, the target network is encouraged to produce intermediate activations that are similar to those of the guide network when both are exposed to the same inputs. This alignment is enforced through an auxiliary loss that measures representational similarity at multiple layers, effectively constraining the target network to explore more favorable regions of the parameter space.
A key distinction of this method is that guidance operates on internal feature representations rather than final outputs. Unlike knowledge distillation, which transfers information by matching predictions, guidance compares hidden-layer activations and encourages structural consistency across networks. This allows the transfer of inductive biases encoded by the architecture itself. Importantly, the guide network does not need to be trained on the target task. Even untrained guides provide useful structural signals, since architectural design alone imposes meaningful constraints on how information is organized across layers. When trained guide networks are used, the target additionally benefits from learned feature hierarchies, but the core effect remains rooted in representational alignment rather than task-specific supervision.
The researchers further investigated whether continuous guidance is necessary throughout training or whether its primary role is to provide a better initialization. To answer this, they introduced a short pretraining phase in which the target network aligns with the guide using random input data before learning the actual task. This brief alignment acts as a warm-up that stabilizes training and prevents early overfitting, particularly in deep fully connected networks that are traditionally difficult to optimize. After the guidance phase ends, the target network continues standard training independently, yet retains the benefits of improved stability and lower training loss. These results indicate that guidance primarily reshapes the optimization landscape early in training, demonstrating that many so-called untrainable networks fail not due to architectural limitations, but because they start from poorly conditioned initial states.
RO: Metodologia propusă de cercetătorii de la MIT și de la Computer Science and Artificial Intelligence Laboratory se bazează pe alinierea reprezentărilor interne dintre două rețele neuronale în timpul antrenării. În loc ca rețeaua țintă să fie antrenată independent, pornind de la o inițializare aleatorie, abordarea introduce o rețea ghid care influențează dinamica procesului de învățare. Într-o fază inițială de ghidare, rețeaua țintă este încurajată să producă activări interne similare cu cele ale rețelei ghid, atunci când ambele sunt expuse acelorași date de intrare. Această aliniere este impusă printr-o funcție de pierdere suplimentară, care măsoară similaritatea reprezentărilor la nivelul mai multor straturi, orientând astfel rețeaua țintă către regiuni mai favorabile ale spațiului parametrilor.
Un aspect esențial al metodei este faptul că ghidarea acționează asupra reprezentărilor interne, nu asupra ieșirilor finale ale rețelei. Spre deosebire de distilarea cunoștințelor, care presupune imitarea predicțiilor unui model profesor, guidance transferă informație structurală legată de modul în care caracteristicile sunt organizate în interiorul rețelei. Acest lucru permite transferul biasurilor inductive impuse de arhitectură. În mod remarcabil, rețeaua ghid nu trebuie să fie antrenată pe sarcina țintă. Chiar și rețelele neantrenate conțin constrângeri arhitecturale utile, iar în cazul în care se folosesc ghizi antrenați, rețeaua țintă beneficiază suplimentar de tipare deja învățate, fără ca metoda să depindă de acestea.
Pentru a înțelege dacă ghidarea este necesară pe toată durata antrenării sau dacă rolul ei principal este acela de a oferi o inițializare mai bună, cercetătorii au introdus o etapă scurtă de preantrenare. În această etapă, rețeaua țintă se aliniază cu rețeaua ghid folosind date de intrare aleatorii, înainte de a începe învățarea propriu-zisă a sarcinii. Această aliniere inițială funcționează ca un „încălzitor” al rețelei, stabilizând procesul de antrenare și prevenind supraînvățarea timpurie, mai ales în cazul rețelelor complet conectate adânci, cunoscute pentru dificultățile lor de optimizare. După încheierea fazei de ghidare, rețeaua continuă antrenarea în mod standard, păstrând însă beneficiile obținute, precum stabilitatea și pierderi de antrenare mai reduse. Rezultatele arată că multe rețele considerate imposibil de antrenat eșuează nu din cauza arhitecturii în sine, ci din cauza unor puncte de pornire nefavorabile în spațiul parametrilor.
Source (Rachel Gordon, MIT News, “Guided learning lets “untrainable” neural networks realize their potential”, 18.12.2025)
Paper: Subramaniam, V., Mayo, D., Conwell, C., Poggio, T., Katz, B., Cheung, B. and Barbu, A., 2024. Training the Untrainable: Introducing Inductive Bias via Representational Alignment. arXiv preprint arXiv:2410.20035.
