A seguito della morte dell'Arcivescovo Giovanni Visconti nel 1354, i suoi tre nipoti Matteo II, Galeazzo II e Bernabò divennero Signori di Milano. Matteo II muore poco tempo e i fratelli si dividero la città con tre porte cittadine ciascuno. Bernabò scelse la parte orientale e i territori situati a est di Milano, con dimora la Ca' di Can, vicino a Porta Romana presso la chiesa di San Giovanni mentre Galeazzo II preferì la parte occidentale e i territori a ovest continuando a vivere all'Arengo e costruendo una serie di fortificazioni. Il Castello visconteo era costituito da un ampio recinto fortificato, a forma quadrata, nel 1392, , il figlio del fondatore, Gian Galeazzo fece costruire sul lato verso la campagna, una cittadella per l'alloggiamento delle truppe stipendiate. Le due strutture venivano separate dal fossato delle mura di cinta medievale. I lavori nel castello proseguirono con l'ultimo dei Visconti Filippo Maria che fece creare il collegamento tra le due parti del fortilizio Tra i castelli edificati dai Visconti questo di milano era il più grande con pianta quadrata di 180 metri per lato e quattro torri angolari. Nel 1447 Filippo Maria muore senza lasciare eredi.