Hijo de Felisa Bagnoli y Carmelo Troilo, su nombre completo fue Aníbal Carmelo Troilo y tuvo dos hermanos: Marcos y Concepción, que murió a corta edad. El alias "Pichuco’ se lo puso su padre, que podría ser una deformación del napolitano "picciuso’ que significa llorón.
Director, compositor e intérprete, ensambló a todos en un mismo colectivo musical, incluso al genio de Astor Piazzolla.
A los 10 años convenció a su madre para que le comprara su primer bandoneón, quien se lo compró a 140 pesos de entonces, a pagar en 14 cuotas de 10 pesos; pero luego de la cuarta cuota el vendedor desapareció y nunca reclamó el resto.
Con ese bandoneón, Troilo tocó casi toda su vida. Su primera actuación fue a los 11 años, en un bar vecino al Mercado de Abasto.
En diciembre de 1930 fue contratado para formar parte del famoso sexteto del violinista Elvino Vardaro, el pianista Osvaldo Pugliese y Alfredo Gobbi (h) y tuvo como compañero a Ciriaco Ortiz, de quien se consideraría deudor; y pasó por un sin fin de orquestas, entre otras, las de Juan Pacho Maglio, Julio de Caro, Juan D’Arienzo, Ángel D’Agostino y Juan Carlos Cobián.
En paralelo con su ascenso musical, en 1938, se casó por civil con la griega Zita (Ida Dudui Kalacci). Cuando su madre falleció, se casó por Iglesia.
La muerte de su mejor amigo, el poeta Homero Manzi (1907-1951), le produjo una profunda depresión y en su nombre compuso el tango Responso.
Desde 1953 hasta mediados de los "60, también se presentó a dúo junto al guitarrista Roberto Grela, que después se convirtió en el Cuarteto Troilo-Grela; en 1968, distanciado de Grela, formó su propio grupo. Además de esto, grabó dos temas (El motivo y Volver) a dúo de bandoneones junto a Astor Piazzolla. En 1971, inauguró la plaza Homero Manzi en conmemoración de los 20 años del fallecimiento del poeta.
Por sus conjuntos pasaron cantantes como Francisco Fiorentino, Alberto Marino, Floreal Ruiz, Edmundo Rivero, Raúl Berón y Ángel Cárdenas, Roberto Rufino, Roberto Goyeneche, Elba Berón, Tito Reyes y Nelly Vázquez; y llegó grabar más de 100 trabajos.
El 18 de mayo de 1975, en el Hospital Italiano, falleció a causa de un derrame cerebral y sucesivos paros cardíacos. Sus restos se sepultaron en el "rincón de los notables’ del Cementerio de la Chacarita, al lado de Agustín Magaldi y Roberto Goyeneche.
Páginas como Wikipedia, sostienen que diversos historiadores lo señalaron como adicto al alcohol y a la cocaína, siendo él quien sugiere el agregado de letra al tango Los Dopados.
Lo cierto es que el músico dejó como legado un estilo propio y una manera de tocar el bandoneón colocando el instrumento en una sola rodilla y no en las dos como era tradicional en aquella época.