Licenciado en Ciencias Económicas por la Universidad Complutense de Madrid, José María Álvarez-Pallete estudió igualmente Ciencias Económicas en la Université Libre de Bruselas y cuenta con un International Management Programme (IMP) por IPADE Business School (Instituto Panamericano de Alta Dirección de Empresa). Obtuvo además un Diploma de Estudios Avanzados (DEA) por la Cátedra de Economía Financiera y Contabilidad de la Universidad Complutense de Madrid. 

Se incorporó al Grupo Telefónica en febrero de 1999 como Director General de Finanzas de Telefónica Internacional S.A.U., y en septiembre de ese mismo año pasó a ocupar el cargo de Director General de Finanzas Corporativas en Telefónica S.A. En julio de 2002 fue nombrado Presidente Ejecutivo de Telefónica Internacional S.A.; en julio de 2006, Director General de Telefónica Latinoamérica; y en marzo de 2009, Presidente de Telefónica Latinoamérica. En septiembre de 2011, pasó a ocupar el cargo de Presidente Ejecutivo de Telefonica Europa. Y en septiembre de 2012 fue nombrado Consejero Delegado de Telefónica S.A.

Desde el 8 de abril de 2016 es Presidente Ejecutivo de Telefónica S.A., y miembro del Consejo de Administración de Telefónica S.A., cargo que ocupa desde julio de 2006. Pallete es, además, el fundador de Wayra, un de los hubs tecnológicos creado para apoyar globalmente a las startups más innovadoras con el fin último de que puedan trabajar con Telefónica.