Юзаф Каліноўскі нарадзіўся 1 верасня 1835 года ў Вільні ў сям’і Андрэя Каліноўскага, выкладчыка матэматыкі, і Юзэфы Палонскай.