Иосиф Ханин начал военную службу в сентябре 1939 года в качестве рядового 625-го стрелкового полка в Одесском военном округе. В сентябре 1940-го поступил в Военно-инженерную академию им. Куйбышева в Москве, которая годом позже была эвакуирована во Фрунзе (Бишкек). На третьем курсе академии Иосиф Хаймович досрочно получил воинское звание лейтенанта и был направлен на 3-й Украинский фронт в качестве командира взвода 269-го отдельного инженерно-сапёрного батальона. Со своим взводом под обстрелом трижды форсировал Днепр, освобождал Запорожье, Кривой Рог, Молдову, воевал в Румынии и Болгарии. В октябре 1944 года был отозван из действующей армии для продолжения учёбы в военной академии, которую окончил в 1947 году.

За мужество и героизм, проявленные в боях, капитан Иосиф Ханин был награждён орденами Красной Звезды, Отечественной войны и медалями. В составе сводного полка слушателей военных академий участвовал в параде Победы.

После окончания академии служил в Прибалтийском и Одесском военных округах, а в 1948 году был уволен из армии по состоянию здоровья и вернулся в свой родной город Харьков. Трудился в проектном институте в качестве инженера-конструктора, руководителя группы, а затем и главного инженера. Несколько лет до ухода на пенсию в 1992 году Иосиф Хаймович работал начальником научно-технического отдела института.