Иосиф Алексеевич Пиккиев родился в семье служащего Петербургской глазной лечебницы, окончил 8 классов 3-й классической гимназии. С 15 лет начал работать: давал частные уроки, перебивался случайными заработками, подростком приобщился к библиотечной работе – помогал в рабочей библиотеке Общества народных университетов, в библиотеках Н. А. Рубакина и С. Р. Минцлова. В 1917 г. работал статистиком по переписи, в 1918 г. – счетоводом и бухгалтером, в 1919–1921 гг. – в библиотеках Симбирской губернии. В 1923–1926 гг. учился на правовом отделении факультета общественных наук Петроградского университета, параллельно окончил библиотечные курсы при Институте книговедения, затем – два курса книжно-библиотечного факультета Института внешкольного образования. С 1921 г. работал библиотекарем на предприятиях и в учебных заведениях Петрограда и Ленинградской области, в феврале 1927 г. окончил Высшие курсы библиотекарей, после чего снова была библиотечная работа: в библиотеке им. К. А. Тимирязева, в ЛГПИ им. А. И. Герцена, в физико-техническом институте АН СССР.