Šibai Japonijoje randami nuo neatmenamų laikų. Japonų „Šibas (Shiba)“ visada reiškia kažką mažą, todėl veislės pavadinimas pažodžiui Japonijoje reiškia mažą šunį. Jų natūrali buveinė yra kalnų regionas, susiduriantis su Japonijos jūra, kur jie buvo naudojami medžioti mažus žvėrelius ir paukščius. Jie šiek tiek gali skirtis, priklausomai nuo jų kilmės vietos.