پدر بزرگوارش، علی بن حسین بن بابویه قمی، از برجستهترین علما و فقهای بزرگ زمان خود بود. در آن روزگار، با آنکه عالمان و محدثان بسیاری در قم میزیستند، پرچم هدایت و مرجعیت فتوا بر دوش این عالم عابد و محدث زاهد و صاحب کرامات، یعنی علی بن بابویه (پدر شیخ صدوق) بوده است.
او دکهای کوچک در بازار قم داشت که از راه کسب و تجارت و در نهایت زهد و عفاف، امرار معاش میکرد و ساعاتی از روز را نیز در منزل خود به تدریس و تبلیغ احکام و نقل روایات میپرداخت.