پدرش یعقوب بن اسحاق که مردی با فضیلت و پاک سرشت بود از همان دوران کودکی تربیت فرزندش را بر عهده گرفت و با زبانِ عمل، اخلاق، رفتار و آداب اسلامی را به او آموخت.
آرامگاه این مرد متقی در روستای کلین - نزدیک حسن آباد شهر ری - قرنهاست که زیارتگاه شیعیان است.
دایی کلینی که خود محدثی بزرگ بود و از شیفتگان مکتب اهل بیت به شمار میرفت، در تعلیم و تربیت وی نقش بسزایی داشت. این مرد دانشمند که «علاّن» نامیده میشد، در سفر حج و در راه زیارت خانه خدا به شهادت رسید.
کلینی توانست در دوران کودکی از محضر این عالم شهید و پدر بزرگوارش کسب فیض نموده و با منابع علم حدیث و رجال آشنا گردد. بعد از طی تحصیلات ابتدایی برای پیمودن مدارج کمال انسانی به شهر ری که در آن عصر از مرتبه علمی خاصی برخوردار بود مسافرت کرد.