شیخ احمد کافی یزدی در عصر پهلوی اول در یک خانواده ده نفری اهل یزد به دنیا آمد، پدرش حاج میرزامحمد کافی یزدی و مادرش خانم زهرا غفور پور بود. پدربزرگش آیه الله میرزااحمد کافی یزدی، از علمای معروف یزد بود که به قصد زیارت به مشهد عزیمت و در آنجا سکنی گزیده بود. در یکی از سخنرانی‌ها این طور تعریف می‌کند: «یکی از من پرسید شما اهل کجا هستید؟ من هم گفتم اهل بین‌الملل، اصلیتم یزدی هست متولد مشهد و ساکن تهران» و پدر ایشان متولد مشهد بود بعد از این جمله‌ها به شوخی به مردم می‌گوید: «ما یزدی‌ها خیلی آدمای خوبی هستیم.» در اواخر دوران حکومت پهلوی دوم کشته شد. در واقع دوران فعالیتش در زمینه‌های مختلف هم‌زمان با نابسامانی‌ها بود. ازدواج وی در سال ۱۳۳۹ با دختر آیت الله سید حسین موسوی شاهرودی ازدواج کرد.[۵] حاصل این ازدواج هشت فرزند (شش دختر و دو پسر) بود.