احمد که فرزند دوم خانواده بود، دوران کودکی را در دامان پر مهر پدر و مادر خود گذراند و در شش سالگی وارد دبستان ایمانی مشهد - به مدیریت حجه الاسلام سید حسن مؤمن زاده – شد و به فراگیری دروس متداول مشغول شد. پس از آن همزمان با تحصیل دروس جدید در نزد جد خود آیه الله حاج میرزااحمد کافی یزدی به فراگیری علوم اسلامی پرداخت. بخشی از مقدمات را نزد وی فراگرفت و در ۱۳۲۷ ش وارد مدرسه علمیه نواب مشهد شد. شیخ احمد برای ادامه تحصیلات دینی و کسب معرفت از بارگاه امام علی و حوزه علمیه نجف در سال ۱۳۳۳ ش به همراه جد آیه الله میرزا احمد کافی یزدی عازم نجف گردید، در مدرسه آیه الله سید محمدکاظم یزدی معروف به مدرسه سید به تحصیل پرداخت و طی پنج سال اقامت در نجف از محضر اساتیدی چون آیات عظام سید ابوالقاسم خویی، سید محسن حکیم، سید محمود شاهرودی، حسین راستی کاشانی و شهید سید اسدالله مدنی بهره‌مند گردید و سپس به قم آمد و تا سال ۱۳۴۰ در قم ساکن بود و نزد استادانی همچون آیت‌الله سید ابوالفضل موسوی تبریزی، آیت‌الله راستی کاشانی و آیت‌الله مدنی تبریزی (شهید محراب) درس خواند.
وی علی‌رغم کشمکش‌ها و احضارهای مکرر از جانب مقامات پلیس و نیروهای امنیتی حکومت با حضور فعال خود به ارائه خدمات دینی و ارشادی و تبلیغی و حمایت از گروه‌های مبارز و پرورش نیروهایی برای مبارزه با حکومت پهلوی می‌پرداخت. کافی زمانی احضار و زمانی دیگر در بازداشت و گاهی تبعید می‌شد و این فشارها و محدودیت‌ها، باعث نشد وی دست از فعالیت و مبارزه بردارد. به طوری که دو سال قبل از مرگش یعنی در سال ۱۳۵۵ که به مدت دو سال به ایلام تبعید شد، او به خدمات اجتماعی و فرهنگی در این شهر دست زد.
کافی بیش از ۲۰ مهدیه در شهرهای مختلف ایران تأسیس کرد. وی اواخر سال ۱۳۴۷ با کمک‌های مردمی قطعه زمینی به مساحت ۴ هزار متر در منطقه امیریه تهران خریداری و مهدیه تهران را تأسیس کرد.