زندان و شکنجه تمام دوران زندگی آیت‌الله غفاری با حکومت پهلوی و همراه با رنج و محنت بود. مشاهده اوضاع نابسامان، مخالفت رژیم با روحانیت اصیل، محدود کردن مبارزان مسلمان، ترغیب و تشویق مردم به بی دینی و کشف حجاب، آزادی عمل فرقه ضاله بهائیت، و ریشه‌های افکار انحرافی همه و همه موجب می‌شد که او لب به اعتراض گشاید و در هر موقعیتی افشاگری نماید و چه رنج‌ها و دردها که در این راه متحمل نشد. آیت‌الله غفاری خودش بارها دستگیر و زندانی، اما دست‌گیری و حبس فرزندانش، همسرش و برادرش رنج و درد او را مضاعف، بلکه چند برابر می‌کرد. لکن همانند مولای خودش حضرت امام موسی کاظم (علیه‌السلام) چون کوه استوار و با صلابت ایستادگی می‌کرد و آنچه که عوامل طاغوت و ساواک را آزار می‌داد، روحیه مقاوم و استوار ایشان بود. به طور کلی حبس‌های شهید غفاری از سال ۱۳۴۰ آغاز و تا دی ماه ۱۳۵۳ ش. ادامه داشت ۱۳ سال آخر عمر شریفش سراسر مبارزه و جان‌فشانی در راه آرمان‌های مقدس امام خمینی بود. در سال ۱۳۴۱ سخن‌رانی‌هایش عموماً به افشارگری مواضع غیر اسلامی رژیم اختصاص داشت و چندین بار مستقیماً با دستگاه رژیم پهلوی درگیر شد. در شب ۱۵ خرداد سال ۱۳۴۲ ش. مأمورین شاه به خانه‌اش هجوم آوردند و با لباس منزل او را به کمیته شهربانی بردند. در طول مدت بازداشت و در بازجویی‌ها اراده قاطع و شجاعت بی‌نظیر آیت‌الله غفاری تمامی مأموران را به حیرت واداشته بود؛ چراکه بازداشت‌ها، بازجویی‌ها و حبس‌ها و شکنجه‌های بی‌رحمانه تنها کوچک‌ترین اثر منفی در روح بزرگ و مقاوم او نداشت؛ بلکه پس از هر باز زندانی شدن با روحیه‌ای قوی‌تر و شجاعتی بیش‌تر به مبارزه ادامه می‌داد موقعی که زجر و شکنجه به سختی آزارش می‌داد نام مبارک امام موسی بن جعفر (علیه‌السلام) را بر زبان می‌راند. و دیگر زندانیان را به استقامت و پایداری و صبر دعوت می‌کرد. فعالیت‌های داخل زندان آیت‌الله غفاری در طول زندان به مطالعه کتب و تدریس می‌پرداخت و از فرصت به‌دست آمده نهایت استفاده را می‌برد. فرزند ایشان در خاطرات خود از دوران زندان ایشان می‌نویسد: «سعی می‌کرد ۸ ساعت مطالعه کند و به اضافه چهار ساعت هم نهج‌البلاغه و قرآن و فقه و تاریخی فقه به برادران درس می‌داد. حتی در داخل زندان شبی نبود که دعای افتتاح را نخواند و در پایان جمله «خدایا! شهادت را نصیب من کن» نخواند. بعد به او می‌گفتم مگر دعای افتتاح چه دارد؟ می‌گفت دعای افتتاح در تکه آخرش شهادت می‌خواهد و معمولاً حتی در شب‌هایی که شلاق سخت خورده بود، نماز شب را رها نمی‌کرد». از دیگر اقدامات ایشان مبارزه با اشخاصی بود که به نام کمونیست و مجاهدین خلق در زندان بودند و سعی در تغییر افکار مذهبی جوانان مبارز داشتند. [