مدنی مبارزات سیاسی و اجتماعی خود را از دوران تحصیل در قم آغاز کرد و در اولین فعالیت‌های خود مدتی به زادگاه خود آذرشهر بازگشت و علیه نفوذ اقتصادی، اجتماعی بهائیان در آذرشهر سخنرانی‌هایی کرد که به اخراج بهائیان از شهر منجر شد. در پی آن شهربانی آذرشهر وی را مدتی به همدان تبعید کرد.[۷]
هنگامی که سید مجتبی نواب صفوی برای اعدام احمد کسروی به ایران می‌آمد، آیت‌الله مدنی اندوخته‌ای را که برای خرج ازدواجش کنار گذاشته بود، به نواب داد.[۸]
در دورۀ زمامداری جمال عبدالناصر در مصر، مدنی در رأس هیئتی از علمای ایرانی حوزه علمیه نجف برای افشاگری علیه دولت کودتای فضل‌الله زاهدی به آن کشور سفر کرد.[
در پنجم مرداد سال ۱۳۴۱ وی از عراق وارد همدان شد و در جریان اعتراض به تصویب لایحه انجمن‌های ایالتی و ولایتی در سخنرانی خود در مسجد جامع همدان، مردم این شهر را به حمایت از مبارزات حوزۀ علمیه قم فراخواند[۱۰] و در کنار سایر علمای همدان تلگراف اعتراض‌آمیزی نسبت به تصویب این لایحه به اسدالله علم مخابره کرد[۱۱]
پس از درگذشت آیت‌الله سید محسن حکیم، مرجعیت آیت الله خمینی را در همدان مطرح کرد؛ به‌طوری که ساواک گزارش داد وی بیش از یک سوم اهالی همدان را مقلد امام کرده است. رفت‌وآمدهای وی به همدان و نجف تا اوایل سال ۱۳۵۰ ادامه پیدا کرد و در این زمان به دعوت مردم و روحانیون شهر خرم‌آباد به آن شهر رفت.[۱۲]
در خرم‌آباد فعالیت خود را با تدریس درس خارج در حوزۀ علمیۀ کمالوند آغاز کرد و پس از مدتی سرپرست این مدرسه شد. با گذشت زمان اندکی به عنوان وکیل تام‌الاختیار امام خمینی و نمایندۀ ایشان به روحانیان و مردم خرم‌آباد معرفی شد. با ادامۀ سخنرانی‌های سیاسی مدنی، در مهرماه ۱۳۵۴ از ساواک تهران به ساواک لرستان دستوری ابلاغ شد که وی به مدت سه سال به منطقۀ نورآباد ممسنی اعزام گردد و مجددا در مرداد ۱۳۵۶ محل تبعید وی به گنبدکاووس تغییر پیدا میکند. به دلیل بیماری ایشان، کمیسیون امنیت اجتماعی خرم آباد محل تبعید وی را از مرداد ۱۳۵۷ به شهرستان مهاباد تغییر میدهد.[۱۳]
با محاصرۀ منزل امام خمینی در مهر ماه ۱۳۵۷ در نجف وی همراه جمعی از روحانیون تبعیدی با صدور اعلامیه‌ای به این اقدام رژیم بعثی عراق اعتراض نمود.[۱۴]
اوایل دی ماه ۱۳۵۷ در میان استقبال مردم همدان وارد این شهر شد و رهبری مبارزات ضد رژیم مردم را بر عهده گرفت. در ۲۱ بهمن سال ۱۳۵۷ که لشکر ۸۱ زرهی کرمانشاه برای سرکوبی مردم انقلابی به سمت تهران به حرکت درآمد، با دستور وی مردم کفن‌پوش همدان با دست خالی ضمن تقدیم شماری شهید، از حرکت تانک‌ها جلوگیری کردند
دهم آبان ۱۳۵۸ با حکم امام به عنوان امام جمعه تبریز منصوب شد[۱۹] امامت جمعه وی با مخالفت اعضای حزب جمهوری خواه خلق مسلمان روبه‌رو شد و چند مرتبه جایگاه نماز جمعه را به آتش کشیدند.[۲۰]
پس از آغاز جنگ، مدنی در تقویت روحیه رزمندگان اسلام تلاش می‌کرد وی با پوشیدن لباس رزم و شرکت در جبهههای نبرد، حضور در کنار نیروهای ایرانی و شرکت در مجالس دعا و نیایش آنان، مشوق رزمندگان بود.[