عمل الزنداني مدرسا في جامعة عدن بين عامي 1978 و1981، قبل أن يلتحق بالسلك الدبلوماسي ويتدرج في عدد من المناصب داخل البلاد وخارجها.
شغل منصب وزير مفوض وقائم بأعمال السفارة اليمنية في العاصمة العراقية
بغداد بين عامي 1981 و1982، ثم كان نائب وزير الخارجية في اليمن الجنوبي (وعاصمته آنذاك
عدن) بين عامي 1986 و1990، ثم نائب وزير الخارجية (برتبة وزير) بين 1990 و1991.
كما مثّل الزنداني اليمن في عدد من عواصم العالم، فكان سفيرا فوق العادة ومفوضا لدى
المملكة المتحدة وشمال إيرلندا (1991-1994)، وسفيرا ومستشارا للوفد الدائم لليمن لدى الأمم المتحدة في جنيف (1994-1997)، وسفيرا فوق العادة ومفوضا لدى إيطاليا، وسفيرا غير مقيم لدى اليونان
وصربيا وألبانيا وسان مارينو (2005-2010).
وكان أيضا مندوبا دائما للجمهورية اليمنية لدى منظمة الأغذية والزراعة (
الفاو) التابعة للأمم المتحدة بين عامي 2008 و2010.
وشغل كذلك منصب سفير فوق العادة ومفوض لدى
المملكة الأردنية الهاشمية بين عامي 2010 و2015، ثم سفيرا فوق العادة ومفوضا لدى المملكة العربية السعودية ومندوب اليمن الدائم لدى منظمة التعاون الإسلامي بين عامي 2017 و2024.
وفي 27 مارس/آذار 2024، عيّنه رئيس
مجلس القيادة الرئاسي رشاد العليمي وزيرا للخارجية وشؤون المغتربين، خلفا لأحمد عوض بن مبارك الذي عُين رئيسا لمجلس الوزراء.