特別徴収は手間がかかりそう。従業員も少なく、事務をする余裕もないのですが。

従業員の居住市町村ごとに税額を振り込む必要はありますが、所得税と違い、税額計算は市町村で行い、従業員ごとに税額を通知します。また、金融機関によっては住民税特別徴収代行サービスを提供している場合もあり、金融機関の窓口まで出向くことなく納付ができます。
また、従業員が常時10人未満の事業所については、申請により年12回の納期を2回にまとめて納付することもできます。

※サービスの有無および詳細については、お取引先の金融機関などにお問い合わせください。