男性のスーツは制服なのか

社会人がスーツではない服を会社に着て来ると、「あれ？今日、私服なんだ？」みたいな言い方をすることがあります。

スーツではない服を「私服」と呼ぶのは、「制服の反対語としての私服」という高校生の感覚です。しかし、スーツは決して制服ではないので、そのまま私服と呼ぶのは違和感があります。

とはいえ、何と言えばよいのか。
たしかに日本語で的確に「スーツではない服」を表現する言葉が見当たりません。

カタカタ語で言ってしまうと、「カジュアル」ということなのですが、これを日本語ではなんと訳せばいいのでしょうか？

普段着
というのは語弊があります。
普段着と言うと、スウェット上下、Ｔシャツ・短パン、みたいなだらしない服装までをイメージしてしまいますが、襟付きのシャツにチノパンぐらいの服装の場合に普段着と言ってしまうのも少し違うような感じがします。

とはいえ、
平服
とまで言ってしまうと、あまりカジュアルな感じがしません。
やはり「平服」は「礼服」に対する表現なので、やや大げさです。

何か程よく的確な表現はないものでしょうか。
認めたくはありませんが、もしかすると「私服」という表現がある程度いい具合なのではないか、という気もします。結局スーツは制服みたいなもんだしね・・・

家常服みたいな言葉を誰か作ってもらえないでしょうか。。