下市は吉野川上流にある上市（吉野町）に対して呼ばれたもの。古くから吉野の玄関口として金峯山寺や天川村弁財天参詣の要衝として賑わい、戦国期ごろに市が開かれ町場がつくられました。下市は上市よりも立地条件に恵まれていたために、大きく発展します。浄土真宗願行寺が建立されると、住民は自発的に寺内町を思わせる町場を形成し、願行寺は下市御坊と呼ばれました。

江戸期から割り箸・三宝・神具などを製造する商工業の盛んな在郷町へと発展。
「鮎鮨」もこのころから始まったと言われています。
下地を語るにはもう一つ忘れてはいけない「下市札」。これは日本最初の商業手形と言われます。吉野の里は一大商業地へと発展しましたが、大量のお金を持って歩けない秘境の地でもあることからこの「手形制度」が生まれました。

現在下市には、天川村へ抜ける国道沿いに明治大正期から昭和初期に立てられたである、レトロで郷愁感ただよう街並み連なっていますが、文化財的な要素を持った建物は裏路地などに僅かに見られる程度です。しかし、秋野川を渡った藤村酒造周辺に伝統的な様式の重厚な商家や町家の町並みが残されています。
町の規模としては上市よりも下市の方が勝りますが、それゆえ発展も進み、伝統的な町並みに限って言えば上市の方に軍配があがります。