日本全國劃分為都、道、府以及縣，其下再設立市、町、村以及特別區，均為地方公共團體（地方自治團體），具備施行地方自治的公法人身分。都道府縣與町村之间尚有「郡」，在1920年代開始虛級化，雖然目前仍具備地址表記、廣域行政圈範圍、都道府縣議會選舉劃分等功能，但已不具備地方公共團體的功能。另外，部分偏遠地區、離島地區還會設立都道府縣的行政派出機關「支廳」，但在平成大合併後多改制並更名為「縣民局」、「振興局」等。

在都道府縣的數量上，目前都和道各有1個（東京都與北海道），府有2個（大阪府与京都府），縣有43個。

在市制度的演變方面，為因應大都市的產生，1956年創設政令指定都市制度（簡稱「政令市」），將一些原屬都道府縣的事務移讓給政令市。政令市之下劃設「區」（非地方公共團體），地址表記可省略縣名。截至2012年，日本全國總共有20個政令市。另外，也設置標準較低、不設「區」、但仍有較多自治權的中核市。在2000年至2015年，還設有自治權介於中核市與普通市之間的特例市；2015年後特例市法規廢除，原有的特例市可申請升格中核市，尚未申請的則仍保有過去特例市的權限並被稱為「施行時特例市」。

在更低層級，則有不屬於地方公共團體的兩個行政區劃等級。三級為町和大字，此町跟二級區劃市町村的町在法律上地位不同，並與大字合稱町字，為日本三級區劃的統稱。四級則有丁目、小字；大字小字通常設在較鄉村的地區。