現在日本實行的地方行政區劃制度，是隨著明治政府於1871年實施的廢藩置縣政策而建立的。日本的行政區劃單位，一般分為都道府縣（廣域的地方公共團體）以及市町村（基礎的地方公共團體）兩級。
全國分為47個一級行政區：一都（東京都）、一道（北海道）、二府（大阪府、京都府）、四十三縣，其下再設立市、町、村。
部分偏遠地區、離島地區設立都道府縣的行政派出機關「支廳」，近年來多改制並更名為「縣民局」、「振興局」等。
與市同級的「郡」，1920年代開始虛級化，目前仍具備地址表記、廣域行政圈範圍、都道府縣議會選舉劃分等功能。
為因應大都市的產生，1956年創設政令指定都市制度，將一些原屬都道府縣的事務移讓給政令市。政令市之下設立「區」（行政區，不具法人格），地址表記可省略縣名。2010年時全國總共有19個政令市。另外亦有人口數較少一點的中核市、特例市。
此外，東京都設有特別區（特別地方公共團體）。與「政令市」的行政權限類似，唯為確保大都市的行政一體性，如上下水道、消防等事務，仍由「都」負責。
日本現行的地方行政區劃架構：
- 都、道、府、縣
- 支廳（部分地區設立）
- 郡（虛級）、市（以及政令指定都市、中核市、特例市）、特別區
- 町、村、區（政令指定都市的區）