Desa Kadakajaya berada di wilayah Kecamatan Tanjungsari bagian utara, tepatnya di sebelah barat daya wilayah Desa Cijambu sebagai ujung utara wilayah Kecamatan Tanjungsari. Wilayah Desa Kadakajaya ini memanjang dari barat laut di kawasan kaki Gunung Cijambu bagian barat dan selatan hingga ke arah tenggara yang berbatasan dengan wilayah Kecamatan Pamulihan. Namun demikian, untuk wilayah pemukimannya hanya menempati bagian tenggara dari keseluruhan wilayah desa tersebut. Kawasan pemukiman di Desa Kadakajaya menempati areal lereng Gunung Cijambu bagian tenggara, diapit wilayah Desa Cijambu di bagian timur laut dan wilayah Desa Genteng Kecamatan Sukasari di bagian barat daya.
Sejumlah pemukiman yang ada di wilayah Desa Kadakajaya diantaranya adalah:
- Kampung Parigi
- Kampung Cijambu
- Kampung Ciseureuh
- Kampung Pasirloa
- Kampung Pasirloa Hilir dan
- Kampung Karangsambung
