对于外国人，日本社会还有根深蒂固的歧视和偏见。即便是去年刚举办过奥运会、竭力展示其开放包容面目的东京，由于语言、文化、宗教和生活习惯等方面的差异，当地人对外国人的歧视和偏见也随处可见。
日本法务省2017年公布的一项对在日外国人的调查显示，在过去5年有求职或工作经历的外国人中，四分之一曾因外国人身份应聘遭拒，约20%工资低于干同样工作的日本人，超过10%劳动条件比日本人差。在过去5年有租房经历的外国人中，近40%曾因外国人身份而被拒绝入住。
现今日本还有理发店拒绝给外国人服务、小旅馆禁止外国人入住的情况发生。外国人遭受不合理待遇也已不是日本职场的“秘密”，他们即使做得再好也很难走上重要岗位。
联合国消除种族歧视委员会在2014年就日本国内缺乏专门的反歧视法律及日本社会中存在的种族歧视问题表示严重关切。2016年，该委员会再次指出日本存在严重的种族歧视问题：“自2003年以来，日本共发生360多次种族主义示威和演讲。部分极右翼团体和个人通过报纸、网络、电视和其他媒体散播仇恨言论，宣扬种族优越论……肆意贬低、骚扰和挑衅外国人……但日本当局并没有对他们的行为进行相应惩处，从而使问题越来越严重。” |
