피해자—‘위안부’에 대한 이해가 불충분했던 것과 마찬가지로, 가해자— ‘일본군’ 및 ‘일본 국가’에 대한 이해도 충분하지 않았다. 일본의 지원자들은 위안부 문제의 책임자로 ‘군’이나 ‘제국 일본’의 정점에 존재하는 존재로서의 ‘천황’만을 지목했고, 위안부 문제를 ‘파시즘’에 의한 일본 특유의 ‘특수범죄’로만 간주해왔다. 2000년의 도쿄 여성국제전범법정은 그런 문제의 식을 바탕으로 이루어진 것이었다.
물론 ‘위안부’ 문제는 분명 ‘일본만의 특수한’ 문제인 측면도 있다. 하지만 그 특수성은 우선은 국가와 군대가 공통적으로 갖는 문제를 먼저 보면서 찾아야 하는 부분이었다. 일본에서 위안부 이용이 제도적으로 실시된 이유(제도적으로 실시되었을 뿐 ‘제도’였다고 하기는 어렵다)는 군국주의나 파시즘보다도 일본이 일찍부터 ‘유곽’이라는 공창제도를 가지고 있었다는 데서 찾아야 한다. 말하자면 군이 쉽게 ‘이동’하는 ‘위안소’를 발상했던 것은 근세 이후의 ‘유곽’의 전통, 즉 성매매를 ‘공적’으로 허용하는 인식의 영향으로 보아야 한다. 다시 말해 ‘위안부’ 제도는 근대 이후의 정치적인 면이 아니라 근세 이후 일본의 문화적 전통과 근대 이후의 여성들의 생계형 ‘이동’에서 그 원인을 찾았어야 했다. 거기에 국민동원이 가능해진 근대 국민국가가 ‘제국’〓세력확장의 욕망을 가지면서 더욱 노골적인 방식으로 ‘공인 이동 유곽’을 발상한 셈이다. 그 시스템에 ‘제국’ 내부의 사람들이 동원되었던 것은 그녀들이 조선인이었기 때문이라기보다는 그녀들이 ‘더 가난한 일본’, 즉 제국의 중심을 떠받쳐야 하는 ‘식민지’에 살고 있었기 때문이다.
물론 그러한 ‘국민동원’을 가능하게 만든 것은 말할 것도 없이 ‘국민총동원‘이라는 형태로 전 국민을 전쟁협력자로 만들었던 ‘일본’의 파시즘과 제국주의다. 하지만, ‘위안부’라는 존재 자체는 결코 일본만의 특수한 상황은 아니었다. 그런데도 운동은 ‘위안부’ 문제의 원인을 단순히 근대 이후의 일본 제국주의에서만 찾으려 했다. 그리고 그런 일본 이해가 ‘위안부’ 문제에 관한 한국의 이해와 맞물리면서 ‘일본’만의 특수한 ‘범죄’처럼 생각하도록 만들었던 것이다.
‘위안부’ ‘문제’를 한국에서는 최초로 제기했고 정대협 대표를 역임한 윤 정옥 교수는 2001년에 한국에서 간행된 증언집 『기억으로 다시 쓰는 역사』의 발간사에서, 일본을 “무武를 숭상하는 사무라이 문화의 나라”(5쪽)로 규정하고 그런 “문화가 잘못되면 폭력으로 치달을 수 있는 것은 기정사실”이라면서 “일본 남성들도 여성을 멸시하는 2중 여성관을 가지고 있었다”고 설명한다. 그리고 이어서 “이 세 가지 조건이 일본군으로 하여금 일본군 성노예 제도를 낳게 했다”고 단정하고, “문제는 해방 후 반세기가 지났는데도 반성의 기미조차 없는 일본의 교만이다. 그들은 1930년대부터 드러낸 군국주의•제국주의를 버리려는 생각이 전혀 없는 듯 보인다”(6쪽)고 말한다.
그에 더해 “일본은 전쟁 때와 비교해 하나도 변한 것이 없이 우월감에 빠져 있고, 돈이 군사력을 대신하고 돈이 폭력을 대신하고, 돈으로 속이며 피해자의 인권을 침해하고 있다”(6쪽)고 말한다. 여기에 이르면 일본의 지원자들도 수긍하기는 힘들 것이다.
그러나 이런 식의 일본관이 한국에서 대세를 이룰 때 일본의 지원자들은 그에 대한 이의제기를 하지 않았다. 이런 식의 일본관은 1990년대에 한국에서 유행했던 『일본은 없다』(전여옥, 일본어판은 『슬픈 일본인』, 다마たま출판, 1994)와 다름없는 이해였다. 전여옥은 일본의 여성이 유독 성에 관해 문란하다는 이미지를 만들어내기도 했는데, 한국의 운동이 ‘조선인 위안부는 처녀’, ‘일본인 위안부는 원래부터 창녀’라는 이미지에 집착했던 것은 이런 동시대적 일본관과도 무관하지 않을 것이다(한국어판은 1993년 말에 간행되어 베스트셀러가 되었다).
‘가해자’에 대한 정확한 인식의 부재는 한국이 위안부 문제 발생 이후로 사태를 정확하게 이해하는 것을 가로막았다. 그리고 그런 식의 가해자와 피해자에 대한 불충분한 이해와 그렇게 만드는 사회적 심리구조가 문제 해결을 어렵게 만든 첫번째 원인이었다.