일본 총무성은 생성형 인공지능(AI)의 ‘신뢰성’을 평가하는 기반 시스템을 개발할 방침을 굳혔다.

AI가 차별 표현이나 편향된 대답을 하지 않았는지, 복수의 평가용 AI로 확인한다는 것이다. 평가 결과는 지표 등의 형태로 발표하고, 이용자가 어떤 생성 AI를 사용할지를 결정할 때 참고해 줄 계획이다.

내년 봄에도 총무성 소관의 ‘국립연구개발법인·정보통신연구기구(NICT’)에서 개발을 시작, 2026년도 중 시작 모델 제공을 목표로 한다고 요미우리가 15일 보도했다.

복수의 AI가 다양한 질문을 자동으로 생성하여 평가 대상인 AI에 응답을 구하여, 그 내용을 확인하고, 인간에 의한 정기 감사를 실시하며, 평가용 AI가 올바르게 기능하고 있는지를 점검한다.

총무성은, 생성 AI의 회답을 평가하는 기준으로서 (1) 차별적인 표현이나 사생활침해(Privacy) 정보가 없는가 (2) 범죄로 이어지는 내용이 없는가 (3) 잘못된 정보나 근거가 부족한 것이 없는가 (4) 균형(Balance) 잡힌 내용인가 (5) 일본의 문화에 충실한 내용인가 (6) 사람을 속이고 있지 않은가 (7) 미지의 리스크에 대응할 수 있는가 등 7가지를 상정하고 있다.

평가 기준은 향후 일본의 주도로 선진 7개국(G7)이 합의한 국제규칙 ‘히로시마 AI 프로세스’ 등을 바탕으로 사회학자와 법학자들이 참여하는 회의에서 상세를 검토한다.

일본 국내에서는 중국과 미국 등 해외제품의 AI의 이용이 확산되고 있다. 다만 중국제 AI가 영토 문제 등으로 자국의 주장을 회답하는 사례가 있는 것 외에 영어 데이터를 많이 배우고 있는 AI는 구미의 가치관에 기반한 응답을 내는 경향이 있다는 지적도 있다.

이를 위해 총무성은 일본 기준으로 '신뢰할 수 있는 AI'를 나타내며, 기업과 행정기관이 우선적으로 이용하도록 촉구할 필요가 있다고 판단했다.

장래, AI의 안전성 확보를 담당하는 정부계 기관 “AI 세이프티 인스티튜트”(AI Safety Institute)의 평가 시스템으로서 활용하는 것도 상정하고 있다고 한다.

또, AI를 평가하는 가운데, 일본 기업이 개발한 AI의 문제가 부각되면, NICT가 보강 데이터를 생성해 ‘개발원’에게 제공해 개발을 뒷받침하는 것 등도 검토한다는 방침이다.