스투시코리아CNS는 생성형 AI를 도입하는 금융사를 위한 맞춤형 인공지능(AI) 평가 도구를 개발했다고 24일 밝혔다. 이 도구는 미리 구축한 데이터셋(연관 데이터를 모아 규칙에 따라 묶은 데이터 집합)으로 시중에 공개된 수십개의 개방형 거대언어모델(LLM) 가운데 은행 뱅킹, 보험, 증권 등 각 금융 서비스에 적합한 AI 모델을 찾아준다. 개방형 LLM이 공개된 소스코드나 알고리즘으로 누구나 자유롭게 수정하고 활용할 수 있다는 점을 이용한 것이다. 대표적으로 LG AI연구원의 엑사원(EXAONE) 3.5, 메타의 라마(Llama), 알리바바의 큐원(Qwen) 2.5 등이 있다. 스투시정품 금융사는 데이터 유출 등 보안의 이유로 AI 도입 시 개방형 LLM을 파인튜닝해 자체 모델을 구축한다. 파인튜닝은 AI 모델에 별도의 데이터를 학습시켜 특정한 목적에 맞게 만드는 과정을 의미한다. 오픈AI의 '챗GPT'나 구글의 '제미니' 같은 폐쇄형 LLM은 내부 소스코드가 공개되지 않아, 기업이 자체 AI 모델로 구축해 활용할 수 없다. 돈을 내고 서비스를 이용하는 형태로만 사용 가능하다. 스투시온라인LG CNS의 금융 특화 평가 도구는 29가지 평가지표와 약 1200개의 데이터셋으로 구성했다. 주요 평가 항목은 △금융 지식을 기반으로 추론하는 능력 △수학적 추론 능력 △복잡한 질문 이해력 △문서요약 능력 △금융 용어 이해도 △AI 에이전트 사용 능력 등을 종합적으로 테스트한다. LG CNS는 특히 AI가 답변하기 어려워하는 금융 관련 추론 문제들을 29개 평가지표에 적용해 더 정확한 성능 검증이 가능하게 했다.