대부분의 Agentforce 잘못된 답은 텍스트를 생성하는 모델이 아니라 에이전트가 검색하는 데이터로 거슬러 올라갑니다. Agentforce 에이전트는 여러분의 Salesforce 레코드를 읽고, 발견한 것에 응답을 근거하며, 그것을 바탕으로 작업을 수행합니다. 그래서 기반이 되는 레코드가 불완전하거나, 불일관하거나, 오래되었거나, 중복되면, 에이전트는 나쁜 데이터를 정확히 검색한 결과로 부정확한 응답을 생성합니다.
이것은 문제 해결 가이드입니다. 각 섹션은 여러분이 관찰할 수 있는 실패 증상을 그것을 일으키는 데이터 문제, 그것을 진단하는 DQS 메트릭, 그리고 그것을 고치는 해결 단계에 매핑합니다. 디버깅이 아니라 배포를 계획하고 있다면, Agentforce 데이터 품질 가이드와 데이터 준비도 체크리스트부터 시작하십시오.
Agentforce는 애초에 왜 잘못된 답을 줍니까?
에이전트는 진공 상태에서 사실을 지어내지 않습니다. 요청과 일치하는 레코드를 검색하고, 자신이 접근 권한을 가진 필드를 읽고, 그 맥락에서 응답을 조립합니다. 모델은 일관됩니다. 그 밑에 있는 데이터가 그렇지 않습니다.
할루시네이션처럼 보이는 것은 흔히 에이전트가 여러분의 레코드가 말하는 것을 충실하게 보고하는 것입니다. 비어 있는 필드는 에이전트에게 근거할 것을 주지 않습니다. 같은 국가의 네 가지 표기는 에이전트에게 네 가지 답을 줍니다. 중복 레코드는 진실의 두 번째 버전을 줍니다. 데이터를 고치면 이러한 실패의 대부분이 에이전트 구성을 건드리지 않고도 사라집니다.
이 패턴은 산업 전체에 퍼져 있으며 특정 조직에만 한정되지 않습니다. Gartner는 2024년에 생성형 AI 프로젝트의 최소 30%가 2025년 말까지 개념 증명 후 포기될 것이라고 예측했으며, 부실한 데이터 품질을 주요 원인으로 지목했습니다. Salesforce의 State of Data and Analytics 연구에 따르면, 데이터 및 분석 리더들은 자신의 데이터 중 26%을 신뢰할 수 없다고 평가했습니다. 대략적으로 네 레코드 중 하나가 그 위에 구축된 모든 에이전트에 잘못된 맥락을 공급합니다.
아래 여섯 가지 실패 양상은 여러분이 Salesforce에서 측정하고 교정할 수 있는 데이터 근본 원인을 다룹니다.
Agentforce 응답이 모호하거나 일반적인 이유는 무엇입니까?
증상. 에이전트가 구체적인 질문에 일반적인 답변으로 답합니다. 사용자가 Case가 왜 에스컬레이션되었는지 묻는데 실제 이유 대신 “문제가 검토되어 처리되었습니다”를 받습니다.
근본 원인. 불완전한 레코드. 에이전트가 비어 있는 Description, Comments, Resolution 필드를 가진 Case를 검색하면, 구체적인 답변을 근거할 맥락이 없습니다. 읽을 구체적인 것이 없기 때문에 모호한 요약으로 되돌아갑니다.
진단. 완전성 비율을 필드별로 분해하면, 에이전트 범위의 레코드 중 얼마나 많은 수가 맥락에 필요한 필드를 누락하고 있는지 보여줍니다. 비어 있는 필드가 에이전트가 읽는 필드라면 높은 전체 점수가 문제를 가립니다. Description, Notes, Comments, Resolution에 대한 완전성을 구체적으로 확인하십시오.
해결책. 에이전트가 응답에 사용하는 필드의 완전성을 높이십시오. 신뢰할 수 있는 소스에서 백필하고, 핵심 필드를 입력 시 필수로 만들고, 스캔을 다시 실행하여 확인하십시오. 필드 수준 진단 흐름은 완전성을 참조하십시오.
Agentforce가 대화 간에 자기모순을 일으키는 이유는 무엇입니까?
증상. 같은 질문이 다른 세션에서 다른 답을 반환하거나, 두 사용자가 동일한 계정에 대해 상충하는 사실을 받습니다.
근본 원인. 불일관한 값과 중복 레코드. Country 필드가 “US”, “USA”, “United States”, “U.S.A.“를 담고 있으면, 에이전트는 이를 네 개의 별개 값으로 취급하고 어떤 것을 검색했는지에 따라 답변을 세분화합니다. 두 Account 레코드가 동일한 회사를 다른 데이터로 기술하면, 에이전트는 먼저 찾은 것에서 답합니다.
진단. 적합률은 얼마나 많은 값이 표준 집합과 일치하는지 측정하므로, 낮은 비율은 파편화된 선택 목록 및 참조 필드를 드러냅니다. 중복 비율은 얼마나 많은 레코드가 다른 레코드의 중복인지 측정하며, 이것이 이 실패의 나머지 절반입니다. 에이전트가 읽는 오브젝트 전반에 걸쳐 둘 다 실행하십시오.
해결책. 값을 통제된 집합으로 표준화하고 중복을 병합하십시오. Definition Builder에서 필드에서 가져오기(Import from Field)를 사용하여 데이터에 이미 존재하는 변형을 발견하고, 표준 값을 정의한 다음 정규화하십시오. 그런 다음 중복 레코드를 병합하고 새 중복을 차단하도록 매칭 규칙을 구성하십시오. 일관성과 고유성을 참조하십시오.
Agentforce가 오래된 정보를 반환하는 이유는 무엇입니까?
증상. 에이전트가 종료된 거래를 진행 중으로 보고하거나, 1년 전 회사를 떠난 연락처의 이름을 대거나, 대체된 레코드에서 가격을 인용합니다.
근본 원인. 오래된 레코드. 에이전트에는 “오래됨”이라는 개념이 없습니다. 데이터가 마지막으로 수정된 시점과 무관하게 내용 일치로 가장 관련성 높은 레코드를 읽습니다. 사실이 바뀐 이후로 업데이트되지 않은 레코드는 에이전트에게 구식 맥락을 공급합니다.
진단. 적시성 비율은 LastModifiedDate나 비즈니스 날짜와 같은 날짜 필드에 대해 여러분이 정의한 최신성 기준 안에 얼마나 많은 레코드가 들어가는지 측정합니다. 에이전트의 오브젝트에서 적시성 비율이 하락한다는 것은 에이전트가 점점 더 오래된 사실을 노출할 가능성이 높다는 것을 의미합니다. 적시성을 참조하십시오.
해결책. 최신성 기준을 넘긴 레코드에 플래그를 지정하고 재참여 또는 보관 워크플로로 라우팅하십시오. 더 이상 답변에 정보를 제공해서는 안 되는 레코드를 보관하거나 제외하여, 에이전트가 그것을 검색하지 않게 하십시오. 진부화가 계속 가시화되도록 적시성 스캔이 반복되도록 예약하십시오.
Agentforce가 노출해서는 안 되는 민감한 데이터를 노출하는 이유는 무엇입니까?
증상. 생성된 응답에 주민등록번호, 신용카드 번호, 또는 에이전트 출력에 나타날 이유가 없는 다른 PII가 포함됩니다.
근본 원인. 자유 텍스트 필드에 있는 PII. 이메일-투-케이스, 채팅 기록, 수동 노트가 개인 데이터를 Description과 Comments 필드에 캡처합니다. 에이전트가 그러한 레코드 중 하나를 검색하면 PII가 AI 맥락에 들어가 응답에 나타날 수 있습니다.
진단. PII 노출 비율은 범위 내 얼마나 많은 레코드가 텍스트 필드 전반에 걸쳐 탐지 가능한 PII를 포함하는지 측정합니다. PII로 명명된 필드가 아니라 에이전트가 읽을 수 있는 모든 텍스트 필드를 스캔하십시오. 노출은 범용 comment 및 description 필드에 숨어 있기 때문입니다. PII 탐지를 참조하십시오.
해결책. PII 스캔으로 결과를 식별한 다음, 확인된 일치 항목을 마스킹, 삭제, 또는 제한하십시오. 일치하는 패턴이 예상되고 정당한 필드에 대해서는 필드별 패턴 재정의를 구성하여 실제 노출에 대해서만 조치하십시오. 스캔을 다시 실행하여 검증하고, 배포 전에 PII 컴플라이언스 가이드를 검토하십시오.
Agentforce가 올바른 레코드를 찾지 못하는 이유는 무엇입니까?
증상. 에이전트가 존재하는 고객을 찾을 수 없다고 보고하거나, 전혀 다른 레코드를 검색합니다. 사용자가 이메일로 검색하는데 에이전트가 아무것도 반환하지 않습니다.
근본 원인. 유효하지 않은 형식과 검색 불가능한 값. “john [at] company dot com”으로 저장된 이메일, 일관되지 않은 구두점이 있는 전화번호, 잘못된 형식의 ID는 에이전트가 실행하는 조회와 일치하지 않습니다. 레코드는 거기 있지만 에이전트가 그것을 해결할 수 없습니다.
진단. 유효성 비율은 이메일, 전화번호, 식별자와 같은 구조화된 필드에 대해 여러분이 정의한 형식 규칙을 얼마나 많은 값이 통과하는지 측정합니다. 핵심 조회 필드에서 낮은 유효성 비율은 검색 실패를 예측합니다. 유효성을 참조하십시오.
해결책. 에이전트가 검색하는 필드의 잘못된 형식 값을 대량 수정한 다음, 새 레코드에 형식을 강제하는 검증 규칙(Validation Rule)을 추가하십시오. 형식 오류가 단순히 응답을 저하시키는 것이 아니라 검색을 완전히 깨뜨리는, 조회와 매칭을 좌우하는 필드에 집중하십시오.
Agentforce 답변이 시간이 지나면서 나빠지는 이유는 무엇입니까?
증상. 에이전트가 출시 때는 잘 작동했는데 몇 주에 걸쳐 저하됩니다. 깨끗한 배포 후 모호한 답변, 모순, 오래된 사실이 다시 나타납니다.
근본 원인. 모니터링 없는 데이터 품질 회귀. 출시 전에 정리한 레코드는 사용자가 새 데이터를 입력하고, 연동이 새 레코드를 쓰고, 에이전트 자신이 필드를 업데이트함에 따라 부패합니다. 일회성 정리는 스냅숏이며, 그 스냅숏은 낡아 갑니다.
진단. 단일 메트릭으로는 회귀를 잡을 수 없습니다. 추세로 잡습니다. 여섯 차원 모두에 걸쳐 반복 스캔을 예약하고 각 비율을 시간에 따른 선으로 지켜보아, 새 연동이나 프로세스 변경이 나쁜 데이터를 유입시킨 지 며칠 안에 하락이 드러나게 하십시오. 결과 이해하기를 참조하십시오.
해결책. 에이전트 범위의 오브젝트에 예약된 반복 스캔을 구성하고 Insight Studio에서 메트릭 추세를 추적하십시오. 위험에 따라 주기를 설정하십시오. 대량 텍스트 필드에는 주간 PII 스캔, 월간 완전성 및 일관성, 분기별 전체 스캔입니다. 회귀가 답변에 도달하기 전에 대시보드에서 포착하십시오.
증상-해결 참조표
| 증상 | 근본 원인 | DQS 메트릭 | 해결책 |
|---|---|---|---|
| 모호하거나 일반적인 응답 | 불완전한 레코드 (비어 있는 Description, Notes) | 완전성 비율 | 맥락 필드 백필; 입력 시 필수로 지정 |
| 대화 간 모순적인 답변 | 불일관한 값과 중복 레코드 | 적합률, 중복 비율 | 값 표준화; 중복 병합; 매칭 규칙 추가 |
| 오래된 정보 | 오래된 레코드 | 적시성 비율 | 최신성 기준을 넘긴 레코드에 플래그 지정 및 보관 |
| 민감한 데이터 노출 | 자유 텍스트 필드의 PII | PII 노출 비율 | 텍스트 필드 스캔; 결과 마스킹, 삭제, 또는 제한 |
| 올바른 레코드를 찾지 못함 | 유효하지 않은 형식, 검색 불가능한 값 | 유효성 비율 | 형식 대량 수정; 조회 필드에 검증 규칙 추가 |
| 시간이 지나면서 답변 저하 | 데이터 품질 회귀, 모니터링 없음 | 여섯 가지 모두 (추세) | 반복 스캔 예약; Insight Studio에서 추세 추적 |
이 진단을 실행하는 방법
에이전트가 읽는 모든 오브젝트에 대해 DQS 스캔을 실행하고 여섯 메트릭을 함께 검토하십시오. 스캔은 전적으로 Salesforce 내부에서 실행되므로 어떤 데이터도 조직 밖으로 나가지 않습니다. 각 약한 메트릭을 위 표의 증상에 맞추고, 우선순위 순서대로 해결하고, 수정이 유지되도록 스캔이 반복되도록 예약하십시오. 전체 준비 워크플로는 Agentforce를 위한 데이터 정리 가이드를 참조하십시오.
다음 단계
- Agentforce 데이터 품질: 전체 준비 가이드와 일정
- Agentforce 데이터 준비도 체크리스트: 배포 전 검증
- Agentforce를 위한 Salesforce 데이터 정리: 해결 워크플로
- Agentforce 데이터 품질 FAQ: 흔한 질문에 대한 답변
- 다섯 가지 차원: 모든 데이터 품질 차원의 개요
- AI 준비 평가: 현재 준비도 점수 확인