번호가 달라도 같은 대상일까? 여러 기록을 하나의 실체로 연결하는 방법

같은 차량을 두 시스템이 관리하고 있는데 한쪽에서는 ‘V-72’, 다른 쪽에서는 ‘CAR-0184’라고 부른다고 해보자. 두 번호만 보면 서로 다른 차량이다. 반대로 두 시스템에 모두 ‘72’라는 번호가 있다고 해서 같은 차량이라고 단정할 수도 없다. 번호를 붙인 기관과 규칙이 다르면 우연히 같은 값이 생길 수 있기 때문이다.

앞선 글에서는 서로 다른 보고가 들어왔을 때 같은 대상·같은 시각·같은 기준을 비교하고 있는지 먼저 확인해야 한다고 살펴보았다. 마지막에는 서로 다른 센서와 시스템이 각자 붙인 번호를 어떻게 하나의 대상으로 연결할 것인지가 다음 문제로 남았다. 이번 글은 바로 그 지점에서 시작한다.

아래 사례는 원리를 설명하기 위해 만든 가상 사례다. 실제 군 체계의 식별 규칙이나 운용 절차를 옮긴 것이 아니다.

한줄 요약
서로 다른 기록을 하나의 대상으로 연결하려면 번호 하나가 아니라 식별자가 만들어진 범위와 여러 속성의 일치 정도를 함께 보아야 한다. 잘못 합치는 오류와 같은 대상을 놓치는 오류는 방향이 다르므로, 자동 매칭 결과를 언제 확정하고 언제 보류할지도 데이터 설계의 일부가 된다.

같은 번호가 같은 대상을 뜻하지 않을 때가 있다

회사 안에서 사번 1024는 한 사람을 가리킬 수 있다. 그 회사의 인사시스템이 사번을 중복 없이 부여하고 계속 관리한다면 사번은 매우 강한 식별자가 된다. 그런데 다른 회사에도 사번 1024가 있을 수 있다. 두 회사의 자료를 합치는 순간 ‘1024’라는 값만으로는 사람을 구분할 수 없다.

장비도 비슷하다. 부서 A의 장비번호 15와 부서 B의 장비번호 15는 각각의 관리 범위에서는 유일할 수 있지만 전체 조직에서까지 유일하다는 보장은 없다. 그래서 식별자를 볼 때는 값만 확인하지 않고 누가, 어느 범위에서, 어떤 규칙으로 부여했는지를 함께 알아야 한다.

반대 상황도 생긴다. 하나의 장비가 정비체계에서는 자산번호로, 운용체계에서는 별도의 운용번호로 관리될 수 있다. 번호는 다르지만 실제 대상은 하나다. 두 기록을 무조건 별개로 두면 정비 이력과 운용 상태가 갈라지고, 하나의 장비에 관한 정보를 한 번에 보기 어려워진다.

완전히 같은 값만 찾으면 놓치는 기록이 생긴다

공통으로 관리되는 신뢰할 만한 고유 식별자가 있다면 연결은 비교적 단순하다. 두 기록의 고유번호가 같으면 같은 대상으로 연결하는 방식이다. 영국 통계청(ONS)의 데이터 연결 자료도 공통의 고유 식별자를 이용한 연결을 가장 단순한 형태로 설명한다.

현실에서는 항상 그렇게 깔끔하지 않다. 이름에 띄어쓰기가 들어가거나 약칭을 사용하고, 주소가 이전되거나 입력 과정에서 한 글자가 틀릴 수 있다. 장비명도 제조사 표기와 현장 약칭이 다를 수 있다. ‘모든 항목이 완전히 같아야 한다’는 규칙은 잘못 연결할 가능성을 낮추는 대신 실제로 같은 대상을 놓칠 수 있다.

예를 들어 다음 두 기록을 보자.

항목	A 시스템	B 시스템	확인할 점
장비번호	EQ-184	184	접두어가 단순 표기 차이인지 확인
형식	X형	X형	같은 종류인지 확인
제조 일련번호	SN-80421	SN-80421	강한 일치 근거가 될 수 있음
관리부서	1팀	2팀	이관 이력이 있는지 확인

장비번호와 관리부서만 보면 서로 다른 대상으로 보일 수 있다. 그러나 제조 일련번호가 같고 실제 이관 기록까지 확인된다면 같은 장비일 가능성이 매우 높아진다. 반대로 일련번호가 다른데 형식과 관리부서만 같다면 섣불리 합치지 않는 편이 낫다. 어떤 항목이 얼마나 강한 식별 근거인지 업무마다 다르기 때문이다.

규칙으로 연결할 수도 있고 점수로 판단할 수도 있다

데이터 연결은 흔히 규칙 기반의 결정적 방식과 점수를 이용하는 확률적 방식으로 설명한다. 결정적 방식은 ‘제조 일련번호가 같고 장비 형식도 같으면 연결한다’처럼 미리 정한 조건을 적용한다. 조건이 명확해 설명하기 쉽고, 데이터가 잘 관리된 환경에서는 효과적이다.

확률적 방식은 각 항목의 일치와 불일치가 얼마나 의미 있는지 따져 후보 쌍에 점수를 부여한다. 흔한 값이 우연히 일치한 경우와 드문 값이 일치한 경우를 같은 무게로 보지 않을 수 있다. 이름·주소처럼 표기가 흔들리는 자료를 연결할 때 이런 접근이 쓰인다. ONS는 실제 연결 품질을 평가할 때 단순한 연결 비율만 보지 말고, 잘못 연결한 경우와 놓친 연결을 함께 살피도록 권고한다.

여기서 자동화의 목적을 ‘가능한 한 많이 합치는 것’으로 잡으면 위험해진다. 연결 건수가 늘었다고 연결 품질이 좋아졌다는 뜻은 아니다. 확신이 높은 후보는 자동 연결하고, 애매한 후보는 검토 대상으로 남기며, 근거가 부족한 후보는 연결하지 않는 식의 경계가 필요하다.

잘못 합치는 오류와 놓치는 오류는 같은 문제가 아니다

A와 B가 다른 대상인데 하나로 합쳤다면 거짓 양성(false positive)에 해당한다. 반대로 실제로 같은 대상인데 서로 다른 것으로 남겨 두었다면 거짓 음성(false negative)이 된다. 두 오류는 결과가 다르다.

정비 이력을 생각하면 차이가 더 분명하다. 서로 다른 장비 두 대를 하나로 합치면 한 장비의 고장 이력이 다른 장비에 붙을 수 있다. 같은 장비를 둘로 나누어 놓으면 과거 정비 이력 일부를 찾지 못할 수 있다. 어느 쪽이 더 위험한지는 업무 목적에 따라 달라진다.

그래서 매칭 기준을 정할 때는 ‘몇 퍼센트 이상이면 같은 대상’이라는 숫자부터 정하기보다 잘못 합쳤을 때와 놓쳤을 때 각각 어떤 일이 생기는지 먼저 확인하는 편이 낫다. 통계 분석용 자료, 고객 중복 정리, 장비 운용현황, 안전과 연결된 업무는 같은 오류 비용을 갖지 않는다.

또 하나 놓치기 쉬운 부분이 있다. 연결 알고리즘을 개선해도 입력 자료 자체가 부정확하면 한계가 남는다. 누락된 값이 많거나 갱신 시점이 서로 다르면 좋은 규칙도 판단 근거를 얻지 못한다. 데이터 연결은 매칭 기술만의 문제가 아니라 원자료 품질과 메타데이터 관리의 문제이기도 하다.

한번 합친 기록을 다시 분리할 수 있어야 한다

두 기록이 같은 대상이라고 판단했다고 해서 원본을 지우고 하나의 기록으로 덮어쓰는 방식만 있는 것은 아니다. 오히려 어떤 원본 기록들이 어떤 근거로 하나의 대상으로 연결되었는지 관계를 남겨 두는 편이 검증에 유리하다.

새로운 정보가 들어오면서 판단이 바뀔 수 있기 때문이다. 처음에는 장비번호와 형식, 위치가 모두 같아 같은 장비로 보였지만 나중에 서로 다른 제조 일련번호가 확인될 수 있다. 이전 연결의 근거와 변경 이력이 없다면 왜 합쳤는지 확인하기 어렵고, 잘못 연결된 이후의 데이터까지 찾아 되돌리기도 힘들어진다.

정보체계를 설계할 때는 현재의 ‘대표 식별자’만큼 연결의 근거와 이력도 중요하다. 자동화가 늘어날수록 이 부분은 더 중요해진다. 사람이 직접 두 화면을 비교하던 때에는 담당자가 애매함을 기억할 수 있었지만, 수많은 기록이 자동으로 결합되는 환경에서는 그 판단 자체가 데이터로 남아야 한다.

짧은 생각
정보통신과 지휘통제의 관점에서 보면 ‘하나의 대상’이라는 말은 생각보다 무겁다. 화면에서 두 점을 하나로 합치는 순간 이후의 보고와 이력도 그 판단을 따라갈 수 있기 때문이다. 빠르게 합치는 기능보다 어떤 근거로 연결했고, 틀렸을 때 어디까지 되돌릴 수 있는지가 더 중요한 순간이 있다.

여러 센서가 같은 이동체를 보고할 때 문제가 더 어려워진다

일반 업무의 데이터 연결에서는 이름, 주소, 일련번호처럼 비교적 오래 유지되는 속성을 사용할 수 있다. 이동하는 대상은 사정이 다르다. 위치와 속도는 계속 바뀌고, 센서마다 관측 시각과 오차가 다르다. 어떤 센서는 번호를 직접 읽을 수 있지만 다른 센서는 위치와 움직임만 관측할 수도 있다.

이때 ‘가까이 있으니 같은 대상’이라는 규칙만 사용하면 서로 스쳐 지나가는 두 대상을 잘못 합칠 수 있다. 반대로 관측이 잠시 끊겼다는 이유로 새로운 대상으로 만들면 하나의 이동 경로가 여러 조각으로 나뉜다. 데이터베이스에서 시작한 식별 문제가 센서 정보의 결합 단계에서는 시간과 공간, 관측 오차까지 포함하는 문제로 확장되는 셈이다.

지휘통제 정보체계에서 공통상황을 만들려면 결국 여러 보고가 무엇을 가리키는지 연결해야 한다. 다만 이 단계에서 필요한 것은 무조건 하나로 합치는 기능이 아니다. 같은 대상이라는 근거와 서로 다른 대상일 가능성을 함께 관리하고, 새로운 관측이 들어왔을 때 이전 판단을 다시 검토할 수 있어야 한다.

다음 글에서는 이 문제를 한 단계 더 움직여 볼 수 있다. 서로 다른 센서가 시간차를 두고 관측한 점들을 어떻게 하나의 이동 경로로 이어 붙일까. 데이터의 ‘같은 대상 찾기’가 시간의 흐름을 만나면 추적과 데이터 융합이라는 새로운 문제가 시작된다.

함께 읽으면 좋은 글

이번 글의 출발점이 된 ‘충돌하는 보고의 원출처와 비교 기준’은 앞선 글에서 이어서 볼 수 있다.

 

두 보고가 서로 다르다면? 데이터 품질과 원출처를 확인하는 방법

 

참고자료

• GOV.UK — Joined up data in government: the future of data linking methods: 데이터 연결·매칭·엔터티 해석의 기본 개념과 서로 다른 기록이 같은 대상을 가리키는지 판단하는 문제를 참고했다.
• Office for National Statistics — Data linkage and matching policy: 잘못 연결한 경우와 놓친 연결, 연결률과 품질의 차이, 입력 데이터 품질의 영향을 참고했다.
• Office for National Statistics — Developing standard tools for data linkage: 고유 식별자와 결정적·확률적 데이터 연결 방식의 설명을 참고했다.