현대 사회에서 데이터는 핵심입니다. 이제 모든 것이 데이터 기반이며, 모든 부문에서 혁신과 성장을 위해 데이터가 필요합니다.
기업은 수많은 데이터를 활용하여 업계 동향, 고객, 실적을 파악하고, 이를 통해 프로세스를 개선하고 더 나은 결과를 도출합니다.
하지만 상상할 수 없을 정도로 방대한 양의 정형 및 비정형 데이터에서 수많은 정보를 추출하여 기업의 성장을 위해 적용하는 것은 어려운 작업입니다.
바로 이 지점에서 데이터 마이닝이 등장하여 조직이 가치 있는 정보를 추출할 수 있게 해줍니다.
이러한 정보는 비즈니스 인텔리전스, 패턴 감지, 가능한 결과 예측, 문제 대응, 새로운 기회 식별에 매우 중요합니다.
이 모든 것을 가능하게 하기 위해 정보를 추출하는 데 사용할 수 있는 많은 데이터 마이닝 기법이 있으며, 그 중 일부는 다른 것보다 더 중요합니다.
그럼, 먼저 데이터 마이닝의 정의와 진화과정을 알아보고 데이터 마이닝 기법과 수행방법 및 각 산업분야별 주요 데이터 마이닝 사용 사례에 대해 살펴보겠습니다.
데이터 마이닝이란?
데이터 마이닝은 컴퓨터가 방대한 양의 데이터를 추출하고 구성하여 기업이 비즈니스 인텔리전스에 활용할 수 있는 패턴과 관계를 식별하는 기술입니다.
데이터 마이닝이란?
데이터 마이닝은 비정형 및 정형 데이터 풀에서 데이터와 가치 있는 정보 간의 모든 관계를 발견하는 데 도움이 되기 때문에 데이터의 지식 발견(Knowledge Discovery)라고도 합니다.
이 기술은 알고리즘을 활용하여 비즈니스 문제 해결에 도움이 될 수 있는 모든 기본 정보와 패턴을 추출합니다.
데이터 마이닝은 데이터 분석의 중요한 부분이지만 효과적인 웨어하우징, 적절한 컴퓨터 처리 및 정확한 데이터 수집에 의존합니다.
업계에는 많은 데이터 마이닝 기법이 있지만, 그 분석은 크게 두 가지 측면으로 요약됩니다:
분석된 데이터 집합을 설명하기 위해 데이터 마이닝 사용
결과를 예측하기 위해 머신 러닝 알고리즘과 함께 기법 사용
중소기업, 중견기업, 대기업 등 모든 조직은 데이터 마이닝을 통해 가치 있는 데이터를 확보할 수 있다는 이점을 누릴 수 있습니다.
이러한 데이터를 추가로 처리하고 분석하여 의미 있는 관찰을 하고, 미래의 결과를 예측하고, 의사 결정을 개선하고, 새로운 기회, 사용자 행동, 사기 및 보안 문제를 식별할 수 있습니다.
데이터 마이닝의 진화
데이터 마이닝은 새로운 기술처럼 보이지만, 그 뿌리가 1760년대로 거슬러 올라가는 오래된 기술이라는 사실을 알게 되면 놀랄 것입니다.
데이터 마이닝의 아이디어는 바이엘의 정리에 의해 처음 구현되었지만 도구가 부족하여 활용되지 못했습니다.
데이터 마이닝은 현대 기술과 강력한 컴퓨터의 등장으로 데이터 과학자들이 점점 더 많은 데이터에 활용할 수 있게 되면서 더욱 강력하고 효과적이 되었습니다.
1990년대와 2000년대에는 데이터 마이닝이 기업들 사이에서 탄력을 받기 시작했으며, 이러한 인기는 새로운 마이닝 기술의 발견을 촉진했습니다.
그러나 데이터 분석을 사용하여 팀 로스터를 작성하는 프로야구팀에 관한 머니볼의 기사는 데이터 마이닝을 업계에서 각광받게 했습니다.
처음에 데이터 마이닝은 표 형식의 데이터에서 정보를 추출하는 것이 전부였습니다. 그러나 더 많은 인사이트에 대한 수요가 증가하고 기술이 발전함에 따라 텍스트 마이닝, 이미지 마이닝, 그래프 마이닝도 데이터 마이닝 시스템의 일부가 되었습니다.
오늘날 데이터 마이닝은 다양한 분야에 적용되며 기업의 의사 결정과 시장 분석에 중요한 역할을 합니다.
데이터 마이닝 기법
기업이 원시 데이터를 실행 가능한 인사이트로 전환하는 데 사용할 수 있는 데이터 마이닝 기법은 많습니다. 이러한 기술은 고급 AI부터 데이터 투자의 가치를 극대화하는 데 필수적인 데이터 준비의 기본에 이르기까지 다양합니다.
1) 패턴 추적
패턴 추적은 데이터 마이닝의 기본 기술입니다. 데이터의 추세 또는 패턴을 식별하고 모니터링하여 비즈니스 결과에 대한 지능적인 추론을 하는 것입니다. 예를 들어, 조직에서 판매 데이터의 추세를 파악하면 해당 정보를 활용하기 위한 조치를 취할 수 있는 근거를 갖게 됩니다. 특정 제품이 특정 인구 통계에서 다른 제품보다 더 잘 팔린다고 판단되면, 조직은 이 지식을 사용하여 유사한 제품이나 서비스를 만들거나 해당 인구 통계에 더 적합한 기존 제품을 재고로 확보할 수 있습니다.
2) 데이터 정리 및 준비
데이터 정리 및 준비는 데이터 마이닝 프로세스의 필수적인 부분입니다. 원시 데이터는 다양한 분석 방법에 유용하도록 정리하고 형식을 지정해야 합니다. 데이터 정리 및 준비에는 데이터 모델링, 변환, 마이그레이션, 통합 및 집계와 같은 다양한 요소가 포함됩니다. 데이터의 기본 특성과 속성을 이해하여 최적의 사용을 결정하기 위해 반드시 필요한 단계입니다.
3) 분류
분류 기반 데이터 마이닝 기법에는 다양한 유형의 데이터와 관련된 다양한 속성을 분석하는 것이 포함됩니다. 조직이 이러한 데이터 유형의 주요 특성을 파악한 후에는 해당 데이터를 분류하거나 분류할 수 있습니다. 이는 예를 들어 조직이 기록에서 보호하거나 삭제하고자 하는 개인 식별 정보를 식별하는 데 필수적입니다.
4) 이상값 탐지
이상값 탐지는 데이터 세트에서 이상값을 식별합니다. 조직에서 데이터에서 이상값을 발견하면 이러한 이상값이 발생하는 이유를 더 쉽게 이해하고 향후에 발생할 수 있는 이상값에 대비하여 비즈니스 목표를 더 잘 달성할 수 있습니다. 예를 들어, 특정 시간대에 신용카드 거래 시스템 사용이 급증하는 경우, 조직은 이 정보를 활용하여 급증의 원인을 파악하고 나머지 시간대의 판매를 최적화할 수 있습니다.
5) 연관성
연관성은 통계와 관련된 데이터 마이닝 기법입니다. 특정 데이터가 다른 데이터 또는 데이터 기반 이벤트와 연관되어 있음을 나타냅니다. 이는 하나의 데이터 기반 이벤트의 확률을 다른 데이터 기반 이벤트의 존재로 나타내는 머신 러닝의 동시 발생 개념과 유사합니다. 즉, 데이터 분석을 통해 두 데이터 이벤트 사이에 관계가 있음을 알 수 있습니다. 예를 들어 햄버거를 구매할 때 칩을 함께 구매하는 경우가 많다는 사실을 알 수 있습니다.
6) 클러스터링
클러스터링은 데이터를 이해하기 위해 시각적 접근 방식에 의존하는 분석 기법입니다. 클러스터링 메커니즘은 그래프를 사용하여 다양한 유형의 메트릭과 관련하여 데이터 분포가 어디에 있는지 보여줍니다. 클러스터링 기법은 또한 다양한 색상을 사용하여 데이터의 분포를 표시합니다. 그래픽 접근 방식은 클러스터 분석을 사용하는 데 이상적입니다. 특히 그래프와 클러스터링을 통해 사용자는 데이터가 어떻게 분포되어 있는지 시각적으로 확인하여 비즈니스 목표와 관련된 추세를 파악할 수 있습니다.
7) 회귀
회귀 기법은 데이터 집합의 변수 간 관계의 특성을 파악하는 데 유용합니다. 이러한 관계는 경우에 따라 인과 관계일 수도 있고, 단순히 상관 관계일 수도 있습니다. 회귀는 변수 간의 관계를 명확하게 드러내는 간단한 화이트박스 기법입니다. 회귀 기법은 예측 및 데이터 모델링의 일부 측면에서 사용됩니다.
8) 순차적 패턴
이 데이터 마이닝 기법은 순서대로 발생하는 일련의 이벤트를 찾는 데 중점을 둡니다. 트랜잭션 데이터 마이닝에 특히 유용합니다. 예를 들어, 이 기법을 사용하면 고객이 신발 한 켤레를 처음 구매한 후 어떤 의류 품목을 구매할 가능성이 가장 높은지 파악할 수 있습니다. 순차적 패턴을 이해하면 조직이 고객에게 추가 품목을 추천하여 판매를 촉진하는 데 도움이 될 수 있습니다.
9) 예측
예측은 데이터 마이닝의 매우 강력한 측면이며 분석의 네 가지 분야 중 하나입니다. 예측 분석은 현재 또는 과거 데이터에서 발견한 패턴을 사용하여 미래로 확장합니다. 이러한 방식으로 조직은 향후 데이터에서 발생할 추세에 대한 인사이트를 얻을 수 있습니다. 예측 분석을 사용하는 데는 여러 가지 접근 방식이 있습니다. 일부 고급 접근 방식에는 머신 러닝과 인공 지능이 포함됩니다. 그러나 예측 분석이 반드시 이러한 기술에 의존하는 것은 아니며, 더 간단한 알고리즘을 통해서도 예측 분석을 촉진할 수 있습니다.
10) 의사 결정 트리
의사 결정 트리는 조직이 데이터를 효율적으로 추출할 수 있도록 하는 특정 유형의 예측 모델입니다. 엄밀히 말하면 의사 결정 트리는 머신 러닝의 일부이지만, 매우 단순한 특성 때문에 ‘화이트박스’ 머신 러닝 기법으로 더 잘 알려져 있습니다.
데이터 마이닝 수행 방법
데이터 마이닝은 여러 단계가 포함된 대화형 프로세스입니다.
#1. 목표 정의
데이터 마이닝 프로세스를 시작하기 위해 데이터 과학자, 분석가 및 비즈니스 이해관계자는 데이터 마이닝에 대한 조직의 주요 목표를 이해하는 데 시간을 할애합니다. 고유한 목표와 요구 사항에 따라 데이터 마이닝을 수행하기에 적합한 방법을 선택합니다.
#2. 필요한 데이터 수집
목표가 정의되면 데이터 과학자는 목표와 관련된 필요한 데이터 집합을 수집해야 합니다. 관련 데이터는 다양한 소스에서 수집한 다음 데이터 웨어하우스에 저장됩니다.
#3. 데이터 준비
이 단계에서는 저장된 데이터를 정리하고 정리하여 불필요한 노이즈가 없도록 합니다. 이 단계는 세 단계로 구성되며 시간이 많이 소요됩니다.
관련 데이터를 추출하고 변환합니다.
중복 제거, 누락된 값 업데이트, 이상값 스크러빙, 합리성 검사 등을 통해 데이터를 정리합니다.
정리된 데이터는 중앙 데이터베이스에 로드됩니다.
#4. 모델 구축
이 단계에서는 데이터 과학자가 데이터 분석 유형에 따라 적절한 모델을 선택합니다. 데이터 과학자 팀은 상관관계, 추세, 순차적 패턴과 같은 데이터 관계를 분석한 다음 그에 따라 모델을 결정합니다.
이 단계에는 입력되는 데이터 유형에 따라 딥러닝 알고리즘, 예측 모델, 분류 모델이 포함될 수도 있습니다. 데이터 세트에 레이블이 지정되지 않은 경우 데이터 세트의 학습 포인트가 비교 대상이 될 수 있습니다.
#5. 변경 사항 평가
이 단계는 데이터가 집계된 후 모델의 결과를 평가하고 해석하는 프로세스의 중요한 단계입니다. 이 결과는 평가 프로세스를 위해 의사 결정자에게 제시될 수도 있습니다. 이 단계에서는 모델 결과가 정의된 목표와 일치하는지 확인합니다.
#6. 구현
마지막 단계로, 해당 정보가 조직에 도움이 되는지 여부를 검증하고 이해하는 단계입니다. 팀이 정보가 영향력이 있다고 판단하면 이를 사용하여 목표를 달성하고 새로운 전략을 수립합니다.
정보는 스프레드시트와 그래프 형태로 표시되며, 이를 저장하여 새로운 문제를 식별하는 데 사용합니다.
데이터 마이닝 사용 사례
데이터 마이닝의 예측 능력은 비즈니스 전략의 설계를 변화시켰습니다.
이제 현재를 이해하여 미래를 예측할 수 있습니다. 다음은 현재 다양한 산업 분야에서 사용되고 있는 데이터 마이닝 사례와 예시입니다.
1) 마케팅
데이터 마이닝은 점점 더 커지는 데이터베이스를 탐색하고 시장 세분화를 개선하는 데 사용됩니다. 고객의 연령, 성별, 취향 등과 같은 매개변수 간의 관계를 분석하여 고객의 행동을 추측하여 개인화된 충성도 캠페인을 진행할 수 있습니다.
또한 마케팅에서 데이터 마이닝은 어떤 사용자가 서비스 구독을 취소할 가능성이 높은지, 검색을 기반으로 관심사가 무엇인지, 응답률을 높이기 위해 메일링 리스트에 어떤 내용을 포함해야 하는지 예측할 수 있습니다.
2) 은행
은행은 시장 리스크를 더 잘 이해하기 위해 데이터 마이닝을 사용합니다.
데이터 마이닝은 일반적으로 신용 등급과 지능형 사기 방지 시스템에 적용되어 거래, 카드 거래, 구매 패턴 및 고객 금융 데이터를 분석합니다.
또한 은행은 데이터 마이닝을 통해 온라인 선호도나 습관을 파악하여 마케팅 캠페인의 수익을 최적화하고, 판매 채널의 성과를 연구하거나, 규제 준수 의무를 관리할 수 있습니다.
3) 교육
데이터 마이닝을 통해 교육자는 학생 데이터에 액세스하고, 성취 수준을 예측하고, 추가적인 관심이 필요한 학생 또는 학생 그룹을 찾을 수 있습니다. 예를 들어, 수학 과목에 취약한 학생을 찾아낼 수 있습니다.
4) 전자상거래
전자상거래 웹사이트는 데이터 마이닝을 사용하여 웹사이트를 통해 교차 판매 및 상향 판매를 제공합니다. 가장 유명한 예로는 데이터 마이닝 기법을 사용하여 더 많은 고객을 이커머스 스토어로 끌어들이는 아마존이 있습니다.
5) 소매업
데이터 마이닝은 고객이 가장 선호하는 상품이나 결제 대기열에서 매출을 높일 수 있는 상품을 파악합니다. 예를 들어, 슈퍼마켓은 공동 구매 패턴을 사용하여 제품 연관성을 파악하고 통로와 진열대에 제품을 배치하는 방법을 결정합니다.
6) 서비스 제공업체
휴대폰 및 유틸리티 업계와 같은 서비스 제공업체는 고객이 회사를 떠나는 이유를 예측하기 위해 데이터 마이닝을 사용합니다.
청구 세부 정보, 고객 서비스 상호 작용, 회사에 제기된 불만 사항을 분석하여 각 고객에게 확률 점수를 부여하고 인센티브를 제공합니다.
7) 의료
데이터 마이닝은 보다 정확한 진단을 가능하게 합니다. 의료 기록, 신체 검사, 치료 패턴 등 환자의 모든 정보를 파악하면 보다 효과적인 치료법을 처방할 수 있습니다.
또한 위험을 식별하고 특정 인구 집단의 질병을 예측하거나 병원 입원 기간을 예측하여 의료 자원을 보다 효과적이고 효율적이며 비용 효율적으로 관리할 수 있습니다.
의료 분야에서 데이터 마이닝을 사용하면 사기와 부정을 감지하고 환자의 요구 사항을 더 잘 파악하여 환자와의 유대 관계를 강화할 수 있는 것도 장점입니다.
8) TV 및 라디오
IPTV 및 라디오 시청자를 측정하기 위해 실시간 데이터 마이닝을 적용하는 네트워크가 있습니다. 이러한 시스템은 채널 보기, 방송 및 프로그램에서 익명의 정보를 즉시 수집하고 분석합니다.
데이터 마이닝을 통해 네트워크는 라디오 청취자와 TV 시청자에게 개인화된 추천을 제공할 수 있을 뿐만 아니라 실시간으로 관심사와 활동을 파악하고 이들의 행동을 더 잘 이해할 수 있습니다.
또한 네트워크는 이 데이터를 사용하여 잠재 고객을 보다 정확하게 타겟팅하는 광고주에게 귀중한 지식을 제공합니다.
9) 보험
데이터 마이닝은 보험 회사가 수익성 있는 상품 가격을 책정하고 신규 또는 기존 고객에게 새로운 혜택을 홍보하는 데 도움이 됩니다.
10) 제조
제조업체는 데이터 마이닝의 도움으로 생산 자산의 마모를 예측할 수 있습니다. 유지보수를 예측하여 다운타임을 최소화하는 데 도움이 되는 유지보수를 줄일 수 있습니다.
11) 범죄 수사
범죄 수사 기관은 데이터 마이닝을 통해 경찰 인력을 배치하고(범죄 발생 가능성이 가장 높은 장소와 시기), 국경 통과 시 누구를 수색할지 등을 결정할 수 있습니다.
맺음말
지금까지 데이터 마이닝의 정의와 진화과정을 알아보고 데이터 마이닝 기법과 수행방법 및 각 산업분야별 주요 데이터 마이닝 사용 사례에 대해 살펴보았습니다.
데이터 마이닝은 비즈니스의 업무를 더 쉽게 만들고 효율과 성과를 높여 기업의 성장에 도움이 되었습니다.
다양한 데이터 마이닝 기술을 활용하여 정보를 수집하고 이전에는 얻기 어려웠던 인사이트를 살펴볼 수 있습니다.
데이터 마이닝을 활용하여 필요한 인사이트를 얻고 비즈니스를 더욱 성장시키는 데 도움이 되길 바랍니다.
