본문 바로가기

전체 글207

7. Association Rules Frequent Pattern을 추출했으니, 이것을 이용해서 Association Rule들을 만들고 평가해야 한다 Association Rules Mining Multilevel Association Mining Multidimensional Association Mining Quantitative Assocation Mining Interesting Correlation Patterns Mining Multilevel Association Rules Item들은 종종 계층 구조를 형성한다 예를 들면, Milk와 2% Milk Milk가 2% Milk의 상위 개념이라고 볼 수 있다 각 계층마다 유연하게 Minimum Supoort를 설정해주는 것이 필요하다 계층이 내려갈수록 당연히 Support가 작아.. 2024. 4. 13.

6. Miner Improvements 지금까지 Frequent Pattern Mining을 하기 위한 다양한 방법들을 살펴보았다 Apriori는 Candidate의 수를 줄여주긴 하지만 여전히 그 수가 너무 많고, DB 접근도 너무 많다 그래서 이걸 개선하기 위한 Improving Apriori 알고리즘들을 보았다 그럼에도 여전히 Candidate를 생성하고, Test하는 것이 무거운 작업이라 이것을 하지 않아도 되는 FP-growth라는 방법도 봤다 이것 외에 다른 마이닝을 Improve할 수 있는 방법들을 살펴볼 것이다 MaxMiner Mining Max Patterns Recall Max Pattern : Max Pattern은 X의 Superset(X ⊂ Y) 중에 Frequent Pattern이 존재하지 않으면, Itemset X를.. 2024. 4. 13.

5. FP-growth Frequent Pattern Growth 이전까지는 Apriori algorithm을 사용해서 Freqeunt Pattern Mining을 하는 방법을 봤다 Apriori의 한계를 개선한 Improving Apriori 방법들도 살펴보았다 DIC, Partition, Sampling, DHP 그럼에도 여전히 느리다는 문제가 있다 Candidate를 생성하고, Test하는 과정 자체가 시간이 오래 걸림(Bottleneck) FP-growth Mining Frequent Patterns without Candidate Generation Candidate를 Generate하는 것 자체를 하지 않는 방법 Local Frequent Item들을 사용해서, 짧은 Pattern으로부터 긴 Pattern을 생성해내.. 2024. 4. 13.

4. Improving Apriori Apriori 알고리즘에는 여러 한계가 존재한다고 했다 Multiple scans of DB (k times) 대략 k번의 DB 스캔이 발생한다는 것 여기서 k는 Max Pattern의 길이이다 DB 접근은 너무 느리기 때문에 개선이 필요하다 Huge number of candidates 후보군의 수가 너무 많다 Max Pattern {i1, i2, ..., i100}을 찾기 위해서는 # of scans(k): 100 # of candidates: 2^100 - 1 만큼의 후보군 Tedious workload of Candidate generation and Test Candidate들의 Support를 Count하는 것의 Cost가 꽤 크다 Improving Apriori Apriori를 개선하기 위한.. 2024. 4. 13.

3. Apriori Scalable Mining Method 중 하나 Scale down을 하면서 Frequent Pattern을 찾는 Method 중 하나 Apriori Candidate Generation and Test Approach Apriori에서 Scaledown을 하는 원리는 Infrequent한 Pattern이 있다면, 해당 패턴의 Superset은 절대 Frequent할 수가 없다는 것을 이용 Downward property 이용 그렇기 때문에 굳이 Generation하고 Test할 필요가 없다 체크해야 할 패턴의 수를 줄여준다 방법을 간략하게 보면 1. DB를 스캔해서 크기가 1인 Frequent Pattern들을 찾는다 2. 아래의 과정을 계속해서 반복한다 2-1. 길이가 K인 Frequent Patt.. 2024. 4. 13.

2. Frequent Patterns Mining Frequent Patterns, Association and Correlatons Frequent Pattern Mining 데이터 속에서 자주 등장하는 패턴을 분석하는 기술 Frequent Pattern? : 데이터셋 내에서 자주 등장하는 패턴 예를 들면, 자주 함께 구매되는 상품들 Motivation? 데이터 속에 내재된 패턴들 찾기 위함 어떤 상품들이 함께 구매가 되는가? (이게 앞으로 주로 다뤄질 예시) Beers and Diapers 기저귀와 맥주는 함께 구매가 되는 경향이 있다 이 정보를 알면 기저귀와 맥주를 함께 비치하면 판매율이 올라갈 것 특정 상품을 구매한 다음 순차적으로 어떤 것을 구매하는 경향이 있는가? 디지털 카메라를 구매한 후에 얼마있다가 SD카드(메모리)를 구매하는.. 2024. 4. 13.

1. Introduction What is Data Mining? 데이터 마이닝이란 무엇일까 대량의 데이터 속에서 흥미롭고 중요한 데이터를 자동으로 뽑아내는 과정 어떤 데이터가 흥미롭고 중요? Non-trivial, Implicit, Previously unknown, Potentially usefull ,,, 한 정보들 요즘 우리는 대량의 데이터 시대에 살고 있고, 데이터는 계속해서 쌓여가기 때문에 그 속에서 중요한 의미를 찾아야 한다 Knowledge Discovery Process 대량의 데이터 속에서 의미있는 정보를 찾아내는 과정 Data Cleaning 데이터에 섞여있는 노이즈, 에러 등을 제거하는 과정 Data Warehouse 대량의 데이터들이 저장된 저장소 Task-relevant Data 현재 진행하고 있는 Task.. 2024. 4. 13.

레디스 ? Redis일반적으로 레디스라 했을 때 떠오르는 이미지는,DB에 접근하는 것이 느리기 때문에 DB 데이터의 일부를 저장하는 캐시 역할 의 Key-Value Store라고 알고있다.대략적으로 이정도는 알지만, 정확히는 잘 몰랐기 때문에 이번에 정리를 한번 해보고자 한다 최근 이슈Redis는 원래는 오픈소스였으나, 최근에 라이센스가 변경되어 더이상 오픈소스가 아니게 되었다다행(?)인 점은 기존 개발자 중 몇명이 Fork를 떠서 가지고 나와서 ValKey라는 오픈 소스를 만들게 되었다ValKey는 현재 Linux의 재단에서 관리를 하고 있고, 이미 많은 사용자들이 ValKey를 사용하고 있다Fork를 떠온 것이기 때문에, 현재까지는 사용법에 큰 차이가 없다 Redis?레디스란 무엇인가In-Memory Cache.. 2024. 4. 13.

8. 데이터베이스 구축 이번 활동 요약 이번주에는 백엔드 서버 구축을 위해서 데이터베이스를 생성하였다 서버 컴퓨터에 서버를 구축하기 전에, 먼저 로컬에서 개발 작업을 하려고 했다. 그럼에도 현재 둘이서 작업을 하는 상황이기 때문에 데이터베이스는 공유를 하면 좋겠다고 생각하여, 서버 컴퓨터에 데이터베이스만 먼저 설치를 하기로 했다. 그리고 각자 로컬에서 데이터베이스만 연결을 해서 백엔드 작업을 진행하고자 했다 데이터베이스 서버 컴퓨터에 새로 데이터베이스를 설치했다 먼저 어떤 DB를 쓸 것인지를 고민했다. 크게 봤을 때, SQL과 NoSQL로 나눌 수 있다. SQL의 경우에는 주로 관계형 데이터베이스로 생각할 수 있고, NoSQL은 그와 반대되는 비관계형 데이터베이스라고 생각할 수 있다. NoSQL의 장점은 조회가 빠르고, 대용량.. 2024. 3. 31.

이전 1 2 3 4 5 ··· 23 다음

티스토리툴바