본문 바로가기

HYU39

5. FP-growth Frequent Pattern Growth 이전까지는 Apriori algorithm을 사용해서 Freqeunt Pattern Mining을 하는 방법을 봤다 Apriori의 한계를 개선한 Improving Apriori 방법들도 살펴보았다 DIC, Partition, Sampling, DHP 그럼에도 여전히 느리다는 문제가 있다 Candidate를 생성하고, Test하는 과정 자체가 시간이 오래 걸림(Bottleneck) FP-growth Mining Frequent Patterns without Candidate Generation Candidate를 Generate하는 것 자체를 하지 않는 방법 Local Frequent Item들을 사용해서, 짧은 Pattern으로부터 긴 Pattern을 생성해내.. 2024. 4. 13.

4. Improving Apriori Apriori 알고리즘에는 여러 한계가 존재한다고 했다 Multiple scans of DB (k times) 대략 k번의 DB 스캔이 발생한다는 것 여기서 k는 Max Pattern의 길이이다 DB 접근은 너무 느리기 때문에 개선이 필요하다 Huge number of candidates 후보군의 수가 너무 많다 Max Pattern {i1, i2, ..., i100}을 찾기 위해서는 # of scans(k): 100 # of candidates: 2^100 - 1 만큼의 후보군 Tedious workload of Candidate generation and Test Candidate들의 Support를 Count하는 것의 Cost가 꽤 크다 Improving Apriori Apriori를 개선하기 위한.. 2024. 4. 13.

3. Apriori Scalable Mining Method 중 하나 Scale down을 하면서 Frequent Pattern을 찾는 Method 중 하나 Apriori Candidate Generation and Test Approach Apriori에서 Scaledown을 하는 원리는 Infrequent한 Pattern이 있다면, 해당 패턴의 Superset은 절대 Frequent할 수가 없다는 것을 이용 Downward property 이용 그렇기 때문에 굳이 Generation하고 Test할 필요가 없다 체크해야 할 패턴의 수를 줄여준다 방법을 간략하게 보면 1. DB를 스캔해서 크기가 1인 Frequent Pattern들을 찾는다 2. 아래의 과정을 계속해서 반복한다 2-1. 길이가 K인 Frequent Patt.. 2024. 4. 13.

2. Frequent Patterns Mining Frequent Patterns, Association and Correlatons Frequent Pattern Mining 데이터 속에서 자주 등장하는 패턴을 분석하는 기술 Frequent Pattern? : 데이터셋 내에서 자주 등장하는 패턴 예를 들면, 자주 함께 구매되는 상품들 Motivation? 데이터 속에 내재된 패턴들 찾기 위함 어떤 상품들이 함께 구매가 되는가? (이게 앞으로 주로 다뤄질 예시) Beers and Diapers 기저귀와 맥주는 함께 구매가 되는 경향이 있다 이 정보를 알면 기저귀와 맥주를 함께 비치하면 판매율이 올라갈 것 특정 상품을 구매한 다음 순차적으로 어떤 것을 구매하는 경향이 있는가? 디지털 카메라를 구매한 후에 얼마있다가 SD카드(메모리)를 구매하는.. 2024. 4. 13.

1. Introduction What is Data Mining? 데이터 마이닝이란 무엇일까 대량의 데이터 속에서 흥미롭고 중요한 데이터를 자동으로 뽑아내는 과정 어떤 데이터가 흥미롭고 중요? Non-trivial, Implicit, Previously unknown, Potentially usefull ,,, 한 정보들 요즘 우리는 대량의 데이터 시대에 살고 있고, 데이터는 계속해서 쌓여가기 때문에 그 속에서 중요한 의미를 찾아야 한다 Knowledge Discovery Process 대량의 데이터 속에서 의미있는 정보를 찾아내는 과정 Data Cleaning 데이터에 섞여있는 노이즈, 에러 등을 제거하는 과정 Data Warehouse 대량의 데이터들이 저장된 저장소 Task-relevant Data 현재 진행하고 있는 Task.. 2024. 4. 13.

8. 데이터베이스 구축 이번 활동 요약 이번주에는 백엔드 서버 구축을 위해서 데이터베이스를 생성하였다 서버 컴퓨터에 서버를 구축하기 전에, 먼저 로컬에서 개발 작업을 하려고 했다. 그럼에도 현재 둘이서 작업을 하는 상황이기 때문에 데이터베이스는 공유를 하면 좋겠다고 생각하여, 서버 컴퓨터에 데이터베이스만 먼저 설치를 하기로 했다. 그리고 각자 로컬에서 데이터베이스만 연결을 해서 백엔드 작업을 진행하고자 했다 데이터베이스 서버 컴퓨터에 새로 데이터베이스를 설치했다 먼저 어떤 DB를 쓸 것인지를 고민했다. 크게 봤을 때, SQL과 NoSQL로 나눌 수 있다. SQL의 경우에는 주로 관계형 데이터베이스로 생각할 수 있고, NoSQL은 그와 반대되는 비관계형 데이터베이스라고 생각할 수 있다. NoSQL의 장점은 조회가 빠르고, 대용량.. 2024. 3. 31.

7. 웹 서버 구상 이번 활동 요약 이번주에는 백엔드 서버를 어떤 식으로 구성할지에 대해서 구상을 해보았다 프론트엔드 개발은 일단 잠시 미뤄두고, 이번주에는 백엔드 서버 개발을 진행했다 일반적인 상황이었다면 로컬에서 개발을 하고, AWS에 배포하는 식으로 진행을 했을 것이다. 그런데 연구실에 상시 가동할 수 있는 서버 컴퓨터가 있다고 하셔서, 이것을 활용하는 방향으로 진행을 결정했었다. 백엔드 개발 경험도 별로 없지만, 서버 컴퓨터로 서버를 운영하는 것은 처음이라 이것저것 알아보아야 했다. 원격 접속 계속 연구실에 방문해서 작업을 할 수는 없어서, 원격으로 서버 컴퓨터에 접속할 수 있도록 세팅을 했다 기본적인 세팅은 조교님이 해주시고, 나는 연구실에 방문해서 내 계정을 등록하기만 했다. 크롬에서 제공하는 원격 데스크톱을 사.. 2024. 3. 20.

6. 노드 삭제 및 간선 추가 기능 개선 이전 미팅 피드백 이전 미팅에서 받은 피드백을 바탕으로 기능 개선 노드 삭제시 이웃 노드도 함께 삭제할 것인지 여부 선택 가능 서로 다른 클러스터간 간선 추가시 색상 변경 Union-Find 알고리즘 성능 개선 피드백 반영 1. 이웃 노드 삭제 여부 결정 특정 노드 삭제시 해당 노드와 이웃한 노드를 함께 삭제할지 선택 가능하도록 개선 const handleSubmit = useCallback(() => { if (filter === "") { return; } setRerender(false); setGraphData((prev) => { let filteredNodes = prev.nodes; let filteredEdges = prev.edges; if (deleteNeighbor) { filtere.. 2024. 3. 17.

5. 정점, 간선 추가 및 삭제 이번 활동 요약 이번주에는 Cytoscape.js에서 Measure에 대한 기능을 제공하는지 알아보고, 정점과 간선을 추가하고 삭제할 수 있는 기능을 일부 구현했다. Community Detection은 어느정도 되었으니, 이제 노드의 Degree, Path의 길이 등 Network에 대한 정보를 사용자에게 제공하기 위해서 Network를 측정할 수 있는 기능들을 제공하는지 찾아보았다. 기존에는 파이썬에서 해당 기능들을 제공하기 때문에 파이썬에 이미 구현이 되어 있지만, 프론트단에서 계산을 해서 바로 보여주게 되면 아무래도 더 빠르게 전달할 수 있기 때문에 Cytoscape.js에서 그런 기능들을 제공하는지 찾아보았다. Network Analyzer Cytoscape에서는 Network에 대한 통계 정보.. 2024. 3. 4.

이전 1 2 3 4 5 다음

티스토리툴바