ml (18) 썸네일형 리스트형 Decision Tree A decision tree is a non-parametric supervised learning algorithm, which is utilized for both classification and regression tasks. It has a hierarchical, tree structure, which consists of a root node, branches, internal nodes and leaf nodes.Reference : https://www.ibm.com/topics/decision-trees 어떠한 데이터셋에 대해 Root node부터 시작해 분류 기준을 정해나가면서 적절한 Subset으로 데이터를 나눠 나가는 것이 Decision Tree 알고리즘의 핵심이라고 할 수 있다.. Gradient Clipping What is Gradient ClippingGradient Clipping이란 Exploding Gradient를 방지하기 위한 테크닉의 하나이다. Backpropagation을 통해 계산된 Gradient를 $g$, threshold를 $c$라고 했을 때, Gradient Clipping에 대한 수식은 다음과 같다. $ g \leftarrow c \cdot \frac{g}{\vert\vert g \vert\vert} \text{, if } \vert\vert g \vert\vert \geq c$ $ \frac{g}{\vert\vert g \vert\vert} $는 $g$를 L2 Norm이 1인 unit vector로 만들어주기 때문에새로 만들어진 $g$는 L2 Norm을 c로 제한해주게 되고, 따라서.. [Pytorch] torch.Tensor.expand() & torch.Tensor.repeat() torch 사용 중에 expand와 repeat을 몇번 접하게 되었는데, 사용하게 되면 어떤 결과가 나오는지에 대한 naive한 느낌은 있지만 명확하게 기억나지 않을때가 있어서 정리해놓으려고 한다. torch.Tensor.expand()https://pytorch.org/docs/stable/generated/torch.Tensor.expand.html#torch.Tensor.expand torch.Tensor.expand — PyTorch 2.4 documentationShortcutspytorch.orgPytorch 공식문서에 따르면, expand 메소드는 '차원 수가 1인 dim에 대해 그 수를 늘려준 view를 반환한다' 라고 설명되어있다.import torchtensor = torch.tenso.. [논문리뷰] GDSRec : Graph-Based Decentralized Collaborative Filtering for Social Recommendation https://arxiv.org/abs/2205.09948 GDSRec: Graph-Based Decentralized Collaborative Filtering for Social RecommendationGenerating recommendations based on user-item interactions and user-user social relations is a common use case in web-based systems. These connections can be naturally represented as graph-structured data and thus utilizing graph neural networks (GNNs) forarxiv.orgAbstract & Intro해.. [논문리뷰] Graph Neural Networks for Social Recommendation https://arxiv.org/abs/1902.07243 Graph Neural Networks for Social RecommendationIn recent years, Graph Neural Networks (GNNs), which can naturally integrate node information and topological structure, have been demonstrated to be powerful in learning on graph data. These advantages of GNNs provide great potential to advance social recarxiv.orgAbstract & Intro구조적으로 데이터의 node information과 위상학적 구조를.. Word2Vec 단어를 numerical vector로 나타내기 위한 대표적인 word embedding 방법에는 Word2Vec이 존재한다. 이 외에도 단어별로 TF-IDF를 계산한 값을 해당 단어를 대표하는 Vector로 사용하는 것도 가능하지만, 이는 단순히 단어별 빈도수를 통해 계산하는 방식이므로 하나의 문장에서 각 단어의 의미를 대표하는 numerical vector로 사용할 수 있는지에 대해 의문이 들 수 있다. Word2Vec은 위 사진과 같이 각 단어를 의미하는 vector간의 수치적 연산을 통해 새로운 단어를 표현해낼수 있도록 한다.Word2Vec의 알고리즘Word2Vec의 알고리즘은 크게 두가지 방식이 존재한다.CBOW(Continuous Bag Of Words)Skip-gram두가지 방식 모두 기본적.. Logit & Sigmoid Logit Logit함수에 대해 설명하기 전에, Odds와 Probability의 개념에 대해 알아보겠습니다. Probability(확률) 우선, Probability(확률)는 다들 알고 계시겠지만, 전체 시행(S) 중 어떠한 사건($X$)가 일어나는 경우의 수의 비율을 의미합니다. 즉, $\frac{n(X)}{n(S)}$로 표현할 수 있으며, 이를 $P(X)$라고 표기하겠습니다. Odds 여기서 Odds는 느낌적으로 표현하자면, 확률의 확률이라고 할 수 있을 것 같습니다. 즉, X라는 사건이 일어날 확률과 X라는 사건이 일어나지 않을 확률이라고 할 수 있으며, $\frac{P(X)}{P(X^c)}$로 표현할 수 있습니다. 이를 Binary Case로 다시 표현하면, 두 경우의 수 $A$와 $B$를 기준.. Github Actions - CI/CD 해당 포스트는 Github에서 제공하는 Actions 공식 문서를 바탕으로 제작되었습니다. Github Actions 공식 문서 Overview Github Actions는 Github에서 제공하는 CI/CD 기능 Component Workflow workflow를 적용시키고자 하는 Repository에 있는 YAML 파일을 통해서 configurate 추가적으로, Workflow는 Repository의 .github/workflows 경로에 정의되어야 함 Workflow는 정해진 Event를 통해 실행되거나, 수동으로 실행되거나 혹은 정해진 스케쥴에 따라서 실행 가능 Event 특정 조건이 만족되면 workflow를 실행하도록 하는 Trigger Repository에 _새로운 Pull Request, .. 이전 1 2 3 다음
