Beige Color

* https://openai.com/index/clip/ 를 읽고 작성한 글입니다. CLIP(Contrastive Language-Image Pre-training) 모델은 자연어를 통해 시각적 개념을 효율적으로 학습할 수 있게 설계된 신경망이다. 이 모델은 GPT-2, GPT-3의 "제로 샷"과 유사하게, 인식해야 할 시각적 카테고리의 이름마 제공하면 어떤 시각적 분류 벤치마크에도 이용할 수 있다. CLIP은 인터넷에서 발견되는 (이미지-텍스트) 쌍을 이용한다. 이 데이터를 이용하여 주어진 이미지에 대해 무작위로 샘플링된 32,768 개의 텍스트 스니펫 세트 중에서 실제로 데이터 세트에서 어떤 것과 쌍을 이루었는지 예측하는 proxy training task를 만든다.더보기Proxy Training ..

1. Model-Based AlgorithmModel-Based Algorithm에서의 Model은 일종의 Transition model로써, 상태의 전이를 모델링한 것을 의미한다.쉽게 접근해보면, 사진과 같이 파악된 Real World의 상태들에 대한 전이 확률을 모델링하는 것이다.이렇듯 Model-Based 에서 model은 World environment에 대한 것을 파악하고 있으며, 이에 따라 우리의 행동이 어떤 환경의 변화를 가져올지를 예측하는 알고리즘이 Model-based algorithm이다.그러나, Real World에서 가능한 모든 상태를 알고 있는 것이 가능할까? 안다고 하더라도, 그 정보가 얼마나 유지될까? 2. Model-Free Algorithm이에 대한 대안으로 고안된 것이 M..

10.1. Generating functions for Discrete distributions평균과 분산만으로는 분포에 대한 모든 정보를 알 수 없다. * Momentsμk : k-th moment of Xμk = E(X^k)ex) μ = E(X) = μ1, σ^2 = E(X^2) - (E(X))^2 = μ2 - ( μ1)^2 => 정의된 X에 대한 모든 moment들을 알면 X에 대한 분포를 정의할 수 있다. * moment generating functions(m.g.f.)더보기Ex)더보기더보기* Moment ProblemX가 유한한 Sample Space의 discrete r.v.이고 moments µk = E(X^k) 이면, 다음의 정리가 모든 t에 대해 수렴한다.=> 어떤 분포 p로 정의되는 ..

X1,...,Xn이 평균을 μ, 분산을 σ^2 으로 지니는 i.i.d. 조건 분포에서 random sampling(independent trials)되었다고 생각해보자.Sn = X1+X2+...+Xn, An = (Sn)/n 이다.이 때, 이전까지 증명했던데로 다음의 2가지는 자명한 사실이다. 1. E(An) = μ2. n을 무한으로 늘리면 An -> μ 그렇다면 An(Sn)의 분산은 매우 큰 n에 대해 어떻게 변하게 될까?더보기1. Ø(x) : x를 가지는 standard Normal density function.2. NA(a*,b*) = Ø(x)를 a*~b* 구간에서 적분한 값.9.1. Central Limit Theorem for Bernoulli trials성공 확률이 p인 베르누이 시행은 Sn ..

* Law of Large Numbers for Discrete Random Variable * Markov's inequalityX가 P(X>=0) = 1인 r.v.일 때, 모든 t>0에 대해, P(X>=t) 더보기닫기증명) * Chebyshev InequalityX = discrete random variable with expected value  µ=E(X), and let ε>0 be any positive real number.더보기닫기증명)더보기닫기ex)E(X) =  µ, V(X) = σ^2 인 r.v. X에 대해 ε=kσ (k>0) 이라고 잡고 Chebyshev Inequality를 적용하면,이와 같이 정리가 된다.따라서 임의의 constant를 잡을 때, bound 값을 σ와 무관한 값으..

* Sums of Discrete Random Variable- ConvolutionX,Y : two independent discrete R.V. with distribution functions m(x) and m(y) (Ω : Integer)r.v. Z = X+Y.이 때, Z의 distribution은 X=k 라고 두고 m(z) = P(Z=z) = sum(P(X=k)P(Y=z-k)) {X=0~k} 로 구할 수 있다. 따라서 X,Y가 2개의 independent discrete r.v.s 이며 m1(x), m2(y)를 가진다고 하였을 때, m1(x), m2(y)의 convolution인 distribution function m3(z) = m1(x)*m2(y)는 다음과 같이 정의된다. 같은 식으로 접..

* DB ScanK-Means와 같은 Centroid-based Approach는 특정한 모양을 가지는 데이터에 대해 접근이 쉽지 않았다.이러한 데이터에 대해 이전까지 내용에서 hierarchical clustering, 즉 Agglomerative clustering으로 접근을 했었다.이제 Density-based Clustering을 알아보자. * Density- based Clustering어떤 경우는 cluster 들은 임의의 모양을 가질 수 있고, 이들이 noise처리가 되면 안된다.우리는 그러한 cluster들을 찾기 위해 DB scan이라는 방법을 사용할 수 있다.(noise-resistant density-based clustering)이 방법은 다음 2가지 원칙을 적용한다.1. noise..

* Clustering이란 인식된 object들을 구분하는 방법이다. 구분을 하되 따로 label을 매기거나 class를 정의하지는 않는다.(unsupervised learning이므로 y-val이 없다.) 즉, 데이터들을 기반으로 패턴을 발견하여 Similarity에 기반해 grouping을 하는 것이다. Unsupervised Learning problem의 예시로는 Clustering과 Dimensionality Reduction이 있다. * Clustering은 데이터 요약, 압축, KNN Finding, Outlier Detection 등 preprocessing의 도구로 사용될 수 있다.=> 그렇다면, 무엇이 좋은 Clustering일까?=> good clustering method는 high..

universal set U가 있다고 가정하자. 이 U의 subset들을 itemset I라고 정의하고, |I| = k일 시, k-Itemset이라고 부를 수 있다고 하자. 이 때 Association Rule Mining에서 관심이 있는 ItemSet들의 집합을 S라고 하자. S의 각 itemset들을 Transaction T라고 정의하면 결론적으로 itemset I의 Support는 다음과 같이 정의된다. 즉, support(I)는 전체 Transaction에서 특정 Itemset들이 얼마나 포함되는 지를 의미한다. => I = {beer, bread}일 때 suppprt(I)는 Transaction들에서 1.4.5.6이 해당되므로 4이다. 이 때, association rule R은 I1->I2와 ..

* Inferential Statistics? => 통계적 추론은 우리가 수집한 모집단에서 Sample을 추출해서 진행하는 통계적 데이터 분석 방법이다. 해당 추정 방법에는 Point Estimation, Interval Estimation 방법이 있다. 1. Point Estimate => 특정 값을 추정하여 모집단의 parameter를 추정. 2. Interval Estimate => 구간을 사용하여 모집단의 patameter를 그리는 방법. 특정 Point를 정의하고 그 Point에서 +-를 하는 방식으로 신뢰 구간을 정하는 것이 일반적이다. * Biased/Unbiased Estimator -> 이렇게 해서 추정된 estimator θ'가 E(θ') = θ일 시, Unbiased Estimator..