Novel
새로운 방식
Stochastic
랜덤
Markov
마르코프 체인.
Ablation study
ablation은 뺀다는 의미인데 논문에서 적용한 방식이 효과가 있는지 검증하기 위해 넣었을 때 결과와 뺏을때 결과를 비교해보는 것.
SOTA (State of the art)
최고 수준. 가장 최신의 기술
Ground truth
실제의 것. 실제 라벨, 실제 결과.
Empirical
경험적인. 수식이나 실험을 통해 증명한 게 아닌 “많이 해보니까 대충 이렇더라” 라는 식의 귀납적인 것.
Intractable
유도하는 것이 어렵거나 불가능한. 보통 이것이 나오면 학습을 엄청 돌려서 근사치를 구하는 것으로 우회한다.
Transformer
LLM 연구에서 널리 사용되는 신경망 아키텍처 유형. 현재 ChatGPT부터 시작해서 이게 트렌드임.
Embedding
텍스트 같은 경우, 모델이 자연어를 바로 처리할 수 없다. 텐서로 바꿔줘야 모델이 인풋으로 받을 수 있는데, 이를 Embedding이라 한다. one Hot embedding은 한 차원만 1, 나머지는 0인 텐서를 주는 방식인데, 이러면 vocab 수가 많아질수록 쓸데없이 고차원이 되서 비추. 요새는 Dense embedding 이라 하여 고차원 space에 비슷한 단어끼리는 거리가 가까운 텐서를 주도록 함. 그래서 “Queen” - “Female” + “Crown” = “King” 이라는 식도 얼추 가능함. Embedding Layer도 훈련할 수 있는 파라미터를 가짐.
Elastic
동적으로 확장, 축소 등 변형이 가능한 능력을 의미