airoot의 인공지능 이야기

NEAT(NeuroEvolution of Augmenting Topologies) 알고리즘은 신경망의 구조와 가중치를 동시에 진화시키는 혁신적인 진화 알고리즘이다. Kenneth O. Stanley와 Risto Miikkulainen이 제안한 NEAT은 신경망이 단순한 구조에서 출발해 점진적으로 복잡한 구조로 발전할 수 있도록 설계되었다. 이는 전통적인 유전 알고리즘이 고정된 구조에서 가중치만 최적화하는 것과는 차별화된 접근이다.NEAT 알고리즘의 주요 개념초기화 및 기본 아이디어:NEAT은 매우 단순한 신경망(예: 입력층과 출력층만 있는 구조)에서 시작하여 점진적으로 새로운 노드와 연결을 추가하며 네트워크를 발전시킨다.신경망의 성능을 평가하는 피트니스 함수(fitness function)를 사용하여 진..

유전 알고리즘 (Genetic Algorithm, GA)은 진화 생물학의 자연 선택 원리에 기반하여 최적화 문제를 해결하는 방법이다. John Holland에 의해 처음 개발된 이 알고리즘은 무작위 탐색과 최적화 기술의 조합을 통해 복잡한 문제를 풀 수 있는 강력한 도구로 알려져 있다. 유전 알고리즘은 특히 탐색 공간이 매우 넓거나 경사가 잘 정의되지 않은 문제에서 효과적이다.유전 알고리즘의 핵심 개념초기 개체군(Population):유전 알고리즘은 먼저 무작위로 초기 개체군을 생성하는 것으로 시작한다. 각 개체는 문제의 가능한 해를 나타내며, 유전적 정보를 담고 있는 염색체(Chromosome)로 표현된다.염색체는 이진수, 실수, 또는 다른 데이터 구조로 표현될 수 있으며, 특정 문제에 맞게 설계된다...

먼저 LSTM(Long Short-Term Memory) 개요 보기 LSTM을 자세히 이해하기 위해 논문에 기재된 기본 모델을 이용하여 역전파를 구해본다.1. 순전파 2. 손실함수3. 역전파3.1 기본 함수3.2 각 가중치의 역전파

자기조직화지도(SOM, Self-Organizing Map)는 인공신경망(Artificial Neural Network)의 한 종류로, 비지도 학습을 통해 입력 데이터를 시각적으로 표현하고, 그 데이터의 특성에 따라 유사한 패턴을 그룹화하는 데 사용된다. 이 기법은 주로 데이터의 차원을 축소하거나, 데이터를 클러스터링할 때 활용된다. 이를 처음 제안한 사람은 핀란드의 코호넨(Teuvo Kohonen) 교수이며, SOM을 '코호넨 지도(Kohonen Map)'라고 부르기도 한다.논문: Self-Organized Formation of Topologically Correct Feature Maps 주요 특징 및 원리:비지도 학습: SOM은 입력 데이터에 대한 레이블이 없을 때 사용된다. 즉, 지도 학습처럼 ..

RAG(Retrieval-Augmented Generation) 모델은 Facebook AI Research (FAIR)에서 2020년에 처음 제안했다. Facebook AI 팀은 생성 기반 모델의 한계를 보완하기 위해, 외부 데이터를 실시간으로 검색하고 이를 바탕으로 더욱 정확한 답변을 생성할 수 있도록 하기 위해 RAG를 개발했다. 이 연구는 특히 GPT-3와 같은 대형 언어 모델들이 훈련된 데이터에 의존해 답변을 생성하는 방식을 개선하고자 했다.FAIR 팀이 발표한 논문에서는 RAG의 구조와 효율성을 설명하며, RAG가 대규모 언어 모델이 직면하는 몇 가지 문제(예: 최신 정보에 대한 접근 부족, 고정된 지식 문제)를 해결할 수 있는 방법으로 제안되었다. RAG는 인공지능 모델, 특히 자연어 처리(..

Quantum Boltzmann Machine(QBM)은 고전적인 볼츠만 머신(Boltzmann Machine, BM)의 양자 버전으로, 양자 역학의 원리를 활용하여 효율적으로 데이터를 학습하고 패턴을 인식하는 기계 학습 모델이다. QBM은 양자 시스템에서 확률적 분포를 모델링하고 최적화하는데, 주로 양자 컴퓨팅 기술의 발전에 따른 강력한 계산 능력을 활용하려는 연구에서 유래되었다.arXiv:1601.02036 Quantum Boltzmann MachineInspired by the success of Boltzmann Machines based on classical Boltzmann distribution, we propose a new machine learning approach based on ..

볼츠만 머신(Boltzmann Machine)은 확률론적 신경망의 한 종류로, 데이터를 학습하고 그 분포를 모델링하는 데 사용돤다. 이 모델은 에너지 기반 모델(Energy-Based Model)의 일종으로, 상태들의 에너지를 정의하고, 확률적으로 그 상태들에 대한 분포를 학습하는 구조를 가진다. 볼츠만 머신은 루트비히 볼츠만의 통계역학적 원리에서 영감을 받아 개발되었으며, 머신러닝과 딥러닝의 여러 응용에서 중요한 역할을 한다. 볼츠만 머신의 가장 큰 특징은 역전파를 사용하지 않는다는 것이다. 1. 볼츠만 머신의 구조볼츠만 머신은 노드(node)와 가중치(weight)로 이루어진 그래프 구조를 가지며, 이는 이진 상태를 취하는 노드들로 구성된 신경망과 유사하다. 노드들은 상호 연결되며, 각 연결은 특정 ..

1. 신경망에서 운영 중에 노드들을 어떻게 신규로 연결할까?인간의 뇌는 학습을 통해 뉴런 간의 연결이 강화된다. 여기에는 어떤 법칙이 존재할까? SOM에서 제기하는 주변 뉴런의 활성화 방법은 참고가 될만 하다. 2. 역전파없이 어떻게 학습할까?대부분의 신경망은 역전파를 이용하여 훌륭하게 결과를 내고 있다. 하지만 우리의 뇌에는 이러한 역전파는 없을 것 같다. 그럼 어떻게 역전파없이 학습을 할 수 있을까? 이와 비슷한 신경망으로 BM(볼츠만 모델)이 있기는 하지만 아직까지는 초기 단계라서 아직 성공여부를 알 수 없다. 3. 시간에 따라 연속적인 데이터를 처리하는 모델은 무엇일까?우리의 뇌는 시간에 따라 들어오는 연속적인 데이터를 처리하고 학습한다. 아직까지 이런 모델의 신경망은 없는 것 같다. 4. 여러 ..

먼저 GAN(Generative Adversarial Network) 개요 보기 아래와 같이 간단한 GAN 모델을 만들어 보았다.실재 데이터와 가짜 데이터에 대한 손실함수를 알아보면,이제 이에 대한 각 역전파를 구해보겠다.각각의 함수를 통해 역전파를 구현할 수 있다.

Stable Diffusion은 Autoencoder에 기초하여 발전된 이미지 생성 및 변형을 위한 딥러닝 기반 모델로, 특히 텍스트로부터 이미지를 생성하는 데 강점을 가지고 있다. 이 모델은 2022년에 Stability AI와 같은 연구 기관들에 의해 개발되었으며, 오픈소스 형태로 공개되어 많은 개발자들이 접근하고 활용할 수 있다.Stable Diffusion 모델의 핵심 아이디어는 디퓨전 프로세스(Diffusion Process)를 활용하여 점진적으로 이미지를 생성하는 것이다. 이 과정에서 모델은 노이즈가 섞인 이미지에서 노이즈를 제거하며 점차 선명한 이미지를 만들어낸다. 이 방법은 이미지 생성을 위한 매우 강력한 접근 방식으로, 특히 고해상도 이미지와 복잡한 장면을 생성할 때 효과적이다.주요 특징..