airoot의 인공지능 이야기

스파이크 신경망(Spiking Neural Networks, SNNs)은 생물학적으로 더욱 현실적인 방식으로 뇌의 신경 활동을 모사하는 신경망 모델이다. 기존의 인공신경망(ANN)이나 딥러닝 모델보다 더 뇌에 가깝게 동작하는 방식으로, 뉴런이 특정 임계값을 넘을 때만 활동 신호(스파이크)를 발화하는 것을 특징으로 한다.스파이크 신경망의 주요 특징뉴런 모델:SNN에서는 뉴런이 일정한 활성화 함수로 출력을 연속적으로 계산하는 대신, 이벤트 기반으로 작동한다. 뉴런은 입력 신호가 누적되어 특정 임계값(threshold)에 도달할 때까지 기다리며, 임계값을 넘는 순간에만 "스파이크"를 발화한다.대표적인 뉴런 모델로는 LIF(Leaky Integrate-and-Fire)와 Izhikevich 뉴런 모델 등이 있다..

헵 학습은 인공지능 및 신경 과학에서 중요한 학습 원리로, 인간의 뇌에서 시냅스가 강화되는 과정을 모방한 학습 방식이다. 헵 학습의 핵심은 다음과 같다.헵 학습 (Hebbian Learning)기본 원리: 헵 학습의 원리는 캐나다의 심리학자 도날드 헵(Donald Hebb)이 1949년에 제안한 것으로, "함께 발화하는 뉴런이 함께 연결된다"는 문장으로 요약할 수 있다. 두 뉴런이 동시에 활성화될 때 그들 사이의 연결이 강화된다는 개념이다. 이 원리를 통해 시냅스의 가중치가 시간이 지남에 따라 변화하고 강화된다.수학적 모델: 헵 학습의 수학적 표현은 간단하게 다음과 같이 나타낼 수 있다.Δwij=η⋅xi⋅yj여기서,Δwij: 뉴런 i에서 j로의 가중치 변화η: 학습률 (learning rate)xi​: ..

후생 유전학(Epigenetics)은 유전자의 염기 서열 변화 없이 유전자 발현을 조절하는 메커니즘을 연구하는 생물학의 한 분야이다. 이는 환경적 요인, 생활습관, 그리고 기타 외부적인 요소들이 유전자 발현에 어떤 영향을 미치는지에 대해 탐구한다. 후생 유전학의 핵심은 동일한 유전자라도 후생 유전적 변형에 의해 다르게 발현될 수 있다는 것이다.후생 유전학의 주요 메커니즘DNA 메틸화: DNA 메틸화는 DNA의 특정 부위에 메틸 그룹(CH3)이 붙어 유전자 발현을 억제하거나 촉진하는 메커니즘이다. 일반적으로 메틸화가 많이 되면 유전자 발현이 억제되는 경향이 있다.히스톤 변형: DNA는 히스톤 단백질에 감겨 있으며, 히스톤의 변형(예: 아세틸화, 메틸화 등)은 DNA의 접근성을 조절하여 유전자 발현에 영향을..

HyperNEAT (Hypercube-based NeuroEvolution of Augmenting Topologies)는 NEAT 알고리즘의 확장 버전으로, 신경망의 구조뿐만 아니라 연결 가중치를 생성하는 패턴을 진화시키는 방법을 제안한다. HyperNEAT은 신경망의 가중치를 직접 진화시키기보다는, 연결 가중치를 결정하는 함수를 진화시킴으로써, 보다 복잡하고 효율적인 신경망을 설계할 수 있게 한다. 이 접근법은 특히 고차원 입력 공간과 대칭성을 가진 문제에서 큰 장점을 발휘한다.HyperNEAT의 핵심 개념CPPN (Compositional Pattern Producing Network):HyperNEAT의 핵심은 CPPN이라는 함수 생성 네트워크이다. CPPN은 특정 패턴을 출력하는 함수로, 이 패..

NEAT(NeuroEvolution of Augmenting Topologies) 알고리즘은 신경망의 구조와 가중치를 동시에 진화시키는 혁신적인 진화 알고리즘이다. Kenneth O. Stanley와 Risto Miikkulainen이 제안한 NEAT은 신경망이 단순한 구조에서 출발해 점진적으로 복잡한 구조로 발전할 수 있도록 설계되었다. 이는 전통적인 유전 알고리즘이 고정된 구조에서 가중치만 최적화하는 것과는 차별화된 접근이다.NEAT 알고리즘의 주요 개념초기화 및 기본 아이디어:NEAT은 매우 단순한 신경망(예: 입력층과 출력층만 있는 구조)에서 시작하여 점진적으로 새로운 노드와 연결을 추가하며 네트워크를 발전시킨다.신경망의 성능을 평가하는 피트니스 함수(fitness function)를 사용하여 진..

유전 알고리즘 (Genetic Algorithm, GA)은 진화 생물학의 자연 선택 원리에 기반하여 최적화 문제를 해결하는 방법이다. John Holland에 의해 처음 개발된 이 알고리즘은 무작위 탐색과 최적화 기술의 조합을 통해 복잡한 문제를 풀 수 있는 강력한 도구로 알려져 있다. 유전 알고리즘은 특히 탐색 공간이 매우 넓거나 경사가 잘 정의되지 않은 문제에서 효과적이다.유전 알고리즘의 핵심 개념초기 개체군(Population):유전 알고리즘은 먼저 무작위로 초기 개체군을 생성하는 것으로 시작한다. 각 개체는 문제의 가능한 해를 나타내며, 유전적 정보를 담고 있는 염색체(Chromosome)로 표현된다.염색체는 이진수, 실수, 또는 다른 데이터 구조로 표현될 수 있으며, 특정 문제에 맞게 설계된다...

인공지능에 연구에 있어 표본이 되는 인간의 뇌 구조를 이해하는 것은 매우 중요하다.우리의 뇌는 단일 구조로 되어 있지 않다. 뇌의 구조체 별로 다른 뉴런 구조를 가지고 있다는 것이다. 이는 인공지능에 있어서도 여러 신경망 구조가 합쳐져야 할 수도 있다는 것이다.다만 아직 궁금한 것은 이러한 다른 구조가 진화적으로 어쩔 수 없어 그렇게 자란 것인지 아니면 진화적인 산물이지만 그래도 그게 효율적이어서 그렇게 달라진 것인지 이해할 필요는 있다. 대뇌피질(대뇌 겉질)과 해마는 모두 뉴런으로 구성되어 있지만, 그들의 뉴런 구조와 기능에는 차이가 있다.대뇌피질의 뉴런구조:층 구조: 대뇌피질은 주로 6개의 층으로 이루어져 있다. 각 층은 기능적으로 다른 뉴런을 포함하며, 정보 처리와 관련된 고차원적인 기능을 담당한다..

먼저 LSTM(Long Short-Term Memory) 개요 보기 LSTM을 자세히 이해하기 위해 논문에 기재된 기본 모델을 이용하여 역전파를 구해본다.1. 순전파 2. 손실함수3. 역전파3.1 기본 함수3.2 각 가중치의 역전파

자기조직화지도(SOM, Self-Organizing Map)는 인공신경망(Artificial Neural Network)의 한 종류로, 비지도 학습을 통해 입력 데이터를 시각적으로 표현하고, 그 데이터의 특성에 따라 유사한 패턴을 그룹화하는 데 사용된다. 이 기법은 주로 데이터의 차원을 축소하거나, 데이터를 클러스터링할 때 활용된다. 이를 처음 제안한 사람은 핀란드의 코호넨(Teuvo Kohonen) 교수이며, SOM을 '코호넨 지도(Kohonen Map)'라고 부르기도 한다.논문: Self-Organized Formation of Topologically Correct Feature Maps 주요 특징 및 원리:비지도 학습: SOM은 입력 데이터에 대한 레이블이 없을 때 사용된다. 즉, 지도 학습처럼 ..

RAG(Retrieval-Augmented Generation) 모델은 Facebook AI Research (FAIR)에서 2020년에 처음 제안했다. Facebook AI 팀은 생성 기반 모델의 한계를 보완하기 위해, 외부 데이터를 실시간으로 검색하고 이를 바탕으로 더욱 정확한 답변을 생성할 수 있도록 하기 위해 RAG를 개발했다. 이 연구는 특히 GPT-3와 같은 대형 언어 모델들이 훈련된 데이터에 의존해 답변을 생성하는 방식을 개선하고자 했다.FAIR 팀이 발표한 논문에서는 RAG의 구조와 효율성을 설명하며, RAG가 대규모 언어 모델이 직면하는 몇 가지 문제(예: 최신 정보에 대한 접근 부족, 고정된 지식 문제)를 해결할 수 있는 방법으로 제안되었다. RAG는 인공지능 모델, 특히 자연어 처리(..