20

Pretraining with Random Noise for Fast and RobustLearning without Weight Transport

https://arxiv.org/pdf/2405.16731 뇌는 환경과 상호 작용하기 전에도 학습을 준비합니다. 즉, 무작위 노이즈와 유사한 자발적인 신경 활동을 통해 구조를 정제하고 최적화합니다. 그러나 이러한 프로세스의 메커니즘은 아직 완전히 이해되지 않았으며 이 프로세스가 머신 러닝 알고리즘에 도움이 될 수 있는지 여부는 불분명합니다. 여기서는 피드백 정렬 알고리즘이 있는 신경망을 사용하여 이 문제를 연구하여 무작위 노이즈가 있는 신경망을 사전 학습하면 가중치 전송 없이도 학습 효율성과 일반화 능력이 향상된다는 것을 보여줍니다. 먼저 무작위 노이즈 학습은 역방향 시냅스 피드백과 일치하도록 전방 가중치를 수정하는데, 이는 피드백 정렬을 통해 오류를 가르치는 데 필요합니다. 결과적으로 사전 정렬된 가중..

유아기의 시각적 절벽 실험(Visual Cliff Experiment)

유아기의 시각적 절벽 실험(Visual Cliff Experiment)은 심리학자 엘리너 깁슨(Eleanor J. Gibson)과 리처드 워크(Richard D. Walk)에 의해 1960년에 수행된 유명한 발달심리학 실험이다. 이 실험은 유아가 깊이를 인식하고 두려움을 느끼는지, 즉 깊이에 대한 지각이 선천적인 것인지 아니면 후천적으로 학습되는 것인지 알아보기 위해 설계되었다.실험 방법:실험 장치: '시각적 절벽(Visual Cliff)'이라 불리는 투명한 유리판 위에 장치를 설치하고, 한쪽은 바닥이 가까워 보이도록 만들고, 다른 쪽은 바닥이 매우 멀리 있는 것처럼 보이게 만든다. 유리는 사실 안전한 표면이지만, 아이에게는 깊은 절벽처럼 보인다.유아 반응 관찰: 유아는 얕은 쪽(안전한 쪽)에 놓이고, ..

심리학/일반 2024.09.05

유아기의 시력은 얼마나 될까?

유아기의 시력 발달은 매우 중요하며, 생후 첫 몇 년 동안 빠르게 변화한다. 다음은 유아기의 시력 발달에 대한 자세한 정보이다.1. 출생 직후의 시력신생아 시력은 성인에 비해 매우 미숙하다. 출생 직후 아기의 시력은 약 20/400(0.05) 정도로, 가까운 거리에 있는 사물을 희미하게 볼 수 있다. 대략 20~30cm 거리에 있는 얼굴을 볼 수 있는 정도이다.색상 인식도 아직 제한적이며, 주로 명암 대조가 큰 흑백 패턴을 더 잘 인식한다. 이 시기에는 주변 환경보다 얼굴에 더 관심을 보인다.2. 생후 2~4개월시력 발달이 빠르게 이루어지는 시기이다. 이 시기에는 초점 맞추기와 눈의 움직임 조절 능력이 향상되어, 더 먼 거리에 있는 물체도 볼 수 있게 된다.두 눈의 협응력이 발달하면서, 사물을 양쪽 눈으..

생물학/일반 2024.09.05

무의식적으로 팔들기와 의식적으로 팔들기

의식적인 행동과 관련된 유명한 실험이 있다. 바로 손들기 실험이다. 뇌를 자극하여 팔을 들어 올리는 실험은 주로 신경과학 및 생체공학 분야에서 진행되며, 뇌의 특정 부위를 자극하여 신체 부위의 움직임을 유도하는 연구이다. 이러한 연구는 주로 운동 피질(motor cortex)과 같은 뇌의 특정 부위가 신체 움직임을 어떻게 조절하는지 이해하고, 이를 통해 신경계 장애를 치료하거나 보조 기기를 개발하는 데 기여하고자 한다. 경두개 자기 자극(TMS, Transcranial Magnetic Stimulation):원리: TMS는 강력한 자기장을 이용해 비침습적으로 뇌의 특정 부위를 자극하는 기술이다. 이 자극이 신경 세포를 활성화시켜 근육 수축을 유발할 수 있다.과정: 연구자는 피험자의 두개골 위에 TMS 장..

뇌과학/일반 2024.08.28

위대하지 않은 설계(The Poor Design)

우리 인간의 신체는 다분이 진화적 산물이라는 증거가 다수 존재한다. 특히 사족보행에서 이족보행으로 진화하면서 사족보행 때에는 적합했던 구조가 이족보행이 되면서 적합하지 않은 신체구조들이 존재한다. 이는 진화의 과정에서 이미 만들어진 신체조직을 버리지 못하고 최대한 유지하면서 변경시키려고 하는 진화적 기질에서 나타나는 것이다.  우리 신체 중 대표적인 부분들을 알아보자.1. 첫번째는 인공지능과 가장 관련이 깊은 뇌이다.현재의 뇌는 크게 3개의 층으로 되어 있다. 초기파충류 시절의 뇌(현재에 대응하는 본능적인 뇌), 중기 포유류 시절의 뇌(과거을 기억하는 학습의 뇌), 그리고 현대의 미래를 예측하는 뇌(대뇌피질)이다. 이는 이전 뇌를 버리지 않고 그 위에 추가적인 뇌를 쌓는 방식으로 진화하였기 때문이다. 2..

생물학/일반 2024.08.19

뇌는 외부 신호를 그대로 믿지 않는다.

두개골에 갇혀서 외부 신호에만 의존하는 뇌는 외부 신호를 일방적으로 믿지 않는다. 이는 새로 나타난 신호보다는 기존에 생존에 사용되었던 세상에 대한 모델이 더 안정적이라고 믿기 때문이다. 뇌가 신호를 믿지 않는다는 것과 관련된 심리학 실험은 대표적으로 "시각적 순응" 또는 "시각적 비대칭성" 실험들이 있다. 이러한 실험들은 뇌가 외부 신호를 어떻게 처리하고, 때로는 무시하거나 왜곡할 수 있는지 보여준다. 1. 시각적 순응 (Visual Adaptation) 실험 이 실험은 뇌가 반복되는 시각적 자극에 적응하여 그 자극에 덜 반응하게 되는 현상을 연구한다. 예를 들어, 일정한 색이나 패턴을 오랫동안 보면 그 자극에 익숙해져서 더 이상 강하게 인식하지 않게 된다. 이는 뇌가 외부 신호를 일정 부분 무시하는 ..

뇌과학/일반 2024.08.11

인간의 뇌는 태어날 때 기본 언어 문법을 가지고 태어난다?

DNA는 뇌를 만들고 이때 뇌에는 기본적인 구조를 가지고 있다. 태어난 모든 뻐꾸기 세끼들이 둥지의 다른 알을 떨어 뜨리는 행동을 할 수 있는 정도의 구조를 가지고 있듯이 인간의 경우 언어에 대한 기본 문법을 가지고 태어난다는 가설이 있다. 인간이 태어날 때 기본적인 언어 구조를 뇌에 가지고 있다는 가설은 "언어습득장치(Language Acquisition Device, LAD)" 이론과 "보편 문법(Universal Grammar)" 이론으로 대표된다. 이 가설들은 주로 언어학자 노엄 촘스키(Noam Chomsky)에 의해 발전되었다.언어습득장치 (LAD) 이론노엄 촘스키는 인간이 태어날 때부터 언어를 습득할 수 있는 내재적인 능력, 즉 "언어습득장치"를 가지고 있다고 주장했다. 이 장치는 특정한 언어..

뇌과학/학습 2024.08.09

거짓말로 설명하는 뇌에 대한 실험

뇌량절단술은 간질환자의 전기전파를 줄이기 위해서 시행하는 좌뇌와 우뇌를 연결하는 뇌량을 자르는 수술로 현대에서 시행되는 수술입니다.뇌량절단술 간질환자에 대한 실험은 주로 20세기 중반에 로저 스페리(Roger Sperry)와 그의 동료들에 의해 수행된 연구로 유명하다. 이 실험들은 뇌의 좌뇌와 우뇌가 서로 다른 기능을 담당하고 있다는 것을 밝히는 중요한 기여를 했다. 1. 실험 배경간질환자의 경우, 뇌의 한쪽 반구에서 시작된 발작이 다른 반구로 전파되는 경우가 많다. 이를 막기 위해 뇌량(corpus callosum)을 절단하는 수술을 시행하게 되었고, 이를 뇌량절단술(corpus callosotomy)이라고 한다. 뇌량은 좌뇌와 우뇌를 연결하는 신경섬유 다발로, 이를 절단하면 두 반구 사이의 정보 교환..

뇌과학/일반 2024.08.08

위대한 설계(The Grand Design)

이 책의 저자 중 한명인 스티븐 호킹은 블랙홀 분야의 선두자였다.그는 양자요동 현상을 이용하여 블랙홀에서 입자가 탈출할 수 있음을 제시하였고 이로하여 블랙홀이 영원히 주변입자를 흡수하는 것이 아니라 입자를 뺏기면서 점차 소멸할 수 있다는 것을 설명하였다.이 책에서는 빅뱅이 일어나고 여기서부터 현재의 우주가 탄생하는데 현재 알려진 우주상수들과 물리법칙으로 충분하다고 설명하고 있다. 이에 대해 현재의 천문학자들은 빅뱅 이후 시공간이 생기는 시점부터 우주상수들과 물리법칙 만으로 은하계 생성을 컴퓨터로 시물레이션하는데 성공하였다. 이 책으로인해 많은 유신론과 무신론의 대립이 있지만, 본 블로그에서는 우리의 지능이 전능한 누군가에 도움이 없이 진화적으로 만들어졌다면 인공으로도 충분히 가능하다고 생각된다.우리 인체..

신체 영역 별 뇌 세포의 할당

우리의 뇌는 각 신체부위 별로 뇌를 골고루 할당하기보다는 중요도가 높은, 또는 신경세포가 많은 영역에 더 많은 뇌세포를 할당하고 있다. 위 그림의 호문쿨루스(homunculus)는 신경과학에서 인간의 신체를 뇌의 특정 부분에 맵핑한 개념적 모델이다. 이 용어는 라틴어로 "작은 인간"을 의미하며, 이는 뇌에서 특정 부분이 신체의 특정 부분을 통제하거나 감각을 처리하는 방식을 시각적으로 표현한 것이다.호문쿨루스는 주로 두 가지 형태로 나눌 수 있다:감각 호문쿨루스(Sensory Homunculus):이는 일차 감각 피질(primary sensory cortex)에서 감각 정보를 처리하는 영역을 나타낸다. 신체의 각 부분이 감각 피질의 특정 영역에 대응하며, 이는 신체의 각 부분의 감각 민감도에 따라 크기가 ..

뇌과학/일반 2024.08.07