이뇽티의 AI 세상

https://arxiv.org/pdf/2206.00164 논문에 대해서 정리1. 핵심 아이디어- Inference Learning(IL) 알고리즘의 이론적 기반을 제시- IL이 왜 생물학적으로 BP보다 더 타당하냐?- BP와 어떻게 다르고 어떤 장점이 있는지?- IL은 뇌의 신경회로에서 일어나는 local learning 규칙과 유사함- BP와 비슷하거나 더 나은 성능을 보일 수 있음- IL이 수학적으로 Implicit SGD와 근사함을 증명했음 : IL의 높은 안정성과 성능 상 이점 설명 2. 주요 내용 요약2.1. BP와 IL의 비교, 그리고 Biological plausiblityBP는 딥러닝의 지배자이다. 그러나, 뇌의 실제 신경 회로에서 일어나는 학습 메커니즘과 잘 맞지 않다는 비판이 있어왔..

분류 : 수학, 다이나믹 프로그래밍 점화식은 다음과 같이 만들어서 Bottom-up 방식으로 해결 de[i] = de[i-5]+de[i-1] ( i≥5 ) case = int(input()) leng = [] for i in range(case): leng.append(int(input())) de = [0, 1, 1, 1, 2] for i in range(5, 101): de.append(de[i-5]+de[i-1]) for i in range(case): print(de[leng[i]]) 그런데 점화식은 사실 이렇게 만들어도 됨 de[i] = de[i-3]+de[i-2] ( i≥3 ) 한 줄 평 : 다이나믹 프로그래밍만 하면 좋겠다

이전에 글에서는 random.seed에 대해 얘기를 했었다. 이 글에서는 이 seed란 무엇인가에 대해 정리하도록 하겠다. 같은 seed면 같은 수가 나온다고 했는데, for loop에서 어떻게 달라지는지 확인해보자. 1. for loop 1개 먼저 다음처럼 for loop이 하나 있는 식은 몇백번을 실행해도 결과가 같을 것이다. import numpy as np np.random.seed(123) arr = [] for i in range(10): arr.append(np.random.randint(0, 5)) print(arr) 2. for loop이 2개 이상인 경우 그럼 같은 seed에 같은 순서는 같은 숫자를 얻을 수 있다고 생각할 수 있다. 하지만 중요한 건 이건 seed 호출 뒤의 딱 한 개..

프로그래밍에서 임의의 수를 추출하는 것은 기본적 소양이라고 생각한다. 파이썬에서는 이런 임의 숫자를 추출하는 것을 쉽게 해줄 함수를 여럿 갖고 있다. 이런 함수들은 numpy에서 많이 다룬다. 1. np.random.rand() 먼저 기본적인 임의의 수를 만들어주는 함수를 소개한다. np.random.rand()는 임의의 수를 리턴한다. import numpy as np np.random.rand() #pseudo-random numbers 근데 이렇게 하면 매번 임의의 수를 만들 때(np.random.rand()를 호출할때) 다른 수가 나온다. 딥러닝을 할 때 이 임의의 수를 일정하게 나오게 해줘야하는데 그때 쓰는 함수가 np.random.seed()다. np.random.seed(123) np.ran..

Loop를 이용하여 여러가지 데이터 구조를 호출하는데 있어 유용한 함수들을 정리한다. 1. 데이터프레임과 같은 구조일때 유용한 함수로는 "iterrows()" 가 있다. import pandas as pd example = pd.read_csv("brics.csv", index_col = 0) for lab, row in example.iterrows(): print(lab) print(row) 그러면 다음과 같이 한 행의 여러 열에 대한 상태가 프레임 구조로 나타난다. 변수를 선택해서 출력하고 싶다면 다음과 같이 row에서 명명해서 출력하면 된다. import pandas as pd brics = pd.read_csv("brics.csv", index_col = 0) for lab, row in bri..

3강 완료! 마지막 시간에는 크롤링 데이터를 이용해 워드 클라우드 만들기를 했다. 강의에서 크롤링한 데이터는 주니까 걱정말고 받으면 된다. 인기 영상과 일반 영상의 새 열을 추가해서 두 영상 분류에서의 워드 클라우드를 생성할 수 있다. PowerBI에서 데이터는 엑셀이든 csv 파일이든 마이크로소프트사에서 만든 거기 때문에, 엑셀과 똑같은 함수 규칙을 쓴다. 그렇기 때문에 엄청 쉽다!! 이거 코딩 하려면 쎄가 빠지는데, PowerBI는 클릭만 잘하면 얼마든지 만들 수 있다. 물론 코딩도 중요하다. 근데 비전문가들끼리 소통이나 빠른 인사이트 도출하려면 이런 기술은 좀 있어야할듯 재밌었다. 시각화 원래 안 좋아하는데.. 좀 재미를 들인 거 같기도 하고.. 강사쌤 목소리도 좋다. 아래는 링크 https://w..

코딩 없이 시각화하는 것은 전공자에게도 비전공자에게도 참 중요한 일이다. 왜냐하면, 모든 프로젝트를 시작하기 전에 적절한 분석 방향을 빠르게 제시할 수 있기 때문이다. 어쩌면 프로젝트의 결론을 가로지르는 인사이트의 도출도 쉬울 수 있다. 또 코딩 없이 하니까, 클릭만 능숙해진다면 엄청 쉽다. 그러므로 비전공자에게도 접근이 쉽기 때문에, 다분야에서의 의견을 수렴할 수 있으며 팀원 간의 의사소통이 원활해진다. 그래서 인프런에서 PowerBI로 시각화하기 강의를 들었다. 3강 밖에 없어서 졸논 쓰는 와중에도 충분히 들을 수 있을 정도의 분량이기 때문에 아직 2강 들었는데 일단은 중간 리뷰를 해보자면 PowerBI 자체의 매력에 대해 설명 GIS를 통해 지리정보 시각화에 대한 튜토리얼 정도의 지식 습득 가능 아..

Feedback Alignment든, 다른 대안적 학습 방법이든 모든 방법이 다층 퍼셉트론 구조 내에서 설명을 하는 것이 쉽기 때문에, 다층 퍼셉트론 구조부터 설명하고자 한다. 다층 퍼셉트론은 인공신경망의 한 구조라 할 수 있는데, 인공신경망은 인간의 뇌 구조를 모방하여 모델링한 수학적 모델이라 할 수 있다. 인공신경망은 이런 생물학적 신경세포의 정보처리 및 전달 과정을 모방해 구현한다. 프롤로그는 크게 2개로 구성했는데, 하나는 퍼셉트론~다층 퍼셉트론에 대한 것이고 다른 하나는 오류 역전파에 대한 것이다. 모든 논문에서 공통적으로 나오는 설명이기 때문에, 이렇게 프롤로그로 따로 빼서 먼저 정리하려고 한다. 1. 퍼셉트론 다층 퍼셉트론을 설명하기 앞서, 퍼셉트론 구조에 대해 잠깐 정리하겠다. 그럴려면, ..

Feedback Alignment : Backprop에서 일어나는 문제 중에 실제 뇌의 학습 방법과 유사하지 않다는 점을 해결하기 위해, Timothy P.Lillicrap 이 2014년에 낸 논문(arxiv.org/abs/1411.0247)의 방법입니다. 이 방법 이후로 쭉 발전되어 온 관련 논문들을 정리하는 게시판 입니다. Computational Neuroscience : 인지신경과학 또는 computational neuroscience, 뇌공학 공부하는 게시판으로 코세라의 강의와 K-Mooc, 책 등을 토대로 정리// 계획은 코세라의 Neural Networks and Deep Learning 먼저지만.. 너무 광범위해서 사실 중구난방 게시판이 될지도 모르겠음 심층 학습 : 이안 굿펠로의 심층 학..