유사개발자 샤이와 무지

오늘은 멋사를 시작하고 10일차 lms강의를 듣던 김무지에게 큰 숙제가 발생! 별 생각없이 크롤링 강의를 듣던중 궁금증이 많아져서유튜브 뮤직의 사이트를 크롤링을 시도하는데.(유튜브 뮤직은 유료서비스입니다.)어 아무래도 여기는 크롤링 하면 안될 것 같다는 생각이 든 김무지는 gpt에게 이 상황을 설명하고 문제가 있을지에 대해서 질문하던 도중(다행히 큰 문제는 없을 가능성이 높다고 해요) 크롤링을 할 때도 예절이 존재한다는 사실을 발견하는데...라고 좀 거창하게 이야기 했지만 chatgpt의 비유일 뿐 정확한 내용은 아니에요 사실 누군가에게는 좀 당연한 이야기일 수도 있어요(제가 처음 이걸 받아드리면서 당연하다고 생각했거든요) 어떤 책에서는 법적 윤리적 고려사항이라고도 표현했어요.저는 과도 빅데이터공학과를 ..

샤이와 무지가 멋사 데이터분석 5기를 시작하였습니다!! 짝짝짝오랜만에 Jupyter notebook 세팅을 건들 일이 생겼습니다. 멋사를 시작하면서 이제 환경설정을 건들 일이 생겼는데, 그 전엔 그냥 기본 세팅 디렉토리 세팅 되어있는 그대로~ 고민조차하지 않고 사용하면 됐지만..... 이번엔 따로 workspace를 사용할 일이 생겼습니다. 그래서 오랜만에 구글링을 열심히 해서 찾아보니 자료가 좀 오래되어서이와 무지가 멋사 데이터분석 5기를 시작하였습니다!! 짝짝짝오랜만에 Jupyter notebook 세팅을 건들 일이 생겼습니다. 멋사를 시작하면서 이제 환경설정을 건들 일이 생겼는데, 그 전엔 그냥 기본 세팅 디렉토리 세팅 되어있는 그대로~ 고민조차하지 않고 사용하면 됐지만..... 이번엔 따로 wor..

얼마전 지하철 안에서 그런 생각이 들었다. "근데 시간복잡도가 log가 나오는 경우가 발생할 수 있긴 한가? 어떻게하면 log가 튀어나올까?" 그리고 이곳저곳을 둘러보게 되는데 이런 결론이 나왔다. 이진 트리에서 총 데이터의 개수가 N개라고 하고 그 데이터 중에서 특정 데이터를 1개 찾아내는데 최악을 가정한다면? 그 깊이가 k라 가정할때 데이터는 Leaf Node에 있을 것이고 마지막 데이터의 수는 1 = N X 2^(-k)이므로 식을 풀어보면 1 = N X 2^(-k) log_2(1) = log_2(N X 2^(-k)) #양변에 log_2를 취함 0 = log_2(N) -k #어떤 수의 제곱수가 1이 되는 케이스는 0일때 밖에 없다 = 로그 내의 곱은 로그 밖에서의 합이다 k = log_2(N) 이란 ..

오늘 준비해본건 Asterisk이란 친구다 영어 그대로 직역해보면 별표 별 모양의 것이란 뜻이다.(상당히 별거 없다 모양 그대로 들고와서 부를 뿐) 오늘은 이 별표 친구에 대해 알아보도록 하죠. 0. 그래서 너 어디서 쓰이는데? 우리 별표 친구는 크게 4가지 용도로 쓰입니다 곱셈 & 제곱 연산자 컨테이너 객체들의 반복 확장 가변인자 unpacking 솔직히 Asterisk를 알아내고 찾아왔다는 것은 파이썬에 대해 어느정도 지식이 있다는 것이니 1,2번은 글을 묶어두고 3,4번 위주로 정리해보겠습니다. 더보기 I. 곱셈 & 제곱 연산자 파이썬 초창기에 사칙연산을 하면서 배운 부분이었죠. a=1 b=2 c=a * b #2 곱셈 연산자입니다. 특별할 것 없어요. a=3 b=2 c=a ** b #9 제곱 연산자..

선택 정렬을 정렬 알고리즘 중에서도 이해하기 쉬운 축에 속하는 알고리즘으로 알고리즘이 하는 일은 간단하다. 가장 작은 수를 찾고 그 작은 수가 맨 앞에 위치하지 않는다면 바꿔준다 맨 앞 숫자를 제거하고 1로 복귀 이것이 선택 정렬이고 가장 간단하고 직관적으로 이해하기 좋다. 그림으로 보면 이하와 같다 파이썬 코드로 보면 이하와 같다. def select(List): #재귀함수로 구현한 결과 pivot = min(List) if List[0] > pivot: #자리를 바꿔주는 메소드 List[List.index(pivot)] = List[0] List[0] = pivot if len(List) == 2: return List #2개가 남은 상태에선 재귀를 종료하면 됨 temp=select(List[1:])..

경사하강법(Gradient decent)은 중력으로도 비유해볼 수 있습니다. 왜 중력일까요? 이렇게 생각해봅시다. 우리나라는 태백산맥이란 큰 산맥을 가지고 있다는건 누구나 아는 사실일겁니다. 저는 대관령을 굉장히 좋아해서 대관령에서 축구공을 굴려볼건데요. 이 공을 굴린다면 이 공은 산맥이 끝나는 구간에 도착할 수 있을까요? 애석하게도 못 도착할 가능성이 존재합니다. 이것이 바로 경사하강법의 원리의 편린입니다. 다들 어느정도는 수긍하실거라 생각합니다. 그럼 이 불가능한 케이스는 어떤 케이스인걸까요? 아래 그림을 한번 봐보시죠. 이런 케이스입니다. 직관성을 올리기 위해 2차원으로 변형해보았습니다. 공이 구르다가 이하의 그림처럼 멈출 수도 있는 경우의 수가 존재하기에 이 공은 평지에 도달하지 못합니다. 이런 ..

강의를 듣다가 의문점이 생겼다. 교수님께서 말씀하신 것을 요약해보자면 Sigmoid 함수는 가운데 부분 이외엔 gradient가 0이며 가운데는 기울기의 변화가 큰 편이나 그마저도 hidden layer의 수가 증가함에 따라 그 영향이 사라진다. 그래서 sigmoid가 각광받지 못하는 것이다. 그래서, sigmoid 이외 다른 함수들도 본인만의 가치가 있기에 사용되었을 것이다. 그럼 hidden layer에서 자주 쓰이는 활성화 함수들은 각각 어떤 가치를 가질까 라는 관점에서 생각해보자. 1. Sigmoid 아마 흔히들 가장 먼저 만나게 되고 가장 먼저 써보게 될 함수일 것이다.(예가 아니라면 높은 확률로 ReLU일 것이다.) 이 함수들의 역사 이런 걸 다 빼놓고 수학적으로 살펴보면 이렇다. (일단 범위..