SOSO

apply 함수를 통해 특정 행이나 전체 데이터프레임에 함수를 적용할 수 있다.data = data.apply(함수명, axis=0)axis=0으로 설정하면 한 열 전체에 함수가 적용된다.axis=1로 설정하면 한 행의 여러 컬럼을 기준으로 함수가 적용된다.

print(5/2) # 2.5'/'는 float 형을 반환한다. (소수점까지 반환) print(5//2) # 2'//'는 int형, 즉 몫을 반환한다. (정수까지 반환)

df.stack()행(인덱스)를 컬럼으로 변경한다. df.unstack()컬럼을 행(인덱스)로 변경한다.

1. 특정 문자열이 포함되는 경우# choice_description 값에 Black이 들어가는 경우 인덱싱ans = data.loc[data['choice_description'].str.contains('Black')]ansstr.contains('문자열')로 필터링한다. 조건이 여러 개인 경우 '|' 연산자를 사용하여 나타낸다.str.contains('str1|str2|str3') 2. 특정 문자열이 포함되지 않는 경우# choice_description 값에 Vegetables가 들어가지 않는 경우의 개수 출력ans = data.loc[~data['choice_description'].str.contains('Vegetables')]ans필터링 조건 앞에 '~'를 붙여 전체 데이터에서 문자열이 포..

Funnel(퍼널)의 사전적 의미는 '깔대기'이며, 마케팅 분야에서는 잠재 고객에서 실제 고객이 되는 과정을 단계별로 구분한 모델을 의미한다.Funnul을 통해 소비자의 행동을 기업 관점에서 바라보며 고객이 유입되는 단계를 수치로 확인하고 분석할 수 있다. AARRRAcquisition(획득), Activation(활성화), Retention(유지), Revenue(수익), R eferral(추천)의 앞 글자를 따서 이름을 붙였다.1. Acquisition : 처음 서비스를 어떻게 접하게 되는지2. Activation : 사용자가 처음 서비스를 접할 때, 긍정적인 경험을 제공하는지3. Retention : 이후 서비스를 다시 사용하는 정보는 얼마나 되는지4. Revenue : 최종 목적(구매)으로 연결되..

전통적인 neural network는 이전의 얻은 정보를 다음 단계에서 반영하지 않는다.RNN(Recurrent Neural Network)은 위 문제를 해결하여 이전의 얻은 정보가 다음 단계에서 반영되도록 하였다.RNN은 하나의 network를 복사해서 일렬로 세우고 순서대로 정보를 전달하는 network라고 생각하면 이해가 쉽다.LSTM(Long Short-Term Memory Network)는 RNN의 종류이다. 현 시점의 정보를 얻기 위해 최근의 정보만을 필요로 할 때가 있다. ex) "신호가 초록불일 때 건너야 한다." 라는 문장에서 "신호가 OOO일 때 건너야 한다"의 빈칸을 맞히려면, 제시된 문장 하나만 고려하면 된다.이처럼 필요한 정보를 얻기 위한 시간 격차가 크지 않다면 RNN도 지난 정..

데이터 분석 주제를 찾기 위해 요즘 떠오르는 주제를 찾다가조금 더 현실적이고 나와 가까운 곳에서부터 찾는 게 좀 더 쉬울 것 같아서공공데이터포털에서 나의 현재 거주지 '전주' 키워드로 검색하여 데이터를 선정하였다. Goal지도에 사용자의 현 위치와 개방 화장실 위치를 시각화하고화장실 위치를 클릭하면 해당 화장실의 정보가 나오는 서비스(모바일 애플리케이션)를 구현할 예정이다. Problem오픈 API로 데이터(xml 형태)를 가져와보니 리스트가 10개 밖에 없어서다른 개방화장실의 위치 정보는 크롤링하거나 직접 기입하는 식으로 데이터를 수집해야 할 것 같다. Now현재는 기존 API를 통해 받은 데이터만 tableau 맵 위에 표시하였다. + 24/01/05flutter 데모 앱 아이폰에 연결+ 24/01/..

HDFS란?대용량 파일을 분산된 서버에 저장하고 빠르게 처리하는 하둡 분산 파일 시스템 1. Hadoop 실행cd /usr/local/cellar/hadoop/3.4.1/libexec/sbin./start-all.sh 2. 폴더 생성hdfs dfs -mkdir /폴더명터미널에서 위와 같이 입력하여 폴더를 생성하고HDFS status : http://localhost:9870상단 메뉴 중 Utilities-Browse the file system에 들어가면생성한 Directory를 확인할 수 있다. 3. 파일 저장hdfs dfs -put 로컬 저장소 위치/파일명 폴더명/파일명터미널에 다음과 같이 입력하면설정한 파일명대로 파일이 올라간 것을 확인할 수 있다.  Referencehttps://yarisong...

Spark란?빅데이터 프로세싱 도구로, SQL, 스트리밍, 머신러닝 및 그래프 처리를 위한 기본 제공 모듈을 제공한다. Mac intel에 Spark 설치apache-spark를 설치하기 전 python, Java는 설치가 된 상태여야 한다.1. python, Java 설치(Java 설치는 아래 글 참고)2024.11.16 - [데이터 분석] - Hadoop 설치 (Mac intel) 2. apache-spark 설치brew install apache-spark # 3.5.3으로 자동 설치 3. 환경변수 설정터미널 환경이 아닌 주피터 노트북을 사용하기 위해 ~/.zchrc에서 환경변수를 설정한다.export SPARK_HOME=/usr/local/Cellar/apache-spark/3.5.3/libexe..

Hadoop이란?빅데이터를 저장, 처리, 분석할 수 있는 소프트웨어 프레임워크 Mac intel에 Hadoop 설치1. Java 설치brew install caskbrew install --cask adoptopenjdk/openjdk/adoptopenjdk11터미널의 위 명령어를 입력하면 Java를 설치할 수 있다. 2. JAVA HOME 확인/usr/libexec/java_home/Library/Java/JavaVirtualMachines/adoptopenjdk-11.jdk/Contents/Home 3. Hadoop 설치brew install hadoop # 3.4.1로 자동 설치 4. 환경변수 수정Finder에서 'Cmd+Shift+G'로 경로 검색 창을 띄우고 "/usr/local/Cellar/h..