0netw0m1ra

1. Bining(수치형 - 범주형) - 연속형 변수를 구간을 이용하여 범주화하는 과정 - 정보가 압축되고 단순해짐(정확도는 떨어짐) - 이상치 해결 방법 중 한가지로 사용하거나 오버피팅 방지 기법으로 사용 - (3, 6] : 3초과 6포함, right=True - [3, 6) : 3이상 6포함하지 않음, right=False - pd.cut() - 비율을 사용하여 구간 나누기 pd.qcut(데이터, 구간) 구간은 0~1 사이의 숫자 사용 인프런 - [EduAtoZ] 빅데이터분석기사 실기 대비 Part2. 데이터 Binning(수치형 - 범주형) https://www.inflearn.com/course/%EB%B9%85%EB%8D%B0%EC%9D%B4%ED%84%B0-%EB%B6%84%EC%84%9D%E..

1. 이상치(outlier) - 일반적인 값들과 많이 떨어진 위치의 데이터 - 평균은 이상치에 영향을 크게 받지만, 중앙값은 영향을 거의 받지 않음 2. 이상치 확인 - 그래프로 확인하는 방법 Series나 DataFrame의 경우, x.plot(kind = 'box') 또는 x.plot.box() 로 확인 가능 3. ESD(Extream Studentized Diviate)를 이용한 방법 - 평균으로 부터 3 표준편차 떨어진 값을 이상치로 판단 - tip에 대한 이상치 구하기, 소수점 아래 2째 자리까지 표기 - 사분위수를 이용한 방법 Q1 - 1.5 * IQR 미만, Q3 + 1.5 * IQR 초과를 이상치로 판단 ( IQR = Q3 - Q1) 4. 이상치 처리 - 이상치 제거 : 정상범주에 있는 데..

1. 라이브러리 - numpy API : https://numpy.org/doc/stable/reference/ - pandas API : https://pandas.pydata.org/pandas-docs/stable/reference/index.html 2. 통계 분석 개요 모집단(population) : 연구 대상 데이터 전체 집합 모수(parameter) : 모집단의 특성을 나타내는 수치 표본(sample) : 모집단에서 추출한 일부 데이터 통계량(statistic) : 표본의 특성을 나타내는 수치 모집단의 모수 표본의 통계량 모평균 표본평균 모분산 표본분산 모표준편차 표본표준편차 3. pandas의 var()와 numpy의 var()가 다른 이유? # Delta Degrees of Freedom..

1. 특정 문자열이 포함된 행 가져오기 - Series.str.contains(문자열) : 문자열이 포함된 행은 True, 아니면 False인 Series 반환 - DataFrame.loc[조건, :] : 조건이 True인 행만 가져오기 2. 통계값 알아보기 - Series.count() : 개수 - Series.sum() : 합계 - Series.mean() : 평균 - Series.std() : 표준편차 - Series.var() : 분산 - Series.median() : 중앙값 - Series.mode() : 최빈값 - Series.cumsum() : 누적합 - Series.quantile([0.25, 0.5, 0.75]) : 분위수 3. 실습 인프런 - [EduAtoZ] 빅데이터분석기사 실기 대..

1. Series 연산 - Series는 스칼라값과 연산 시 각 값과 스칼라 값의 연산이 이루어짐 - 결과는 Series가 됨 2. 날짜 변경 3. 현재 날짜 정보 알아오기 4. DataFrame.apply() 적용하기 - DataFrame.apply() 적용하지 않고 사용하기 - 위의 방식을 DataFrame.apply()로 변경하기 5. Series를 DataFrame으로 만들기 - pd.DataFrame(Series) - Series.to_frame() 6. DataFrame의 index 정렬하기 - DataFrame.sort_index() : 오름차순 정렬 - DataFrame.sort_index(ascending=False) : 내림차순 정렬 7. DataFrame의 전치행렬 구하기 - Data..

1. 결측치는 값이 없음을 나타냄 - NaN, NaT, None 등으로 표기되며, NA Value, Missing Value라고 함 2. 결측치 확인 - DataFrame.isna() : 결측치에 대해 True, 아니면 False - DataFrame.isnull() : DataFrame.isna()와 동일함 - DataFrame.notna() : 결측치가 아닌 것에 대해 True, 결측치면 False - DataFrame.notnull() : DataFrame.isnull()과 동일함 - Series에도 결측치 확인을 위한 isna() ~ notnull()의 메서드 있음 3. 개수 세기 - DataFrame.isna().sum() : 결측치에 대해 컬럼별 개수 - DataFrame.isna().sum(..

- str.strip('제거할 문자들') : 문자열의 앞/뒤에 불필요한 것을 제거함 제거할 문자들을 지정하지 않을 경우 whitespace를 제거함 - str.split('구분자') 구분자를 지정하지 않을 경우 whitespace를 기준으로 분리함 각 구분된 내용은 str[0], str[1], ... 등으로 접근 - str.join('구분자') 분리된 문자열을 구분자들 사이에 넣어 하나의 문자열로 만듦 구분자 지정을 생략할 수 없음 ex. str.join('') - str.replace(전, 후) 문자열의 일부 내용을 변경 가능함 변경전 내용을 찾아 변경후 내용으로 바꿈 (연습) 인프런 - [EduAtoZ] 빅데이터분석기사 실기 대비 Part2. 데이터 전처리를 위한 str Accessor 추가 설명, ..

1. Series의 str Accessor 사용 - 세부 내용 : https://pandas.pydata.org/docs/reference/series.html#string-handling - Series.str.split() : whitespace(공백, 탭 등)을 기준으로 문자열 분리 ex. '서울특별시 종로구 ...' => [서울특별시, 종로구, ...] - Series.str[0] : Series가 여러 개의 요소가 있는 경우 그 첫 번째 요소 2. Series.uniques() : 중복 데이터의 제거 후 배열로 반환, NA value가 있다면 포함 3. Boolean Indexing 사용하여 조건에 맞는 데이터 가져오기 - DataFrame.loc[조건, :] - DataFrame[조건] - 조..