일 | 월 | 화 | 수 | 목 | 금 | 토 |
---|---|---|---|---|---|---|
1 | 2 | 3 | 4 | 5 | 6 | 7 |
8 | 9 | 10 | 11 | 12 | 13 | 14 |
15 | 16 | 17 | 18 | 19 | 20 | 21 |
22 | 23 | 24 | 25 | 26 | 27 | 28 |
29 | 30 | 31 |
- pwnable
- ios frida
- ubuntu
- Linux
- 빅데이터분석기사 실기
- dreamhack
- AWS Cloud
- 보안뉴스
- [EduAtoZ]
- 클라우드
- 빅데이터분석기사
- Cloud
- error
- 풀이
- Dreamhack.io
- 인프런
- pandas
- 빅데이터 분석기사 실기
- AWS
- 빅데이터 분석기사
- VS Code 오류
- mariadb
- centos7
- Python
- wireshark
- 빅분기 실기
- nmcli
- tcache
- 워게임
- FSB
- Today
- Total
목록빅데이터 분석기사 (19)
0netw0m1ra
1. 오분류표 - sklearn.metrics.confusion_matrix(y_true, y_pred, *, labels=None, sample_weight=None, normalize=None) - y_true : 실제값 - y_pred : 예측값 2. 확률 구하기 - 분류모델에서는 ~할 확률값을 구할 수 있음 - model.predict_proba(x_test) 3. 예측값 저장 - 행은 모두 포함하고, 열(컬럼)은 합격여부의 결과인 컬럼만 저장 인프런 - [EduAtoZ] 빅데이터분석기사 실기 대비 Part3. 분류모델-평가, 결과 파일 저장 https://www.inflearn.com/course/%EB%B9%85%EB%8D%B0%EC%9D%B4%ED%84%B0-%EB%B6%84%EC%84%9D..
1. 순서 1) X, Y 데이터 분리 2) 학습, 평가 데이터로 분리 3) 분리된 데이터의 shape 출력 4) 학습 모델 선택 및 학습 5) 성능 평가 -> 정확도(accuracy) 평가 인프런 - [EduAtoZ] 빅데이터분석기사 실기 대비 Part3. 분류모델-학습 함수 생성 https://www.inflearn.com/course/%EB%B9%85%EB%8D%B0%EC%9D%B4%ED%84%B0-%EB%B6%84%EC%84%9D%EA%B8%B0%EC%82%AC-%EC%8B%A4%EA%B8%B0-%ED%8C%8C%EC%9D%B4%EC%8D%AC
1. GridSearchCV - 최고의 HyperParameter를 찾기 위해 사용함 - sklearn.model_selection.GridSearchCV - (estimator, param_grid, scoring=None, n_jobs=None, refit=True, cv=None, verbose=0, pre_dispatch='2n_jobs', error_score=nan, return_train_score=False) - estimator : 학습 모델 - param_grid : 실행해볼 HyperParameter 목록, dict 객체 - cv : CrossValidation에 사용할 나누는 개수, 기본값 = 5 - verbose 0(defualt) : 메시지 출력 안함 1 : 간단한 메시지 2 :..
1. sklearn.base.BaseEstimator - 모델의 기반 클래스 모든 머신러닝 모델(Estimator)은 반드시 상속 구현 - 학습/훈련, 예측, 평가/검정 방법 인터페이스 일관성 제공 - BaseEstimator를 상속받아 만들어진 모델들은 개별 알고리즘으로 구현, 동일 interface 사용 - fit(X_train, y_train) : 모델 학습/훈련 - score(X_test, y_test) : 성능 측정 - 1에 가까울수록 좋은 성능 - predict(X_test) : 예측 값 반환 2. help(알고리즘) 인프런 - [EduAtoZ] 빅데이터분석기사 실기 대비 Part3. sklearn 사용법 3/4 - 모델 학습 평가, 예측 https://www.inflearn.com/cours..
1. 데이터 분할 - sklearn.model_selecton.train_test_split - x_train, x_test, y_train, y_test = train_test_split(X, Y, test_size, train_size, random_state, shuffle, stratify) 배열들을 지정된 비율로 나눠서 반환 test_size = 0.25 : 0.0~1.0 테스트 데이터셋 비율 train_size = None : 0.0~1.0 훈련 데이터셋 비율 random_state = None : 정수 값, 난수 발생의 시드(seed) 값 shuffle = True : boolean 값을 전달해서 섞을지 말지 결정(기본값 = True) stratify : Y의 지정한 데이터 비율을 유지(층화..
1. scikit-learn(or sklearn) library 사용 - Machine Learning을 위한 라이브러리 - 활발한 개발 커뮤니티 - 라이브러리의 지속적인 발전 - scikit-learn : https://scikit-learn.org/stable/modules/classes.html - choosing the right estimator : https://scikit-learn.org/stable/tutorial/machine_learning_map/index.html 2. sklearn.preprocessing.StandardScaler - fit(X_train) : 전처리에 필요한 값 준비, return scaler - transform(X_train) : 전처리 실행, return..
1. Encoding(범주형 - 수치형) - Label Encoding : 값의 일련번호로 변경, 순서가 있는 경우, 항목이 적을 때 ex. '여성', '남성', '아이' : 0, 1, 2 '월', '화', '수', '목', '금', ... : 0, 1, 2, 3, ... category 타입의 cat.codes Series.replace()를 사용함 - One Hot Encoding : 범주의 개수만큼의 feature를 만들어냄, 순서가 없는 경우, 여러 개의 항목일 때 pd.get_dummies(Series/DataFrame) 인프런 - [EduAtoZ] 빅데이터분석기사 실기 대비 Part2. 데이터 Encoding(범주형 - 수치형) https://www.inflearn.com/course/%EB%..
1. 데이터 스케일링 - min-max normalization : 값의 범위를 [0, 1]로 변환 (xi - x.min()) / (x.max() - x.min()) - standardization : 특성의 값이 표준정규분포를 갖도록 변환(평균 0, 표준편차 1) (xi - x.mean()) / x.std() - sklearn의 MinMaxScaler, StandardScaler 사용 가능 스케일러의 fit_transform() 사용시 2차원의 데이터를 전달해야 함 (DataFrame도 2차원), 결과는 ndarray로 반환 됨 - scipy.stat의 zxcore 함수 사용 가능 1차원 데이터 가능 인프런 - [EduAtoZ] 빅데이터분석기사 실기 대비 Part2. 데이터 스케일링 https://ww..