컴퓨터/머신러닝, 딥러닝 15

[Mac] 맥북 m1칩에 XGBoost, lightGBM 깔기 (conda)

또 난관에 봉착했다. 평소와 다름없이 xgboost라는 라이브러리를 사용하기 위해 conda에 pip install xgboost를 쳤는데..... 이럴수가 안깔림! 덤으로 lightgbm도 안깔렸다. m1칩 나온지 나름 좀 된거같은데... 지원 안하고 뭐 gcc버전이 뭐다 어쩌구 해서 인터넷에도 막힌 사람들이 많았다. 일단 저걸 쳤을 때 안깔렸다는건 brew install gcc brew install libomp 이 두개가 설치가 안되어있다는 뜻이다. 다른 블로그 보면 gcc 버전을 gcc@8을 어쩌구 하는데 그거 실행도 안됐고.. 안해도 됐을 것 같다. 저걸 깔면 lightgbm은 깔린다. 참고로 저걸 그대로 쳤는데 안된다면 arch -arm64 brew install gcc arch -arm64 ..

[Mac] 맥북 M1칩에서 tensorflow를 사용할 수 없을 때

문제가 발생했다. tensorflow로 데이터를 가져오려고 잘 쓰고있던 주피터 노트북에 import를 했는데 kernel 에러가 발생했다. 찾아보니 커널의 비트 수가 어쩌구... 그래서 config였나 설정 가서 높여보고 그랬는데도 해결되지 않았다. 결론은 맥북 m1칩은 tensorflow를 그냥은 사용할 수 없는 거였다. 개 킹 받 음 어찌저찌 가상환경에 깔았는데 ERROR: tensorflow_macos-0.1a3-cp38-cp38-macosx_11_0_arm64.whl is not a supported wheel on this platform. 이런 에러가 발생함. 이거는 원래 아나콘다를 쓰고있었기 때문에 발생하는 에러이다. 그래서 쓰고있던 아나콘다를 지우고.. 가상환경에 깔아야 한다. conda ..

머신러닝의 과정과 사용할 데이터 만들기

머신러닝의 기본 과정 머신러닝의 기본 과정에 대해 알아보자 1. 목표결정 - 머신러닝을 사용해 무엇을 할 것인지(목표)를 결정 2. 데이터 수집 - 목표를 기반으로 어떤 데이터를 수집해야 하는지, 어떤 방법을 사용할지 등을 검토한 뒤 데이터 수집 3. 데이터 가공 - 수집한 데이터는 대부분의 경우 특징을 추출하는 작업을 해야 한다(특징량 추출). 그리고 데이터를 학습기가 원하는 형식으로 맞춤 4. 데이터 학습 - 실제로 데이터 학습시킴 4-1) 머신러닝 방법 선택 - 일단 어떤 방법(알고리즘)을 사용할지를 지정한다. 4-2) 매개변수 조정 - 데이터에 따라 매개변수를 지정 4-3) 데이터를 학습해 모델 구축 - 데이터를 학습기에 전달해 모델 구축 5. 모델 평가 - 테스트 데이터를 사용해 어느 정도의 정..

머신러닝과 딥러닝 정의

머신러닝(machine learning)이란? '머신러닝(machine learning)'이란 간단하게 말하자면, 인간의 학습 능력과 같은 기능을 컴퓨터가 하게 만드는 기술이다. 인간은 다양한 상황을 학습할 수 있다. 시각, 청각, 촉각 등을 이용해 상황을 느끼고 식별할 수 있다. 예를 들어, 눈 앞에 사과가 있다면 사과임을 알 수 있다. 그러나 컴퓨터는 식별 능력이 없다. 컴퓨터에게 "붉은 색일 경우 사과야!" 라고 규칙을 정해주면 컴퓨터도 식별할 수 있다. 하지만 이건 머신러닝은 아님. 머신러닝은 인간이 명확하게 규칙을 정해주지 않는다. 그러니까 사과는 붉은 색이다. 라는 정보를 전달하지 않는다. 그럼 어떻게 식별 능력을 기르냐면 많은 사과 데이터를 학습기라는 프로그램에 전달하는 것이다. 그러면 식별..