DevFlavor

1. 빅데이터 프로젝트 플랫폼 구축형 빅데이터 분석 빅데이터 운영 플랫폼 구축은 빅데이터 SI 구축형 빅데이터의 하드웨어, 소프트웨어 설치 구성 수집 → 적재 → 처리 → 탐색 → 분석 기능을 구성 백업돼 있는 데이터의 마이그레이션, 주변 업무 시스템에서 발생하는 데이터의 양과 속성에 따라 프로젝트 기간이 변동 2. 빅데이터 기술의 변화 초기 : 대용량 저장소와 배치 처리기술에 집중 중기 : 실시간 처리 및 온라인 분석 기술 개발 최근 : 데이터 마이닝 및 AI의 고급 분석을 위한 전처리와 분석 마트를 구성하는 기술 빅데이터 기술의 핵심 하둡 2005년 하둡이 알려지며 빅데이터 기술들이 끊임없이 진화 빅 3 기업 cloudera, hortonworks, mapr 업체들도 하둡을 중심으로 각자의 빅데이터 ..

Beginning 우여꼭절 끝에 얻어낸 ftp 설정과 파이썬3 버전 설치 → 실무로 배우는 빅데이터 기술을 실습해보기로 했다. 해당 서적에서는 가상환경에서 실행했지만 Cent OS 기반으로 구성된 인프라가 있으니 거기서 실행하도록 한다. 실습 예외 부분 centos의 x-window 부팅을 해제하여 콘솔에 바로 아이디/패스워드 입력창이 나타난다.Password : adminuser ↔ 비밀번호 입력id 5 : initdefault: ↔ 5부분을 3으로 수정한다. reboot ↔ 재시작한다. vi /etc/inittab ↔ etc하위의 inittab을 vi 편집기로 수정한다. su root ↔ root로 전환 고정 ip와 네트워크 설정 HWADDR 설정 값은 다 다르게 입력해야할 값으로 가상머신의 MAC ..

https://dacon.io/edu/1003 개요 파이썬 기반의 데이터 분석 및 인공지능 기술을 활용하여 버스 운행 시간을 예측하는 프로젝트입니다. 목표 데이터 분석 및 인공지능 기술을 활용하여 정확한 버스 운행 시간을 예측할 수 있는 능력을 갖춥니다. 데이터 전처리, 시각화, 통계적 분석, 머신러닝 및 딥러닝 모델링 등 다양한 기법을 배우고, 실제 데이터를 바탕으로 예측 모델을 개발하세요! 설명 실제 교통 문제를 해결하는 데 도움이 되는 현실적인 응용 프로젝트입니다. 이를 통해 데이터 분석 및 인공지능 기술의 가치를 직접 체험하며 도시 교통 문제 개선을 위한 방법을 찾아 보세요! 인공지능 기술의 사회적 가치와 책임에 대한 인식을 높이고, 교통 문제를 해결함으로써 지속 가능한 도시 환경을 만드는 데 기..

nvidia SSH연결 우분투 모니터링 ssh로 연결한 gpu 의 경우 모니터링을 하는게 중요하다. 따라서 우분투에서 해당메모리를 지속적으로 모니터링 하는 터미널을 열어두는게 좋다. watch -d -n 0.5 nvidia-smi → nvidia-smi를 0.5초마다 확인할게라는 의미이다. 메모리 리셋 현재 사용중인 프로세스가 없다고 뜨지만 메모리 할당은 되어있는 상태이다. →child process가 좀비상태로 남아 있다. ps aux | grep python을 실행 현재 실행중인 프로세스가 나온다. 주피터노트북과 파이썬 등이 나오는데 이를 선택제거한다. kill -9 52131 : 52131은 해당 프로세스의 이름이라고 생각하면 된다. 즉 PID이다. 실행결과를 확인하면 깔끔해졌다. $ ps -ef ..

wsl이란? WSL(Windows Subsystem for Linux) windows 10 에서 도입한 기능으로, 리눅스 커널인터페이스를 통해 Linux 배포판을 Windows에서 실행할 수 있게 해주는 것이다. → wsl을 통해 윈도우 운영체제에서 리눅스 개발 및 시스템 관리도구를 함께 사용할 수 있다. c드라이브는 꽉 차는 경우가 많다. 나도 C드라이브의 용량이 빨간색으로 변하는 것을 목격하고 이 작업을 찾아보았다. C드라이브 용량이 부족할때 D드라이브로 wsl을 이동시키면 용량 관리에 유용하다. 이 작업은 임포트하는데 시간이 꽤 많이 들기에 여유가 있을때 실행하기 바란다. 내보내기 wsl -l --all wsl --export Ubuntu d:\\.tar wsl -l —all은 모든 상태의 WSL(..