반응형

전체 글 26

hadoop with AWS - 01 (기초)

하둡이란? 그냥 저장소라고 생각하면 된다. 적은 비용으로 빠르게 분석 할 수 있는 소프트웨어로 자바 소프트웨어 프레임워크 범용 하드웨어로 구축된 컴퓨터 클러스터의 방대한 데이터 세트를 분산해 저장하고 처리하는 오픈 소스 소프트웨어 플랫폼이다. 하둡은 Apache Software Foundation에서 개발된 분산 컴퓨팅 시스템으로, 수천 대 이상의 컴퓨터 클러스터를 활용하여 대용량 데이터를 효율적으로 저장하고 처리할 수 있다. 현재 하둡 이외의 다양한 대규모 데이터 처리 기술과 플랫폼들이 나와있기 때문에 하둡의 파이가 줄어드는 추세이다. (하지만 아직은 하둡의 파이가 큰편이다.) 하둡의 핵심 장애 허용 (fault tolence) 확장성을 높이기 위해 장애를 당연히 발생할 수 있는 일로 간주 기반 소프트..

hadoop 2023.06.21

실무로 배우는 빅데이터 기술-02 (빅데이터 구현기술)

1. 빅데이터 프로젝트 플랫폼 구축형 빅데이터 분석 빅데이터 운영 플랫폼 구축은 빅데이터 SI 구축형 빅데이터의 하드웨어, 소프트웨어 설치 구성 수집 → 적재 → 처리 → 탐색 → 분석 기능을 구성 백업돼 있는 데이터의 마이그레이션, 주변 업무 시스템에서 발생하는 데이터의 양과 속성에 따라 프로젝트 기간이 변동 2. 빅데이터 기술의 변화 초기 : 대용량 저장소와 배치 처리기술에 집중 중기 : 실시간 처리 및 온라인 분석 기술 개발 최근 : 데이터 마이닝 및 AI의 고급 분석을 위한 전처리와 분석 마트를 구성하는 기술 빅데이터 기술의 핵심 하둡 2005년 하둡이 알려지며 빅데이터 기술들이 끊임없이 진화 빅 3 기업 cloudera, hortonworks, mapr 업체들도 하둡을 중심으로 각자의 빅데이터 ..

Base 2023.06.04

실무로 배우는 빅데이터 기술-01 (with.분석인프라)

Beginning 우여꼭절 끝에 얻어낸 ftp 설정과 파이썬3 버전 설치 → 실무로 배우는 빅데이터 기술을 실습해보기로 했다. 해당 서적에서는 가상환경에서 실행했지만 Cent OS 기반으로 구성된 인프라가 있으니 거기서 실행하도록 한다. 실습 예외 부분 centos의 x-window 부팅을 해제하여 콘솔에 바로 아이디/패스워드 입력창이 나타난다.Password : adminuser ↔ 비밀번호 입력id 5 : initdefault: ↔ 5부분을 3으로 수정한다. reboot ↔ 재시작한다. vi /etc/inittab ↔ etc하위의 inittab을 vi 편집기로 수정한다. su root ↔ root로 전환 고정 ip와 네트워크 설정 HWADDR 설정 값은 다 다르게 입력해야할 값으로 가상머신의 MAC ..

Base 2023.06.03

dacon 버스 운행시간 예측 프로젝트 1

https://dacon.io/edu/1003 개요 파이썬 기반의 데이터 분석 및 인공지능 기술을 활용하여 버스 운행 시간을 예측하는 프로젝트입니다. 목표 데이터 분석 및 인공지능 기술을 활용하여 정확한 버스 운행 시간을 예측할 수 있는 능력을 갖춥니다. 데이터 전처리, 시각화, 통계적 분석, 머신러닝 및 딥러닝 모델링 등 다양한 기법을 배우고, 실제 데이터를 바탕으로 예측 모델을 개발하세요! 설명 실제 교통 문제를 해결하는 데 도움이 되는 현실적인 응용 프로젝트입니다. 이를 통해 데이터 분석 및 인공지능 기술의 가치를 직접 체험하며 도시 교통 문제 개선을 위한 방법을 찾아 보세요! 인공지능 기술의 사회적 가치와 책임에 대한 인식을 높이고, 교통 문제를 해결함으로써 지속 가능한 도시 환경을 만드는 데 기..

Base 2023.05.31

Project04_장고 소셜 로그인 구현 allauth

소셜로그인 구현 allauth 장고에서 allauth라는 장고패키지를 이용하면 소셜로그인을 구현 할 수 있다. pip install djangorestframework pip install djangorestframework-simplejwt pip install django-allauth 자주 사용하는 소셜로그인에는 네이버, 카카오, 구글이 있을것이며 코딩과 관련된 사이트라면 깃허브까지 범용성 있게 사용 가능하다고 생각된다. 이 소셜로그인들을 allauth 패키지 내에서 서비스 명을 찾아본다. 장고에는 모델, 뷰, 템플릿 등이 있는데 이 중 views.py를 다음과 같이 추가해본다. # 소셜 로그인 BASE_URL = 'http://localhost:8000/api/v1/accounts/rest-aut..

Project/project1 2023.05.23

nvidia cuda 좀비 프로세스 제거

nvidia SSH연결 우분투 모니터링 ssh로 연결한 gpu 의 경우 모니터링을 하는게 중요하다. 따라서 우분투에서 해당메모리를 지속적으로 모니터링 하는 터미널을 열어두는게 좋다. watch -d -n 0.5 nvidia-smi → nvidia-smi를 0.5초마다 확인할게라는 의미이다. 메모리 리셋 현재 사용중인 프로세스가 없다고 뜨지만 메모리 할당은 되어있는 상태이다. →child process가 좀비상태로 남아 있다. ps aux | grep python을 실행 현재 실행중인 프로세스가 나온다. 주피터노트북과 파이썬 등이 나오는데 이를 선택제거한다. kill -9 52131 : 52131은 해당 프로세스의 이름이라고 생각하면 된다. 즉 PID이다. 실행결과를 확인하면 깔끔해졌다. $ ps -ef ..

Base 2023.05.22

Project03_주제 선정 + 역할 분담

이번 프로젝트에서 주제 선정 및 역할 분담에 어려움이 있었다. 랜덤으로 팀 선정을 하였고, 그 결과 비전공자들만 모여 있었기때문이다. 따라서 목표하는 바를 어떤 서비스를 구현해서 이뤄내자보다는 현재까지 배운 내용을 조금 더 발전시켜보자라는 목표를 세우게 되었다. 1. 수업 및 점프투 장고를 통해 배운 내용을 조금 더 활용하는 방안으로 구현하자. 2. 다른 프로젝트들은 어떻게 하였는지 보고 추가적으로 더 구현할 수 있는 방안을 모색하자. 3. 서버 작업 및 배포를 경험해보자. 1. 배운 내용을 활용하자 -> 점프 투 장고를 베이스로 작업을 하기로 하였다. 수업시간에도 하였지만 복습개념으로 다시 책을 보며 따라한 점프투 장고에서 만든 파이보 게시판을 사진을 넣을 수 있는 작업, 게시판을 더 가독성 및 기능을..

Project/project1 2023.05.20

Project02_AWS EC2 접속 및 파일 관리

AWS EC2 아마존 웹 서비스에서 다양하고 유용한 기능들이 있는데, 그중 하나로 클라우드 컴퓨팅 서비스다. 클라우드 컴퓨팅 서비스를 어떻게 활용하느냐에 따라서 시간과 비용을 절감할 수 있다. (직접 서버를 관리하려면 어려운 점이 많다.) AWS EC2 서비스를 활용하기 위한 도구 - PUTTY, FILEZILLA AWS EC2는 일종의 리눅스 컴퓨터를 한대 대여했다고 생각하면 된다. PuTTY 이 리눅스 기반의 서버에 접속하기위해서는 원격 접속(SSH)을 해야하는데 PuTTY를 이용하여 접속 가능하다. 먼저 ip주소와 .ppk 파일을 이용하여 접속을 할 수 있다. .ppk 파일은 고유 비밀번호라고 생각하면 된다. putty 설치할때 설치한 putty key generator로 생성가능. ip 주소는 S..

Project/project1 2023.05.14

Project01_협업 레포지토리 생성 및 가상환경 설정

협업레포지토리 생성 먼저 협업을 하기위해서 github를 사용하여 형상관리를 하기로 결정했다. → 팀원 한명의 깃허브에 레포지토리를 형성하여 git clone을 하는 방식으로 가져온다. 레포지토리 및 가상환경 생성 과정 먼저 협업을 할 파일들을 저장할 폴더를 생성한다. mkdir team1 가상환경을 만들어 내 컴퓨터 내에서도 관리를 용이하게 한다 (각각 모듈들의 버전관리 등을 깃으로 올려놓은 것과 맞추기 용이함) apt install python3.10-venv python -m venv 가상환경 이름 쉘스크립트에 작성하여 가상환경으로 접속을 편하게 한다. 가상환경 접속을 할 수 있는 activate가 있는 위치로 가서 pwd를 통해 위치를 작성해놓는다. cd ~ (홈으로 간다) vim 가상환경이름.s..

Project/project1 2023.05.12

Docker02. 도커 설치

도커 설치 도커 홈페이지에서 설치 https://www.docker.com/ 명령프롬프트에서 docker를 검색해보면 관련된 사항들이 출력된다. docker run -it —name encore ubuntu:18.04→ docker라는 가상머신에서 encore라는 이름의 우분투 ver.18.04를 실행할 것이다. 도커는 도커허브라는 사이트에서 패키지를 다운받아 와서 쉽게 실행가능하다.→ https://hub.docker.com/ 분석환경을 도커이미지로 담은다음 도커이미지로 가져가면 설치가 간편해진다. 도커에서 파이썬 실행 도커허브에서 python3는 없기 때문에 아나콘다를 설치하여 파이썬을 실행해야한다. 아나콘다는 무겁기때문에 미니콘다를 설치한다. docker 에서 미니콘다 설치하는 방법 apt upda..

Docker 2023.05.08
반응형