티스토리

코딩탐사선

검색하기

블로그 홈

코딩탐사선

codingexplore.tistory.com/m

leecrossun 님의 블로그입니다.

구독자: 3

방명록 방문하기

주요 글 목록

MapSideJoin - 분산 캐쉬 Distributed Cache 분산 캐쉬 Distributed Cache 1. 개념 작은 사이즈의 읽기전용 파일 (사전, meta data) 를 task tracker의 working directory에 복사하는 메커니즘 -> 이를 inmemory에 올림 Distributed Cache로 사용될 파일은 먼저 HDFS에 복사되고 그 위치가 사용되어야 함 default 최대크기 == 10GB (실질적으로 100MB가 적당) 2. 사용 전략 1) 어떤 파일? - 크기가 작은 파일, HDFS에 올라가 있는 파일 (relation_b.dat) 2) 분산 캐쉬(Distributed Cache) 사용 방법 - 프로그램의 인자로 Distributed Cache 파일의 HDFS상 위치 넘김 - Main에서 이 위치를 등록 (** 주의 local이 아.. 공감수 0 댓글수 0 2021. 6. 10.
[ Hadoop : 하둡 ] IMDb demo 프로그램 ② - MapReduce 작성 IMDb demo 프로그램 ② 1. 기능 이 프로그램은 영화 목록과 영화 별점을 각각 텍스트 파일로 받고, 변수 k 를 세 번째 parameter로 받아서 평균 rating(별점) 이 가장 높은 fantasy 영화 k개의 영화제목과 평균 별점을 출력하는 기능을 가지고 있다. 2. movies.dat ( input 데이터 1 ) 다음은 hdfs 의 movieinput 폴더 안에 들어갈 첫번째 텍스트 데이터이고, 한줄씩 Map의 input으로 전달된다. 영화ID::영화제목(개봉년도)::장르|장르|장르... 위와 같은 형식으로 작성되어 있다. 1::Toy Story (1995)::Animation|Children's|Comedy 2::Jumanji (1995)::Adventure|Children's|Fanta.. 공감수 0 댓글수 1 2021. 5. 24.
[ Hadoop : 하둡 ] Uber demo 프로그램 - MapReduce Uber demo 프로그램 1. 기능 이 프로그램은 지역과 날짜별로 운행한 vehicle의 개수와 서비스횟수를 받아서 그것을 지역과 요일별로 묶어서 vehicle과 서비스횟수의 합을 구하는 기능을 한다. 2. uber.dat ( input 데이터 ) 다음은 hdfs 의 input 폴더 안에 들어갈 텍스트 데이터이고, 한줄씩 Map의 input으로 전달된다. Base number,Date,Active vehicles,Trip Base number (지역번호) Date (날짜) Active vehicles (운행한 자동차의 갯수) trips (서비스 횟수) 위와 같은 형식으로 작성되어 있다. 예를들어, B02512,1/1/2018,190,1132 이면 -> Base number : B02512 , Date .. 공감수 0 댓글수 0 2021. 5. 8.
[ Hadoop : 하둡 ] IMDb demo 프로그램 ① - MapReduce 작성 IMDb demo 프로그램 ① 1. 기능 이 프로그램은 영화 목록을 텍스트 파일로 받아서 장르별로 영화의 갯수를 세어 output으로 반환하는 기능을 가지고 있다. 2. movie.dat ( input 데이터 ) 다음은 hdfs 의 input 폴더 안에 들어갈 텍스트 데이터이고, 한줄씩 Map의 input으로 전달된다. 순번::영화제목(개봉년도)::장르|장르|장르... 위와 같은 형식으로 작성되어 있다. 1::Toy Story (1995)::Animation|Children's|Comedy 2::Jumanji (1995)::Adventure|Children's|Fantasy 3::Grumpier Old Men (1995)::Comedy|Romance 4::Waiting to Exhale (1995)::C.. 공감수 0 댓글수 0 2021. 5. 8.

문의안내

티스토리
로그인
고객센터

티스토리는 카카오에서 사랑을 담아 만듭니다.