코딩탐사선

개발Hadoop 검색 결과

해당 글 4건

MapSideJoin - 분산 캐쉬 Distributed Cache

분산 캐쉬 Distributed Cache 1. 개념 작은 사이즈의 읽기전용 파일 (사전, meta data) 를 task tracker의 working directory에 복사하는 메커니즘 -> 이를 inmemory에 올림 Distributed Cache로 사용될 파일은 먼저 HDFS에 복사되고 그 위치가 사용되어야 함 default 최대크기 == 10GB (실질적으로 100MB가 적당) 2. 사용 전략 1) 어떤 파일? - 크기가 작은 파일, HDFS에 올라가 있는 파일 (relation_b.dat) 2) 분산 캐쉬(Distributed Cache) 사용 방법 - 프로그램의 인자로 Distributed Cache 파일의 HDFS상 위치 넘김 - Main에서 이 위치를 등록 (** 주의 local이 아..

개발/Hadoop 4년 전

[ Hadoop : 하둡 ] IMDb demo 프로그램 ② - MapReduce 작성

IMDb demo 프로그램 ② 1. 기능 이 프로그램은 영화 목록과 영화 별점을 각각 텍스트 파일로 받고, 변수 k 를 세 번째 parameter로 받아서 평균 rating(별점) 이 가장 높은 fantasy 영화 k개의 영화제목과 평균 별점을 출력하는 기능을 가지고 있다. 2. movies.dat ( input 데이터 1 ) 다음은 hdfs 의 movieinput 폴더 안에 들어갈 첫번째 텍스트 데이터이고, 한줄씩 Map의 input으로 전달된다. 영화ID::영화제목(개봉년도)::장르|장르|장르... 위와 같은 형식으로 작성되어 있다. 1::Toy Story (1995)::Animation|Children's|Comedy 2::Jumanji (1995)::Adventure|Children's|Fanta..

개발/Hadoop 4년 전

[ Hadoop : 하둡 ] Uber demo 프로그램 - MapReduce

Uber demo 프로그램 1. 기능 이 프로그램은 지역과 날짜별로 운행한 vehicle의 개수와 서비스횟수를 받아서 그것을 지역과 요일별로 묶어서 vehicle과 서비스횟수의 합을 구하는 기능을 한다. 2. uber.dat ( input 데이터 ) 다음은 hdfs 의 input 폴더 안에 들어갈 텍스트 데이터이고, 한줄씩 Map의 input으로 전달된다. Base number,Date,Active vehicles,Trip Base number (지역번호) Date (날짜) Active vehicles (운행한 자동차의 갯수) trips (서비스 횟수) 위와 같은 형식으로 작성되어 있다. 예를들어, B02512,1/1/2018,190,1132 이면 -> Base number : B02512 , Date ..

개발/Hadoop 4년 전

[ Hadoop : 하둡 ] IMDb demo 프로그램 ① - MapReduce 작성

IMDb demo 프로그램 ① 1. 기능 이 프로그램은 영화 목록을 텍스트 파일로 받아서 장르별로 영화의 갯수를 세어 output으로 반환하는 기능을 가지고 있다. 2. movie.dat ( input 데이터 ) 다음은 hdfs 의 input 폴더 안에 들어갈 텍스트 데이터이고, 한줄씩 Map의 input으로 전달된다. 순번::영화제목(개봉년도)::장르|장르|장르... 위와 같은 형식으로 작성되어 있다. 1::Toy Story (1995)::Animation|Children's|Comedy 2::Jumanji (1995)::Adventure|Children's|Fantasy 3::Grumpier Old Men (1995)::Comedy|Romance 4::Waiting to Exhale (1995)::C..

개발/Hadoop 4년 전