���܂��畷���Ȃ�Hadoop�ƃe�L�X�g�}�C�j���O�����F�e�L�X�g�}�C�j���O�Ŏn�߂���HHadoop���p�i1�j�i1/3 �y�[�W�j

Hadoop�Ƃ͉�����������A���ۂ�Hadoop���g���đ�K�̓f�[�^��Ώۂɂ����e�L�X�g�}�C�j���O���s���܂��B�e�L�X�g�}�C�j���O���s���T���v���v���O�����̍쐬��ʂ��āAHadoop�̎g������A�ǂ̂悤�Ɋ��p�ł���̂���������܂�

» 2011�N06��21�� 00��00�� ���J
[�g�c�ꐯ�C���t�[�������]

�r�b�O�f�[�^����̋~����uHadoop�v�Ƃ�

�@�uApache Hadoop�v�͍��A�ł����ڂ��W�߂Ă���Z�p��1�‚ł��BHadoop�Ƃ́A��ʂ̃f�[�^����y�ɕ����̃}�V���ɕ��U���ď����ł���I�[�v���\�[�X�̃v���b�g�t�H�[���ł��B

�@Hadoop�����p���Ă����Ƃ͔N�X���������Ă��āA�s�Œ��ȋZ�p�ɂȂ�‚‚���Ƃ�����ł��傤�B


�@�{�A�ڂł́AHadoop�Ƃ͉����AHadoop���ǂ����p�ł���̂��Ƃ������Ƃ��A�u�e�L�X�g�}�C�j���O�v�ɏœ_�𓖂Ăĉ�����Ă��������Ǝv���܂��B

�d�������𕡐��̃}�V���ɕ��U������

�@�����̃}�V���ɏ����𕪎U������ɂ́A�v���Z�X���m�̒ʐM�A�Ď��A��Q���̑Ή��Ȃǂ��l���Ȃ���΂Ȃ炸�A�v���O���}�ɂƂ��ăn�[�h�����������̂ł��B�������AHadoop�͂����������ʓ|���������������Ɉ����󂯂Ă���A�v���O���}�́A��肽�����������ɏW���ł��܂��B

�@�Ⴆ�΁AHadoop���g���ƁA1��Ő����������Ă����悤�ȏd���������A�����̃}�V���ɕ��U�����邱�ƂŁA�����ԂŏI��点��A�Ƃ��������Ƃ��”\�ɂȂ�܂��B

Hadoop���\������uMapReduce�v�uHDFS�v

�@Hadoop�́A�傫��������MapReduce��HDFS�ō\������Ă��܂��B

�@MapReduce�Ƃ́AHadoop�ŏ������L�q����v���O���~���O���f���ŁA�V���v���Ȃ���A���܂��܂ȏ����ɏ_��ɑΉ��ł��܂��B

�@HDFS�́AMapReduce�ŏ�������f�[�^���������U�X�g���[�W�ŁA�����̃}�V����1�‚̃X�g���[�W�Ƃ��āA�����܂��B

�@�ꕔ�̃}�V�����̏Ⴕ�Ă��A�f�[�^�������Ȃ��悤�ɐ݌v����Ă��āA�f�[�^�ʂɉ����ăX�P�[���A�E�g���邱�Ƃ��”\�ł��B

�@�ł́AMapReduce�ɂ‚��āA��������ďڂ����������Ă����܂��B

���U�����̂��߂̃v���O���~���O���f���uMapReduce�v

�@MapReduce�́A�uMap�v�uShuffle�v�uReduce�v��3�‚̃t�F�C�Y�ɕ�����܂��B���[�U�[�́AMap�t�F�C�Y�AReduce�t�F�C�Y�ŌJ��Ԃ��Ăяo�����Amap�֐��Areduce�֐��ɍs�������������L�q���܂��BShuffle�t�F�C�Y�͓����Ŏ����I�ɍs���܂��B

�@�Ⴆ�΁A����e�L�X�g�̒��ŏo������P����J�E���g���鏈�����l���Ă݂܂��傤�B�uTHE END OF MONEY IS THE END OF LOVE�v�Ƃ����e�L�X�g���������Ƃ���ƁA�e�P��̏o�����́A�ȉ��ɂȂ�܂��B

�@�����MapReduce�ŏ������Ă݂܂��B

Key�AValue�̃y�A�����uMap�v

�@Map�́A�uTHE END OF MONEY IS THE END OF LOVE�v�Ƃ����e�L�X�g����͂Ƃ��ēǂݍ��݂܂��B�����āA���ꂼ��̒P��Ɂu1�v�Ƃ����l�����蓖�Ă܂��B

�@MapReduce�̃f�[�^�́AKey��Value�̃y�A�ŕ\����܂��BKey�AValue�̃y�A���ƕ\���΁AMap�����́A���̓e�L�X�g���玟�̂悤�������o�����Ƃł��B

"THE END OF MONEY IS THE END OF LOVE"
�@�@�@�@�@�@�@�@�@��
[ <THE,1> <END,1> <OF,1> <MONEY,1> <IS,1> <THE,1> <END,1> <OF,1> <LOVE,1> ]

����Key�����ƒy�A�𑩂˂�uShuffle�v

�@Map�̏o�͂��L�[���Ƀ\�[�g���A����Key�����ƒy�A�𑩂˂�̂�Shuffle�ł��B�L�[���Ƀ\�[�g���邱�Ƃɂ��A����Key�����ƒy�A���m���ׂ荇���܂��B�����āA�ׂ荇��������Key�����ƒy�A�́A���˂��܂��B

�@Shuffle�́AMap����Reduce�Ƀf�[�^��n���ۂɎ����I�ɍs���܂��B

  • ����
  • �L�[���Ƀ\�[�g
  • ����Key�𑩂˂�
[ <THE,1> <END,1> <OF,1> <MONEY,1> <IS,1> <THE,1> <END,1> <OF,1> <LOVE,1> ]
�@�@�@�@�@�@�@�@�@�@�@�@�@�@�@�@�@�@�@��
[ <END,1> <END,1> <IS,1> <LOVE,1> <MONEY,1> <OF,1> <OF,1> <THE,1> <THE,1> ]
�@�@�@�@�@�@�@�@�@�@�@�@�@�@�@�@�@�@�@��
[ <END,[1,1]> <IS,1> <LOVE,1> <MONEY,1> <OF,[1,1]> <THE,[1,1]> ]

Shuffle�̌��ʂ���͂Ƃ��ď������s���uReduce�v

�@Shuffle�̌��ʂ���͂Ƃ��ď������s���܂��BWordCount�ł́A����Key��Value�𑫂����킹�܂��B

  • ����
  • Reduce��
[ <END,[1,1]> <IS,1> <LOVE,1> <MONEY,1> <OF,[1,1]> <THE,[1,1]> ]
�@�@�@�@�@�@�@�@�@�@�@�@�@��
[ <END,2> <IS,1> <LOVE,1> <MONEY,1> <OF,2> <THE,2> ]

�@���̂悤�Ɋe�P��̏o�������J�E���g����ďo�͂����킯�ł��B

�@���y�[�W�ł́AHadoop�̊��p���@����̓I�Ɍ��Ă����A�e�L�X�g�}�C�j���O�ɂ‚��ĉ�����܂��B

�@�@�@�@�@�@ 1|2|3 ���̃y�[�W��

Copyright © ITmedia, Inc. All Rights Reserved.

�A�C�e�B���f�B�A����̂��m�点

�X�|���T�[����̂��m�点PR

���ڂ̃e�[�}

4AI by ��IT - AI�����A�������A���A������
Microsoft �� Windows�őO��2025
AI for �G���W�j�A�����O
���[�R�[�h�^�m�[�R�[�h �Z���g���� by ��IT - IT�G���W�j�A���r�W�l�X�̒��S�Ŋ��􂷂�g�D��
Cloud Native Central by ��IT - �X�P�[���u���Ȕ\�͂�g�D��
�V�X�e���J���m�E�n�E �y�����i�r�zPR
���Ȃ��ɂ������߂̋L��PR

RSS�ɂ‚���

�A�C�e�B���f�B�AID�ɂ‚���

���[���}�K�W���o�^

��IT�̃��[���}�K�W���́A �������A���ׂĖ����ł��B���Ѓ��[���}�K�W�������w�ǂ��������B