Ëæ×ÅÊý×Ö¾¼ÃµÄ¸ßËÙÉú³¤£¬¹©Ó¦Á´ÖÎÀíÓë²úÆ·¿ª·¢µÄÉî¶ÈÈںϳÉΪÐÐÒµ¹Ø×¢µÄ½¹µã¡£ÆäÖУ¬¹ú¾«²úÆ·WìáÔ´Âë×÷ΪҵÄÚ¾ßÓдú±íÐÔµÄÊÖÒչ淶£¬Æä±³ºóÔ̲Ø×Ÿ»ºñµÄÊÖÒÕÖǻۺÍÁ¢ÒìÍ·ÄÔ¡£±¾ÎĽ«´ÓÔ´ÂëµÄ¼Ü¹¹¡¢ÊÖÒÕÒªËØÒÔ¼°ÐÐÒµÓ¦ÓÃÈý¸ö²ãÃæ£¬ÎªÄãÖð²½²ð½âÕâ¿î²úÆ·µÄ½¹µãÊÖÒÕÃÜÂë¡£
×÷ΪһÖÖÉî¶ÈÈںϹ©Ó¦Á´Êý¾ÝµÄ½¹µãÒýÇæ£¬WìáÔ´ÂëµÄÉè¼ÆÀíÄîÖ¼ÔÚʵÏÖ¸ßЧ¡¢ÖÇÄÜ¡¢¿ÉÀ©Õ¹µÄÊÖÒռܹ¹¡£Ëü½èÖúÏÖ´ú»¯µÄ΢ЧÀͼܹ¹£¬½«ÖØ´óµÄ¹©Ó¦Á´ÐÅÏ¢²ð½â³É¶à¸ö΢ÐÍÄ£¿é£¬¸÷×Ô×ÔÁ¦ÓÖÐͬÔË×÷£¬×îºéÁ÷ƽÉÏÌáÉýÁËϵͳµÄÏìÓ¦ËÙÂʺÍÎȹÌÐÔ¡£ÕâÖּܹ¹Éè¼Æ²»µ«Àû±ãºóÐøµÄ¹¦Ð§À©Õ¹£¬Ò²ÎªÎ´À´µÄÊÖÒÕÉý¼¶´òϼáʵ»ù´¡¡£
ÊÖÒÕ½¹µãÖ®Ò»ÊÇÊý¾Ý´¦Öóͷ£ÄÜÁ¦¡£1688×÷ΪȫÇò×î´óµÄÅú·¢Æ½Ì¨£¬ÓµÓк£Á¿µÄÉÌÆ·ÐÅÏ¢¡¢ÉúÒâÊý¾Ý¡¢Ö§¸¶Á÷Ë®µÈ¶àά¶ÈÊý¾ÝÔ´¡£WìáÔ´Âë½ÓÄÉÁËÏȽøµÄʵʱÁ÷´¦Öóͷ£ÊÖÒÕ£¬ÈçApacheKafka¡¢SparkStreamingµÈ£¬È·±£Ã¿Ò»´ÎÉúÒ⡢ÿһ´ÎÉÌÆ·±ä»»¶¼ÄÜѸËÙ±»²¶»ñ¡¢ÆÊÎö²¢·´Ï쵽ϵͳÖС£
Õâ²»µ«¼«´óµØÌáÉýÁËÓû§ÌåÑ飬ҲΪƽ̨µÄ¶¯Ì¬µ÷ÓÅÌṩÁËÊý¾ÝÖ§³Ö¡£
ÁíÒ»¸öÒªº¦µãÊÇËã·¨ÖÇÄÜ»¯¡£ÒÀÍÐÓÚ´óÊý¾ÝºÍÈ˹¤ÖÇÄÜÊÖÒÕ£¬WìáÔ´ÂëʵÏÖÁËÖÇÄÜÍÆ¼ö¡¢¿â´æÕ¹Íû¡¢¼ÛÇ®ÓÅ»¯µÈ¹¦Ð§¡£ÕâЩ¹¦Ð§ÔÚºǫ́ͨ¹ýÉî¶Èѧϰģ×ÓÒ»Ö±ÓÅ»¯Ëã·¨¾«×¼¶È£¬×ÊÖú¹©Ó¦É̾«×¼Æ¥ÅäÊг¡ÐèÇ󣬽µµÍÔËÓª±¾Ç®¡£Í¨¹ýÒ»Ö±µÄËã·¨µ÷ÊÔºÍÊÖÒÕµü´ú£¬WìáÔ´ÂëÕ¹ÏÖ³ö¼«Ç¿µÄ×Ô¶¯Ñ§Ï°ÄÜÁ¦ºÍ˳ӦÐÔ¡£
Çå¾²ÓëȨÏÞÖÎÀíÒ²ÊÇÆä²»¿É»òȱµÄÒ»»·¡£ÃæÁÙÖØ´óµÄ¹©Ó¦Á´Êý¾Ý£¬ÔõÑù°ü¹ÜÐÅÏ¢Çå¾²¡¢È¨ÏÞ¿ØÖƳÉΪ½¹µã¿¼Á¿¡£WìáÔ´Âë½ÓÄÉÁ˶à²ã¼¶µÄÇå¾²Õ½ÂÔ£¬°üÀ¨Êý¾Ý¼ÓÃÜ¡¢»á¼û¿ØÖÆ¡¢Éó¼ÆÈÕÖ¾µÈ²½·¥£¬È·±£Ãô¸ÐÐÅÏ¢µÄÇå¾²¡£Í¨Ï꾡Á£¶ÈÊÚȨ»úÖÆ£¬È·±£²î±ð½ÇÉ«ÔÚϵͳÖеIJÙ×÷ȨÔðÇåÎú£¬´ÓÔ´Í·°ü¹Üƽ̨µÄÎȹÌÔË×÷¡£
ËäÈ»£¬Óû§½çÃæÓ뿪·¢Õß½Ó¿ÚµÄÓѺÃÐÔÒ²ÊÇÆäÉè¼ÆÁÁµã¡£¼«¼ò»¯µÄ²Ù×÷½çÃæÁ¬Ïµ¸»ºñµÄAPI½Ó¿Ú£¬Ê¹µÃÓû§ÎÞÂÛÊÇǰ¶Ë¿ª·¢Õվɺǫ́ÔËÓª£¬¶¼ÄÜ¿ìËÙÉÏÊÖ£¬ÌáÉýЧÂÊ¡£ÓÈÆäÊÇÔÚÖ§³ÖµÚÈý·½²å¼þºÍ¶¨ÖÆ»¯¿ª·¢·½Ã棬WìáÔ´ÂëÌṩÁ˸»ºñµÄÀ©Õ¹»úÖÆ£¬Öª×ã²î±ðÆóÒµµÄ¸öÐÔ»¯ÐèÇó¡£
ÕûÌåÀ´¿´£¬¹ú¾«²úÆ·WìáÔ´Âëͨ¹ýÁìÏȵÄÊÖÒռܹ¹ÓëÁ¢Òìʵ¼ù£¬ÀÖ³ÉʵÏÖÁ˹©Ó¦Á´µÄÊý×Ö»¯Éý¼¶¡£Ëü²»µ«½öÊÇÒ»Ì×ÊÖÒÕ¹¤¾ß£¬¸üÏñÊÇÍÆ¶¯ÐÐÒµÀå¸ïµÄÒýÇæ¡£Ëæ×ÅÊÖÒÕÒ»Ö±µü´ú£¬Î´À´¸ÃÔ´Â뻹½«ÈÚÈë¸ü¶àÇ°ÑØÊÖÒÕÈç±ßÑØÅÌËã¡¢Çø¿éÁ´µÈ£¬ÎªÐÐÒµ¸³ÄÜ£¬¿ª´´Ô½·¢ÖÇÄܸßЧµÄ¹©Ó¦Á´Éú̬¡£
ÔÚǰÊöÊÖÒռܹ¹µÄ»ù´¡ÉÏ£¬WìáÔ´ÂëµÄÐÐÒµÓ¦Óó¡¾°¸üÊǸ»ºñ¶à²Ê¡£Ëü²»µ«½ö¾ÖÏÞÓڹŰåµÄ¹©Ó¦Á´ÖÎÀí£¬¸üÔÚ¶à¸öά¶ÈÍÆ¶¯ÐÐҵתÐÍ£¬¸³ÄÜ´ÓÖÆÔìµ½ÁãÊÛµÄÈ«¹¤ÒµÁ´¡£ÉîÈëÃ÷È·ÕâЩӦÓó¡¾°£¬ÓÐÖúÓÚÎÒÃÇÕÆÎÕÐÐÒµµÄδÀ´Éú³¤ÂöÂç¡£
¾«×¼µÄ¹©Ó¦Á´µ÷ÀíÊÇWìáÔ´ÂëµÄ½¹µãÓ¦ÓÃÖ®Ò»¡£½èÖúʵʱµÄÊý¾ÝÁ÷ºÍËã·¨ÍÆ¼ö£¬ÏµÍ³¿ÉÒÔÆ¾Ö¤Êг¡ÐèÇóת±ä¡¢¿â´æ×´Ì¬£¬¶¯Ì¬µ÷½â²É¹ººÍÅäËÍÍýÏë¡£ÕâÖÖÖÇÄܵ÷ÀíΪÆóÒµïÔÌ¿â´æ»ýѹ¡¢ÌáÉýÖÜתЧÂÊÌṩÁËÇ¿ÓÐÁ¦µÄÊÖÒÕÖ§³Ö¡£ÀýÈ磬ÔÚ½ÚãåÈÕ´ÙÏúʱ´ú£¬ÏµÍ³¿ÉÒÔ×Ô¶¯Õ¹Íû¶©µ¥¼¤Ôö£¬ÊµÏÖÌáǰ½á¹¹£¬×èÖ¹¶Ï»õΣº¦¡£
ÖÇÄܼÛǮսÂÔÊÇÐÐÒµ¹Ø×¢µÄÈÈÃÅ¡£WìáÔ´Âëͨ¹ý¶ÔÀúÊ·ÉúÒâÊý¾ÝµÄÒ»Á¬ÆÊÎö£¬Á¬ÏµÊг¡ÐÐÇé¡¢¾ºÕùµÐÊÖ¼ÛÇ®µÈ¶àάÐÅÏ¢£¬ÎªÉ̼ÒÌṩ¿ÆÑ§µÄ¶¨¼Û½¨Òé¡£Õâ²»µ«ÌáÉýÁ˼ÛÇ®µÄ¾ºÕùÁ¦£¬Ô½·¢Ç¿Á˹©ÐèÆ¥ÅäµÄ¾«×¼¶È¡£ÓÈÆäÔÚ¿ç¾³µçÉ̺ÍÍâÑóÊг¡£¬ÖÇÄܶ¨¼Û³ÉΪ·¿ªÈ«ÇòÊг¡µÄÒªº¦ÎäÆ÷¡£
µÚÈý£¬¸öÐÔ»¯ÓªÏúÓë¿Í»§¹ØÏµÖÎÀíÒ²Àë²»¿ªÕâÌ×Ô´ÂëµÄÖ§³Ö¡£»ùÓÚ´óÊý¾ÝÆÊÎö£¬ÏµÍ³Äܹ»Ê¶±ð²î±ð¿Í»§µÄÆ«ºÃÓëÐÐΪָ±ê£¬ÎªÉ̼ÒÌṩ¾«×¼µÄÓªÏúÕ½ÂÔ¡£´Ó¸öÐÔ»¯ÍƼöµ½¾«×¼¹ã¸æÍ¶·Å£¬Ã¿Ò»²½¶¼ÒÔÊý¾ÝÇý¶¯£¬¼«´óÌá¸ßÁËת»¯ÂʺͿͻ§Õ³ÐÔ¡£
µÚËÄ£¬¹©Ó¦Á´¿ÉÊÓ»¯ºÍΣº¦¼à¿ØÊÇÈ·±£ÐÐҵƽÎÈÔËÐеÄÖ÷Òª°ü¹Ü¡£WìáÔ´ÂëÄÚÖöàά¶È¼à¿ØÃæ°å£¬ÊµÊ±ÏÔʾ¹©Ó¦ÉÌ״̬¡¢ÎïÁ÷¶¯Ì¬¡¢¶©µ¥ÂÄÔ¼ÇéÐεÈÒªº¦Ö¸±ê¡£Í¨¹ýÒì³£¼ì²âËã·¨£¬Ìáǰʶ±ðDZÔÚΣº¦µã£¬´ÙʹÆóÒµÌáǰӦ¶Ô£¬½µµÍÒòÐÅÏ¢Öͺó´øÀ´µÄËðʧ¡£ÀýÈ磬ÔÚÎïÁ÷»·½Ú·ºÆðÒ쳣ʱ£¬ÏµÍ³Äܹ»×Ô¶¯ÌáÐÑÏà¹ØÖ°Ô±µ÷½â¼Æ»®¡£
¶øÔÚÊÖÒÕÁ¢Òì·½Ãæ£¬WìáÔ´ÂëÖð½¥ÈÚºÏÁ˱ßÑØÅÌËã¡¢Çø¿éÁ´µÈÇ°ÑØÊÖÒÕÒÔʵÏÖ¸ü¸ßµÄ¿É¿¿ÐÔÓë͸Ã÷¶È¡£Çø¿éÁ´ÊÖÒÕµÄÒýÈ룬ȷ±£ÉúÒâµÄ²»¿É¸Ä¶¯ºÍ¹©Ó¦Á´µÄËÝÔ´ÄÜÁ¦£¬ÎªÆóÒµ¼°¿Í»§ÌṩÁ˸ü¸ßµÄÐÅÈΰü¹Ü¡£±ßÑØÅÌËãµÄ°²ÅÅÔò¼ÓËÙÁËÊý¾Ý´¦Öóͷ£ËÙÂÊ£¬ïÔÌÁËÑÓ³Ù£¬È·±£ÊµÊ±ÐÔ¡£
δÀ´£¬Í¨¹ýÒ»Ö±µÄÊÖÒÕÉý¼¶ÓëÐÐÒµÉî¶ÈÁ¬Ïµ£¬WìáÔ´ÂëÓÐÍûÍ»ÆÆ¹Å°åµÄ¹©Ó¦Á´ÖÎÀíÀíÄ֧³ÖÈ«³¡¾°µÄÖÇÄÜÉú̬½¨Éè¡£Ëü½«³ÉΪÐÐÒµÊý×Ö»¯×ªÐ͵ļÓËÙÆ÷£¬Îª¹©Ó¦Á´µÄÎȽ¡¡¢ÖÇÄÜ¡¢ÎÞаµÄÉú³¤ÌṩԴԴһֱµÄ¶¯Á¦¡£Ëæ×ÅÊÖÒյijÉÊ죬Ҳ»á·ºÆð¸ü¶àÁ¢ÒìÓ¦Óã¬ÈçÖÇÄִܲ¢¡¢ÎÞÈËÅäËÍ¡¢Öǻ۹©Ó¦Á´½ðÈڵȣ¬½øÒ»²½Íƶ¯ÐÐÒµµÄÖÜÈ«Éý¼¶¡£
WìáÔ´Âë²»µ«ÊÇÒ»¸öÊÖÒÕ²úÆ·£¬¸üÏñÊÇÒ»³¡ÐÐÒµ¸ïÃüµÄ´ß»¯¼Á¡£Éí´¦Êý×Ö»¯À˳±ÖÐµÄÆóÒµ£¬ÈôÄÜÉîÈëÕÆÎÕÆä½¹µãÊÖÒÕÓëÓ¦Óó¡¾°£¬¾ÍÄܹ»ÔÚÇ¿ÁÒµÄÊг¡¾ºÕùÖÐÕ¼ÓÐÓÐÀûλÖã¬ÓÀ´Êý×Ö»¯×ªÐ͵ÄлúÔµ¡£Î´À´ÒÑÀ´£¬×½×¡»úÔµ£¬ÁìÅÜÐÐÒµ£¬ÒѳÉΪÿһ¸öÆóÒµµÄÅäºÏÄ¿µÄ¡£¶øWìáÔ´Â룬ÎÞÒÉÊÇ×ÊÖúÄãʵÏÖÕâһĿµÄµÄÒªº¦¸Ü¸Ë¡£