ÔÚÄ¿½ñÊý×Ö»¯µÄÀ˳±ÖУ¬´óÊý¾Ý³ÉΪÆóÒµ¾ºÕùµÄ½¹µã×ʲú¡£ÖÖÖÖÊý¾ÝÆÊÎö¹¤¾ßºÍÊÖÒÕ²ã³ö²»Çµ«ÕæÕýÄܹ»ÊµÏÖ´ÓÊý¾ÝÊÕÂÞµ½¼ÛÖµ´´Á¢µÄÈ«Á´Ìõ£¬ÒÀÈ»ÊÇÐí¶àÆóÒµÃæÁÙµÄ×î´óÌôÕ½¡£×î½ü£¬Ò»·Ý±¸ÊܹØ×¢µÄ¡°×ÏÌÙׯ԰Sparkʵ¼ùÊÓÆµ¡±Òý·¢ÁËÐÐÒµÄÚµÄÈÈÒé¡£Õâ²»µ«½öÊÇÒ»·ÝͨË×µÄÊÓÆµ½Ì³Ì£¬¸üÏñÊÇÒ»´ÎÉî¶ÈÐÐÒµµÄÊÖÒÕ̽Ë÷Ö®Âã¬Ïòµ¼ÎÒÃÇÖÜÈ«ÊìϤÆóÒµ¼¶´óÊý¾ÝÓ¦ÓõÄÉñÃØ¡£
Õâ·ÝÊÓÆµµÄ×î´óÁÁµãÔÚÓÚËüµÄϵͳÐÔºÍʵսÐÔ£¬ÓÈÆäÊǵÚ46¹Ø×îйؿ¨µÄÄÚÈÝ£¬ÌṩÁËÐí¶àÐÐÒµÇ°ÑØµÄÊÖÒÕÏ¢Õù¾ö¼Æ»®¡£´Ó¼Ü¹¹Éè¼Æµ½¿ª·¢Êµ¼ù£¬Ã¿Ò»¸öϸ½Ú¶¼ÌåÏÖÁË×ÏÌÙׯ԰ÍŶӵÄÉîÖ¿ÊÖÒÕ¹¦µ×¡£Ëü²»µ«½ÌѧÁËÔõÑùʹÓÃSparkÊÖÒÕʵÏÖº£Á¿Êý¾ÝµÄ¸ßËÙ´¦Öóͷ££¬¸üÉîÈëÆÊÎöÁËÆóÒµÔÚÏÖʵ³¡¾°ÖÐÔõÑùÓ¦¶ÔÖØ´ó¶à±äµÄÓªÒµÐèÇó¡£
ÎÒÃÇÐèÒªÃ÷È·ÆóÒµ¼¶´óÊý¾ÝÓ¦ÓõĽ¹µã¼Ü¹¹¡£¹Å°åµÄ¼òµ¥Êý¾Ý¿âÒѾÎÞ·¨Öª×ãÏÖ´úÆóÒµ¶Ôº£Á¿Êý¾ÝµÄ´æ´¢¡¢´¦Öóͷ£ºÍÆÊÎöÐèÇ󣬯óÒµÆÈÇÐÐèÒªÒ»¸ö¸ßЧ¡¢Îȹ̡¢¿ÉÀ©Õ¹µÄÊÖÒÕÆ½Ì¨¡£Spark£¬×÷Ϊµ±½ñ×îÈÈÃŵĿªÔ´´óÊý¾Ý´¦Öóͷ£ÒýÇæ£¬ÒÔÆä¸ßËÙÄÚ´æÅÌËã¼°¸»ºñµÄÉú̬ϵͳ£¬³ÉΪÆóҵʵÏÖ´óÊý¾ÝÓ¦ÓõÄÊ×Ñ¡¡£
ÔÚ×ÏÌÙׯ԰µÄʵ¼ùÊÓÆµÖУ¬ÌØÊâÇ¿µ÷ÁËSparkÔÚÆóÒµÓ¦ÓÃÖÐÊÎÑݵĽÇÉ«¡ª¡ª²»µ«½öÊÇÊý¾Ý´¦Öóͷ£µÄ¹¤¾ß£¬¸üÊÇÇý¶¯ÖÇÄܾöÒéµÄÒýÇæ¡£ÊÓÆµÖÐÏêϸ½â˵ÁËSparkµÄRDD¡¢DataFrame¡¢DatasetµÈ»ù±¾Êý¾Ý½á¹¹µÄÓ¦Óó¡¾°£¬ÒÔ¼°ÔõÑùÁ¬ÏµSQL¡¢»úеѧϰ¡¢Í¼ÅÌËãµÈ×é¼þ£¬¹¹½¨ÍêÕûµÄÆóÒµ´óÊý¾Ý½â¾ö¼Æ»®¡£
ÌØÊâÊÇÔÚµÚ46¹ØÖУ¬Î§ÈÆ×îеÄÊÖÒÕÉý¼¶£ºSpark3.0µÄÌØÕ÷Õö¿ª£¬Õ¹Ê¾ÁËÔõÑùʹÓÃÆä¸üÇ¿µÄGPU¼ÓËÙ¡¢¶à×â»§Ö§³ÖÒÔ¼°ÔöÇ¿µÄµ÷ÀíÄÜÁ¦£¬¼«´óÌáÉýÁË´ó¹æÄ£Êý¾Ý´¦Öóͷ£µÄЧÂÊ¡£
´Óʵ²Ù½Ç¶ÈÀ´¿´£¬ÊÓÆµ»¹ÏêϸÑÝʾÁËÆóÒµÔÚ°²ÅÅSpark¼¯ÈºÊ±µÄÓÅ»¯Õ½ÂÔ£¬ºÃ±È×ÊÔ´µ÷Àí¡¢ÄÚ´æÖÎÀí¡¢ÈÝ´í»úÖÆµÈ£¬ÕæÕý×ÊÖúÆóÒµ´î½¨Ò»¸ö¸ßЧ¡¢¿É¿¿µÄÊÖÒÕÆ½Ì¨¡£¸üÄÑ¿°µÄÊÇ£¬ÊÓÆµ»¹ÈÚºÏÁË×ÏÌÙׯ԰ÔÚÏÖʵӪҵÖеÄÓ¦Óð¸Àý£¬ÀýÈç¿Í»§ÐÐΪÆÊÎö¡¢¹©Ó¦Á´ÓÅ»¯¡¢¸öÐÔ»¯ÍƼöµÈ¡£
ÕâЩ³¡¾°²»µ«Ö¤ÊµÎúSparkÊÖÒÕµÄǿʢ£¬Ò²ÈùÛÖÚÖ±¹ÛÏàʶÔõÑù½«ÊÖÒÕת»¯ÎªÉÌÒµ¼ÛÖµ¡£
¡°×ÏÌÙׯ԰Sparkʵ¼ùÊÓÆµ¡±ÊÇÒ»²¿¼«¾ßʵ¼ùÖ¸µ¼ÒâÒåµÄÐÐÒµ±¦µä¡£ÎÞÂÛÄãÊÇITÊÖÒÕÖ°Ô±¡¢Êý¾ÝÆÊÎöʦ£¬ÕվɯóÒµCTO£¬¶¼ÄÜ´ÓÖÐÂÞÖÂÃû¹óµÄÂÄÀú£¬ÖúÁ¦ÆóÒµÊý×Ö»¯×ªÐÍ¡£ÓÈÆäÊÇÔÚµÚ46¹Ø×îÐÂÄÚÈݵļӳÖÏ£¬Ä㻹ÄÜÕÆÎÕÐÐÒµ×îÇ°ÑØµÄÁ¢ÒìÊÖÒÕ£¬ÈÃÄãµÄ´óÊý¾ÝÓ¦ÓÃ×ßÔÚʱ´úµÄÇ°ÑØ¡£
ÔÚδÀ´Êý¾ÝÇý¶¯µÄÉÌÒµÇéÐÎÖУ¬ÕÆÎÕÕâЩ½¹µãÊÖÒÕ£¬Òâζ×ÅÄãÕ¾ÔÚÁËÐÐÒµÀå¸ïµÄ·ç¿Ú¡£
³ýÁËÊÖÒÕ×Ô¼º£¬ÊÓÆµ»¹¿ç½çÈÚºÏÁËÏîÄ¿ÖÎÀí¡¢ÍŶÓÐ×÷¡¢Êý¾ÝÇå¾²µÈ¶à¸öά¶È£¬ÎªÆóҵʵÏÖ´óÊý¾ÝÏîÄ¿µÄÀÖ³ÉÂ䵨ÌṩÁËÈ«·½Î»µÄÖ¸µ¼¡£×ÏÌÙׯ԰µÄʵ¼ù°¸Àý˵Ã÷£¬Ö»ÓÐÔÚÊÖÒÕ¡¢ÖÎÀíºÍÇå¾²ÖÜȫͬ²½µÄ»ù´¡ÉÏ£¬ÆóÒµ²Å»ªÕæÕýÏíÊܵ½´óÊý¾Ý´øÀ´µÄÖØ´ó¼ÛÖµ¡£
Õâ·ÝÊÓÆµ²»µ«ÊÇÒ»·ÝÊÖÒÕÖ¸ÄÏ£¬¸üÏñÊÇÒ»ÉÈ´°£¬Í¸¹ýËüÄã¿ÉÒÔÖ±ÊÓδÀ´ÆóÒµÊý¾Ý»¯µÄÎÞÏÞ¿ÉÄÜ¡£ÎÞÂÛÄã´¦ÓÚÄĸöÐÐÒµ¡¢Äĸö¸Ú룬¶¼¿ÉÒÔ½èÖúÕâ¸öÐÐÒµÏÈ·æµÄʵ¼ùÂÄÀú£¬ÌáÉý×ÔÉíÄÜÁ¦£¬´òÔìÊôÓÚ×Ô¼ºµÄ´óÊý¾ÝÓ¦ÓÃϵͳ¡£µÚ46¹ØµÄ×îÐÂÆÆ½âÃØóÅ£¬½«´øÄã´©Ô½ÊÖÒÕÃÔÎí£¬Ö±µÖÊý¾ÝµÄ½¹µã¼ÛÖµ£¬¿ªÆôÆóÒµÊý×Ö»¯×ªÐ͵ÄмÍÔª¡£
½øÈë¡°×ÏÌÙׯ԰Sparkʵ¼ùÊÓÆµ¡±µÚ¶þ²¿·Ö£¬ÎÒÃǽ«¸üÉîÈë̽ÌÖÏÖʵ²Ù×÷ÖеÄÒªº¦¼¼ÇÉÓëÐÐÒµÓ¦ÓõÄÀֳɰ¸Àý£¬×ÊÖúÄãÖÜÈ«Ã÷È·ÆóÒµ¼¶´óÊý¾ÝÓ¦ÓõÄÉî²ãÂß¼¼°Î´À´Éú³¤Æ«Ïò¡£ÊÖÒյĺÐ×ÓÀï²»µ«×°ÂúÁ˸߾þÉϵŤ¾ß£¬¸üÔ̺¬×ÅÎÞÏÞµÄÁ¢ÒìDZÁ¦£¬ÔõÑù½«ÕâЩDZÄÜÊͷųöÀ´£¬³ÉΪÿ¸öÊý¾Ý´ÓÒµÕߵıØÐ޿Ρ£
ÔÚÏÖʵӦÓÃÖУ¬ÆóÒµÃæÁÙµÄ×îºÆ½ÙÌâÖ®Ò»ÊǺ£Á¿Êý¾ÝµÄÕûºÏÓëÖÎÀí¡£×ÏÌÙׯ԰µÄÍŶÓÔÚÊÓÆµÖÐչʾÁËÔõÑùʹÓÃSparkÁ÷´¦Öóͷ£¼Ü¹¹£¬ÓÐÓÃÓ¦¶ÔÊý¾ÝµÄ¸ßƵ¸üкͶàÔ´Òì¹¹¡£Í¨¹ýʹÓÃSparkStreamingÊÖÒÕ£¬ÆóÒµ¿ÉÒÔʵÏÖ½üʵʱµÄÊý¾Ýͬ²½ºÍ¼à¿Ø£¬ÕâÊǹŰåÅú´¦Öóͷ£Ä£Ê½ÄÑÒÔÆ¥µÐµÄ¡£
ÊÓÆµ»¹½²ÊöÁËÁ¬ÏµKafka¡¢HDFSºÍNoSQLÊý¾Ý¿âµÄ¶àÌõÀíÊý¾Ý´æ´¢ÏµÍ³£¬ÎªÆóÒµ¹¹½¨ÁËÒ»¸öµ¯ÐÔ¡¢Çå¾²¡¢Ò×À©Õ¹µÄ´æ´¢¼Æ»®¡£
¹ØÓÚÊý¾ÝÆÊÎö²¿·Ö£¬ÊÓÆµÖÐÌØÊâÌáµ½½ÓÄÉDataFrameºÍDatasetµÄ²Ù×÷Õ½ÂÔ£¬Á¬ÏµSQLÓï¾ä£¬¸³ÄÜÆóÒµÆÊÎöʦʵÏÖ¡°Áã´úÂ롱Êý¾Ý̽Ë÷¡£ÀýÈ磬×ÏÌÙׯ԰ÔõÑùͨ¹ýÉèÖÃÖØ´óµÄ´°¿Úº¯Êý£¬¿ìËÙʵÏÖÓû§ÐÐΪ·¾¶×·×Ù£¬ÌáÉý¿Í»§×ª»¯ÂÊ¡£¸üÁîÈËÐ˷ܵÄÊÇ£¬Á¬ÏµÐÂÒ»´ú»úеѧϰ¿âMLlib£¬ÆóÒµ¿ÉÒÔÔÚ¶Ìʱ¼äÄÚ´òÔì¸öÐÔ»¯ÍƼöÄ£×Ó£¬ÖúÁ¦¾«×¼ÓªÏúºÍ¿Í»§¼ÛÖµ×î´ó»¯¡£
ÊÖÒÕµÄÂ䵨Àë²»¿ªÍŶӵÄÐ×÷ºÍÏîÄ¿ÖÎÀí¡£ÊÓÆµÇ¿µ÷£¬ÆóÒµÔÚÍÆ¶¯´óÊý¾ÝÂäµØÊ±£¬ÐèÒª½¨Éè¿ç²¿·ÖµÄÏàÖú»úÖÆ£¬È·±£Êý¾ÝÐèÇóÓëÊÖÒÕÉè¼ÆµÄͬ²½¡£×ÏÌÙׯ԰ÌṩµÄÀֳɰ¸ÀýÖУ¬Ò»¸öµä·¶µÄ³¡¾°Êǹ©Ó¦Á´ÓÅ»¯£ºÍ¨¹ý¶à·½Êý¾ÝÕûºÏ¡¢ÊµÊ±¼à¿ØÓë·´Ïì»úÖÆ£¬ÆóҵʵÏÖÁ˹©Ó¦Á´µÄ¿ÉÊÓ»¯ÖÎÀíºÍÖÇÄܵ÷Àí¡£
Êý¾ÝÇå¾²ÓëÒþ˽±£»¤Ò²ÔÚרÏî½â˵ÖÐÕ¼ÓÐÖ÷ҪλÖá£Ëæ×ŹæÔòÈÕÒæÑϿᣬÔõÑùÔÚ°ü¹ÜÊý¾Ý¼ÛÖµµÄÑÏ·ÀÊý¾Ýй¶£¬³ÉΪÆóÒµ²»¿ÉºöÊÓµÄÎÊÌâ¡£ÊÓÆµÖÐÌáµ½½ÓÄÉÊý¾Ý¼ÓÃÜ¡¢»á¼û¿ØÖÆ¡¢¶à×â»§¼Ü¹¹µÈ¶à²ã±£»¤²½·¥£¬Í¬Ê±½èÖúSparkµÄÇå¾²À©Õ¹£¬ÊµÏÖ¶àÓû§È¨ÏÞ¿ØÖƺÍÉ󼯣¬È·±£ÆóÒµÊý¾ÝÔںϹæÌõ¼þϵÄÇ徲ʹÓá£
δÀ´£¬×ÏÌÙׯ԰»¹Õ¹ÍûÁËÆóÒµ´óÊý¾ÝµÄÉú³¤Ç÷ÊÆ¡£È˹¤ÖÇÄܵÄÈںϣ¬½«¿ªÆô×ÔÎÒѧϰ¡¢×Ô¶¯ÓÅ»¯µÄмÍÔª¡£±ßÑØÅÌËãµÄáÈÆð£¬ÈÃÊý¾Ý´¦Öóͷ£²»ÔÙÊÜÏÞÓÚÖÐÑ뼯Ⱥ£¬¶øÊÇÏòÊý¾ÝÔ´ÖÜΧÑÓÉ죬¼«´ó½µµÍÑÓ³Ù£¬ÊµÏÖÖǻ۶¼»á¡¢Öǻ۹¤ÒµµÈ³¡¾°µÄÂ䵨¡£Çø¿éÁ´ÊÖÒÕµÄÒýÈ룬ҲΪÊý¾ÝµÄËÝÔ´Óë¿ÉÐÅÌṩÁËеĽâ¾ö¼Æ»®¡£
ÕÆÎÕµÚ46¹Ø×îпªÆôµÄÃÜÂ룬¾ÍÒâζ×ÅÄãÄܹ»¶´Ï¤ÐÐÒµ×îÐÂÀå¸ïµÄ½Ú×ࡣδÀ´ÒÑÀ´£¬Ö»ÓÐÉîÍÚÊÖÒÕ±³ºóµÄÂß¼£¬Á¬ÏµÏÖʵÐèÇó¾ÙÐÐÖÇÄÜ»¯Ó¦Ó㬲ŻªÕ¾ÔÚ´óÊý¾ÝÀå¸ïµÄ·ç¿ÚÀ˼⣬ÁìÅÜÐÐÒµ³±Á÷¡£ÈÃÎÒÃÇЯÊÖ×ÏÌÙׯ԰£¬Ò»Æð̽Ë÷´óÊý¾ÝµÄÎÞÏÞ¿ÉÄÜ£¬ÈÃÊý×Ö»¯×ªÐͳÉΪÆóÒµÉý¼¶µÄ²»¶þÇÏÃÅ¡£
ÈôÊÇÄãÅÎÔ¸Ïàʶ¸ü¶àϸ½ÚºÍ×îÐÂÊÖÒÕ¶¯Ì¬£¬Ò»Á¬¹Ø×¢×ÏÌÙׯ԰µÄʵ¼ùÊÓÆµ£¬½«»á»ñµÃÔ´Ô´Ò»Ö±µÄÁ¢ÒìÆô·¢£¬³ÉΪÒýÁìÐÐÒµµÄÁìÅÜÕß¡£ÔÚÕâ¸öÊý¾ÝÇý¶¯µÄÐÂʱ´ú£¬Î¨ÓÐÒ»Ö±Í»ÆÆ¡¢Ò»Ö±Ñ§Ï°£¬²Å»ªÔÚÇ¿ÁÒµÄÊг¡¾ºÕùÖÐÁ¢ÓÚ²»°ÜÖ®µØ¡£¿ìÀ´¿ªÆôÄãµÄÆóÒµ´óÊý¾ÝÉý¼¶Ö®Âã¬ÈÃ×ÏÌÙׯ԰´øÄãÃ÷È·ÊÖÒÕµÄ÷ÈÁ¦£¬Ê»ÏòδÀ´µÄÊý×Öº£Ñó£¡