SparkÊÖÒÕΪºÎ³ÉΪÓÎÏ·Êý¾Ý´¦Öóͷ£µÄÀûÆ÷
ÔÚ×ÏÌÙׯ԰×îÐÂÐû²¼µÄSparkʵ¼ùÊÓÆµÖУ¬¿ª·¢ÍŶÓÊ×´ÎÅû¶ÁËËûÃÇ´¦Öóͷ£ÈÕ¾ù50TBÓÎÏ·ÈÕÖ¾µÄÊÖÒռܹ¹¡£Spark×÷ΪÄÚ´æÅÌËã¿ò¼Ü£¬Ïà½ÏÓڹŰåHadoop¼¯Èº¿ÉʵÏÖ6-8±¶µÄÐÔÄÜÌáÉý£¬Õâ¹ØÓÚÐèҪʵʱͳ¼ÆÍæ¼ÒÁô´æÂʵÄÓÎÏ·ÆóÒµ¾ßÓÐÒªº¦¼ÛÖµ¡£ÌØÊâÔÚʵʱ·´Íâ¹Ò¼à²â³¡¾°ÖУ¬Spark StreamingµÄ΢Åú´¦Öóͷ£»úÖÆÄܹ»¾«×¼²¶»ñÒì³£²Ù×÷ģʽ¡£
ÆóÒµ¼¶°²ÅŵÄÈý´óÊÖÒÕÍ»ÆÆ
×ÏÌÙׯ԰µÄÊÖÒռܹ¹ÊµÏÖÁËÈý´óÁ¢Ò죺ÊÇ»ìÏý´æ´¢Õ½ÂÔ£¬½«ÈÈÊý¾Ý´æ´¢ÔÚAlluxioÄÚ´æ²ã£¬ÀäÊý¾Ýת´æÖÁHDFS£»ÊǶ¯Ì¬×ÊÔ´µ÷Àíϵͳ£¬ÄÜÆ¾Ö¤ÊµÊ±²¢·¢Á¿×Ô¶¯µ÷½âExecutorÉèÖã»ÊǶ¨ÖÆ»¯µÄSpark SQLÀ©Õ¹£¬Ö§³Ö¶ÔÖØ´óǶÌ×µÄJSONÓÎÏ·ÊÂÎñÊý¾Ý¾ÙÐиßЧÆÊÎö¡£ÕâÖÖÓÅ»¯¼Æ»®Èá¶ÍõÕßÔ¶Õ÷¡·ÊÖÓεÄÈÕ»îÓû§ÆÊÎöËÙÂÊÌáÉý92%¡£
ÓÎÏ·³¡¾°ÏÂÊý¾Ý´¦Öóͷ£È«Á÷³Ì²ð½â
´ÓÓû§µã»÷×°Öðüµ½ÓÎÏ·ÄÚÏûºÄÐÐΪ׷×Ù£¬ÍêÕûµÄÊý¾Ý´¦Öóͷ£Á´ÌõÔõÑùʵÏÖ£¿ÊµÕ½ÊÓÆµÏêϸÑÝʾÁ˰üÀ¨Êý¾Ýϴ媣¨Data Wrangling£©¡¢ÌØÕ÷¹¤³Ì£¨Feature Engineering£©ÔÚÄÚµÄ14¸öÒªº¦°ì·¨¡£ÌØÊâÖµµÃ×¢ÖØµÄÊÇ£¬ÍŶӽÓÄÉDelta Lake¹¹½¨ÁËÖ§³ÖACIDÊÂÎñµÄÊý¾Ýºþ£¬È·±£Õ½¶·»Ø·ÅÈÕÖ¾µÄÍêÕûÐÔУÑé׼ȷÂʵִï99.99%¡£
ÐÔÄܵ÷ÓŵÄÎå¸ö»Æ½ð¹æÔò
ÔõÑù×èÖ¹ShuffleÀú³ÌÖеÄÊý¾ÝÇãбÎÊÌ⣿¿ª·¢×ܼàÔÚÊÓÆµÖзÖÏíÁËËûÃÇÔÚ¡¶Èý¹úÕ½ÂÔ°æ¡·ÏîÄ¿Öеĵ÷ÓÅÂÄÀú£ºÍ¨¹ý×Ô½ç˵PartitionerʵÏÖÍæ¼ÒIDµÄƽºâÂþÑÜ£¬ÓÅ»¯ºóµÄJoin²Ù×÷ºÄʱËõ¼õ78%¡£ÆäËûÊÊÓü¼ÇɰüÀ¨¹ã²¥±äÁ¿µÄÖÇÄÜÓ¦Óá¢CatalystÓÅ»¯Æ÷µÄ²ÎÊýÉèÖã¬ÒÔ¼°JVMÀ¬»ø½ÓÄÉ»úÖÆµÄÉî¶Èµ÷ÓÅ¡£
µä·¶ÓªÒµ³¡¾°µÄʵս´úÂëÆÊÎö
ÊÓÆµÕ¹Ê¾ÁËÈý¸öµä·¶Ó¦ÓãºÊµÊ±ÅÅÐаñÅÌËã¡¢¿ç·þÕ½Êý¾Ý¾ÛºÏ¡¢¸¶ÓöȻ§Á÷ʧԤ¾¯Ä£×Ó¡£ÒÔʵʱÅÅÐаñΪÀý£¬ÏîÄ¿×é½ÓÄÉStructured Streaming¹¹½¨µÄ¹ÜµÀ£¬ÄÜÔÚ500msÄÚÍêÓñ³É·þÍæ¼ÒÕ½Á¦ÅÅÐиüС£Ïà¹Ø´úÂëÆ¬¶ÏÖУ¬ÔËÓÃÁËSpark MLlibµÄ¾ÛÀàËã·¨¾ÙÐÐÍæ¼Ò·ÖȺ£¬²¢Á¬ÏµGraphXÆÊÎöÉç½»¹ØÏµÍøÂç¡£
ÆóÒµ¼¶Çå¾²¼Ü¹¹µÄÉè¼ÆÒªµã
ÔÚ´¦Öóͷ£Ãô¸ÐµÄÖ§¸¶Êý¾Ýʱ£¬×ÏÌÙׯ԰µÄ¼Ü¹¹Ê¦Õ¹Ê¾ÁËËûÃǵĶà²ã¼¶·À»¤ÏµÍ³£ºKerberosÈÏÖ¤°ü¹Ü¼¯ÈºÇå¾²£¬»ùÓÚApache RangerµÄÁм¶È¨ÏÞ¿ØÖÆ£¬ÒÔ¼°Ê¹ÓÃSpark AES¼ÓÃÜËã·¨µÄÊý¾Ý´«Êä±£»¤¡£ÔÚ×îеİ汾ÖУ¬»¹¼¯³ÉÁËÇø¿éÁ´ÊÖÒÕÓÃÓÚÒªº¦²Ù×÷ÈÕÖ¾µÄ´æÖ¤£¬ÕâÏîÁ¢Òì½üÆÚÒÑ»ñµ½ÊÖÒÕרÀûÈÏÖ¤¡£
ͨ¹ýϵÁÐʵ¼ùÊÓÆµµÄÉî¶ÈÆÊÎö£¬ÎÒÃÇÇåÎúµØ¿´µ½SparkÊÖÒÕÔÚÓÎÏ·´óÊý¾ÝÁìÓòµÄǿʢDZÁ¦¡£×ÏÌÙׯ԰µÄ°¸Àý֤ʵ£¬ºÏÀíÔËÓÃÄÚ´æÅÌËã¡¢Á÷´¦Öóͷ£µÈÌØÕ÷£¬ÆóÒµÄܹ»¹¹½¨ÏìÓ¦ËÙÂʸü¿ì¡¢À©Õ¹ÐÔ¸üÇ¿µÄÊý¾Ý´¦Öóͷ£Æ½Ì¨¡£ÕâЩÂÄÀú¶ÔÕýÔÚÊý×Ö»¯×ªÐ͵ÄÓÎÏ·¹«Ë¾¾ßÓÐÖ÷Òª²Î¿¼¼ÛÖµ£¬Ò²Îª¿ª·¢ÕßѧϰÆóÒµ¼¶SparkÓ¦ÓÃÌṩÁ˱ê¸Ë¹æ·¶¡£×ÊÔ´¹²ÏíÆ½Ì¨µÄ½ø»¯Â·¾¶
Æß¿Í·ÖÏíapp°²×¿v2.4.4°æ±¾µÄÊÖÒÕͻΧ£¬±ê¼Ç×Å×ÊÔ´¹²ÏíÁìÓòÕýʽ½øÈëÖÇÄÜ·Ö·¢Ð¼ÍÔª¡£¸Ãƽ̨ͨ¹ýÄÚÖõÄʵʱÈȶÈËã·¨£¬½«Óû§¹²ÏíµÄ°Ù¿îÓ¦Óð´ÏÂÔØÆµ´Î×Ô¶¯ÅÅÐò£¬Í¬Ê±ÒýÈë¶ÏµãÐø´«£¨Ö§³ÖÏÂÔØÖÐÖ¹ºó¼ÌÐø´«Ê䣩ÊÖÒÕ£¬½«Æ½¾ùÏÂÔØÀÖ³ÉÂÊÌáÉýÖÁ92.7%¡£ÕâÖÖ×ÊÔ´¾ÛºÏÓ뾫׼·Ö·¢µÄË«ÂÖÇý¶¯£¬ÕýÊǸÃÓ¦ÓÃÄÜÔÚ¶à¸öµÚÈý·½Êг¡¼á³ÖÈÕ¾ù°ÙÍò¼¶ÏÂÔØµÄÒªº¦¡£
°²×¿v2.4.4°æ±¾µÄµü´úÃÜÂë
Ïà½ÏÓÚǰ´úV5.5.9°æ±¾£¬Ð°æµÄÐÒé·â×°ÊÖÒÕʵÏÖÖØ´óÍ»ÆÆ¡£Ê¹ÓÃHTTPSË«ÏòÑéÖ¤»úÖÆ£¨¿Í»§¶ËºÍЧÀÍÆ÷Ï໥ÑéÖ¤Éí·Ý£©£¬ÀÖªϰ±ÜÁË81.3%µÄ×ÊÔ´Ð®ÖÆÎ£º¦¡£Êý¾ÝÏÔʾ£¬¸üÐÂÖÁ°²×¿v2.4.4°æ±¾µÄÓû§Ô½ÈÕÁô´æÂÊÌáÉý18.2%£¬ÆäÖÐÕë¶ÔÖÐС¿ª·¢ÕßµÄÓ¦ÓÃÉϼÜÉóºËÖÜÆÚѹËõÖÁ2.4Сʱ¡£ÕâÖÖЧÂÊÌáÉýÔõÑùת»¯ÎªÓû§ÔöÌí£¿ÃյײØÔÚÆ½Ì¨µÄÊý¾ÝÖÐ̨¼Ü¹¹Àï¡£
°Ù¿îÓ¦ÓõÄÉú̬ÅàÓý¹æÔò
Æß¿Í·ÖÏíV5.5.9°æ±¾´òÔìµÄ°Ù¿îÓ¦Óÿ⣬ʵÔòÊÇÈ«ÐÄÉè¼ÆµÄÓû§ÐÐΪÊÔÑ鳡¡£Í¨¹ýÄÚÖÃAIÍÆ¼öÒýÇæ£¬Óû§ÔÚʹÓÃÈÎÒ»Ó¦ÓÃʱ£¬ÏµÍ³¶¼»á¼Í¼157Ïî½»»¥²ÎÊý¡£ÕâЩÊý¾Ý¾Ï´åªºó·´²¸ÖÁÍÆ¼öÄ£×Ó£¬ÐγÉÓ¦ÓøüÐÂÌáÐÑ¡¢Í¬Àà×ÊÔ´ÍÆË͵ľ«×¼Ð§Àͱջ·¡£Í³¼ÆÅú×¢£¬ÕâÖÖÊý¾ÝÇý¶¯µÄ·Ö·¢Õ½ÂÔʹµ¥Óû§Ô¾ùÆô¶¯Æµ´ÎµÖ´ï34.7´Î¡£
ÕÇÍ£Õ÷Ï󱳺óµÄ¹©ÐèÆ½ºâ
ƽ̨ÄÚʱ³£·ºÆðµÄ×ÊÔ´ÕÇÍ£Õ÷Ïó£¨Ìض¨Ó¦ÓÃÏÂÔØÁ¿±©Ôöµ¼ÖÂÔÝʱÏÞÁ÷£©£¬ÊµÖÊÊÇÖÇÄÜ·ç¿ØÏµÍ³µÄ¶¯Ì¬ÏìÓ¦»úÖÆ¡£°²×¿v2.4.4°æ±¾ÒýÈëµÄ´ø¿í¶¯Ì¬·ÖÅÉËã·¨£¬¿Éƾ֤ʵʱ²¢·¢ÇëÇóÖÇÄܵ÷ÀíCDN½Úµã£¨ÄÚÈÝ·Ö·¢ÍøÂç½Úµã£©£¬½«ÈÈÃÅÓ¦ÓõIJ¢·¢³ÐÔØÄÜÁ¦ÌáÉý3±¶¡£ÕâÌ×ϵͳÔÚÉÏÏßÊ×Ô¾ʹ¦Öóͷ£ÁËÁè¼Ý2700´Î×ÊÔ´ÕÇÍ£ÊÂÎñ£¬°ü¹ÜÁË85%ÒÔÉÏÓû§µÄÕý³£ÏÂÔØÌåÑé¡£
Óû§ÔöÌí±Õ»·µÄ¹¹½¨Âß¼
Æß¿Í·ÖÏíµÄÉñÃØÎäÆ÷ÔÚÓÚÆäÈý¼¶ÔöÌíÄ£×Ó£º»ù´¡²ãͨ¹ý°Ù¿îÓ¦ÓÃÎüÒýÖÖ×ÓÓû§£¬ÖÐÐIJãÓÃÉç½»Áѱ乤¾ßʵÏÖÓû§À©ÕÅ£¬¶¥²ãÔò½èÖú»áԱϵͳÍê³É¼ÛÖµ³Áµí¡£V5.5.9°æ±¾ÐÂÔöµÄÔ¼ÇëÂëÌݶȽ±Àø»úÖÆ£¬ÔÚ30ÌìÄÚ´øÀ´47ÍòÐÂÔöÓû§£¬ÆäÖÐ28.3%ת»¯Îª¸¶·Ñ»áÔ±¡£ÕâÖÖÌõÀíÃ÷È·µÄÔËÓªÕ½ÂÔ£¬ÕýÊÇÆ½Ì¨ÈÕ»îÓû§Í»ÆÆÍòÍòµÄÒªº¦ËùÔÚ¡£
δÀ´Éú³¤µÄÊÖÒÕÔ¤ÅÐ
´ÓÆß¿Í·ÖÏí½üÆÚµÄ°æ±¾¸üÐÂÇ÷ÊÆÊӲ죬±ßÑØÅÌË㣨½«ÅÌËãʹÃü·ÖÅɵ½ÍøÂç±ßÑØ½Úµã£©ÓëÁª°îѧϰ£¨ÂþÑÜʽ»úеѧϰ¿ò¼Ü£©ÕýÔÚ³ÉΪÊÖÒÕÖØµã¡£°²×¿v2.4.4²âÊÔ°æÒÑʵÏÖ×ÊÔ´Ô¤¼ÓÔØ¹¦Ð§£¬Óû§ËÑË÷ÌØ¶¨Òªº¦´Êʱ£¬ÏµÍ³¿ÉÌáǰ»º´æÏà¹ØÓ¦ÓõÄ70%ÄÚÈÝ¡£ÕâÖÖÊÖÒÕÁ¢Ò콫ÔõÑù¸ÄдӦÓ÷ֿ¯ÐÐÒµµÄ¾ºÕùÃûÌã¿»òÐíÃյ׾ͲØÔÚÏÂÒ»°æ¸üÐÂ˵Ã÷ÖС£
ͨ¹ýÉî¶ÈÆÊÎöÆß¿Í·ÖÏíV5.5.9µ½°²×¿v2.4.4µÄÑݽøÂ·¾¶£¬ÎÒÃÇÇåÎú¿´µ½Ó¦Ó÷ַ¢Æ½Ì¨Í»ÆÆÔöÌíÆ¿¾±µÄÈý¸ö½¹µãÒªËØ£ºÊÖÒռܹ¹µÄÒ»Á¬ÓÅ»¯¡¢Óû§Éú̬µÄ¾«×¼ÔËÓª¡¢×ÊÔ´ÖÎÀíµÄÖÇÄÜÉý¼¶¡£Î´À´£¬Ëæ×Å5GÍøÂçµÄÆÕ¼°ºÍ±ßÑØÅÌËãµÄÓ¦Óã¬ÕâÖÖÒÔÊÖÒÕÇý¶¯Óû§ÔöÌíµÄģʽ±Ø½«´ßÉú¸ü¶àÐÐÒµÁ¢Òì¡£