¿­·¢k8¹ú¼Ê

ȪԴ£ºÖ¤È¯Ê±±¨Íø×÷Õߣº³Â²ÓÊÙ2025-08-09 13:52:30
ghuikjrtneslfdvxhkjfqw Ëæ×ÅÆóÒµÊý×Ö»¯×ªÐͽøÈëÉîË®Çø£¬Apache SparkÔÚÆóÒµ¼¶´óÊý¾Ý´¦Öóͷ£ÖеÄÖ÷ÒªÐÔÈÕÒæÍ¹ÏÔ¡£×ÏÌÙׯ԰sparkʵ¼ùÊÓÆµÍ¨¹ýÕæÊµ³¡¾°°¸Àý£¬ÏµÍ³»¯²ð½âÁËSparkÔÚETL´¦Öóͷ£¡¢ÊµÊ±ÅÌËãÓë»úеѧϰµÈÁìÓòµÄ½¹µãÓ¦Óᣱ¾ÎĽ«Éî¶ÈÆÊÎöµÚ46¹Ø×îÐÂÄÚÈÝ£¬Õ¹ÏÖÆóÒµ¼¶Spark×÷ÒµµÄÓÅ»¯Õ½ÂÔÓëÊÖÒÕʵÏÖ·¾¶¡£

×ÏÌÙׯ԰sparkʵ¼ùÊÓÆµ,ÆóÒµ¼¶´óÊý¾Ý½â¾ö¼Æ»®È«ÆÊÎö-µÚ46¹ØÊÖÒÕÍ»ÆÆÏê½â

ÆóÒµÊý¾Ý´¦Öóͷ£µÄÏÖʵÌôÕ½ÓëÍ»ÆÆÆ«Ïò

ÔÚ½ðÈÚ·ç¿ØºÍÖÇÄÜÍÆ¼öµÈÆóÒµ³¡¾°ÖУ¬º£Á¿Êý¾Ý´¦Öóͷ£ÃæÁÙÏìÓ¦ÑÓʱÓëÅÌËã׼ȷ¶ÈµÄË«ÖØÌôÕ½¡£×ÏÌÙׯ԰sparkʵ¼ùÊÓÆµµÚ46¹ØÊ×´ÎÅû¶µÄʵʱ·´Ú²Æ­°¸ÀýÏÔʾ£¬»ùÓÚSpark Structured Streaming¹¹½¨µÄ»ìÏý´¦Öóͷ£¼Ü¹¹£¬ÓÐÓýâ¾öÁ˹ŰåÅú´¦Öóͷ£ÏµÍ³µÄ·ÖÖÓ¼¶ÑÓ³ÙÎÊÌâ¡£ÌØÊâÊÇÔÚDAG£¨ÓÐÏòÎÞ»·Í¼£©µ÷ÀíÓÅ»¯·½Ã棬ͨ¹ý¶¯Ì¬×ÊÔ´·ÖÅÉ»úÖÆ½«Êý¾Ý´¦Öóͷ£Ð§ÂÊÌáÉý47%£¬¸ÃÁ¢Òìµã»ñµÃIBMÊÖÒÕÍŶӵÄÏÖ³¡ÑéÖ¤¡£

×ÏÌÙׯ԰ÊÓÆµÄÚÈݼܹ¹ÆÊÎö

ÕâÌ×°üÀ¨46¸öÊÖÒÕÄ£¿éµÄϵÁпγÌ£¬½ÓÄÉ"ÀíÂÛ-ʵÑé-µ÷ÓÅ"µÄÈý¶Îʽ½Ìѧ½á¹¹¡£ÔÚµÚ5ÕÂSpark CoreÔ­ÀíÆÊÎöÖУ¬ÖصãÑÝʾÁËRDDµ¯ÐÔÂþÑÜʽÊý¾Ý¼¯µÄÈÝ´í»úÖÆ£¬¸¨ÒÔÒ½ÁÆÓ°ÏñÊý¾Ý´¦Öóͷ£³¡¾°¾ÙÐÐÑéÖ¤¡£ÖµµÃ×¢ÖØµÄÊǵÚ32¹ØÒýÈëµÄShuffleÓÅ»¯¼Æ»®£¬Í¨¹ýµ÷½âspark.sql.shuffle.partitions²ÎÊýÖµ£¬Àֳɽ«µçÉÌÍÆ¼öϵͳµÄÅÌËãºÄʱ´Ó18·ÖÖÓѹËõÖÁ6·ÖÖÓ£¬ÕâÖÖʵսÉèÖü¼ÇɹØÓÚ½ðÈÚ·ç¿ØÏµÍ³µÄʵʱ¾öÒé¾ßÓÐÖ÷ÒªÒâÒå¡£

ÆóÒµ¼¶Spark¼¯Èº°²ÅÅÒªº¦ÒªËØ

ÔõÑù¹¹½¨¸ß¿ÉÓõÄÉú²ú¼¶Spark¼¯Èº£¿µÚ46¹ØÏêϸ±ÈÕÕÁËYARNÓëKubernetesÁ½ÖÖ×ÊÔ´µ÷Àí¿ò¼ÜµÄ²î±ð¡£²âÊÔÊý¾ÝÏÔʾ£¬ÔÚÏàͬӲ¼þÉèÖÃÏ£¬K8s¼Æ»®µÄʹÃü»Ö¸´ËÙÂÊ±È¹Å°å¼Æ»®¿ì3.8±¶¡£ÊÓÆµÖÐÌØÊâÑÝʾÁ˶¯Ì¬Executor·ÖÅÉ»úÖÆ£¬Í¨¹ýÉèÖÃspark.dynamicAllocation.enabled=true²ÎÊý£¬ÀÖ³ÉÓ¦¶ÔÁË֤ȯÉúÒâϵͳµÄÁ÷Á¿Âö³å³¡¾°£¬ÕâÏîÉèÖü¼ÇÉÒÑÔÚº£ÄÚij´óÐÍÖ§¸¶Æ½Ì¨»ñµÃÏÖʵӦÓÃÑéÖ¤¡£

»úеѧϰ³¡¾°ÏµÄSparkÓÅ»¯Êµ¼ù

ÔÚÉî¶Èѧϰģ×ÓѵÁ·³¡¾°ÖУ¬SparkÓëTensorFlowµÄЭͬÊÂÈËÇéÁÙÐòÁл¯Ð§ÂÊÆ¿¾±¡£×ÏÌÙׯ԰¿Î³ÌÌá³öµÄÄ£×Ó·ÖÆ¬²¢Ðмƻ®£¬Í¨¹ýPetastormÊý¾ÝÃûÌÃת»»½«ÌØÕ÷´¦Öóͷ£ËÙÂÊÌáÉý62%¡£µÚ46¹ØÕ¹Ê¾µÄÂþÑÜʽ³¬²Îµ÷Ó۸ÀýÖУ¬½ÓÄÉSpark MLlibÓëHyperopt×éºÏ¿ò¼Ü£¬Ê¹Ä³ÒøÐз´Ï´Ç®Ä£×ÓµÄF1Öµ´Ó0.81ÌáÉýÖÁ0.89£¬ÕâÖÖÁ¢Òì¼Æ»®ÎªºóÐø¿Î³ÌÖеÄÁª°îѧϰÊÖÒÕÂñÏ·ü±Ê¡£

ʵʱÊý²Ö½¨ÉèµÄ½¹µãÊÖÒÕÍ»ÆÆ

ÔõÑùʵÏÖÃë¼¶ÑÓ³ÙµÄʵʱÊý¾Ý¿ÍÕ»£¿¿Î³ÌµÚ40-46¹Ø¹¹½¨µÄÍêÕû½â¾ö¼Æ»®ÖµµÃ¹Ø×¢¡£Í¨¹ýDelta LakeµÄÊÂÎñÈÕÖ¾»úÖÆ°ü¹ÜÊý¾ÝÒ»ÖÂÐÔ£¬ÅäºÏSpark Structured StreamingµÄ΢Åú´¦Öóͷ£Ä£Ê½£¬ÔÚµçÐÅÐÅÁîÊý¾ÝÆÊÎö³¡¾°Öеִï80000Ìõ/ÃëµÄ´¦Öóͷ£ÍÌÍÂÁ¿¡£ÌØÊâÊÇÔÚµÚ46¹Ø×îÐÂÄÚÈÝÖУ¬Ê״ιûÕæÁ˶˵½¶ËExactly-OnceÓïÒåµÄʵÏּƻ®£¬¸ÃÊÖÒÕÒÑÓ¦ÓÃÓÚijÎïÁ÷ÆóÒµµÄÈ«Çò¶©µ¥×·×Ùϵͳ¡£

ÆóÒµ¼¶Êý¾ÝÖÎÀíµÄÍêÕû½â¾ö¼Æ»®

Êý¾ÝÖÎÀíÊÇÆóÒµ´óÊý¾ÝÂ䵨µÄ±ÚÀÝ¡£×ÏÌÙׯ԰½Ì³ÌÔÚµÚ46¹Ø¼¯³ÉÑÝʾÁËÊý¾ÝѪԵ׷×Ù¡¢ÖÊÁ¿¼à¿ØÓëȨÏÞÖÎÀíÈý´óÄ£¿é¡£»ùÓÚSpark SQLÀ©Õö¿ª·¢µÄÊý¾ÝѪԵÆÊÎö×é¼þ£¬¿É×Ô¶¯ÌìÉúÁè¼Ý200¸ö½ÚµãµÄÒÀÀµÍ¼Æ×¡£ÔÚÊÓÆµÕ¹Ê¾µÄijÁãÊÛÆóÒµ°¸ÀýÖУ¬Í¨¹ýColumn-levelȨÏÞ¿ØÖƽ«Êý¾Ý×ß©Σº¦½µµÍ92%£¬ÕâÖÖϵͳ¼¶½â¾ö¼Æ»®Îª¼´½«µ½À´µÄÊý¾ÝÇå¾²·¨ÌṩÁËÊÖÒÕ×¼±¸¡£

´ÓµÚ46¹ØÊÖÒÕÍ»ÆÆ¿ÉÒÔ¿´³ö£¬×ÏÌÙׯ԰sparkʵ¼ùÊÓÆµÍ¨¹ýÕæÊµ³¡¾°²ð½â£¬ÍêÕû·ºÆðÁËÆóÒµ¼¶´óÊý¾ÝÓ¦ÓõÄÊÖÒÕÑݽøÂ·¾¶¡£ÎÞÂÛÊǽ¹µãÔ­ÀíÆÊÎöÕÕ¾ÉK8s¼¯Èº°²ÅÅ£¬¶¼ÌåÏÖÁËÀíÂÛÓëʵ¼ùµÄ¸ß¶ÈÈںϡ£¹ØÓÚØ½´ýÉý¼¶Êý¾Ý´¦Öóͷ£¼Ü¹¹µÄÆóÒµ¶øÑÔ£¬ÕâÌ׿γÌÌṩµÄshuffleÓÅ»¯¡¢ÊµÊ±ÅÌËã¼Æ»®ÒÔ¼°Êý¾ÝÖÎÀí¿ò¼Ü£¬ÕýÔÚÖØÐ½ç˵SparkÔÚÉú²úÇéÐÎÖеÄÓ¦Óñê×¼¡£ ËÄÉ«ÍøÕ¾´´ÒâÅäÉ«¼Æ»®ÍƼö¸Õ¸Õ¸üеÚ48¹ØÁбíËùÓÐÃâ·Ñ ÔÚÄ¿½ñÂþ»­ÔĶÁÊг¡ÖУ¬Å°ÂíÑÛ×ßÉþ×÷ΪÐÂÓ±µÄðÏÕÌâ²ÄÂþ»­Ò»Á¬Òý·¢¹Ø×¢¡£¶ÁÕß²»µ«¿ÉÒÔͨ¹ý±ÊȤ¸óÃâ·ÑÔĶÁƽ̨»ñÈ¡×îÐÂÕ½Ú£¬¸üÄÜÔÚBilibiliÂþ»­ÏíÊܸßÇåÕý°æÔĶÁÌåÑé¡£±¾ÎĽ«Éî¶ÈÆÊÎöµÚ47Õ¾çÇéÁÁµã£¬Í¬²½ÍƼöͬÀàÐÍÔÃÄ¿Âþ»­£¬²¢Í¨¹ý±ÈÕÕ²î±ðƽ̨µÄÔĶÁÓÅÊÆ£¬ÎªÂþÃÔÌṩȫ·½Î»µÄ×·¸üÖ¸ÄÏ¡£

ŰÂíÑÛ×ßÉþµÚ47ÕÂÆÊÎö-ÔÃÄ¿Âþ»­ÍƼöÅÅÐаñ


Ò»¡¢Å°ÂíÑÛ×ßÉþµÄÌìϹۼܹ¹ÆÊÎö

×÷Ϊ½üÄêÒì¾üÍ»ÆðµÄºÚÂí×÷Æ·£¬Å°ÂíÑÛ×ßÉþÒÔÆäÆæÒìµÄÉþÒÕ¾º¼¼ÌìϹ۾ªÑÞ¶ÁÕß¡£Âþ»­µÚ47Õ¾۽¹Ö÷½ÇÍŶӴ©Ô½"ÌúËø¶ÏÑÂ"µÄ¾ªÏÕ¾çÇ飬̫ͨ¹ý¾µÕÅÁ¦Ç¿»¯ÐüµõϵͳµÄÕ½ÊõÔËÓ᣸ÃÕ½ÚÔÚ±ÊȤ¸óÃâ·ÑÔĶÁƽ̨»ñµÃ97%µÄºÃÆÀÂÊ£¬Æä×ßÉþÀú³ÌÖÐÈÚÈëµÄаÊõÁ£×ÓÌØÐ§Éè¼Æ£¬±»ÔÞΪÄê¶È×î¼ÑÊÓ¾õÌåÏÖÖ®Ò»¡£ÄÇôÕâÀàÈÚºÏÐж¯ÓëÆæ»ÃµÄ´´×÷ÊÖ·¨£¬ÔõÑùÒ»Á¬ÎüÒý²î±ðÄêËê¶Î¶ÁÕߣ¿


¶þ¡¢±ÊȤ¸óÃâ·ÑÔĶÁƽ̨µÄÌØÉ«Ð§ÀÍ

Õë¶ÔÂþ»­Ï²»¶ÕßµÄÔĶÁ¸ÕÐ裬±ÊȤ¸óÃâ·ÑÔĶÁÍÆ³öʵʱ¸üÐÂÌáÐÑÓëAIÊéÇ©¶©Î»¹¦Ð§¡£Óû§Í¨¹ý¸Ãƽ̨ÔĶÁŰÂíÑÛ×ßÉþµÚ47ÕÂʱ£¬¿ÉÏíÊÜÖÇÄÜ·Ö¾µËõ·ÅÓë¾çÇéËÙ¶Áģʽ¡£ÖµµÃ×¢ÖØµÄÊÇ£¬ËäÈ»Ãâ·ÑÔĶÁÇþµÀ±ãµ±£¬µ«Õý°æÆ½Ì¨µÄ»­Ã澫ÐÞ°æ¸üÖµµÃÍÆ¼ö¡£BilibiliÂþ»­×÷Ϊ¹Ù·½Á¬ÔØÆ½Ì¨£¬Ã¿ÆÚ¸üж¼°üÀ¨×÷ÕßÊÖ¸åÐÞÕýÓë²Êµ°×¢ÊÍ£¬ÕâǡǡÊǵÁ°æ×ÊÔ´ÄÑÒÔÌṩµÄÔöֵЧÀÍ¡£


Èý¡¢BilibiliÂþ»­µÄÕý°æÉú̬ÓÅÊÆ

ÔÚÂþ»­ÔĶÁÇþµÀÑ¡ÔñµÄÊ®×Ö·¿Ú£¬BilibiliÂþ»­ÒÀ¸½ÍêÉÆµÄ¸¶·ÑϵͳһÁ¬ÁìÅÜ¡£Æ½Ì¨ÎªÅ°ÂíÑÛ×ßÉþ¿ªÍ¨Á˵¯Ä»½â¶Á¹¦Ð§£¬¶ÁÕßÔÚµÚ47Õ¿ÉʵʱÉó²éÆäËû·ÛË¿µÄ800+Ìõרҵµ¯Ä»ÆÊÎö¡£Í¨¹ý"´´×÷¼¤ÀøÍýÏë"£¬Æ½Ì¨ÀÖ³ÉÎüÒýÁè¼Ý200²¿Í¬ÀàÐÍÔÃÄ¿Âþ»­Èëפ£¬ÐγÉÁ¼ÐÔÄÚÈÝÉú̬¡£Ïà½ÏÓÚ´¿´âµÄÃâ·ÑÔĶÁ£¬Õý°æÆ½Ì¨ÔÚ¾çÇéÍêÕû¶ÈÓë¸üÐÂÎȹÌÐÔ·½Ãæ¸ü¾ß°ü¹Ü¡£


ËÄ¡¢µÚ47ÕÂÒªº¦Çé½ÚµÄÈý´ó¿´µã

ŰÂíÑÛ×ßÉþµÚ47ÕÂÖ®ÒÔÊdzÉΪÕ÷Ï󼶸üУ¬µÃÒæÓÚ¾«ÃîµÄÇé½Ú±àÅÅÉè¼Æ¡£ÊÇÖ÷½ÇÐѾõ"¶¯Ì¬Æ½ºâ"ÊÖÒÕʱ£¬·ºÆðµÄ360¶ÈÎ§ÈÆ·Ö¾µÁîÈË̾Ϊ¹ÛÖ¹¡£ÊÇ·´ÅɽÇÉ«"ËøÁ´Ê¹Í½"µÄÔìÐÍÉý¼¶£¬ÈÚºÏÕôÆûÅó¿ËÓë¶«·½ÔªËصÄÉè¼ÆÓïÑÔ¡£×îÖµµÃ¹Ø×¢µÄÊÇÒþ²ØµÄ¾çÇé·ü±Ê¡ª¡ªÍ¨¹ý×ßÉþ¹ì¼£°µÓ÷µÄÐÇÏóͼ£¬ÕâΪºóÐøÕ½ڵÄÓîÖæ¹ÛÍØÕ¹ÂñÏÂÖ÷ÒªÏßË÷¡£


Î塢ͬÀàÐÍÔÃÄ¿Âþ»­ÍƼöÇåµ¥

¹ØÓÚ×ÅÃÔŰÂíÑÛ×ßÉþÌìϹ۵ĶÁÕߣ¬ÎÞ·Á¹Ø×¢ÕâЩBilibiliÂþ»­¶À¼Ò×÷Æ·£º¡¶¸ÖË¿ÉϵÄӽ̾µ÷¡·¹¹½¨µÄά¶àÀûÑÇ·çÐüË÷¶¼»á¡¢¡¶Æ½ºâ¹æÔò¡·ÖÐÁ¿×ÓÎïÀíÓëÌØ¼¼ÑݳöµÄ¿ç´ÎÔªÈںϡ¢¡¶ËøÁ´±àÄêÊ·¡·´òÔìµÄ»úÐµËøÁ´Õ½¶·ÏµÍ³¡£ÕâЩ×÷Æ·ÔÚ¼á³ÖÐж¯ÕÅÁ¦µÄͬʱ£¬¾ù°üÀ¨Éî¶ÈµÄÌìϹ۽¨¹¹£¬ÌØÊâÊʺÏ×·Çó¾ç×÷ºñ¶ÈµÄÓ²ºËÂþÃÔ¡£


Áù¡¢Õý°æÓëÃâ·ÑÔĶÁµÄÖÇÄÜÑ¡ÔñÕ½ÂÔ

ÔÚÂþ»­ÏûºÄ¾öÒéÀú³ÌÖУ¬¶ÁÕßÐèȨºâ¶à·½ÒòËØ¡£¶ÌÆÚ×·¸ü¿ÉÑ¡Ôñ±ÊȤ¸óÃâ·ÑÔĶÁ»ñÈ¡×îоçÇ飬µ«Õ䲨¼¶ÔĶÁÍÆ¼öBilibiliÂþ»­µÄ4KÖØÖÆ°æ¡£ÌØÊâÔÚµÚ47ÕµȸßÐÅÏ¢Á¿Õ½Ú£¬Õý°æÆ½Ì¨µÄ"·Ö¾µÆÊÎö"¹¦Ð§¿ÉÌáÉý25%µÄÇé½ÚÃ÷È·¶È¡£¹ØÓÚѧÉúȺÌ壬½¨Òé¹Ø×¢Æ½Ì¨ÁªºÏÍÆ³öµÄ"Ð£Ô°ÌØ»ÝÍýÏë"£¬ÒÔ×îµÍ±¾Ç®ÏíÊÜÓÅÖÊÄÚÈÝ¡£

ͨ¹ýÉî¶ÈÆÊÎöŰÂíÑÛ×ßÉþµÚ47ÕµÄÒÕÊõ³É¼¨£¬ÎÒÃDz»µ«¼ûÖ¤ÁËÉþÒÕÌâ²ÄÂþ»­µÄáÛ·å´´×÷£¬¸üÕ¹ÏÖÁËÏÖ´úÂþ»­¹¤ÒµµÄÉú̬Àå¸ï¡£ÔÚÃâ·ÑÔĶÁÓëÕý°æÐ§À͵IJ©ÞÄÖУ¬BilibiliÂþ»­ÒÀ¸½ÄÚÈÝÔöֵģʽһÁ¬ÁìÅÜ¡£ÆÚ´ý¸ü¶àÔÃÄ¿Âþ»­ÄÜÍ»ÆÆ´´×÷½çÏߣ¬ÔÚ°ü¹Ü¸üÐÂÖÊÁ¿µÄͬʱ£¬Îª¶ÁÕߴ¸üÁ¢ÌåµÄÀíÏëÌìÏ¡£
ÔðÈα༭£º ³Â·¼»³
ÉùÃ÷£ºÖ¤È¯Ê±±¨Á¦ÕùÐÅÏ¢ÕæÊµ¡¢×¼È·£¬ÎÄÕÂÌá¼°ÄÚÈݽö¹©²Î¿¼£¬²»×é³ÉʵÖÊÐÔͶ×ʽ¨Ò飬¾Ý´Ë²Ù×÷Σº¦×Ôµ£
ÏÂÔØ¡°Ö¤È¯Ê±±¨¡±¹Ù·½APP£¬»ò¹Ø×¢¹Ù·½Î¢ÐŹ«Öںţ¬¼´¿ÉËæÊ±Ïàʶ¹ÉÊж¯Ì¬£¬¶´²ìÕþ²ßÐÅÏ¢£¬ÕÆÎղƲúʱ»ú¡£
ÍøÓÑ̸ÂÛ
µÇ¼ºó¿ÉÒÔ½²»°
·¢ËÍ
ÍøÓÑ̸ÂÛ½ö¹©Æä±í´ïСÎÒ˽¼Ò¿´·¨£¬²¢²»Åúע֤ȯʱ±¨Ì¬¶È
ÔÝÎÞ̸ÂÛ
ΪÄãÍÆ¼ö
¡¾ÍøÕ¾µØÍ¼¡¿¡¾sitemap¡¿