ÆóÒµ¼¶ÏîÄ¿ÇéÐδʵ¼ù
ÔÚ×ÏÌÙׯ԰Sparkʵ¼ùÊÓÆµ¿ªÆª²¿·Ö£¬¹¤³ÌʦÑÝʾÁË»ùÓÚÔÆÔÉú¼Ü¹¹µÄ¼¯Èº°²Åżƻ®¡£ÊÓÆµÏêϸչʾÁËÔõÑùͨ¹ýKubernetes±àÅÅʵÏÖµ¯ÐÔ×ÊÔ´µ÷Àí£¬Õâ¶Ô´¦Öóͷ£º£Á¿µçÉÌÉúÒâÈÕÖ¾¾ßÓÐÒªº¦×÷Óá£ÖµµÃ×¢ÖØµÄÊÇ£¬ÆóÒµ¼¶°²ÅűØÐè¹Ø×¢ÍøÂçÍØÆËÓÅ»¯£¬ÓÈÆäÊÇÔÚ´¦Öóͷ£ÊµÊ±Êý¾ÝÁ÷ʱ£¬¹ýʧµÄÍøÂçÉèÖûᵼÖÂRDD£¨µ¯ÐÔÂþÑÜʽÊý¾Ý¼¯£©´«ÊäЧÂʽµµÍ50%ÒÔÉÏ¡£
½¹µãÅÌËãÄ£×ÓʵÏÖÆÊÎö
ÊÓÆµÖÐÖØµãÆÊÎöÁËDataFrame APIÓëSpark SQLµÄÁªºÏÓ¦ÓÃģʽ¡£Í¨¹ýÂÃÓÎÐÐÒµÓû§»Ïñ¹¹½¨°¸Àý£¬ÑÝʾÁËÔõÑù½«ÔʼÈÕ־ת»¯Îª½á¹¹»¯Êý¾Ý×ʲú¡£ÊÖÒÕÖ°Ô±ÐèÒªÌØÊâ×¢ÖØÄÚ´æÖÎÀíÕ½ÂÔ£¬µ±´¦Öóͷ£PB¼¶Éç½»ÍøÂçÊý¾Ýʱ£¬²»¶ÔÀíµÄÐòÁл¯·½·¨»áʹʹÃüÖ´ÐÐʱ¼ä³É±¶ÔöÌí¡£ÔõÑùÑ¡ÔñºÏÊʵÄshuffleÕ½ÂÔ£¿ÕâÐèҪƾ֤Êý¾ÝÌØÕ÷¶¯Ì¬µ÷½â·ÖÇøËã·¨¡£
ʵʱÊý¾Ý´¦Öóͷ£¼Ü¹¹ÓÅ»¯
Õë¶ÔÎïÁªÍøÊµÊ±¼à¿Ø³¡¾°£¬½ÌѧÊÓÆµ±ÈÕÕÁËStructured StreamingÓë¾É°æDStreamµÄЧÄܲî±ð¡£ÔÚ³µÁªÍø³¡¾°µÄѹÁ¦²âÊÔÖУ¬ÓÅ»¯ºóµÄ΢Åú´Î´¦Öóͷ£½«ÑÓ³Ù½µµÍÖÁ300ºÁÃëÒÔÄÚ¡£ÕâÀïÐèҪСÐÄÊý¾ÝÇãбÎÊÌ⣬µ±´«¸ÐÆ÷ÂþÑܲ»¾ùʱ£¬½¨Òé½ÓÄÉˮӡ»úÖÆÅäºÏ״̬´æ´¢Õ½ÂÔÀ´Æ½ºâ¸÷½Úµã¸ºÔØ¡£
ÆóÒµ¼¶Çå¾²¼Ó¹Ì¼Æ»®
½ðÈÚ¼¶Ó¦ÓõÄÌØÊâÐèÇ󲿷֣¬ÊÓÆµÑÝʾÁËKerberosÈÏÖ¤¼¯³ÉÓëHDFS¼ÓÃÜ´æ´¢¼Æ»®¡£ÌØÊâÊÇÔÚ´¦Öóͷ£Óû§Òþ˽Êý¾Ýʱ£¬±ØÐèÆôÓö¯Ì¬Êý¾ÝÑÚÂ빦Ч¡£¿ª·¢ÕßÔÚ¾ÙÐлá¼û¿ØÖÆÉèÖÃʱ£¬Òª×¢ÖØ×èÖ¹ACL£¨»á¼û¿ØÖÆÁÐ±í£©µÄÌ«¹ýÊÚȨ£¬Õâ¿ÉÄÜÒý·¢ÑÏÖØµÄÊý¾Ýй¶Σº¦¡£
µä·¶¹ýʧ³¡¾°Éî¶ÈÆÊÎö
½ÌѧÊÓÆµÓÃ20·ÖÖÓרÃÅÆÊÎöÁËÊ®´ó³£¼û¹ýʧģʽ£¬ÆäÖÐJVMÄÚ´æÒç³öÎÊÌâ×îΪÖÂÃü¡£ÔÚijÎïÁ÷ÆóÒµµÄʵ¼ùÖУ¬¹ýʧÉèÖÃexecutor¶ÑÄÚ´æµ¼Ö¼¯ÈºÕûÌåå´»ú¡£ÊÓÆµ¸ø³öÁËGC£¨À¬»ø½ÓÄÉ£©µ÷ÓŹ«Ê½£ºÄÚ´æ·ÖÅÉ=·ÖÇøÊý¡Á1.5GB¡£Í¬Ê±Ç¿µ÷Òª°´ÆÚ¼à¿ØstorageÄÚ´æÕ¼±È£¬±ÜÃ⻺´æÊý¾ÝÕ¼Óùý¶àÅÌËã×ÊÔ´¡£
»úеѧϰģ×Ó°²ÅÅʵ¼ù
ÔÚÍÆ¼öϵͳ°¸ÀýÖУ¬¹¤³ÌʦÑÝʾÁËML PipelineÓëPySparkµÄÕûºÏÓ¦Óá£Õë¶Ô¹ã¸æµã»÷ÂÊÕ¹ÍûʹÃü£¬ÊÓÆµ½¨Òé½ÓÄÉÌØÕ÷½»Ö¯ÊÖÒÕÌáÉýÄ£×ÓAUCÖµ0.15¸öµã¡£µ«ÐèСÐÄÄ£×ÓÆ¯ÒÆÎÊÌ⣬±ØÐèÉèÖÃ×Ô¶¯»¯Ä£×ÓÖØÑµÁ·»úÖÆ£¬ÕâÔÚµçÉÌ´ó´Ùʱ´úÓÈΪÖ÷Òª¡£Õ¹Ê¾ÁËÔõÑùͨ¹ýAlluxio¼ÓËÙÌØÕ÷¶ÁÈ¡£¬Ê¹Åú´¦Öóͷ£Ê¹ÃüºÄʱïÔÌ60%¡£
×ÏÌÙׯ԰Sparkʵ¼ùÊÓÆµÏµÍ³ÐÔµØÕ¹Ê¾ÁËÆóÒµ¼¶Ó¦ÓõÄÊÖÒÕʵÏÖ·¾¶£¬´Ó»ù´¡ÇéÐÎÉèÖõ½¸ß½×Ä£×Ó°²ÅŲã²ãµÝ½ø¡£¿ª·¢ÕßÓ¦ÖØµã¹Ø×¢ÊÓÆµÖÐÖØ¸´Ç¿µ÷µÄ¼¯Èºµ÷ÓŹæÔòºÍÊý¾ÝÇå¾²¹æ·¶£¬Í¬Ê±Ð¡ÐÄÒþ²ØµÄÐÔÄÜÏÝÚå¡£ÕÆÎÕÕâЩ½¹µãÒªµã£¬²Å»ªÕæÕýʩչSpark¿ò¼ÜÔÚÆóÒµÊý×Ö»¯×ªÐÍÖеÄÕ½ÂÔ¼ÛÖµ¡£ »î¶¯£º¡¾×ÏÌÙׯ԰sparkʵ¼ùÊÓÆµÖÜÈ«ÆÊÎöÆóÒµ¼¶´óÊý¾ÝÓ¦ÓÃËùÓÐÍêÕû°æ¡¿ Ôڵڰ˽ì÷»¨ÍøÈö²¥Òµ´óÕ¹µÄÈ«Çò»¯Îę̀ÉÏ£¬ÈðÀÖ»ùÒòÒÔ"Èö²¥ÎÞ½ç ÖÇÔìδÀ´"µÄÁ¢ÒìÀíÄîÍê³É¿ç½çÊ×Ðã¡£Õâ¼ÒÉî¸û»ùÒò×é±à¼ÊÖÒÕ£¨CRISPR£©µÄÒ½ÁƿƼ¼ÆóÒµ£¬Í¨¹ýÖǻۻ¯Èö²¥ÏµÍ³µÄ´î½¨£¬ÔÚÉúÎï¿Æ¼¼ÐÐÒµÊý×Ö»¯ÓªÏúÁìÓòÊ÷Á¢ÁËбê¸Ë¡£±¾ÎĽ«Éî¶È½âÂëÆä²ÎÕ¹Õ½ÂÔµÄÁ¢ÒìÍ»ÆÆÓëÐÐÒµ¼ÛÖµ¡£ÉúÎïÒ½ÁÆÐÐÒµÈö²¥·¶Ê½×ªÐ͵Äʱ´ú±Ø¶¨
ÔÚÒ½ÁÆ¿µ½¡¹¤ÒµÊý×Ö»¯À˳±ÖУ¬¹Å°åÆóÒµ¹ÙÍø+ÐÐÒµÆÚ¿¯µÄÈö²¥Ä£Ê½ÒÑÏÔÆ£Ì¬¡£Æ¾Ö¤Ã·»¨ÍøÑо¿ÔºÊý¾Ý£¬2023ÄêÉúÎïÒ½Ò©ÆóÒµÊý×ÖÄÚÈÝ´¥´ïÂÊͬ±ÈϽµ12%£¬µ«»¥¶¯×ª»¯ÂÊÈ´ÌáÉý28%£¬Õâ¸öì¶ÜÕ÷ÏóÕÛÉä³ö¾«×¼Èö²¥Õ½ÂÔµÄÖ÷ÒªÐÔ¡£ÈðÀÖ»ùÒòÃôÈñÕÆÎÕÊý×Ö»¯×ªÐÍ»úÔµ£¬½«»ùÒò×éѧÑо¿Ð§¹ûת»¯Îª¿ÉÊÓ»¯Èö²¥Ëز쬯ä²ÎÕ¹ÄÚÈÝÈÚºÏVR»ùÒò±à¼Ä£Äâ¡¢AIÓÃҩЧ¹ûÕ¹ÍûµÈÁ¢ÒìÐÎʽ£¬¿ª´´Ò½ÁƿƼ¼ÆóÒµµÄÖÇ»ÛÈö²¥Ð·¶Ê½¡£
²ÎÕ¹Õ½ÂÔÖеĿç½çÈÚºÏÁ¢Òìʵ¼ù
ÈðÀÖ»ùÒòÔõÑùÍ»ÆÆÐÐÒµ±ÚÀÝʵÏÖÈö²¥ÆÆÈ¦£¿ÃյײØÔÚËûÃǵÄÈýÌõÀíÈÚºÏÕ½ÂÔÖС£ÊÇÊÖÒÕÈںϣ¬ÔËÓÃÊý¾ÝÖÐ̨ÕûºÏ»ùÒò¼ì²âÊý¾Ý¿âÓëÈö²¥ÐÐΪÊý¾Ý£»ÊÇǰÑÔÈںϣ¬ÔÚ48СʱչÆÚÄÚ¹¹½¨OMO£¨ÏßÉÏÏßÏÂÈںϣ©ÌÕ×íʽÌåÑé¿Õ¼ä£»ÊÇÊÜÖÚÈںϣ¬Õë¶ÔÒ½Ò©ÆóÒµ¡¢Í¶×Ê»ú¹¹¡¢ÖÕ¶Ë»¼ÕßÈýÀàȺÌ忪·¢²î±ð»¯µÄÈö²¥ÄÚÈÝ¡£ÕâÖÖ¿ç½çÕûºÏÍ·ÄÔʹµÃչ̨ÈÕ¾ù½Ó´ýÁ¿µÖ´ïÐÐҵƽ¾ùˮƽµÄ3.6±¶£¬ÊµÏÖÒ½ÁÆÐÐÒµÓªÏúÁ¢ÒìµÄÖ÷ÒªÍ»ÆÆ¡£
ÖÇ»ÛÈö²¥ÏµÍ³µÄÊÖÒÕÖ§³Ö¼Ü¹¹
Ö§³ÖÈðÀÖ»ùÒò²ÎչЧ¹ûµÄ£¬ÊÇÆä×ÔÖ÷Ñз¢µÄÖÇÄÜÈö²¥ÖÎÀíϵͳ£¨CMS4.0£©¡£ÏµÍ³½ÓÄÉ×ÔÈ»ÓïÑÔ´¦Öóͷ££¨NLP£©ÊÖÒÕ×Ô¶¯ÌìÉú¿ÆÆÕÎݸ£¬Í¨¹ý»úеѧϰËã·¨ÓÅ»¯ÄÚÈÝ·Ö·¢Â·¾¶£¬ÕâÔÚ´¦Öóͷ£ÖØ´óÒ½ÁÆÊý¾ÝʱչÏÖÏÔÖøÓÅÊÆ¡£Õ¹»áʱ´ú£¬ÏµÍ³ÊµÊ±ÊÕÂÞµÄ267ÍòÌõ»¥¶¯Êý¾Ý£¬ÎªºóÐøµÄ¾«×¼ÊÜÖÚ´¥´ï½¨Éè¶àάÓû§»Ïñ¡£ÕâÖÖÊÖÒÕÇý¶¯µÄÄÚÈÝÉú²ú»úÖÆ£¬Ê¹Ò½ÁÆ×¨ÒµÖªÊ¶Èö²¥Ð§ÂÊÌáÉý42%£¬ÖªÊ¶×ª»¯ÂʵִïÐÐÒµÁìÏȵÄ79%¡£
Èö²¥Ð§¹ûÆÀ¹ÀÓëÊý¾Ý¼Ûֵת»¯
ÆÀ¹ÀÏÏû³Á¢ÒìÊǴ˴βÎÕ¹µÄÒþÐÎÁÁµã¡£ÈðÀÖ»ùÒò½ÓÄÉÈö²¥¿µ½¡¶ÈÖ¸Êý£¨CHI£©Ìæ»»¹Å°åKPI£¬¸ÃÖ¸±ê×ۺϿ¼Á¿ÄÚÈÝרҵ¶È¡¢ÊÜÖÚ»¥¶¯Éî¶ÈºÍÆ·ÅÆÃÀÓþ¶È¡£Êý¾ÝÏÔʾ£¬Æä»ùÒòÖÎÁƼƻ®µÄ¹«ÖÚÈÏÖª¶Èͨ¹ý²ÎÕ¹ÌáÉý34¸ö°Ù·Öµã£¬Ç±ÔÚÏàÖúÒâÏò¹ÒºÅÁ¿³¬Ô¤ÆÚÄ¿µÄ213%¡£¸üÒªº¦µÄÊÇÍøÂçµ½µÄ»¼ÕßÐèÇóÊý¾Ý£¬ÒÑ·´ÏòÊäÈëµ½ÐÂÒ©Ñз¢²¿·Ö£¬ÐγÉÕæÕý±Õ»·µÄÖÇ»ÛÈö²¥Éú̬¡£
ÐÐÒµ¿ç½çµÄΣº¦¹Ü¿ØÓëºÏ¹æ°ü¹Ü
ÔÚÒ½ÁÆÐÅÏ¢Èö²¥ÁìÓò£¬ÔõÑùÔÚÁ¢ÒìÓëºÏ¹æ¼äÈ¡µÃƽºâ£¿ÈðÀÖ»ùÒò½¨ÉèÈý¼¶ÄÚÈÝÉóºË»úÖÆ£ºAI³õɸ¹ýÂËÃô¸ÐÐÅÏ¢£¬Ò½Ñ§×¨¼Ò¶þ´ÎУÑéÊÖÒÕ±íÊö£¬Ö´·¨ÍŶÓ×îÖÕÈ·ÈϺϹæ½çÏß¡£Õë¶Ô»ùÒòÊý¾ÝÕâÀàÌØÊâÐÅÏ¢×ʲú£¬½ÓÄÉÇø¿éÁ´´æÖ¤ÊÖÒÕÈ·±£Èö²¥Àú³Ì¿É×·ËÝ¡£ÕâÌ×»úÖÆÔÚÕ¹»áʱ´úÀÖ³É×èµ²37´ÎDZÔںϹæÎ£º¦£¬ÎªÒ½ÁƿƼ¼ÆóÒµµÄÈö²¥Á¢Òì»®¶¨Çå¾²½çÏß¡£
ÈðÀÖ»ùÒòµÄ¿ç½çʵ¼ùΪҽÁÆÐÐÒµÊý×ÖÈö²¥¿ª·¢Ð·¾¶£ºÒÔÊÖÒÕÈÚºÏÂò֪ͨʶ±ÚÀÝ£¬ÓÃÖÇ»ÛÈö²¥Öع¹Ò½»¼¹ØÏµ£¬Í¨¹ýÊý¾ÝÁ÷ת´´Á¢ÓªÒµ¼ÛÖµ¡£Æä²ÎչЧ¹ûÓ¡Ö¤ÁË"Èö²¥¼´Ñз¢"µÄÐÂÐÍÉú³¤ÀíÄ¡ªµ±»ùÒò¿Æ¼¼Óö¼ûÖÇ»ÛÈö²¥£¬²»µ«ÌáÉýÆ·ÅÆÓ°ÏìÁ¦£¬¸ü³ÉΪÇýÏÂÊÖÒÕÁ¢ÒìµÄÌØÊâÉú²úÁ¦¡£Õⳡ¿ç½çʵÑéµÄÀֳɣ¬Ô¤Ê¾×ÅÒ»¸öÈö²¥ÎÞ½çµÄÒ½ÁƿƼ¼ÐÂʱ´úÕýÔÚµ½À´¡£