ÔëÉùÈë¿ÚµÄÊýѧ½¨Ä£»ù´¡
ÔÚÊý×ÖÐźŴ¦Öóͷ££¨DSP£©ÁìÓò£¬7x7x7x7x7µÄ¶àάÔëÉùÈë¿ÚÉè¼ÆÔ´×ÔÏãÅ©²ÉÑù¶¨ÀíµÄÀ©Õ¹Ó¦Óá£Ã¿¸öά¶È¶ÔÓ¦²î±ðµÄÔëÉù²ÎÊýά¶È£¬°üÀ¨Ê±¼äÇø·ÖÂÊ¡¢Æµ¶ÎÔöÒæ¡¢ÏàÎ»Æ«ÒÆµÈ½¹µãÒªËØ¡£ÆäÖеÚÒ»¸ö7´ú±í7ÖÖ»ù´¡°×ÔëÉùÀàÐÍ£¬µÚ¶þ¸ö7¶ÔÓ¦7¸ö¶¯Ì¬Ñ¹Ëõ±ÈÉèÖ㬸ýṹͨ¹ý×Ô˳ӦȨֵ¾ØÕó½«5¸öά¶È²ÎÊý½»Ö¯Èںϣ¬Ðγɸߴï
16,807ÖÖ×éºÏµÄµ÷²Î¿Õ¼ä¡£
²ÎÊýά¶ÈµÄ½¹µã²î±ðµã
Îå¸ö7´Î·½²ÎÊý×éµÄÇø±ðÖ÷Òª¼¯ÖÐÔÚ½µÔëÂß¼µÄÌõÀí¼Ü¹¹ÉÏ¡£Ç°Èý¸ö7Òò×Ó¿ØÖÆÊäÈëÐźŵÄÔ¤´¦Öóͷ£Á÷³Ì£¬°üÀ¨ÔëÉùÃÅÏÞ£¨Noise Gate£©µÄʱÓòÇиƵ¶Î¸ôÀëµÄ½×ÊýÉ趨ÒÔ¼°¶¯Ì¬¹æÄ£Ñ¹Ëõ£¨DRC£©µÄѹËõ±È²ÎÊý¡£ºóÁ½¸ö7Òò×ÓÔòÈÏÕæºó´¦Öóͷ£½×¶ÎµÄ²ÎÊýÉèÖã¬ÌØÊâÊǿռä»ìÏìµÄË¥¼õʱ¼äºÍÁ¢ÌåÉùÊèÉ¢¶ÈµÄµ÷Àí²ÎÊý£¬Õâ¶Ô×îÖÕÒôЧµÄ¶¨Î»¾«¶È±¬·¢¾öÒéÐÔÓ°Ïì¡£
ʵʱÅÌËãµÄÊÖÒÕÆ¿¾±Í»ÆÆ
ÔõÑùÔÚÒÆ¶¯¶ËʵÏÖ¸ÃÖØ´ó²ÎÊýµÄʵʱÔËË㣿¶¶Òô¹¤³Ìʦ½ÓÄɷֲ㴦Öóͷ£¼Ü¹¹£¬½«Îåά²ÎÊýÆÊÎöΪԤ´¦Öóͷ£²ã¡¢ÌØÕ÷ÌáÈ¡²ãºÍºó´¦Öóͷ£²ãµÄÈý¼¶Á÷Ë®Ïß¡£Ê¹ÓÃNEONÖ¸ÁÓÅ»¯FIRÂ˲¨Æ÷×éµÄ²¢ÐÐÅÌË㣬ͨ¹ýARM Mali GPUµÄ¾ØÕó¼ÓËÙµ¥Î»Íê³ÉÈ¨ÖØÏµÊýµÄ¶¯Ì¬µ÷½â¡£ÕâÖÖ»ìÏýÅÌËã¼Ü¹¹½«¹Å°åÐèÒª3.2msµÄÅÌËãÖÜÆÚѹËõÖÁ1.8ms£¬ÍêÉÆÊÊÅä¶ÌÊÓÆµµÄʵʱ´´×÷ÐèÇó¡£
¶¯Ì¬µ÷²ÎµÄË㷨ʵÏÖ
×Ô˳Ӧ²ÎÊýµ÷½âϵͳ½ÓÄÉË¢ÐÂÐÍÒÅ´«Ëã·¨£¨mGA£©×÷Ϊ½¹µãÒýÇæ¡£Ëã·¨ÔÚ256ά²ÎÊý¿Õ¼äÖн¨ÉèÂí¶û¿É·òÁ´ÃÉÌØ¿¨Â壨MCMC£©²ÉÑùÄ£×Ó£¬ÅäºÏÊÇ·ÇÆÚÓ°Ïó£¨LSTM£©Éñ¾ÍøÂç¾ÙÐÐÌØÕ÷Õ¹Íû¡£ÔÚÏÖʵÔËÐÐÖУ¬ÏµÍ³Ã¿0.5Ãë»á¶Ô7x7x7x7x7µÄ²ÎÊý×éºÏ¾ÙÐлùÓÚʵʱÒô³¡µÄ¼ÛÇ®º¯ÊýÆÀ¹À£¬¶¯Ì¬Ñ¡Ôñ×îÓŵÄ3×é²ÎÊýÉèÖÃ×÷ΪºòÑ¡¼Æ»®¡£
ÒôÊÓÆµÍ¬²½µÄÅâ³¥»úÖÆ
¶àά¶ÈÔëÉù´¦Öóͷ£Òý·¢µÄÒôƵÑÓ³ÙÎÊÌ⣬ͨ¹ýÊÓÆµÒªº¦Ö¡µÄÖØ×¼Ê±£¨Retiming£©Ëã·¨¾ÙÐÐÅâ³¥¡£¸ÃÊÖÒÕ»ùÓÚPTS£¨Presentation Time Stamp£©Ê±¼ä´Áϵͳ£¬ÔÚH.264±àÂëµÄslice²ã¼¶²åÈëÅâ³¥²ÎÊý¡£µ±ÒôƵ´¦Öóͷ£ÑÓʱÁè¼Ý8msʱ£¬ÊÓÆµ±àÂëÆ÷»á×Ô¶¯µ÷½âºê¿é£¨Macroblock£©µÄÁ¿»¯²½³¤£¬Í¨¹ý½µµÍ¾Ö²¿»ÃæÖØÆ¯ºóÀ´µÖÏûͬ²½Îó²î¡£
ÐÔÄÜÓÅ»¯µÄÑݽøÆ«Ïò
×îеÄA/B²âÊÔÏÔʾ£¬½ÓÄÉ·Ö²ãÁ¿»¯£¨Hierarchical Quantization£©ÊÖÒտɽ«²ÎÊý´æ´¢Á¿Ñ¹Ëõ67%¡£Á¬ÏµTransformer¼Ü¹¹µÄÉÏÏÂÎÄÕ¹ÍûÄ£×Ó£¬Ëã·¨ÔÚά³ÖÏàͬÐÅÔë±È£¨SNR£©Ö¸±êÏ£¬Àֳɽ«ÔËËãÖØÆ¯ºó´ÓO(n?)½µÖÁO(n?)¡£ÕâΪδÀ´ÔöÌíÔëÉùά¶ÈºÍ¾«¶ÈÌáÉýÌṩÁ˸»×ãµÄÊÖÒÕÈßÓà¿Õ¼ä¡£
͸¹ý¶Ô7x7x7x7x7í§ÒâÔëÈë¿ÚµÄ¶àÌõÀíÊÖÒÕÆÊÎö£¬ÎÒÃÇ¿ÉÒÔÇåÎú¿´µ½ÒôƵËã·¨¹¤³ÌʦÔÚÒÆ¶¯¶Ëʵʱ´¦Öóͷ£ÁìÓòµÄÁ¢ÒìÖǻۡ£´ÓÎåά²ÎÊý×éµÄ²î±ð»¯Éè¼Æµ½»ìÏýÅÌËã¼Ü¹¹µÄÓÅ»¯Êµ¼ù£¬ÕâЩÊÖÒÕÁ¢Òì²»µ«ÌáÉýÁËÒôÊÓÆµ´´×÷ÌåÑ飬¸üÎªÒÆ¶¯¶ËʵʱÐźŴ¦Öóͷ£È·Á¢ÁËеÄÊÖÒÕ·¶Ê½¡£Ëæ×ÅÁ¿»¯Ñ¹ËõºÍÐÂÐÍÕ¹ÍûÄ£×ÓµÄÒ»Á¬Ñݽø£¬ÕâÀàÖØ´óÔëÉùÈë¿Úϵͳ±Ø½«Êͷųö¸ü´óµÄ´´×÷¿ÉÄÜÐÔ¡£ÔëÉùÈë¿ÚµÄÊýѧ½¨Ä£»ù´¡
ÔÚÊý×ÖÐźŴ¦Öóͷ££¨DSP£©ÁìÓò£¬7x7x7x7x7µÄ¶àάÔëÉùÈë¿ÚÉè¼ÆÔ´×ÔÏãÅ©²ÉÑù¶¨ÀíµÄÀ©Õ¹Ó¦Óá£Ã¿¸öά¶È¶ÔÓ¦²î±ðµÄÔëÉù²ÎÊýά¶È£¬°üÀ¨Ê±¼äÇø·ÖÂÊ¡¢Æµ¶ÎÔöÒæ¡¢ÏàÎ»Æ«ÒÆµÈ½¹µãÒªËØ¡£ÆäÖеÚÒ»¸ö7´ú±í7ÖÖ»ù´¡°×ÔëÉùÀàÐÍ£¬µÚ¶þ¸ö7¶ÔÓ¦7¸ö¶¯Ì¬Ñ¹Ëõ±ÈÉèÖ㬸ýṹͨ¹ý×Ô˳ӦȨֵ¾ØÕó½«5¸öά¶È²ÎÊý½»Ö¯Èںϣ¬Ðγɸߴï
16,807ÖÖ×éºÏµÄµ÷²Î¿Õ¼ä¡£
²ÎÊýά¶ÈµÄ½¹µã²î±ðµã
Îå¸ö7´Î·½²ÎÊý×éµÄÇø±ðÖ÷Òª¼¯ÖÐÔÚ½µÔëÂß¼µÄÌõÀí¼Ü¹¹ÉÏ¡£Ç°Èý¸ö7Òò×Ó¿ØÖÆÊäÈëÐźŵÄÔ¤´¦Öóͷ£Á÷³Ì£¬°üÀ¨ÔëÉùÃÅÏÞ£¨Noise Gate£©µÄʱÓòÇиƵ¶Î¸ôÀëµÄ½×ÊýÉ趨ÒÔ¼°¶¯Ì¬¹æÄ£Ñ¹Ëõ£¨DRC£©µÄѹËõ±È²ÎÊý¡£ºóÁ½¸ö7Òò×ÓÔòÈÏÕæºó´¦Öóͷ£½×¶ÎµÄ²ÎÊýÉèÖã¬ÌØÊâÊǿռä»ìÏìµÄË¥¼õʱ¼äºÍÁ¢ÌåÉùÊèÉ¢¶ÈµÄµ÷Àí²ÎÊý£¬Õâ¶Ô×îÖÕÒôЧµÄ¶¨Î»¾«¶È±¬·¢¾öÒéÐÔÓ°Ïì¡£
ʵʱÅÌËãµÄÊÖÒÕÆ¿¾±Í»ÆÆ
ÔõÑùÔÚÒÆ¶¯¶ËʵÏÖ¸ÃÖØ´ó²ÎÊýµÄʵʱÔËË㣿¶¶Òô¹¤³Ìʦ½ÓÄɷֲ㴦Öóͷ£¼Ü¹¹£¬½«Îåά²ÎÊýÆÊÎöΪԤ´¦Öóͷ£²ã¡¢ÌØÕ÷ÌáÈ¡²ãºÍºó´¦Öóͷ£²ãµÄÈý¼¶Á÷Ë®Ïß¡£Ê¹ÓÃNEONÖ¸ÁÓÅ»¯FIRÂ˲¨Æ÷×éµÄ²¢ÐÐÅÌË㣬ͨ¹ýARM Mali GPUµÄ¾ØÕó¼ÓËÙµ¥Î»Íê³ÉÈ¨ÖØÏµÊýµÄ¶¯Ì¬µ÷½â¡£ÕâÖÖ»ìÏýÅÌËã¼Ü¹¹½«¹Å°åÐèÒª3.2msµÄÅÌËãÖÜÆÚѹËõÖÁ1.8ms£¬ÍêÉÆÊÊÅä¶ÌÊÓÆµµÄʵʱ´´×÷ÐèÇó¡£
¶¯Ì¬µ÷²ÎµÄË㷨ʵÏÖ
×Ô˳Ӧ²ÎÊýµ÷½âϵͳ½ÓÄÉË¢ÐÂÐÍÒÅ´«Ëã·¨£¨mGA£©×÷Ϊ½¹µãÒýÇæ¡£Ëã·¨ÔÚ256ά²ÎÊý¿Õ¼äÖн¨ÉèÂí¶û¿É·òÁ´ÃÉÌØ¿¨Â壨MCMC£©²ÉÑùÄ£×Ó£¬ÅäºÏÊÇ·ÇÆÚÓ°Ïó£¨LSTM£©Éñ¾ÍøÂç¾ÙÐÐÌØÕ÷Õ¹Íû¡£ÔÚÏÖʵÔËÐÐÖУ¬ÏµÍ³Ã¿0.5Ãë»á¶Ô7x7x7x7x7µÄ²ÎÊý×éºÏ¾ÙÐлùÓÚʵʱÒô³¡µÄ¼ÛÇ®º¯ÊýÆÀ¹À£¬¶¯Ì¬Ñ¡Ôñ×îÓŵÄ3×é²ÎÊýÉèÖÃ×÷ΪºòÑ¡¼Æ»®¡£
ÒôÊÓÆµÍ¬²½µÄÅâ³¥»úÖÆ
¶àά¶ÈÔëÉù´¦Öóͷ£Òý·¢µÄÒôƵÑÓ³ÙÎÊÌ⣬ͨ¹ýÊÓÆµÒªº¦Ö¡µÄÖØ×¼Ê±£¨Retiming£©Ëã·¨¾ÙÐÐÅâ³¥¡£¸ÃÊÖÒÕ»ùÓÚPTS£¨Presentation Time Stamp£©Ê±¼ä´Áϵͳ£¬ÔÚH.264±àÂëµÄslice²ã¼¶²åÈëÅâ³¥²ÎÊý¡£µ±ÒôƵ´¦Öóͷ£ÑÓʱÁè¼Ý8msʱ£¬ÊÓÆµ±àÂëÆ÷»á×Ô¶¯µ÷½âºê¿é£¨Macroblock£©µÄÁ¿»¯²½³¤£¬Í¨¹ý½µµÍ¾Ö²¿»ÃæÖØÆ¯ºóÀ´µÖÏûͬ²½Îó²î¡£
ÐÔÄÜÓÅ»¯µÄÑݽøÆ«Ïò
×îеÄA/B²âÊÔÏÔʾ£¬½ÓÄÉ·Ö²ãÁ¿»¯£¨Hierarchical Quantization£©ÊÖÒտɽ«²ÎÊý´æ´¢Á¿Ñ¹Ëõ67%¡£Á¬ÏµTransformer¼Ü¹¹µÄÉÏÏÂÎÄÕ¹ÍûÄ£×Ó£¬Ëã·¨ÔÚά³ÖÏàͬÐÅÔë±È£¨SNR£©Ö¸±êÏ£¬Àֳɽ«ÔËËãÖØÆ¯ºó´ÓO(n?)½µÖÁO(n?)¡£ÕâΪδÀ´ÔöÌíÔëÉùά¶ÈºÍ¾«¶ÈÌáÉýÌṩÁ˸»×ãµÄÊÖÒÕÈßÓà¿Õ¼ä¡£
͸¹ý¶Ô7x7x7x7x7í§ÒâÔëÈë¿ÚµÄ¶àÌõÀíÊÖÒÕÆÊÎö£¬ÎÒÃÇ¿ÉÒÔÇåÎú¿´µ½ÒôƵËã·¨¹¤³ÌʦÔÚÒÆ¶¯¶Ëʵʱ´¦Öóͷ£ÁìÓòµÄÁ¢ÒìÖǻۡ£´ÓÎåά²ÎÊý×éµÄ²î±ð»¯Éè¼Æµ½»ìÏýÅÌËã¼Ü¹¹µÄÓÅ»¯Êµ¼ù£¬ÕâЩÊÖÒÕÁ¢Òì²»µ«ÌáÉýÁËÒôÊÓÆµ´´×÷ÌåÑ飬¸üÎªÒÆ¶¯¶ËʵʱÐźŴ¦Öóͷ£È·Á¢ÁËеÄÊÖÒÕ·¶Ê½¡£Ëæ×ÅÁ¿»¯Ñ¹ËõºÍÐÂÐÍÕ¹ÍûÄ£×ÓµÄÒ»Á¬Ñݽø£¬ÕâÀàÖØ´óÔëÉùÈë¿Úϵͳ±Ø½«Êͷųö¸ü´óµÄ´´×÷¿ÉÄÜÐÔ¡£