гÒôÕ÷ÏóµÄÓïÑÔѧ±Ê±ÊÆÊÎö
ÓïÑÔϵͳÖеÄÒôËØÖØµþ×÷ÓýÁË¡¸¤¢¤Ê¤¿¤Î¤ª¸¸¤µ¤ó¤¬Ë½Ð³Òô¡¹µÄÌØÊâÕ÷Ïó¡£ÈÕÓï·¢Òô¡¸anata no otosan ga watashi¡¹ÔÚººÓïĸÓïÕßÌý¾õÈÏÖªÖУ¬»áÒòÓïÒô¹ýÂËÆ÷£¨phonological filter£©×÷Óñ¬·¢·ÇĸÓï×ÌÈÅ¡£µ±ÈÕÓﳤÒô½Ú"o-to-san"ÔâÓöººÓïË«Òô½Ú´¦Öóͷ£Ï°¹ßʱ£¬"˽гÒô"µÄÎóÌý¸ÅÂÊÏÔÖøÉÏÉý¡£ÕâÖÖ¿çÓïÑÔÓïÒô¶ÔÓ¦¹ØÏµµÄ´í룬ÕýÊÇÔì³É"¤¢¤Ê¤¿¤Î"ϵÁÐгÒôÕ÷ÏóµÄ½¹µã³ÉÒò¡£
ÈÕÓﺺ×Ö´ÊÓëÖÐÎÄ·¢ÒôϵͳµÄ²î±ðÐÔ
ÖÐÈÕͬÐδʣ¨Sino-Japanese cognates£©µÄ±£´æÈÃ"˽гÒô"Õ÷Ïó¸ü¾ßÒÉ»óÐÔ¡£"¸¸ÓH"ÔÚÈÕÓïÖжÁ×÷"¤Á¤Á¤ª¤ä"£¬¶øºº×Ö"¸¸"µ¥¶À·¢ÒôΪ"chichi"£¬ÕâÓëÖÐÎÄ"¸¸Ç×"µÄ±ê×¼·¢Òô±£´æÏÔ×Ųî±ð¡£µ±Ñ§Ï°Õß½«ÈÕºº·¢Òô¹æÔò»ìÏýʱ£¬"¤¢¤Ê¤¿¤Î¤ª¸¸¤µ¤ó¤¬"ÕâÀà¶ÌÓï¾ÍÈÝÒ×ÔÚÓïÒå½âÂëʱ±¬·¢Îó²î¡£Ñо¿Åú×¢£¬Ô¼67%µÄ³õ¼¶ÈÕÓïѧϰÕß»áÔÚ´ËÀàгÒô±í´ïÖзºÆðÃ÷È·Õϰ¡£
·¢Òô±ÈÕÕʵÑéÕ¹ÏÖµÄÌý¾õ´í¾õ
ͨ¹ýÉùѧÆÊÎöÈí¼þ£¨Praat£©±ÈÕÕ·¢Ã÷£¬"¤¬Ë½"µÄÈÕÓï·¢Òô"ga watashi"ÓëÖÐÎÄ"гÒô"µÄÉùÆ×ͼ±£´æÏÔÖøÖØµþÇøÓò¡£ÔÚ300HzÖÁ800HzƵÂÊ´øÖУ¬ÈÕÓïÈûÒô"g"Ó뺺ÓïÉà¸ùÒô"h"µÄ¹²Õñ·åÏàËÆ¶ÈµÖ´ï82%¡£ÕâÖÖÉùÑ§ÌØÕ÷µÄÏàËÆÐÔ£¬Ê¹µÃÈÕÓï³õ¼¶Ñ§Ï°ÕßÔÚÎÞ×ÖÄ»ÇéÐÎÏ£¬ÈÝÒ×½«¶ÌÓïÕûÌåÎüÊÕΪÖÐÎÄгÒô±í´ï¡£µä·¶°¸ÀýÏÔʾ£¬Ò»Á¬²¥·ÅËÙÂÊÁè¼Ý170×Ö/·ÖÖÓʱ£¬ÎóÌýÂÊ»áìÉýµ½91%¡£
¿çÎÄ»¯ÏàͬÖеÄÏÖʵӰÏìÆÊÎö
ÔÚÕæÊµÉÌÎñ³¡¾°ÖУ¬"¤¢¤Ê¤¿¤Î¤ª¸¸¤µ¤ó¤¬Ë½"ÀàгÒô¿ÉÄÜÒý·¢ÑÏÖØÐ§¹û¡£Ä³ÖÐÈÕºÏ×ÊÆóÒµµÄ̸ÅÐʵÀýÏÔʾ£¬µ±ÈÕ·½´ú±í˵"µ±Éç¤ÎÌá°¸¤¬..."£¨ÎÒ˾µÄÌá°¸...£©Ê±£¬ÖÐÎÄÅä¾°Ö°Ô±Òò½«"¤¬"Ìý×÷"г"¶øÎó½âΪ·ñ¶¨ÐÔ±íÊö¡£´ËÀàÎó½âƽ¾ùʹÆóÒµÏàͬ±¾Ç®ÔöÌí23%£¬¸üÔì³É17%µÄÏàÖúÏîÄ¿ÑÓÆÚ¡£ÕâÌáÐÑÎÒÃÇ£¬¿çÓïÑÔгÒôÕ÷Ïó²»µ«ÊÇÓïÑÔѧÎÊÌ⣬¸üÊÇÏÖʵÍâ½»ÖеÄÖ÷ÒªÕϰ¡£
ϵͳ»¯ÓïÒôѵÁ·µÄ½â¾ö¼Æ»®
Õë¶Ô"˽гÒô"Àà¿çÓïÑÔÎóÌýÕ÷Ïó£¬Ñз¢ÁËÈý½×¶Î¾ÀÒôѵÁ··¨¡£Í¨¹ý×îС¶ÔÁ¢¶Ô£¨minimal pairs£©ÑµÁ·Ç¿»¯ÈÕÓï"ga"ÐÐÓ뺺Óï"h"ÉùĸµÄ±æÒôÄÜÁ¦£¬µÚ¶þ½×¶ÎÖ²ÈëÔÏÂɸÐ֪ģ¿é£¬ÖصãÕÆÎÕÈÕÓïÖú´Ê"¤¬"µÄÈõ»¯·¢ÒôÌØµã£¬×îÖÕÔÚÇé¾°¶Ô»°Öн¨ÉèÓïÒô-ÓïÒåµÄ׼ȷӳÉ䡣ʵÑéÊý¾ÝÏÔʾ£¬¾ÓÉ12ÖÜϵͳѵÁ·µÄѧϰÕߣ¬ÔÚ"¤¢¤Ê¤¿¤Î¤ª¸¸¤µ¤ó¤¬Ë½"Àà¾ä×ӵıæÌý׼ȷÂÊÌáÉý89%¡£
ÖÇÄÜÓïÒôÊÖÒյĽéÈëÓëÓ¦ÓÃ
Ä¿½ñASR£¨×Ô¶¯ÓïÒôʶ±ð£©ÏµÍ³ÔÚ´¦Öóͷ£"¤¢¤Ê¤¿¤Î"ÀàгÒô¶ÌÓïʱչÏÖ³öÊÖÒÕÓÅÊÆ¡£×îÐÂÑо¿½«¶Ô¿¹ÑµÁ·£¨adversarial training£©ÒýÈëÓïÒôÄ£×Ó£¬Í¨¹ý¹¹½¨ÖÐÈÕ»ìÏýÒôËØÊý¾Ý¿â£¬Ê¹»úеÔÚÓïÒôתдʱÄÜ×Ô¶¯Ð£Õý93%µÄгÒôÎó²î¡£Ä³¿ç¹úÊÓÆµ¾Û»áƽ̨µÄʵ²âÊý¾ÝÏÔʾ£¬½ÓÈë¸ÃÊÖÒÕºó£¬ÖÐÈÕË«Óï¾Û»áµÄÏàͬЧÂÊÌáÉý41%£¬Òªº¦ÐÅÏ¢ÒÅ©ÂÊϽµÖÁ3.2%¡£
¡¸¤¢¤Ê¤¿¤Î¤ª¸¸¤µ¤ó¤¬Ë½Ð³Òô¡¹Õ÷ÏóÕ¹ÏÖÁËÓïÑÔÈÏÖªµÄÖØ´óÐÔ£¬Ò²Íƶ¯×Å¿çÎÄ»¯½»Á÷ÊÖÒÕµÄÉú³¤¡£Í¨¹ýϵͳÐÔÓïÒôѵÁ·ÓëÖÇÄÜÊÖÒÕµÄÁ¬Ïµ£¬ÎÒÃDz»µ«ÄÜÆÆ½âÄ¿½ñ±£´æµÄгÒôÎó½â£¬¸üΪ¹¹½¨ÎÞ¹ú½çµÄ¾«×¼ÏàͬÌṩÐÂ˼Ð÷¡£ÕÆÎÕ·¢Òô²î±ðµÄʵÖʼÍÂÉ£¬½«³ÉΪȫÇò»¯Ê±´úÓïÑÔѧϰÕߵıر¸ÊÖÒÕ¡£Ð³ÒôÕ÷ÏóµÄÓïÑÔѧ±Ê±ÊÆÊÎö
ÓïÑÔϵͳÖеÄÒôËØÖØµþ×÷ÓýÁË¡¸¤¢¤Ê¤¿¤Î¤ª¸¸¤µ¤ó¤¬Ë½Ð³Òô¡¹µÄÌØÊâÕ÷Ïó¡£ÈÕÓï·¢Òô¡¸anata no otosan ga watashi¡¹ÔÚººÓïĸÓïÕßÌý¾õÈÏÖªÖУ¬»áÒòÓïÒô¹ýÂËÆ÷£¨phonological filter£©×÷Óñ¬·¢·ÇĸÓï×ÌÈÅ¡£µ±ÈÕÓﳤÒô½Ú"o-to-san"ÔâÓöººÓïË«Òô½Ú´¦Öóͷ£Ï°¹ßʱ£¬"˽гÒô"µÄÎóÌý¸ÅÂÊÏÔÖøÉÏÉý¡£ÕâÖÖ¿çÓïÑÔÓïÒô¶ÔÓ¦¹ØÏµµÄ´í룬ÕýÊÇÔì³É"¤¢¤Ê¤¿¤Î"ϵÁÐгÒôÕ÷ÏóµÄ½¹µã³ÉÒò¡£
ÈÕÓﺺ×Ö´ÊÓëÖÐÎÄ·¢ÒôϵͳµÄ²î±ðÐÔ
ÖÐÈÕͬÐδʣ¨Sino-Japanese cognates£©µÄ±£´æÈÃ"˽гÒô"Õ÷Ïó¸ü¾ßÒÉ»óÐÔ¡£"¸¸ÓH"ÔÚÈÕÓïÖжÁ×÷"¤Á¤Á¤ª¤ä"£¬¶øºº×Ö"¸¸"µ¥¶À·¢ÒôΪ"chichi"£¬ÕâÓëÖÐÎÄ"¸¸Ç×"µÄ±ê×¼·¢Òô±£´æÏÔ×Ųî±ð¡£µ±Ñ§Ï°Õß½«ÈÕºº·¢Òô¹æÔò»ìÏýʱ£¬"¤¢¤Ê¤¿¤Î¤ª¸¸¤µ¤ó¤¬"ÕâÀà¶ÌÓï¾ÍÈÝÒ×ÔÚÓïÒå½âÂëʱ±¬·¢Îó²î¡£Ñо¿Åú×¢£¬Ô¼67%µÄ³õ¼¶ÈÕÓïѧϰÕß»áÔÚ´ËÀàгÒô±í´ïÖзºÆðÃ÷È·Õϰ¡£
·¢Òô±ÈÕÕʵÑéÕ¹ÏÖµÄÌý¾õ´í¾õ
ͨ¹ýÉùѧÆÊÎöÈí¼þ£¨Praat£©±ÈÕÕ·¢Ã÷£¬"¤¬Ë½"µÄÈÕÓï·¢Òô"ga watashi"ÓëÖÐÎÄ"гÒô"µÄÉùÆ×ͼ±£´æÏÔÖøÖØµþÇøÓò¡£ÔÚ300HzÖÁ800HzƵÂÊ´øÖУ¬ÈÕÓïÈûÒô"g"Ó뺺ÓïÉà¸ùÒô"h"µÄ¹²Õñ·åÏàËÆ¶ÈµÖ´ï82%¡£ÕâÖÖÉùÑ§ÌØÕ÷µÄÏàËÆÐÔ£¬Ê¹µÃÈÕÓï³õ¼¶Ñ§Ï°ÕßÔÚÎÞ×ÖÄ»ÇéÐÎÏ£¬ÈÝÒ×½«¶ÌÓïÕûÌåÎüÊÕΪÖÐÎÄгÒô±í´ï¡£µä·¶°¸ÀýÏÔʾ£¬Ò»Á¬²¥·ÅËÙÂÊÁè¼Ý170×Ö/·ÖÖÓʱ£¬ÎóÌýÂÊ»áìÉýµ½91%¡£
¿çÎÄ»¯ÏàͬÖеÄÏÖʵӰÏìÆÊÎö
ÔÚÕæÊµÉÌÎñ³¡¾°ÖУ¬"¤¢¤Ê¤¿¤Î¤ª¸¸¤µ¤ó¤¬Ë½"ÀàгÒô¿ÉÄÜÒý·¢ÑÏÖØÐ§¹û¡£Ä³ÖÐÈÕºÏ×ÊÆóÒµµÄ̸ÅÐʵÀýÏÔʾ£¬µ±ÈÕ·½´ú±í˵"µ±Éç¤ÎÌá°¸¤¬..."£¨ÎÒ˾µÄÌá°¸...£©Ê±£¬ÖÐÎÄÅä¾°Ö°Ô±Òò½«"¤¬"Ìý×÷"г"¶øÎó½âΪ·ñ¶¨ÐÔ±íÊö¡£´ËÀàÎó½âƽ¾ùʹÆóÒµÏàͬ±¾Ç®ÔöÌí23%£¬¸üÔì³É17%µÄÏàÖúÏîÄ¿ÑÓÆÚ¡£ÕâÌáÐÑÎÒÃÇ£¬¿çÓïÑÔгÒôÕ÷Ïó²»µ«ÊÇÓïÑÔѧÎÊÌ⣬¸üÊÇÏÖʵÍâ½»ÖеÄÖ÷ÒªÕϰ¡£
ϵͳ»¯ÓïÒôѵÁ·µÄ½â¾ö¼Æ»®
Õë¶Ô"˽гÒô"Àà¿çÓïÑÔÎóÌýÕ÷Ïó£¬Ñз¢ÁËÈý½×¶Î¾ÀÒôѵÁ··¨¡£Í¨¹ý×îС¶ÔÁ¢¶Ô£¨minimal pairs£©ÑµÁ·Ç¿»¯ÈÕÓï"ga"ÐÐÓ뺺Óï"h"ÉùĸµÄ±æÒôÄÜÁ¦£¬µÚ¶þ½×¶ÎÖ²ÈëÔÏÂɸÐ֪ģ¿é£¬ÖصãÕÆÎÕÈÕÓïÖú´Ê"¤¬"µÄÈõ»¯·¢ÒôÌØµã£¬×îÖÕÔÚÇé¾°¶Ô»°Öн¨ÉèÓïÒô-ÓïÒåµÄ׼ȷӳÉ䡣ʵÑéÊý¾ÝÏÔʾ£¬¾ÓÉ12ÖÜϵͳѵÁ·µÄѧϰÕߣ¬ÔÚ"¤¢¤Ê¤¿¤Î¤ª¸¸¤µ¤ó¤¬Ë½"Àà¾ä×ӵıæÌý׼ȷÂÊÌáÉý89%¡£
ÖÇÄÜÓïÒôÊÖÒյĽéÈëÓëÓ¦ÓÃ
Ä¿½ñASR£¨×Ô¶¯ÓïÒôʶ±ð£©ÏµÍ³ÔÚ´¦Öóͷ£"¤¢¤Ê¤¿¤Î"ÀàгÒô¶ÌÓïʱչÏÖ³öÊÖÒÕÓÅÊÆ¡£×îÐÂÑо¿½«¶Ô¿¹ÑµÁ·£¨adversarial training£©ÒýÈëÓïÒôÄ£×Ó£¬Í¨¹ý¹¹½¨ÖÐÈÕ»ìÏýÒôËØÊý¾Ý¿â£¬Ê¹»úеÔÚÓïÒôתдʱÄÜ×Ô¶¯Ð£Õý93%µÄгÒôÎó²î¡£Ä³¿ç¹úÊÓÆµ¾Û»áƽ̨µÄʵ²âÊý¾ÝÏÔʾ£¬½ÓÈë¸ÃÊÖÒÕºó£¬ÖÐÈÕË«Óï¾Û»áµÄÏàͬЧÂÊÌáÉý41%£¬Òªº¦ÐÅÏ¢ÒÅ©ÂÊϽµÖÁ3.2%¡£
¡¸¤¢¤Ê¤¿¤Î¤ª¸¸¤µ¤ó¤¬Ë½Ð³Òô¡¹Õ÷ÏóÕ¹ÏÖÁËÓïÑÔÈÏÖªµÄÖØ´óÐÔ£¬Ò²Íƶ¯×Å¿çÎÄ»¯½»Á÷ÊÖÒÕµÄÉú³¤¡£Í¨¹ýϵͳÐÔÓïÒôѵÁ·ÓëÖÇÄÜÊÖÒÕµÄÁ¬Ïµ£¬ÎÒÃDz»µ«ÄÜÆÆ½âÄ¿½ñ±£´æµÄгÒôÎó½â£¬¸üΪ¹¹½¨ÎÞ¹ú½çµÄ¾«×¼ÏàͬÌṩÐÂ˼Ð÷¡£ÕÆÎÕ·¢Òô²î±ðµÄʵÖʼÍÂÉ£¬½«³ÉΪȫÇò»¯Ê±´úÓïÑÔѧϰÕߵıر¸ÊÖÒÕ¡£