ÔÚºÆÈçÑ̺£µÄÈ˹¤ÖÇÄÜÊÖÒÕÖУ¬Éî¶ÈѧϰÎÞÒÉÊǽüÄêÀ´×îÒýÈËÖõÄ¿µÄÊÖÒÕÖ®Ò»¡£ÆäǿʢµÄÌØÕ÷×Ô¶¯ÌáÈ¡ºÍÖØ´óÊý¾Ý½¨Ä£ÄÜÁ¦£¬Ê¹µÃ×Ô¶¯¼ÝÊ»¡¢ÓïÒôʶ±ð¡¢Í¼Ïñ´¦Öóͷ£µÈ¶à¸öÁìÓò±¬·¢ÁËÅÅɽµ¹º£µÄת±ä¡£¹Å°åµÄÉî¶Èѧϰģ×Ó£¬ÌØÊâÊÇ»ùÓÚÎó²î·´ÏòÈö²¥£¨Backpropagation£©µÄËã·¨£¬ËäȻȡµÃÁËÏÔÖøÐ§¹û£¬µ«Ò²´øÀ´ÁËһϵÁÐÆ¿¾±£¬ºÃ±ÈѵÁ·Ð§Âʲ»¸ß¡¢ÄܺÄÖØ´ó¡¢ÄÑÒÔʵÏÖÉúÎïÆô·¢µÄѧϰ»úÖÆµÈ¡£
Õë¶ÔÕâЩÎÊÌ⣬½üÄêÀ´¿ÆÑ§¼ÒÃÇһֱ̽Ë÷¸üΪ¸ßЧ¡¢ÆÈ½üÉúÎïÉñ¾ÏµÍ³µÄѧϰ²½·¥¡£ÕýÊÇÔÚÕâÑùµÄÅä¾°Ï£¬¡°LLS£ºLocalLearningRuleforDeepNeuralNetworks¡±ÕâÏî×îÐÂÑо¿Ó¦Ô˶øÉú¡£ÕâÆªÂÛÎÄÌá³öÁËÒ»ÖÖÁ¢ÒìµÄ¾Ö²¿Ñ§Ï°¹æÔò£¬Ö¼ÔÚ»º½âÉî¶ÈÍøÂçѵÁ·ÖеÄЧÂÊÆ¿¾±£¬²¢ÌṩһÖÖ¸ü¿¿½üÉúÎïÉñ¾ÏµÍ³µÄѧϰ»úÖÆ¡£
ʲôÊǾֲ¿Ñ§Ï°¹æÔò£¿¼òÆÓÀ´Ëµ£¬ËüÖ¸µÄÊÇÔÚÉñ¾ÍøÂçÖУ¬Éñ¾ÔªÖ»ÒÀÀµÓÚ×Ô¼ºµÄ¾Ö²¿ÐÅÏ¢¡ª¡ªÈç×Ô¼ºÓëÏà½üÉñ¾ÔªµÄÅþÁ¬×´Ì¬¡¢¾Ö²¿Ìݶȡª¡ª¾ÙÐÐѧϰ£¬¶øÎÞÐèÈ«¾Öͬ²½¡£ÕâÖÖÍ·ÄÔÄ£ÄâÁËÉúÎï´óÄÔÖÐÉñ¾ÔªµÄÊÂÇé·½·¨¡ª¡ªÉñ¾ÔªÖ»ÌåÌù×Ô¼ºµÄÁÚÈË£¬Í¨¹ý¾Ö²¿Í»´¥×ª±äʵÏÖÐÅÏ¢µÄ»ýÀÛÓëת´ï¡£
ÕâÏîÑо¿µÄÁÁµãÔÚÓÚËü֤ʵÎú£¬×ÝȻûÓÐÈ«¾ÖÎó²î·´Ï죬Éî¶ÈÍøÂçÒÀÈ»¿ÉÒÔͨ¹ý¾Ö²¿¹æÔòʵÏÖÓÐÓÃѧϰ¡£ÕâÍ»ÆÆÁ˹ŰåÒÀÀµ·´ÏòÈö²¥µÄèäèô£¬ÎªÉî¶ÈѧϰµÄδÀ´·¿ªÁËÒ»ÉÈд°¡£ÔÚÏÖʵӦÓÃÖУ¬LLSµÄÓÅÊÆ²»Ö¹ÓÚÀíÂÛÍ»ÆÆ£¬ËüÏÖʵÉÏ´ó·ù¶ÈÌáÉýÁËÍøÂçѵÁ·µÄЧÂÊ£¬½µµÍÁ˶ÔÓ²¼þ×ÊÔ´µÄÒÀÀµ¡ª¡ªÕâÒ»µã¹ØÓÚ±ßÑØÅÌËã¡¢ÖÇÄÜÓ²¼þÉõÖÁ×Ô¶¯¼ÝÊ»µÈÓ¦Óó¡¾°ÒâÒå·Ç·²¡£
½¹µãÁ¢ÒìÖ®Ò»ÊÇ£¬ÂÛÎÄÖÐÌá³öµÄ¾Ö²¿Ñ§Ï°Ëã·¨¾ß±¸¸ß¶ÈµÄ¿ÉÀ©Õ¹ÐÔ¡£Ëü²»ÑöÀµÖØ´óµÄÎó²î·´ÏòÐźţ¬¶øÊÇͨ¹ýµ÷½âÍâµØÉñ¾ÔªµÄÍ»´¥È¨ÖØ£¬ÊµÏÖ¶ÔÄ¿µÄµÄÖð²½ÆÈ½ü¡£Õâ¸öÀú³ÌÀàËÆÓÚÉúÎïѧϰÖеġ°ÂÄÀú»ýÀÛ¡±£¬ËüÔÚ¶à¸öÉñ¾ÍøÂçÄ£×ÓÖеÄÑéÖ¤ÏÔʾ£¬ÎÞÂÛÊǾí»ýÉñ¾ÍøÂçÕվɱ任ģ×Ó£¬¶¼Äܹ»ÔÚûÓз´ÏòÈö²¥µÄÇéÐÎÏÂÈ¡µÃÁîÈËÖª×ãµÄЧ¹û¡£
¸üÁîÈËÕñ·ÜµÄÊÇ£¬Õâ¸öйæÔò»¹ÔÚÒ»¶¨Ë®Æ½ÉÏսʤÁËÉî¶ÈÍøÂçѵÁ·ÖеÄÌݶÈÏûÊźÍÌݶȱ¬Õ¨ÎÊÌâ¡£¹Å°åµÄÎó²î·´ÏòÈö²¥ÔÚÉî²ãÍøÂçÖÐת´ïʱ£¬ÌݶȿÉÄÜ»áÖð²ãË¥¼õ»ò·Å´ó£¬µ¼ÖÂѵÁ·±äµÃ²»Îȹ̡£¶øLLSͨ¹ý¾Ö²¿µ÷½â»úÖÆ£¬¸¶ÓëÍøÂç¸üÎȹ̡¢¸ü³°ôµÄѧϰÄÜÁ¦£¬ÈÃÉî¶ÈÍøÂçµÄѵÁ·±äµÃ¸üΪƽ»¬ºÍ¸ßЧ¡£
³ý´ËÖ®Í⣬ÂÛÎÄ»¹Ç¿µ÷Á˸ÃÒªÁìÔÚÄ£ÄâÉúÎïÉñ¾ÏµÍ³·½ÃæµÄDZÁ¦¡£ÔÚÈÏÖª¿ÆÑ§ºÍÉñ¾¿ÆÑ§Ñо¿ÖУ¬Ã÷È·´óÄÔÔõÑùʵÏÖ¸ßЧѧϰ£¬Ò»Ö±ÊÇÖ÷ÒªµÄ¿ÎÌâ¡£LLSµÄÌá³ö£¬Îª¿ÆÑ§¼ÒÌṩÁËÒ»ÌõÅþÁ¬È˹¤ÖÇÄÜÓëÉñ¾¿ÆÑ§µÄÇÅÁº¡£Ëü²»µ«½öÊÇÒ»ÖÖËã·¨£¬¸üÏñÊÇÒ»ÖÖÆô·¢£¬ÈÃÎÒÃǶԴóÄÔµÄѧϰ»úÖÆÓÐÁ˸üÉîµÄÃ÷È·£¬Ò²ÎªÎ´À´Éñ¾¿ÆÑ§µÄÑо¿ÌṩÁËеÄ˼Ð÷¡£
ÈκÎÁ¢Òì¶¼Åãͬ×ÅÌôÕ½¡£¾Ö²¿Ñ§Ï°¹æÔòÔÚÀíÂÛÉÏÁîÈËÕñ·Ü£¬µ«ÔÚÏÖʵ´ó¹æÄ£Ó¦ÓÃÖÐÈÔÐèÃæÁÙһЩÄÑÌâ¡£ÀýÈ磬ÔõÑùÈ·±£¾Ö²¿µ÷½âµÄÐͬÐÔ£¿ÔÚÉî¶ÈÍøÂçÖУ¬¸÷²ãµÄ¾Ö²¿Ñ§Ï°ÔõÑùµÃÒÔе÷£¿ÕâЩ¶¼ÊÇÐÐҵδÀ´ÐèÒª¹¥¿ËµÄÎÊÌâ¡£ÔõÑùÔÚ²î±ðʹÃüºÍÊý¾Ý¼¯ÉÏʵÏÖ¸ÃÒªÁìµÄÆÕÊÊÐÔ£¬Ò²ÖµµÃÉîÈë̽ÌÖ¡£
¡°LLS£º¾Ö²¿Ñ§Ï°¹æÔò¡±´ú±íÁËÒ»´ÎÉî¶ÈѧϰÀíÄîµÄ¸ïÃü¡£Ëü²»µ«ÎªÎÒÃÇÌṩÁËÒ»ÖÖ¸üΪÎÞа¡¢¸ßЧµÄѵÁ·ÊֶΣ¬Ò²Òý·¢ÁËÑо¿ÕßÃǹØÓÚÉúÎïÆô·¢Ê½Ñ§Ï°ÒªÁìµÄÐËȤ¡£Î´À´£¬Ëæ×ÅÕâÒ»ÊÖÒÕµÄÒ»Ö±ÍêÉÆºÍÍÆ¹ã£¬»òÐíÎÒÃÇ¿ÉÒÔÔ¤¼ûÈËÀàÓëÈ˹¤ÖÇÄÜÐ×÷еÄÊ±ÊÆ¡ª¡ª¸üÖÇÄÜ¡¢¸üµÍÄܺġ¢¸ü¾ß×ÔÖ÷ѧϰÄÜÁ¦µÄÉñ¾ÍøÂ磬ÕýÔÚ·×·××ßÀ´¡£
³ýÁËÀíÂÛÁ¢ÒìºÍÊÖÒÕÍ»ÆÆÖ®Í⣬LLSµÄÏÖʵӦÓÃDZÁ¦Ò²ÁîÈËÆÚ´ý¡£ÏëÏóһϣ¬ÔÚ×Ô¶¯¼ÝÊ»Æû³µÖУ¬³µÁ¾µÄÉñ¾ÏµÍ³Èô½ÓÄɾֲ¿Ñ§Ï°¹æÔò£¬Äܹ»ÊµÏÖ¸ü¿ìµÄ˳ӦÇéÐÎת±ä¡¢¸üµÍµÄÄܺģ¬ÉõÖÁÔÚûÓдó×Ú±ê×¢Êý¾ÝµÄÇéÐÎÏÂ×ÔÎÒѧϰÌáÉý¡£Óֺñȣ¬±ßÑØÅÌËã×°±¸ÓÉÓÚÓ²¼þ×ÊÔ´ÓÐÏÞ£¬ÈôÊÇÄܹ»ÒÀÀµ¾Ö²¿Ñ§Ï°»úÖÆ¾ÙÐÐ×ÔÖ÷ÓÅ»¯£¬ÄÇôÔÚÒ½ÁÆ¡¢¼à¿ØµÈ³¡¾°ÖУ¬½«»á´øÀ´¼«´ó±ãµ±¡£
Ðí¶à¿Æ¼¼¾ÞÍ·ºÍÑо¿»ú¹¹ÒѾ×îÏȹØ×¢ºÍ½á¹¹Õâ·½ÃæµÄÊÖÒÕ¡£ÀýÈ磬¹È¸è¡¢Î¢ÈíµÈ¹«Ë¾ÔÚÖÇÄÜÓ²¼þºÍ±ßÑØÅÌËã·½ÃæµÄͶ×ÊÒ»Ö±ÔöÌí£¬¶ø¾Ö²¿Ñ§Ï°¹æÔòÎÞÒÉΪÕâЩӲ¼þÌṩÁËеĽâ¾ö˼Ð÷¡£Ëü²»µ«ïÔÌÁ˶Դó¹æÄ£ÅÌËã×ÊÔ´µÄÒÀÀµ£¬Ò²ÈÃ×°±¸¿ÉÒÔ¸üºÃµØÓ¦¶ÔÖØ´ó¡¢×ª±ä¶à¶ËµÄÇéÐΡ£
ÔÚ½ÌÓý¡¢Ò½ÁƺͻúеÈ˵ÈÁìÓò£¬¾Ö²¿Ñ§Ï°¹æÔòͬÑùÕ¹ÏÖ³öÖØ´óDZÁ¦¡£ÒÔ½ÌÓýΪÀý£¬ÈôδÀ´µÄÖÇÄÜÏòµ¼ÏµÍ³Äܹ»Í¨¹ý¾Ö²¿Ñ§Ï°Ò»Ö±×ÔÎÒÓÅ»¯£¬ÕæÕýʵÏÖ¸öÐÔ»¯¡¢¶¯Ì¬»¯µÄ½Ìѧ¼Æ»®£¬ÄÇѧϰÌåÑ齫±äµÃÔ½·¢¸ßЧÇÒÈËÐÔ»¯¡£Ò½ÁÆ×°±¸ÖУ¬ºÃ±È΢´´ÊÖÊõ»úеÈ˺ÍÖÇÄÜÕï¶Ïϵͳ£¬½ÓÄɾֲ¿Ñ§Ï°Ëã·¨½«¼«´óÌáÉýϵͳµÄ×ÔÖ÷ѧϰÄÜÁ¦ºÍ˳ӦÐÔ£¬È·±£²Ù×÷µÄÇå¾²ÐÔÓë׼ȷÐÔ¡£
¶øÔÚ»úеÈËÁìÓò£¬Í¨¹ý¾Ö²¿Ñ§Ï°£¬»úеÈ˲»µ«ÄÜÔÚÖØ´óÇéÐÎÖÐ×ÔÖ÷˳Ӧ£¬»¹ÄÜÒÔ¸ü¿¿½üÉúÎïµÄ·½·¨¾ÙÐÐе÷ÓëÏàÖú¡£
ËäÈ»£¬Òª½«LLSÕæÕýÂ䵨£¬»¹ÐèÒªÃæÁÙÊÖÒÕת»¯ÖеÄһϵÁÐÌôÕ½¡£ºÃ±È£¬¾Ö²¿Ñ§Ï°µÄÎȹÌÐÔÓëЧÂÊÖ®¼äµÄȨºâ¡¢ÔÚ´ó¹æÄ£ÍøÂçÖеÄÐÅÏ¢Ò»ÖÂÐÔÎÊÌâ¡¢ÒÔ¼°¶Ô²î±ðÀàÐÍÊý¾ÝµÄÊÊÓÃÐÔ¡£ÕâЩÎÊÌâÏÖÔÚ¶¼ÔÚѧÊõ½çÆð¾¢Ì½Ë÷£¬ÆÚ´ýδÀ´ÄÜÕÒµ½¼æ¹ËÀíÂÛÓëʵ¼ùµÄ½â¾ö¼Æ»®¡£¿çѧ¿ÆµÄÏàÖúÒ²ÏÔµÃÓÈΪÖ÷Òª£¬Á¬ÏµÉñ¾¿ÆÑ§¡¢ÈÏÖª¿ÆÑ§ºÍÈ˹¤ÖÇÄܵÄÓÅÊÆ£¬½«Äܹ»Íƶ¯¾Ö²¿Ñ§Ï°¹æÔòµÄÉî¶ÈÉú³¤¡£
´Ó¸üºê¹ÛµÄ½Ç¶ÈÀ´¿´£¬LLS´ú±íÁË´Ó¡°È«¾ÖÖ¸Áµ½¡°¾Ö²¿×Ô×éÖ¯¡±µÄת±ä¡£Õâ×ÅʵҲÊÇÈ˹¤ÖÇÄÜδÀ´µÄÒ»¸öÉú³¤Æ«Ïò£ºÈÃÖÇÄÜÌåÔÚÖØ´óÇéÐÎÖÐ×ÔÖ÷µ÷½â¡¢Öð²½Ñ§Ï°£¬¶ø²»±ØÍêÈ«ÒÀÀµÍⲿµÄ¿ØÖÆ¡£ÕâÖÖ·½·¨½«´øÀ´¸üÇ¿µÄ×ÔÖ÷ÐÔ¡¢¸ü¸ßµÄ³°ôÐÔ£¬Ò²¸üÌùºÏ×ÔÈ»½çµÄÉúÑÄÖǻۡ£
ÁíÒ»·½Ãæ£¬Ëæ×ÅÊÖÒյijÉÊ죬LLSÓÐÍûÒýÁìÒ»³¡Éî¶ÈѧϰµÄ¡°È¥ÖÐÐÄ»¯¡±¸ïÃü¡£ÒÔÍù£¬Éî¶Èѧϰģ×Ó¶¼ÒÀÀµÓÚÖØ´óµÄÖÐÑëÅÌËãÖÐÐÄ£¬Êý¾ÝµÄ´«ÊäºÍ´¦Öóͷ£±¾Ç®¼«¸ß¡£¶øÍ¨¹ý¾Ö²¿Ñ§Ï°£¬Ä£×Ó¿ÉÒÔÔÚ±ßÑØ×°±¸ÉÏÊèɢѵÁ·£¬ïÔ̶ÔÔÆ¶ËµÄÒÀÀµ£¬²»µ«ÌáÉýЧÂÊ£¬»¹Äܱ£»¤Óû§Òþ˽¡£Õâ¹ØÓÚδÀ´µÄÖÇÄܶ¼»á¡¢ÎïÁªÍø¡¢ÎÞÈË»úÍøÂçµÈÓ¦Óý«¾ßÓÐÉîÔ¶Ó°Ïì¡£
×îÖÕ£¬Ì½ÌÖ¡°LLS£º¾Ö²¿Ñ§Ï°¹æÔò¡±²»µ«ÊÇÊÖÒÕÉϵÄÍ»ÆÆ£¬¸üÊÇ¿ªÆôδÀ´ÖÇÄÜϵͳµÄÒªº¦Ô¿³×¡£ËüÈÃÎÒÃÇ¿´µ½£¬Ä£ÄâÉúÃüµÄѧϰ·½·¨£¬²»µ«ÄÜÍÆ¸ÐÈ˹¤ÖÇÄܸüºÃµØÈÚÈë¿·¢k8¹ú¼ÊÉúÑÄ£¬»¹¿ÉÄÜÏòµ¼Õâ¸öÐÐÒµÂõÏò¸üÇ÷×ÔÈ»¡¢¸ü¾ß×ÔÖ÷ÐԵĽ׶Ρ£ÔÚÊÖÒÕ·ÉËÙÉú³¤µÄ½ñÌ죬ÓÂÓÚÁ¢Òì¡¢ÓÂÓÚʵÑéÐÂ˼Ð÷µÄ¿ÆÑзÉÏ£¬¾Ö²¿Ñ§Ï°¹æÔòÕýÖð½¥³ÉΪһ¿Åèè²µÄÃ÷ÐÇ£¬ÕÕÁÁδÀ´Éî¶ÈѧϰµÄõè¾¶¡£
ÈÃÎÒÃÇÊÃÄ¿ÒÔ´ý£¬ÆÚ´ý¡°LLS¡±ÔõÑùÔÚδÀ´µÄ¿Æ¼¼Îę̀ÉÏ»À·¢³öÔ½·¢Ò«Ñ۵ĹâÏß¡£¿Æ¼¼µÄÀ˳±´Óδ×èÖ¹£¬ËÄÜÔ¤¼û£¬»òÐíÏÂÒ»´ÎµÄÊÖÒÕ¸ïÃü£¬¾ÍÔÚÕâ¸ö³äÂúÏëÏóÓëDZÁ¦µÄ¾Ö²¿Ñ§Ï°ÌìÏÂÖÐÇÄÈ»±¬·¢¡£