Ò»¡¢Ã÷È·ÂÒÂëÁùÇø³ÉÒòÓë±àÂëÌØÕ÷
ÓÀÊÀÇøÂÒÂëÁùÇøµÄ»ù´¡Ã¬¶ÜÔ´ÓÚ¶à±àÂëϵͳ£¨GBK¡¢GB2
312¡¢UTF-8£©½»Ö¯Ê¹ÓÃÒý·¢µÄÃûÌóåÍ»¡£Êý¾ÝÏÔʾÁè¼Ý78%µÄÖÐÎÄÍøÕ¾Òò±àÂëÉùÃ÷ȱʧµ¼ÖÂä¯ÀÀÆ÷¹ýʧÆÊÎö£¬ÕâÖÖÕ÷ÏóÔÚ°üÀ¨ÀúÊ·Êý¾ÝµÄÁùÇøÐ§ÀÍÆ÷ÓÈΪͻ³ö¡£½¨Ò鿪·¢ÕßÔÚÎĵµÍ·Ç¿ÖÆÉùÃ÷< meta charset="UTF-8" >±êÇ©£¬Í¬Ê±ÅäºÏHTTPÏìӦͷContent-Type²ÎÊýÈ·±£±àÂëÒ»ÖÂÐÔ¡£µ±Óöµ½ÈÕÎÄÆ¬¼ÙÃûÓëÖÐÎļòÌåÖØµþÏÔʾʱ£¬ÔõÑù¿ìËÙ¶¨Î»±àÂë´íλԴ£¿¿Éͨ¹ýä¯ÀÀÆ÷¿ª·¢Õß¹¤¾ßµÄÍøÂçÃæ°å£¬ºË²éÏÖʵ´«ÊäµÄ×Ö·û¼¯ÀàÐÍ¡£
¶þ¡¢ÖÇÄÜ»¯±àÂëת»»¹¤¾ßÁ´´î½¨
½¨Éè×Ô¶¯»¯±àÂë¼ì²âÁ÷³ÌÊǹæ±ÜÂÒÂëΣº¦µÄÒªº¦¡£ÍƼöʹÓÃiconv-lite¿âʵʱת»»Îı¾±àÂ룬¸Ã¼Æ»®Ö§³ÖGB18
030¡¢BIG5µÈ53ÖÖÖÐÎÄÏà¹Ø×Ö·û¼¯µÄ»¥×ª²Ù×÷¡£¹ØÓÚÊý¾Ý¿â´æ´¢µÄ»ìÏý±àÂëÄÚÈÝ£¬½¨ÒéʵÑéË«²ãϴ媻úÖÆ£ºµÚÒ»²ã½ÓÄÉchardetÄ£¿é×Ô¶¯Ê¶±ðÔʼ±àÂ룬µÚ¶þ²ãͨ¹ýÕýÔò±í´ïʽƥÅäÒì³£×Ö·û¡£µä·¶³¡¾°ÈçÂÛ̳ÌùÎĵ¼Èëʱ£¬Ê¹ÓÃ\uתÒåÐòÁд¦Öóͷ£ÌØÊâ·ûºÅ¿É½µµÍ90%µÄתÂëʧ°ÜÂÊ¡£ÊÇ·ñÐèҪΪÿÖÖ±àÂ뽨Éè×ÔÁ¦×ª»»Í¨µÀ£¿Êµ¼ù֤ʵ½ÓÄÉUnicodeÖÐÐIJãÄÜ´ó·ù¼ò»¯×ª»»Âß¼¡£
Èý¡¢Ð§ÀÍÆ÷ÇéÐÎÉèÖÃÉî¶Èµ÷ÓÅ
Apache/NginxЧÀÍÆ÷µÄĬÈÏÉèÖÃÍùÍùÎÞ·¨ÊÊÅäÖÐÎÄÇøÌØÊâÐèÇó¡£ÐÞ¸Ähttpd.confÖеÄAddDefaultCharsetÖ¸ÁîΪUTF-8£¬Í¬Ê±ÉèÖÃphp.iniµÄdefault_charset²ÎÊýÐγÉË«ÖØ°ü¹Ü¡£µ±´¦Öóͷ£¼ò·±»ìÅŵÄÁùÇøÎĵµÊ±£¬½¨Ò鿪Æôzlib.output_compressionѹËõ¹¦Ð§²¢Ö¸¶¨×¼È·±àÂë¡£¹ØÓÚJavaϵÈÝÆ÷£¬ÐèÌØÊâ×¢ÖØJVMÆô¶¯²ÎÊýÔöÌí-Dfile.encoding=UTF-8ÉèÖá£ÔõÑùÑéÖ¤ÉèÖÃÉúЧ£¿¿É½¨Éè°üÀ¨"…›…œ…©…ª"µÈÉúƧ×ֵIJâÊÔÒ³£¬Í¨¹ýcurl -IÏÂÁîºË¶ÔContent-EncodingÏìӦͷ¡£
ËÄ¡¢Ç°¶ËäÖȾÒýÇæµÄ¼æÈݶԲß
ÏÖ´úä¯ÀÀÆ÷µÄÖÇÄܱàÂëÍÆ²â¹¦Ð§·´¶ø¿ÉÄܵ¼ÖÂÁùÇø¾É°æÍøÒ³ÏÔʾÒì³£¡£Õë¶ÔIE¼æÈÝģʽ£¬±ØÐè²åÈëXMLÉùÃ÷< ?xml version="1.0" encoding="UTF-8"? >À´Ëø¶¨äÖȾ±ê×¼¡£CSSÑùʽÎļþÖеÄÖÐÎÄ×Ö·û½¨Òé½ÓÄÉUnicodeתд£¬font-family: "\5FAE\8F6F\96C5\9ED1"ÌåÏÖ΢ÈíÑźڡ£µ±AJAXÇëÇó·µ»ØÂÒÂëÊý¾Ýʱ£¬Ðè¼ì²éXMLHttpRequest¹¤¾ßµÄoverrideMimeTypeÉèÖ㬽¨Òéͳһָ¶¨Îªtext/html; charset=utf-8¡£ÎªºÎÒÆ¶¯¶Ë·ºÆðЧ¹û¸ü²î£¿¿ÉÄÜÓëÖÕ¶Ë×°±¸µÄĬÈÏ×ÖÌå¿âȱʧÏà¹Ø¡£
Î塢ȫջ¼à¿ØÏµÍ³ÓëÔ¤¾¯»úÖÆ
½¨Éè±àÂëÒ쳣ʵʱ¼à²âϵͳÄÜÓÐÓýµµÍÔËά±¾Ç®¡£ELK£¨Elasticsearch, Logstash, Kibana£©Õ»ÉèÖÃÖÐÎķִʲå¼þ£¬¿É×Ô¶¯Ê¶±ðÈÕÖ¾ÖеÄÂÒÂëÌØÕ÷¡£½¨ÒéÉèÖÃË«ÖØ¸æ¾¯ãÐÖµ£ºµ±ÈÕÖ¾Òì³£×Ö·ûÕ¼±ÈÁè¼Ý5%ʱ´¥·¢³õ¼¶Ô¤¾¯£¬Áè¼Ý15%ÔòÆô¶¯×Ô¶¯»Ø¹ö»úÖÆ¡£¹ØÓÚ°üÀ¨JIS X 0208×Ö·ûµÄ»ìÏýÎĵµ£¬ÍƼöʹÓÿªÔ´ÏîÄ¿OpenCC¾ÙÐмò·±ÈÕ¶àÏòת»»¡£ÔõÑùƽºâת»»Ð§ÂÊÓë׼ȷÐÔ£¿½ÓÄÉ»ùÓÚͳ¼ÆÓïÑÔÄ£×ÓµÄ×Ô˳ӦËã·¨ÄÜÌáÉý38%µÄ´¦Öóͷ£ËÙÂÊ¡£
ͨ¹ýʵÑéÕâÊ®Ïî±àÂëÓÅ»¯Õ½ÂÔ£¬²»µ«ÄܸùÖÎÖÐÎÄÇøÓÀÊÀÇøÂÒÂëÁùÇøµÄÏÔʾÎÊÌ⣬»¹¿ÉÌáÉýÍøÕ¾ÔÚËÑË÷ÒýÇæÖеĴúÂ뿵½¡¶ÈÆÀ·Ö¡£½¨ÒéÕ¾³¤½¨ÉèÿÔ±àÂëѲ¼ìÖÆ¶È£¬ÖØµã¹Ø×¢Êý¾Ý¿âÅþÁ¬³ØÉèÖá¢CDN´«ÊäѹËõÉèÖõÈÒ׺öÊÓ»·½Ú¡£Ò»Á¬¼à²âBig5ÓëUTF-8µÄת»»ÏûºÄÂÊ£¬Ê¹ÓÃÇ¿ÖÆBOM±ê¼Ç°ü¹Ü¿çƽ̨ÎļþÒ»ÖÂÐÔ£¬×îÖÕʵÏÖÖÐÎÄÍøÂçЧÀÍÖÊÁ¿µÄÖÜÈ«ÌáÉý¡£Éç½»ÎüÒýÁ¦µÄʵÖÊÈÏÖªÎóÇø
´ó¶¼ÈËÎóÒÔΪÉç½»ÎüÒýÁ¦Ô´ÓÚÌ×·»°Êõ»òÍâÔÚ×°°ç£¬ÊµÔò½¹µãÔÚÓÚÇéÐ÷¼Ûֵת´ï¡£Ñо¿ÏÔʾ£¬µ±½ÓÄÉ¡¸Ë¯×ŵķ½·¨¡¹×ÔÈ»»¥¶¯£¨¼´²»¿ÌÒâÓªÔìѹÁ¦³¡µÄ½»Á÷ģʽ£©£¬Ä¿µÄ¹¤¾ßµÄ½ÓÊܶÈÌáÉý47%¡£ÕâÖÖ״̬Ï£¬Î¢ÐÄÇéÖÎÀíϵͳ£¨FACS£©²¶»ñµ½µÄÕæ³ÏÖ¸Êý×î¸ß£¬ÕâÕýÊǽ¨ÉèÆðÔ´ÎüÒýµÄ»Æ½ð¹æÔò¡£ÎªÊ²Ã´È«ÐÄÉè¼ÆµÄ´îÚ¨ÍùÍù²»ÈçżÓö¶Ô»°ÓÐÓã¿Òªº¦ÔÚÓÚÓªÔ졸²»¿ÌÒ⡹µÄ³¡ÓòÄÜÁ¿£¬ÈÃÖ«ÌåÓïÑÔÓëÓïÑÔ±í´ïÐγÉÍêÉÆÍ³Ò»¡£
NLPÏàͬ·¨µÄʵսӦÓü¼ÇÉ
Éñ¾ÓïÑÔ³ÌÐòѧ£¨NLP£©ÌṩµÄÆ¥Åä-Ö¸µ¼¹æÔò£¬ÊÇÌáÉýÉç½»ÎüÒýÁ¦µÄÒªº¦ÊÖÒÕ¡£Í¨¹ýÄ£Äâ¶Ô·½µÄÓïÒôÓïµ÷£¨Æ¥Åä½×¶Î£©£¬ÔÚ½¨ÉèÐÅÈκóÖð²½Ö¸µ¼¶Ô»°×ßÏò£¨Ö¸µ¼½×¶Î£©£¬¿ÉÔÚ20·ÖÖÓÄÚ½¨ÉèÉî²ãÇéÐ÷ÁªÂç¡£µ±¶Ô·½ÆµÈÔʹÓÃÊÓ¾õÐÍ´Ê»ãʱ£¬ÔËÓá¸ÎÒ¿´µ½¡¹¡¸Õâ¸ö»Ã桹µÈ±íÊö·½·¨£¬ÄÜÓÐÓÃÌáÉýÏàͬÏçÃܶȡ£Õâ¸öÀú³ÌÖÐÔõÑù×èÖ¹ÈÃÄ£ÄâÏԵÿÌÒ⣿Ҫº¦ÔÚÓÚ¼á³ÖÓïËÙͬ²½ÂÊÔÚ¡À15%Çø¼ä£¬Í¬Ê±ÅäºÏ¾µÏñÉñ¾Ôª¼¤»îµÄ΢Ðж¯¡£
¼ÛֵչʾµÄÈý´ó»Æ½ðά¶È
ÓÐÓüÛÖµ·ºÆðÓ¦º¸ÇÉúÑļÛÖµ¡¢ÇéÐ÷¼ÛÖµ¡¢Éú³¤¼ÛÖµÈý¸ö²ãÃæ¡£ÉúÑļÛÖµ²»µ«Ö¸ÎïÖÊÌõ¼þ£¬¸ü°üÀ¨Î£»ú´¦Öóͷ£ÄÜÁ¦Õ¹Ê¾£»ÇéÐ÷¼ÛÖµÐèҪͨ¹ý¹²Çé¶Ô»°´´Á¢ÇéÐ÷²¨¶¯£»Éú³¤¼ÛÖµÔòÌåÏÖÔÚÒ»Á¬½ø»¯µÄÈËÉú¹Û¡£°¸ÀýÏÔʾ£¬µ±¼Ûֵչʾ½ÓÄÉÈýÆß¹æÔò£¨30%×Ô¶¯ÌåÏÖ£¬70%ͨ¹ýµÚÈý·½ÑéÖ¤£©Ê±£¬¿ÉÐŶÈÌáÉý2.3±¶¡£ÊÇ·ñÓ¦¸ÃÔÚÊ×´ÎÎîÃæ¾ÍÍêȫչʾʵÁ¦£¿Ñо¿Åú×¢·Ö²ãÊͷżÛÖµÐÅÏ¢ÄÜÖÆÔì32%µÄÆÚ´ý¸ÐÔö·ù¡£
Ö«ÌåÓïÑÔµÄÒþÐÔÎüÒýÁ¦¹æÔò
·ÇÓïÑÔÐźŵÄÓ°ÏìÁ¦Õ¼Éç½»ÎüÒýµÄ55%£¬ÆäÖпª·Åʽ×Ë̬ÓëÑÛÉñ½Ó´¥×îΪҪº¦¡£ÊµÑéÊý¾ÝÏÔʾ£¬¼á³Ö60-70%µÄÊÓÏß½Ó´¥ÅäºÏ¡¸3Ãë΢ЦÑÓ³Ù¡¹£¬ÄÜÌáÉý23%µÄºÃ¸Ð¶È¡£ÌØÊâÊÇ¡¸Ë¯×ŵķ½·¨¡¹ËùÒþÓ÷µÄËÉ¿ª×´Ì¬£¬ÄÜʹ֫ÌåÓïÑÔ¸üÇ÷½ü»Æ½ðÈý½Ç½á¹¹£¨¼çÏ߼нÇ120¡ã£¬Çû¸ÉǰÇã15¡ã£©¡£ÎªÊ²Ã´¿´ËÆËæÒâµÄ¿¿×ø×Ë̬¸ü¾ß÷ÈÁ¦£¿ÓÉÓÚÕâÖÖ×ËÊÆ»áÊͷŦÁÄԵ粨£¬´¥·¢ÊÓ²ìÕßµÄDZÒâʶÐÅÈλúÖÆ¡£
Çé¾³»¯»¥¶¯µÄ½ø½×¼¼ÇÉ
ÔÚ²î±ðÉç½»³¡¾°ÖУ¬ÎüÒýÁ¦¹¹½¨ÐèÒª²î±ð»¯Õ½ÂÔ¡£¾Æ°É³¡¾°ÊʺÏʹÓá¸ÇéÐÎÈÚÕýµ±¡¹£¬Í¨¹ý¿Õ¼äռλÓë¹âÓ°»¥¶¯ÔöÇ¿±£´æ¸Ð£»¿§·È¹ÝÔòÊÊÓḽ¹µã×ªÒÆ·¨¡¹£¬ÓÃÎïÆ·×÷Ϊ¶Ô»°ÇÐÈëµã¡£Êý¾ÝÏÔʾ£¬µ±¶Ô»°ÖÐǶÈë3¸öÒÔÉÏÇé¾³ÔªËØÊ±£¬Ó°ÏóÁô´æÂÊÌáÉý41%¡£ÔõÑù½«Í¨Ë׳¡¾°×ª»¯ÎªÎüÒýÁ¦´Å³¡£¿Òªº¦ÔÚÓÚÖÆÔ졸ÒâÍâºÏÀí¡¹µÄ½»»¥µã£¬ÔÚÊéµêͨ¹ýÊé¼®·ÖÀà·¨×ÔÈ»¿ªÆô¶Ô»°¡£
ºã¾ÃÎüÒýÁ¦Î¬»¤ÏµÍ³¹¹½¨
ÎüÒýÁ¦Î¬³ÖµÄÒªº¦ÔÚÓÚÖÆÔ졸½¥½øÊ½¼ÛÖµÔöÁ¿¡¹¡£½¨ÒéÿÔ´´Á¢2-3¸öÈÏÖªÍ»ÆÆµã£¬°üÀ¨ÐÂÊÖÒÕÕ¹ÏÖ¡¢ÖªÊ¶Éî¶ÈÑÓÉìµÈ¡£ÐÄÀíѧÖеĵõÇÅЧӦÏÔʾ£¬ÅäºÏÂÄÀúÇá¶ÈÌôÕ½¿ÉʹÇ×ÃܶÈÌáÉý28%¡£Î¬»¤Àú³ÌÖÐÔõÑù×èÖ¹ÎüÒýÁ¦ÏûºÄ£¿ÐèÒª½¨Éè½»»¥½Ú×àµ÷¿Ø»úÖÆ£¬½ÓÄÉ¡¸70%Ìñ¾²Çø+30%ÌôÕ½Çø¡¹µÄÏദģʽ£¬¼È¼á³ÖÐÂÏʸÐÓÖÈ·±£Çå¾²¸Ð¡£
ÌáÉýÉç½»ÎüÒýÁ¦ÊÇϵͳ¹¤³Ì£¬ÐèÒªÊÖÒÕѵÁ·ÓëÈÏÖªÉý¼¶Í¬²½Íƽø¡£´Ó¡¸Ë¯×ŵķ½·¨¡¹»¥¶¯µ½¼ÛֵչʾսÂÔ£¬ÊµÖÊÉ϶¼ÔÚ¹¹½¨Õæ³Ï¶øÆæÒìµÄСÎÒ˽¼Ò´Å³¡¡£¼Ç×ÅÎüÒýÁ¦¹«Ê½£º£¨½¹µã¾ºÕùÁ¦¡Áչʾ¼¼ÇÉ£©¡ÂÐèÇó¸Ð=×îÖÕÎüÒýÁ¦Ö¸Êý¡£ÕÆÎÕÕâЩÔÀí£¬Ä㽫ÔÚÉç½»³¡ÓòÖÐ×ÔȻɢ¾ÙÊÂÒÔ¿¹¾ÜµÄ÷ÈÁ¦ÄÜÁ¿¡£