Ò»¡¢Ã÷È·ÂÒÂëÁùÇø³ÉÒòÓë±àÂëÌØÕ÷
ÓÀÊÀÇøÂÒÂëÁùÇøµÄ»ù´¡Ã¬¶ÜÔ´ÓÚ¶à±àÂëϵͳ£¨GBK¡¢GB2
312¡¢UTF-8£©½»Ö¯Ê¹ÓÃÒý·¢µÄÃûÌóåÍ»¡£Êý¾ÝÏÔʾÁè¼Ý78%µÄÖÐÎÄÍøÕ¾Òò±àÂëÉùÃ÷ȱʧµ¼ÖÂä¯ÀÀÆ÷¹ýʧÆÊÎö£¬ÕâÖÖÕ÷ÏóÔÚ°üÀ¨ÀúÊ·Êý¾ÝµÄÁùÇøÐ§ÀÍÆ÷ÓÈΪͻ³ö¡£½¨Ò鿪·¢ÕßÔÚÎĵµÍ·Ç¿ÖÆÉùÃ÷< meta charset="UTF-8" >±êÇ©£¬Í¬Ê±ÅäºÏHTTPÏìӦͷContent-Type²ÎÊýÈ·±£±àÂëÒ»ÖÂÐÔ¡£µ±Óöµ½ÈÕÎÄÆ¬¼ÙÃûÓëÖÐÎļòÌåÖØµþÏÔʾʱ£¬ÔõÑù¿ìËÙ¶¨Î»±àÂë´íλԴ£¿¿Éͨ¹ýä¯ÀÀÆ÷¿ª·¢Õß¹¤¾ßµÄÍøÂçÃæ°å£¬ºË²éÏÖʵ´«ÊäµÄ×Ö·û¼¯ÀàÐÍ¡£
¶þ¡¢ÖÇÄÜ»¯±àÂëת»»¹¤¾ßÁ´´î½¨
½¨Éè×Ô¶¯»¯±àÂë¼ì²âÁ÷³ÌÊǹæ±ÜÂÒÂëΣº¦µÄÒªº¦¡£ÍƼöʹÓÃiconv-lite¿âʵʱת»»Îı¾±àÂ룬¸Ã¼Æ»®Ö§³ÖGB18
030¡¢BIG5µÈ53ÖÖÖÐÎÄÏà¹Ø×Ö·û¼¯µÄ»¥×ª²Ù×÷¡£¹ØÓÚÊý¾Ý¿â´æ´¢µÄ»ìÏý±àÂëÄÚÈÝ£¬½¨ÒéʵÑéË«²ãϴ媻úÖÆ£ºµÚÒ»²ã½ÓÄÉchardetÄ£¿é×Ô¶¯Ê¶±ðÔʼ±àÂ룬µÚ¶þ²ãͨ¹ýÕýÔò±í´ïʽƥÅäÒì³£×Ö·û¡£µä·¶³¡¾°ÈçÂÛ̳ÌùÎĵ¼Èëʱ£¬Ê¹ÓÃ\uתÒåÐòÁд¦Öóͷ£ÌØÊâ·ûºÅ¿É½µµÍ90%µÄתÂëʧ°ÜÂÊ¡£ÊÇ·ñÐèҪΪÿÖÖ±àÂ뽨Éè×ÔÁ¦×ª»»Í¨µÀ£¿Êµ¼ù֤ʵ½ÓÄÉUnicodeÖÐÐIJãÄÜ´ó·ù¼ò»¯×ª»»Âß¼¡£
Èý¡¢Ð§ÀÍÆ÷ÇéÐÎÉèÖÃÉî¶Èµ÷ÓÅ
Apache/NginxЧÀÍÆ÷µÄĬÈÏÉèÖÃÍùÍùÎÞ·¨ÊÊÅäÖÐÎÄÇøÌØÊâÐèÇó¡£ÐÞ¸Ähttpd.confÖеÄAddDefaultCharsetÖ¸ÁîΪUTF-8£¬Í¬Ê±ÉèÖÃphp.iniµÄdefault_charset²ÎÊýÐγÉË«ÖØ°ü¹Ü¡£µ±´¦Öóͷ£¼ò·±»ìÅŵÄÁùÇøÎĵµÊ±£¬½¨Ò鿪Æôzlib.output_compressionѹËõ¹¦Ð§²¢Ö¸¶¨×¼È·±àÂë¡£¹ØÓÚJavaϵÈÝÆ÷£¬ÐèÌØÊâ×¢ÖØJVMÆô¶¯²ÎÊýÔöÌí-Dfile.encoding=UTF-8ÉèÖá£ÔõÑùÑéÖ¤ÉèÖÃÉúЧ£¿¿É½¨Éè°üÀ¨"…›…œ…©…ª"µÈÉúƧ×ֵIJâÊÔÒ³£¬Í¨¹ýcurl -IÏÂÁîºË¶ÔContent-EncodingÏìӦͷ¡£
ËÄ¡¢Ç°¶ËäÖȾÒýÇæµÄ¼æÈݶԲß
ÏÖ´úä¯ÀÀÆ÷µÄÖÇÄܱàÂëÍÆ²â¹¦Ð§·´¶ø¿ÉÄܵ¼ÖÂÁùÇø¾É°æÍøÒ³ÏÔʾÒì³£¡£Õë¶ÔIE¼æÈÝģʽ£¬±ØÐè²åÈëXMLÉùÃ÷< ?xml version="1.0" encoding="UTF-8"? >À´Ëø¶¨äÖȾ±ê×¼¡£CSSÑùʽÎļþÖеÄÖÐÎÄ×Ö·û½¨Òé½ÓÄÉUnicodeתд£¬font-family: "\5FAE\8F6F\96C5\9ED1"ÌåÏÖ΢ÈíÑźڡ£µ±AJAXÇëÇó·µ»ØÂÒÂëÊý¾Ýʱ£¬Ðè¼ì²éXMLHttpRequest¹¤¾ßµÄoverrideMimeTypeÉèÖ㬽¨Òéͳһָ¶¨Îªtext/html; charset=utf-8¡£ÎªºÎÒÆ¶¯¶Ë·ºÆðЧ¹û¸ü²î£¿¿ÉÄÜÓëÖÕ¶Ë×°±¸µÄĬÈÏ×ÖÌå¿âȱʧÏà¹Ø¡£
Î塢ȫջ¼à¿ØÏµÍ³ÓëÔ¤¾¯»úÖÆ
½¨Éè±àÂëÒ쳣ʵʱ¼à²âϵͳÄÜÓÐÓýµµÍÔËά±¾Ç®¡£ELK£¨Elasticsearch, Logstash, Kibana£©Õ»ÉèÖÃÖÐÎķִʲå¼þ£¬¿É×Ô¶¯Ê¶±ðÈÕÖ¾ÖеÄÂÒÂëÌØÕ÷¡£½¨ÒéÉèÖÃË«ÖØ¸æ¾¯ãÐÖµ£ºµ±ÈÕÖ¾Òì³£×Ö·ûÕ¼±ÈÁè¼Ý5%ʱ´¥·¢³õ¼¶Ô¤¾¯£¬Áè¼Ý15%ÔòÆô¶¯×Ô¶¯»Ø¹ö»úÖÆ¡£¹ØÓÚ°üÀ¨JIS X 0208×Ö·ûµÄ»ìÏýÎĵµ£¬ÍƼöʹÓÿªÔ´ÏîÄ¿OpenCC¾ÙÐмò·±ÈÕ¶àÏòת»»¡£ÔõÑùƽºâת»»Ð§ÂÊÓë׼ȷÐÔ£¿½ÓÄÉ»ùÓÚͳ¼ÆÓïÑÔÄ£×ÓµÄ×Ô˳ӦËã·¨ÄÜÌáÉý38%µÄ´¦Öóͷ£ËÙÂÊ¡£
ͨ¹ýʵÑéÕâÊ®Ïî±àÂëÓÅ»¯Õ½ÂÔ£¬²»µ«ÄܸùÖÎÖÐÎÄÇøÓÀÊÀÇøÂÒÂëÁùÇøµÄÏÔʾÎÊÌ⣬»¹¿ÉÌáÉýÍøÕ¾ÔÚËÑË÷ÒýÇæÖеĴúÂ뿵½¡¶ÈÆÀ·Ö¡£½¨ÒéÕ¾³¤½¨ÉèÿÔ±àÂëѲ¼ìÖÆ¶È£¬ÖØµã¹Ø×¢Êý¾Ý¿âÅþÁ¬³ØÉèÖá¢CDN´«ÊäѹËõÉèÖõÈÒ׺öÊÓ»·½Ú¡£Ò»Á¬¼à²âBig5ÓëUTF-8µÄת»»ÏûºÄÂÊ£¬Ê¹ÓÃÇ¿ÖÆBOM±ê¼Ç°ü¹Ü¿çƽ̨ÎļþÒ»ÖÂÐÔ£¬×îÖÕʵÏÖÖÐÎÄÍøÂçЧÀÍÖÊÁ¿µÄÖÜÈ«ÌáÉý¡£ÈýάÖýÔì½ÌѧϵͳµÄÐÐҵˢÐÂÅä¾°
ÔÚÈ«ÇòÖÆÔìҵתÐÍÉý¼¶µÄ´óÅä¾°Ï£¬¹Å°å͹¤ÒÕÖÆ×÷ÊÖÒÕÃæÁÙÉú²úЧÂÊÓëÖÊÁ¿¿ØÖƵÄË«ÖØÌôÕ½¡£¹¤ÒµÉú²úÓÅ»¯×¨¼ÒÁªºÏ½ðÊô¼Ó¹¤¹¤ÒÕÑз¢ÍŶӣ¬Í¨¹ýSLS£¨Ñ¡ÔñÐÔ¼¤¹âÉսᣩÊÖÒÕÓëÐéÄâ·ÂÕæÏµÍ³Èںϣ¬´òÔì³öȫнÌѧƽ̨¡£¸Ãϵͳ²»µ«ÍêÕû»¹ÔϸÃÜÖýÔìÈ«Àú³Ì£¬¸üÁ¢ÒìÐԵؽ«Ê®¸öʵ²Ù¹Ø¿¨ÓëÖÊÁ¿ÆÀ¹ÀÏÏû³Áª¶¯£¬Ê¹Ñ§Ô±ÄÜÔÚÐéÄâÇéÐÎÖÐÕÆÎÕÈÛÁ¶Î¶ȿØÖÆ¡¢Ä£¾ßÓ¦Á¦ÆÊÎöµÈÒªº¦ÊÖÒÕ²ÎÊý¡£
½Ìѧ¹Ø¿¨Éè¼ÆµÄÈÏÖªµÝ½øÄ£×Ó
аæ½Ìѧϵͳ½ÓÄÉõ辶ʽ¹Ø¿¨Éè¼ÆÀíÄÿ¸öͼӹ¤»·½Ú¶ÔÓ¦×ÔÁ¦ÑµÁ·Ä£¿é¡£Ê׸ö»ù´¡¹Ø¿¨¾Û½¹Í¶§Ô¤´¦Öóͷ£¹¤Ðò£¬ÒªÐÞÒµÔ±ÔÚÐéÄâ³µ¼äÍê³É½ðÊôÍâòÑõ»¯Îïɨ³ý×÷Òµ¡£Ëæ×Źؿ¨Íƽø£¬ÈýάÈÈÁ¦Ñ§·ÂÕæÏµÍ³»áʵʱ·´ÏìÖýÔìȱÏÝ£¬ÈçµÚÁù¹ØµÄɰÐÍÖýÔìÄ£Äâ»áÖØµãѵÁ·Ëõ¶ÌÅâ³¥²ÎÊýÉèÖá£ÕâÖÖ½¥½øÊ½½ÌѧÉè¼ÆÏÔÖøÌáÉýϸÃÜÖýÔìÊÖÒÕµÄϰµÃЧÂÊ£¬¾²âÊÔ×éÊý¾ÝÏÔʾѧԱ¹¤ÒÕʧÎóÂÊϽµ42%¡£
¶¯Ì¬ÄѶȵ÷Àí»úÖÆµÄÊÖÒÕʵÏÖ
ϵͳµÄÖÇÄÜÆÀ¹ÀÒýÇæÄÚÖù¤ÒµÉú²úÓÅ»¯Ëã·¨£¬ÄÜÆ¾Ö¤Ñ§Ô±²Ù×÷Êý¾Ý¾ÙÐж¯Ì¬ÄѶȵ÷½â¡£µ±Ñ§Ô±ÔÚµÚÎå¹ØÒ»Á¬Èý´Î¸æ¿¢ÍÖý¼þÍâò¹â½à¶ÈRz¡Ü3.2¦Ìmʱ£¬ÏµÍ³»á×Ô¶¯¼¤»î½ø½×ģʽ£¬ÒýÈë¸üÖØ´óµÄͺϽðÅä±È²ÎÊý¡£ÕâÖÖ¸öÐÔ»¯Ñ§Ï°Â·¾¶Éè¼ÆÍêÉÆÆõºÏ½ðÊô¼Ó¹¤¹¤ÒÕµÄʵ²ÙÌØÕ÷£¬Ê¹²î±ð»ù´¡µÄѧԱ¶¼ÄÜÕÒµ½ºÏÊÊÉú³¤ÇúÏß¡£½¹µãÊÖÒÕ½ÓÄÉCUDA²¢ÐÐÅÌËã¼Ü¹¹£¬È·±£ÒÚ¼¶Á£×Ó·ÂÕæµÄʵʱÏìÓ¦¡£
ÈýάÎïÁÏ״̬µÄ¿ÉÊÓ»¯·ºÆð
ÔÚµÚÆß¹ØÍÒºÁ÷¶¯ÐÔʵÑéÖУ¬ÏµÍ³Ê×´ÎÕûºÏ¶àÏàÁ÷¿ÉÊÓ»¯ÊÖÒÕ¡£Ñ§Ô±¿Éͨ¹ý´¥¿Ø²Ù×÷ÐýתÊÓ²ìҺ̬ÍÔÚ½½µÀÖеijäÐÍÀú³Ì£¬ÏµÍ³ÒÔ²î±ðÑÕÉ«Çø·Ö700-1200¡æÇø¼äµÄ½ðÊô״̬¡£ÕâÖÖÖ±¹Û·ºÆð·½·¨ÈÃÁýͳµÄÈÈÁ¦Ñ§²ÎÊý±äµÃ¿É¸ÐÖª£¬ÅäºÏϸÃÜÖýÔ칤ÒÕÒªÇóµÄÀäÈ´ÌݶÈÊý¾Ý£¬ÄÜÓÐÓÃ×ÊÖúѧԱ½¨ÉèÈýά¿Õ¼ä¹¤ÒÕ²ÎÊýåÚÏëÄÜÁ¦¡£
ÖýÔìȱÏݵijÉÒò»ØËÝϵͳ
ÐÂÔöµÄÖÇÄÜÕï¶ÏÄ£¿é¿°³Æ±¾´Î¸üÐÂ×î´óÁÁµã¡£µ±Ñ§Ô±Ôڵڰ˹طºÆðÆø¿×»òÀä¸ôȱÏÝʱ£¬ÏµÍ³»á×·ËÝÕû¸ö¹¤ÒÕÁ´ÌõµÄÒªº¦½Úµã£¬ÓÃÈýάʱ¼äÖáÖØÏÖȱÏÝÐγÉÀú³Ì¡£É°Ðͽôʵ¶Èȱ·¦µ¼ÖµÄÖý¼þËÉÉ¢ÎÊÌ⣬ϵͳ»á±ê×¢³ö´ÓÄ£¾ßÖÆ±¸µ½½½×¢ËÙÂʵÄÈ«Á÷³ÌʧÎóµã£¬ÕâÖÖ¶¯Ì¬³ÉÒòÆÊÎöΪ½ðÊô¼Ó¹¤¹¤ÒÕÌáÉýÌṩÁËÊý×Ö»¯½â¾ö¼Æ»®¡£
±¾´Î͹¤ÒÕÖÆ×÷ÊÖÒÕ½ÌѧϵͳµÄµü´ú£¬±ê¼Ç×ÅÐéÄâ·ÂÕæÊÖÒÕÓë¹Å°åÖýÔ칤ÒÕ½øÈëÉî¶ÈÈںϽ׶Ρ£Í¨Ï꾡ÃÜÖýÔì²ÎÊý¿âÓëÖÇÄÜÆÀ¹ÀËã·¨µÄË«ÖØ¼Ó³Ö£¬Ê®¸öÌØÉ«¹Ø¿¨¹¹½¨ÆðÍêÕûµÄ½ðÊô¼Ó¹¤ÖªÊ¶Í¼Æ×¡£Ëæ×Ź¤ÒµÉú²úÓÅ»¯ÀíÄîÒ»Á¬ÉîÈ룬ÕâÖÖÊý×ÖÂÏÉú½Ìѧ·¶Ê½»ò½«³ÉΪװ±¸ÖÆÔìÈ˲Å×÷ÓýµÄбê×¼£¬Îª¹¤ÒµÉý¼¶×¢È볤ÆÚ¶¯ÄÜ¡£