Tridion 2013 SP1 DD4T SOLR index arabic character encoding issue

Question

We did integrated DD4T Tridion 2013 SP1 with SI4T SOLR index only for Dynamic Component Presentation (DCP) components publishing only.

Publishing is working fine, but we are spacing issue with arabic content encoding

SOLR query filter on SOLR admin interface results looks like below:

<?xml version="1.0" encoding="UTF-8"?>
<response>
<lst name="responseHeader">
  <int name="status">0</int>
  <int name="QTime">0</int>
</lst>
<result name="response" numFound="1" start="0">
  <doc>
    <str name="id">dcp:4-3027-189</str>
    <str name="url">tcm:4-3027</str>
    <str name="body">أوباما يعتبر أنّ "داعش" سي�هزم والكونغرس سيتمهّل بمنحه ت�ويضًا عسكريًا بشأنه. إعتبر الرئيس الأميركي باراك أوباما، �ي مؤتمر صحا�ي مقتضب من البيت الأبيض بشأن طلبه من الكونغرس منحه ت�ويضًا جديدًا لمتابعة محاربة تنظيم "الدولة الإسلاميّة" المعرو� بـ"داعش" والذي أرسله اليوم، أنّ هذا التنظيم سيهزم، مستبعدًا �ي الوقت عينه أيّ تدخّل برّي واسع النطاق �ي الشرق الأوسط كونه ليس �ي مصلحة بلاده.. ورأى أوباما أنّه يمكن نشر قوّات خاصة لمنع الإرهابيّين من شنّ عمليّات محدّدة، موضحًا أنّ مشروع طلب الت�ويض العسكري من الكونغرس صيغ بعد التشاور مع أعضاء �يه من الجمهوريّين والديمقراطيّين على حد� سواء. و�ي هذا السياق، إعتبر مشرّعون ديمقراطيّون وجمهوريّون أنّ طلب أوباما من الكونغرس ت�ويضًا جديدًا يخوّله القيام بعمل عسكري ضد "داعش" ليس "م�صلاً بما �يه الك�اية". . و�ي هذا الإطار، قال رئيس مجلس النواب جون بوينر، وهو جمهوري من اوهايو، للصحا�يّين إنّه "�ي حين أنّ استخدام القوة العسكرية للتعامل مع تنظيم (داعش) ي�عد خطوة مهمة إلى الأمام إلا أنّ أوباما لايزال بحاجة إلى طرح هذه المسألة على الشعب الأميركي" و�ق ما نقلت وكالة الأنباء الكويتيّة "كونا". . وأضا�: "لست متأكدًا من أنّ الاستراتيجيّة التي تم ذكرها ستنجز المهمة التي يريد الرئيس أوباما تحقيقها، �هو يقول إنّه يريد ت�كيك وتدمير (داعش) لكنني لم أر استراتيجية قد تحقّق ذلك". . وإذ أشار إلى أنّ تسليم أوباما الرسالة إلى الكونغرس اليوم هي �قط "بداية عملية تشريعية من شأنها أن تنطوي على جلسات الاستماع"، أضا� بوينر: "وأنا متأكد من أننا سندخل تغييرات (على الطلب) خلال هذه العملية".. إلى ذلك، ذكر النائب الجمهوري بوب كوركر، والذي يترأس لجنة العلاقات الخارجية �ي مجلس الشيوخ التي لها اختصاص الموا�قة على المقترح، �ي بيان، أنّ المقترح الذي تقدّم به الرئيس أوباما يحتاج الى مزيد من العمل. وأضا�: "سنبدأ بسرعة �ي عقد جلسات استماع صارمة حيث سنمنح الإدارة (أوباما) �رصة لتقديم مزيد من التوضيحات حول استراتيجية الولايات المتحدة للتعامل مع (داعش) لاسيما �ي سوريا".. �ي المقابل، دعت زعيمة الأقلية الديمقراطية �ي مجلس النواب نانسي بيلوسي، �ي بيان، "الكونغرس إلى أن يتصرّ� بحكمة وعلى وجه السرعة وأن يمرّر مقترح الحرب على (داعش)"، لا�تة إلى أنّ على الحزبين الجمهوري والديمقراطي أن يبدآ "�ورًا" النقاش حول هذه المسألة.. و�ي غضون ذلك، أكد المتحدث باسم البيت الأبيض جوش ارنست أنّ الرئيس باراك أوباما "لا يرغب �ي أن تلتزم القوات الأميركية القتالية على المدى الطويل وعلى نطاق واسع �ي حرب برية بالعراق أو سوريا". . إرنست، و�ي خلال مؤتمر صحا�ي، أشار إلى "عواقب" الالتزام العسكري طويل الأمد "حيث لا نزال نتعامل مع عواقب الالتزام طويل الأجل الذي حصل من قبل أعضاء الإدارة السابقة (جورج دبليو بوش) عندما كانوا يطبقون هذه الاستراتيجية �ي العراق". وأضا� أنّ الولايات المتحدة ستواصل التعامل مع هذه العواقب "المالية والإنسانية �ي السنوات المقبلة"، مشيرًا إلى أنّ استراتيجية أوباما "الأكثر نجاحًا تشمل بناء قدرات القوات المحلية لخوض المعركة ضد متطر�ي (داعش) على الأرض �ي بلدهم".. وأوضح أنّ "هذا هو سبب وجود مدربين من الجيش الأميركي �ي العراق حيث يتم تدريب وتجهيز قوات الأمن العراقية والكردية ويقدمون لهم المشورة ليخوضوا المعركة ضد (داعش) على الأرض ورأينا أن هذا كان ناجحًا �ي التصدي لهجمات (داعش) و�ي بعض الحالات اجبارها على التراجع".. وقال إنّ هناك استراتيجيّة مماثلة �ي سوريا حيث يتم تدريب مقاتلي المعارضة السورية، مشدّدًا على أنّ "نشر قوات بريّة أميركيّة على نطاق واسع والتزام طويل الأمد �ي العراق سيكون مخال�ًا لرغبات الحكومة المركزية" �ي بغداد... </str>
    <str name="title">أوباما يعتبر أنّ "داعش" سي�هزم والكونغرس سيتمهّل بمنحه ت�ويضًا عسكريًا بشأنه</str>
    <str name="schemaid">117</str>
    <int name="itemtype">16</int>
    <long name="_version_">1492998522428981248</long></doc>
</result>
</response>

cd_core.log we are getting this below log messages seems to be there is no error message

2015-02-13 17:59:58,906 INFO  Deployer - ********************************************************************************
2015-02-13 17:59:58,906 INFO  Deployer - 
2015-02-13 17:59:58,906 INFO  Deployer - Tridion CD Deployer 7.1.0-STABLE (7.1.0-STABLE.165)
2015-02-13 17:59:58,906 INFO  Deployer - 
2015-02-13 17:59:58,906 INFO  Deployer - ********************************************************************************
2015-02-13 17:59:58,906 INFO  Deployer - 
2015-02-13 17:59:58,906 INFO  Deployer - System properties:
2015-02-13 17:59:58,906 INFO  Deployer - java.runtime.name = Java(TM) SE Runtime Environment
2015-02-13 17:59:58,906 INFO  Deployer - java.protocol.handler.pkgs = com.codemesh.protocol
2015-02-13 17:59:58,906 INFO  Deployer - sun.boot.library.path = C:\Program Files\Java\jre7\bin
2015-02-13 17:59:58,906 INFO  Deployer - java.vm.version = 24.71-b01
2015-02-13 17:59:58,906 INFO  Deployer - java.vm.vendor = Oracle Corporation
2015-02-13 17:59:58,906 INFO  Deployer - java.vendor.url = http://java.oracle.com/
2015-02-13 17:59:58,906 INFO  Deployer - path.separator = ;
2015-02-13 17:59:58,906 INFO  Deployer - java.vm.name = Java HotSpot(TM) 64-Bit Server VM
2015-02-13 17:59:58,906 INFO  Deployer - file.encoding.pkg = sun.io
2015-02-13 17:59:58,906 INFO  Deployer - user.country = US
2015-02-13 17:59:58,906 INFO  Deployer - user.script = 
2015-02-13 17:59:58,906 INFO  Deployer - sun.os.patch.level = 
2015-02-13 17:59:58,906 INFO  Deployer - java.vm.specification.name = Java Virtual Machine Specification
2015-02-13 17:59:58,906 INFO  Deployer - user.dir = c:\windows\system32\inetsrv
2015-02-13 17:59:58,906 INFO  Deployer - java.runtime.version = 1.7.0_71-b14
2015-02-13 17:59:58,906 INFO  Deployer - java.awt.graphicsenv = sun.awt.Win32GraphicsEnvironment
2015-02-13 17:59:58,906 INFO  Deployer - java.endorsed.dirs = C:\Program Files\Java\jre7\lib\endorsed
2015-02-13 17:59:58,906 INFO  Deployer - os.arch = amd64
2015-02-13 17:59:58,906 INFO  Deployer - java.io.tmpdir = C:\Windows\TEMP\
2015-02-13 17:59:58,906 INFO  Deployer - line.separator = 

2015-02-13 17:59:58,906 INFO  Deployer - java.vm.specification.vendor = Oracle Corporation
2015-02-13 17:59:58,906 INFO  Deployer - user.variant = 
2015-02-13 17:59:58,906 INFO  Deployer - os.name = Windows Server 2012 R2
2015-02-13 17:59:58,906 INFO  Deployer - sun.jnu.encoding = Cp1252
2015-02-13 17:59:58,906 INFO  Deployer - java.library.path = c:\windows\system32\inetsrv;C:\Windows\Sun\Java\bin;C:\Windows\system32;C:\Windows;C:\Windows\system32;C:\Windows;C:\Windows\System32\Wbem;C:\Windows\System32\WindowsPowerShell\v1.0\;C:\Program Files\Microsoft\Web Platform Installer\;.
2015-02-13 17:59:58,906 INFO  Deployer - java.specification.name = Java Platform API Specification
2015-02-13 17:59:58,906 INFO  Deployer - java.class.version = 51.0
2015-02-13 17:59:58,906 INFO  Deployer - sun.management.compiler = HotSpot 64-Bit Tiered Compilers
2015-02-13 17:59:58,906 INFO  Deployer - os.version = 6.3
2015-02-13 17:59:58,906 INFO  Deployer - user.home = C:\
2015-02-13 17:59:58,906 INFO  Deployer - user.timezone = Asia/Muscat
2015-02-13 17:59:58,906 INFO  Deployer - java.awt.printerjob = sun.awt.windows.WPrinterJob
**2015-02-13 17:59:58,906 INFO  Deployer - file.encoding = Cp1252**
2015-02-13 17:59:58,906 INFO  Deployer - java.specification.version = 1.7

I could see file.encoding is different format - seems to be instead of UTF-8 its looks Cp1252. we are missing any config..

Preview output of DCP component: preview I could not see any issues

<Component><!-- INDEX-DATA-START:<indexdata xmlns:xsd="http://www.w3.org/2001/XMLSchema" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"><url>tcm:4-3027</url><title>أوباما يعتبر أنّ "داعش" سيُهزم والكونغرس سيتمهّل بمنحه تفويضًا عسكريًا بشأنه</title><publicationid>4</publicationid><schemaid>117</schemaid><itemtype>16</itemtype><parentsgid>0</parentsgid><type>0</type><lang /><doctype /><body>أوباما يعتبر أنّ "داعش" سيُهزم والكونغرس سيتمهّل بمنحه تفويضًا عسكريًا بشأنه. إعتبر الرئيس الأميركي باراك أوباما، في مؤتمر صحافي مقتضب من البيت الأبيض بشأن طلبه من الكونغرس منحه تفويضًا جديدًا لمتابعة محاربة تنظيم "الدولة الإسلاميّة" المعروف بـ"داعش" والذي أرسله اليوم، أنّ هذا التنظيم سيهزم، مستبعدًا في الوقت عينه أيّ تدخّل برّي واسع النطاق في الشرق الأوسط كونه ليس في مصلحة بلاده.. ورأى أوباما أنّه يمكن نشر قوّات خاصة لمنع الإرهابيّين من شنّ عمليّات محدّدة، موضحًا أنّ مشروع طلب التفويض العسكري من الكونغرس صيغ بعد التشاور مع أعضاء فيه من الجمهوريّين والديمقراطيّين على حدٍ سواء. وفي هذا السياق، إعتبر مشرّعون ديمقراطيّون وجمهوريّون أنّ طلب أوباما من الكونغرس تفويضًا جديدًا يخوّله القيام بعمل عسكري ضد "داعش" ليس "مفصلاً بما فيه الكفاية". . وفي هذا الإطار، قال رئيس مجلس النواب جون بوينر، وهو جمهوري من اوهايو، للصحافيّين إنّه "في حين أنّ استخدام القوة العسكرية للتعامل مع تنظيم (داعش) يُعد خطوة مهمة إلى الأمام إلا أنّ أوباما لايزال بحاجة إلى طرح هذه المسألة على الشعب الأميركي" وفق ما نقلت وكالة الأنباء الكويتيّة "كونا". . وأضاف: "لست متأكدًا من أنّ الاستراتيجيّة التي تم ذكرها ستنجز المهمة التي يريد الرئيس أوباما تحقيقها، فهو يقول إنّه يريد تفكيك وتدمير (داعش) لكنني لم أر استراتيجية قد تحقّق ذلك". . وإذ أشار إلى أنّ تسليم أوباما الرسالة إلى الكونغرس اليوم هي فقط "بداية عملية تشريعية من شأنها أن تنطوي على جلسات الاستماع"، أضاف بوينر: "وأنا متأكد من أننا سندخل تغييرات (على الطلب) خلال هذه العملية".. إلى ذلك، ذكر النائب الجمهوري بوب كوركر، والذي يترأس لجنة العلاقات الخارجية في مجلس الشيوخ التي لها اختصاص الموافقة على المقترح، في بيان، أنّ المقترح الذي تقدّم به الرئيس أوباما يحتاج الى مزيد من العمل. وأضاف: "سنبدأ بسرعة في عقد جلسات استماع صارمة حيث سنمنح الإدارة (أوباما) فرصة لتقديم مزيد من التوضيحات حول استراتيجية الولايات المتحدة للتعامل مع (داعش) لاسيما في سوريا".. في المقابل، دعت زعيمة الأقلية الديمقراطية في مجلس النواب نانسي بيلوسي، في بيان، "الكونغرس إلى أن يتصرّف بحكمة وعلى وجه السرعة وأن يمرّر مقترح الحرب على (داعش)"، لافتة إلى أنّ على الحزبين الجمهوري والديمقراطي أن يبدآ "فورًا" النقاش حول هذه المسألة.. وفي غضون ذلك، أكد المتحدث باسم البيت الأبيض جوش ارنست أنّ الرئيس باراك أوباما "لا يرغب في أن تلتزم القوات الأميركية القتالية على المدى الطويل وعلى نطاق واسع في حرب برية بالعراق أو سوريا". . إرنست، وفي خلال مؤتمر صحافي، أشار إلى "عواقب" الالتزام العسكري طويل الأمد "حيث لا نزال نتعامل مع عواقب الالتزام طويل الأجل الذي حصل من قبل أعضاء الإدارة السابقة (جورج دبليو بوش) عندما كانوا يطبقون هذه الاستراتيجية في العراق". وأضاف أنّ الولايات المتحدة ستواصل التعامل مع هذه العواقب "المالية والإنسانية في السنوات المقبلة"، مشيرًا إلى أنّ استراتيجية أوباما "الأكثر نجاحًا تشمل بناء قدرات القوات المحلية لخوض المعركة ضد متطرفي (داعش) على الأرض في بلدهم".. وأوضح أنّ "هذا هو سبب وجود مدربين من الجيش الأميركي في العراق حيث يتم تدريب وتجهيز قوات الأمن العراقية والكردية ويقدمون لهم المشورة ليخوضوا المعركة ضد (داعش) على الأرض ورأينا أن هذا كان ناجحًا في التصدي لهجمات (داعش) وفي بعض الحالات اجبارها على التراجع".. وقال إنّ هناك استراتيجيّة مماثلة في سوريا حيث يتم تدريب مقاتلي المعارضة السورية، مشدّدًا على أنّ "نشر قوات بريّة أميركيّة على نطاق واسع والتزام طويل الأمد في العراق سيكون مخالفًا لرغبات الحكومة المركزية" في بغداد... </body><custom /></indexdata>:INDEX-DATA-END -->
  <Id>tcm:4-3027</Id>
  <Title>أوباما يعتبر أنّ "داعش" سيُهزم والكونغرس سيتمهّل بمنحه تفويضًا عسكريًا بشأنه</Title>
  <Publication>
    <Id>tcm:0-4-1</Id>....

Even in the DD4T presentation published DCP component displayed in website has the content question mark character '�'

أوباما يعتبر أنّ "داعش" سي�?هزم والكونغرس سيتمهّل بمنحه ت�?ويضًا عسكريًا بشأنه

It's very strange for us to short out this encoding issue. If any body faced same issue could you please help us to resolve this issue.

Answer 1

Is your source encoding UTF-8? If so you should run the JVM with the argument

-Dfile.encoding=UTF-8

This can be achieved either by adding this parameter to the jvm.xml (if using a .Net web application) or in the startup parameters of your application container.

For jvm.xml (located in bin/config of your web application) the syntax is

<Option Name="-Dfile.encoding" Value="UTF-8"/>

Answer 2

Any type of encoding issues related to Tridion mostly mean that somewhere along the publish/deployment/delivery pipeline, you are not using the same encoding.

This is typical since by default everything is using different encodings unfortunately.

To solve it, check out Elena's blog post here http://elenaserghie.blogspot.nl/2012/01/7-clues-to-solve-character-encoding.html