পিডিএফ সর্বত্রই রয়েছে, কিন্তু এগুলো হলো কন্টেইনার — টেক্সট নয়। যখন আপনার কোনো লিগ্যাল ট্রাঞ্চ গ্রেপ করার, ডকুমেন্টের কন্টেন্ট কোনো মেশিন-লার্নিং পাইপলাইনে ফিড করার, রিসার্চ পেপারগুলোকে ইলাস্টিকসার্চ-এ ইন্ডেক্স করার, অথবা ভাঙা লাইন ব্রেক ম্যানুয়ালি ঠিক না করে শুধু একটি উদ্ধৃতি পেস্ট করার প্রয়োজন হয়, তখন আপনার প্লেইন টেক্সট প্রয়োজন। পিডিএফ ভিউয়ার থেকে কপি-পেস্ট করলে কলাম অ্যালাইনমেন্ট নষ্ট হয়ে যায়, অনাকাঙ্ক্ষিত হাইফেন চলে আসে এবং মাল্টি-কলাম লেআউটগুলো এলোমেলো হয়ে যায়। একটি বিশেষ পিডিএফ-টু-টেক্সট কনভার্টার এক ধাপেই এই সবকিছুর সমাধান করে দেয়।
LuraPDF-এর টেক্সট এক্সট্র্যাক্টরটি PDF.js ব্যবহার করে সম্পূর্ণভাবে আপনার ব্রাউজারে চলে; এই একই লাইব্রেরি Firefox-এর বিল্ট-ইন PDF ভিউয়ারেও ব্যবহৃত হয়। এখানে কোনো আপলোড, প্রসেসিং কিউ বা সার্ভার টিয়ার দ্বারা আরোপিত কোনো আকারের সীমাবদ্ধতা নেই। আপনি দুটি এক্সট্র্যাকশন মোড পাবেন — সহজে পাঠযোগ্য আউটপুটের জন্য লেআউট এবং পাইপলাইনে ব্যবহারের উপযোগী টেক্সটের জন্য স্ট্রিম — এর সাথে তিনটি এনকোডিং বেছে নেওয়ার সুযোগ এবং ঐচ্ছিক পেজ-ব্রেক মার্কারও রয়েছে। ফলাফলটি সাথে সাথেই একটি .txt ফাইল হিসেবে ডাউনলোড হয়ে যায়, যা আপনি যেকোনো এডিটরে খুলতে, pandas-এ ইম্পোর্ট করতে, অথবা যেকোনো কমান্ড-লাইন টুলের মাধ্যমে চালাতে পারবেন।
সফটওয়্যার ইঞ্জিনিয়ারদের সার্চ ইঞ্জিনে ডকুমেন্ট অন্তর্ভুক্ত করা থেকে শুরু করে শিক্ষার্থীদের থিসিসের জন্য উদ্ধৃতি সংগ্রহ করা পর্যন্ত, প্লেইন-টেক্সট এক্সট্র্যাকশন প্রতিটি পরবর্তী কার্যপ্রবাহের জন্য পিডিএফ কন্টেন্টকে উন্মুক্ত করে দেয়।
সার্ভার-সাইড নিষ্কাশন ধাপ ছাড়াই পিডিএফ কন্টেন্ট Elasticsearch, Solr, বা একটি ভেক্টর ডেটাবেসে ফিড করুন। স্ট্রিম মোড পরিষ্কার, হোয়াইটস্পেস-নরম্যালাইজড টেক্সট তৈরি করে যা টোকেনাইজেশন এবং ইন্ডেক্সিংয়ের জন্য প্রস্তুত থাকে।
একাডেমিক পেপার, টেকনিক্যাল রিপোর্ট এবং সরকারি নথি থেকে এনএলপি কর্পোরা তৈরি করুন। প্রতিটি পেপার ব্যাচ-এক্সপোর্ট করে .txt ফাইলে রূপান্তর করুন, তারপর প্রিপ্রসেসিংয়ের জন্য pandas বা NLTK দিয়ে ফোল্ডারটি লোড করুন।
FOIA ডাম্প এবং ফাঁস হওয়া নথিপত্রের অংশগুলো প্রায়শই পিডিএফ হিসেবে আসে। সেগুলোকে .txt ফাইলে রূপান্তর করুন এবং সংবেদনশীল উপাদান আপলোড না করেই মিনিটের মধ্যে grep বা Datashare ব্যবহার করে শত শত ফাইলের মধ্যে অনুসন্ধান করুন।
সংবেদনশীল উপাদান কোনো তৃতীয় পক্ষের সার্ভারে আপলোড না করেই, কীওয়ার্ড অনুসন্ধান এবং বিশেষাধিকার পর্যালোচনার জন্য আদালতের প্রদর্শনী, চুক্তি এবং তথ্য উদঘাটন নথি থেকে পাঠ্য সংগ্রহ করুন।
ভাঙা লাইন ব্রেকের ঝামেলা ছাড়াই গবেষণা পত্র বা পাঠ্যপুস্তক থেকে নির্ভুল উদ্ধৃতি কপি করুন। লেআউট মোড ফুটনোট এবং উদ্ধৃতিগুলোকে পাঠযোগ্য রাখার জন্য প্রয়োজনীয় কাঠামো বজায় রাখে।
পিডিএফ রিপোর্ট থেকে সারণিবদ্ধ ডেটা .txt ফাইলে নিয়ে আসুন এবং pandas, AWK বা যেকোনো স্ক্রিপ্টিং ল্যাঙ্গুয়েজ দিয়ে পার্স করুন। কাঠামোগত সারণি নিষ্কাশনের জন্য এটিকে PDF to Excel-এর সাথে যুক্ত করুন।
স্থানীয়ভাবে প্রক্রিয়াকরণের অর্থ হলো দ্রুত কাজ সম্পন্ন হওয়া, গোপনীয়তার কোনো ঝুঁকি না থাকা এবং এমন কোনো সার্ভারের উপর নির্ভরতা না থাকা যা আপনার ফাইলের গতি কমিয়ে দিতে, লগ করতে বা তা হারিয়ে ফেলতে পারে।
LuraPDF, PDF.js-এর getTextContent() API ব্যবহার করে, যা প্রতিটি পৃষ্ঠার কন্টেন্ট স্ট্রিম পার্স করে এবং টেক্সট আইটেমের একটি অ্যারে রিটার্ন করে — যার প্রতিটিতে ইউনিকোড স্ট্রিং, ফন্ট মেট্রিক্স এবং পৃষ্ঠার x/y অবস্থান থাকে। লেআউট মোডে, এক্সট্র্যাক্টর আইটেমগুলোকে উল্লম্ব অবস্থান অনুসারে লাইনে গ্রুপ করে, তারপর প্রতিটি লাইনকে বাম থেকে ডানে সাজায় এবং গ্লিফগুলোর মধ্যবর্তী ব্যবধানের সমানুপাতিক স্পেস যুক্ত করে। এটি কলাম এবং ইনডেন্টেড তালিকার আনুমানিক ভিজ্যুয়াল লেআউট পুনর্গঠন করে। স্ট্রিম মোডে, আইটেমগুলো স্থানিক সর্টিং ছাড়াই কন্টেন্ট-স্ট্রিম ক্রমানুসারে লেখা হয় — যা সংক্ষিপ্ত অনুচ্ছেদ তৈরি করে এবং টোকেনাইজাররা তা পছন্দ করে।
টেক্সটটি তৈরি হয়ে গেলে, ব্রাউজারের টেক্সটএনকোডার এপিআই (TextEncoder API) ব্যবহার করে এটিকে নির্বাচিত ক্যারেক্টার সেটে এনকোড করা হয় এবং একটি ব্লব (Blob)-এ লেখা হয়। একটি অস্থায়ী অবজেক্ট ইউআরএল (object URL) ডাউনলোড প্রক্রিয়াটি চালু করে। কোনো পর্যায়েই ডেটা ব্রাউজার ট্যাব থেকে বাইরে যায় না। যদি পেজ-ব্রেক মার্কার (page-break markers) সক্রিয় করা থাকে, তাহলে প্রতিটি পৃষ্ঠার টেক্সট ব্লকের মধ্যে একটি ফর্ম-ফিড ক্যারেক্টার (form-feed character) যুক্ত করা হয়, যা প্রোগ্রাম্যাটিক পেজ স্প্লিটিংকে অত্যন্ত সহজ করে তোলে। সম্পূর্ণ প্রক্রিয়াটি প্রতি পৃষ্ঠার জন্য সিনক্রোনাসভাবে চলে এবং বেশিরভাগ ডকুমেন্টের জন্য এক সেকেন্ডেরও কম সময়ে সম্পন্ন হয়।
| বৈশিষ্ট্য | লুরাপিডিএফ | ছোট পিডিএফ | অ্যাডোবি অ্যাক্রোব্যাট |
|---|---|---|---|
| শুধুমাত্র ব্রাউজারে ব্যবহারযোগ্য / আপলোড করা যাবে না | হ্যাঁ | না | না |
| লেআউট এবং স্ট্রিম মোড | হ্যাঁ | আংশিক | হ্যাঁ |
| UTF-8 / UTF-16 / ASCII | হ্যাঁ | শুধুমাত্র UTF-8 | হ্যাঁ |
| বিনামূল্যে, ফাইলের কোনো সীমা নেই | হ্যাঁ | প্রতিদিন ২টি বিনামূল্যে | প্রদত্ত |
এক্সট্র্যাকশনের আগে ও পরের কয়েকটি সিদ্ধান্তই পরিচ্ছন্ন টেক্সট এবং খণ্ডিত খণ্ডাংশের এক অগোছালো গুচ্ছের মধ্যে পার্থক্য গড়ে দেয়।
যদি পিডিএফটি এমন একটি স্ক্যান হয় যেখানে নির্বাচনযোগ্য কোনো লেখা নেই, তাহলে প্রথমে ওসিআর পিডিএফ (OCR PDF) চালান — অন্যথায় এক্সট্র্যাকশনের ফলে একটি খালি ফাইল তৈরি হবে।
মেশিন-লার্নিং পাইপলাইনের জন্য স্ট্রিম মোড এবং আপনার পড়া বা সম্পাদনা করার উপযোগী আউটপুটের জন্য লেআউট মোড ব্যবহার করুন।
আপনার নির্দিষ্ট টুলটিতে যদি স্পষ্টভাবে ASCII বা UTF-16 ব্যবহারের প্রয়োজন না হয়, তবে UTF-8 ব্যবহার করুন — UTF-8 হলো একটি সার্বজনীন ও নিরাপদ বিকল্প।
স্ক্রিপ্টে আউটপুট পৃষ্ঠা অনুযায়ী ভাগ করার সময় পেজ-ব্রেক মার্কার সক্রিয় করুন — এতে ম্যানুয়াল পার্সিং-এর একটি ধাপ কমে যায়।
এক্সপোর্ট করার পর একটি সাধারণ রেজেক্স ব্যবহার করে পুনরাবৃত্ত হেডার ও ফুটার বাদ দিন — হেডারের টেক্সটটি ম্যাচ করুন এবং এর প্রতিটি উপস্থিতি মুছে দিন।
খুব বড় পিডিএফ ফাইলের ক্ষেত্রে, ব্রাউজারকে রেসপন্সিভ রাখতে পৃষ্ঠা সংখ্যা অনুযায়ী প্রসেস করুন — প্রয়োজনে অধ্যায়গুলো আলাদাভাবে বের করে নিন।
আপনার পড়ার জন্য লেআউট-সারিবদ্ধ টেক্সট প্রয়োজন হোক বা পাইপলাইনের জন্য স্ট্রিম-মোড আউটপুট, LuraPDF কোনো সার্ভার স্পর্শ না করেই কয়েক সেকেন্ডের মধ্যে তা তৈরি করে দেয়। ডিফল্টভাবে UTF-8, প্রয়োজন অনুযায়ী পৃষ্ঠা বিরতি, কোনো সাইনআপের প্রয়োজন নেই, কোনো ওয়াটারমার্ক নেই। আপনার PDF ফাইলটি ড্রপ করুন এবং ত্রুটিমুক্ত .txt ফাইল ডাউনলোড করুন।