Почему ваши файлы PDF/A продолжают отклоняться при проверках соответствия

Представьте себе это. Финансовая группа архивирует выписки клиентов и записи транзакций. PDF/А за последние шесть лет. Каждый файл имеет правильный тег метаданных. Каждый сотрудник считает, что работа выполнена в тот момент, когда файл сохранен. Затем регулятор приезжает на плановую проверку, пропускает несколько файлов через валидатор, и половина из них терпит неудачу.

Ни один из документов не был тронут, ничего не делалось по-другому. Эти документы изначально никогда не соответствовали требованиям, они просто утверждали, что они соответствуют требованиям. И сама эта разница между «заявлять, что это PDF/A» и «быть PDF/A» является сегодня одним из наиболее частых и дорогостоящих «слепых пятен» в архивировании документов.

Итак, если ваши усилия по архивированию не увенчались успехом и/или вы хотите оставаться на правильной стороне процесса, вот что на самом деле идет не так и как организовать надежный рабочий процесс для Соответствие PDF/A.

Почему соответствие PDF/A важнее, чем думает большинство команд

PDF/A — это не просто «PDF с архивированием». Это формат, определенный стандартами ISO, чтобы гарантировать, что документ будет открываться и выглядеть точно так же прямо сейчас, через десять и пятьдесят лет, независимо от того, какое программное обеспечение или шрифты были установлены для его чтения в этот момент.

Это приобретает большое значение, когда речь идет о регулировании. Такие правила, как GDPR, требуют, чтобы компания поддерживала целостность, конфиденциальность и доступность своих личных данных. Такие правила, как MiFID II, требуют, чтобы фирма хранила данные о переписке и транзакциях клиентов в течение многих лет в формате, который нельзя тайно изменить. Сделайте что-то не так, и вам могут грозить штрафы, измеряемые однозначными процентами от вашего годового дохода, что является значительной суммой для крупной компании.

Вот почему, когда Соответствие PDF/A отсутствует в архиве, это не считается проблемой технологии. Это считается проблемой соблюдения нормативных требований, и ответственность лежит на соответствующей фирме.

Наиболее распространенные причины, по которым файлы PDF/A не проходят проверку

Большинство сбоев PDF/A связано с коротким списком повторяющихся проблем. Вот где обычно все идет не так.

Шрифты, которые не встроены полностью

Несомненно, это самая распространенная причина проблемы. Для файла PDF/A все шрифты, используемые в документе, должны быть встроены в файл, чтобы зрителю не приходилось устанавливать шрифты на свой компьютер. Во многих случаях в PDF-файл встроена только часть шрифта, что обычно не проходит процесс проверки. В ходе прошлых исследований, проведенных с реальными файлами PDF/A, было замечено, что более половины случаев несоответствия возникают из-за шрифтов.

Независимые от устройства цветовые пространства

В соответствии с требованиями PDF/A цвет должен описываться с помощью независимых от устройства профилей ICC, чтобы обеспечить единообразную визуализацию независимо от того, какой монитор, принтер или прикладное программное обеспечение вы используете для просмотра документа. Интересно, что одна из наиболее частых ошибок при создании PDF/A связана с документом, основанным на некотором цветовом пространстве (например, простом sRGB), в котором отсутствует необходимый профиль ICC.

Метаданные, которые не соответствуют действительности

Каждый документ PDF/A должен содержать метаданные XMP, указывающие, какой версии PDF/A он соответствует (PDF/A-1, -2 или -3) и какому уровню соответствия (A, B или U). Непредоставление таких метаданных или предоставление их ошибочным или вводящим в заблуждение образом означает мгновенный сбой еще до начала аудита.

Беспорядочная история дополнительных обновлений

Инкрементное обновление добавляет дополнительные данные к существующему документу PDF без переписывания всего документа с нуля. Это удобный вариант для стандартных PDF-файлов, но для PDF/A-файлы, это делается осторожно:

• •PDF/A-1 вообще не допускает дополнительных обновлений. Любое редактирование должно привести к полной перезаписи файла.
• •В PDF/A-2 и PDF/A-3 разрешены дополнительные обновления; однако прилагаемые данные должны соответствовать остальной части документа. Например, добавление версии с использованием невстроенных шрифтов делает весь файл недействительным.
• •Номер версии в заголовке файла также должен совпадать с версией, объявленной во внутреннем каталоге документа. Несоответствие здесь легко пропустить и это простой способ не пройти проверку.

Преобразование документа в PDF/A не эквивалентно проверке PDF/A.

Это область, где спотыкаются многие компании; и это должно быть четко указано.

Преобразование берет документ независимо от его исходного формата (будь то документ Word, HTML-страница или PDF) и преобразует его в файл. PDF/файл. При этом программное обеспечение добавляет метаданные, которые удостоверяют вновь созданный файл как файл, совместимый с PDF/A.

Валидация — это совершенно другой процесс, при котором специальная программа проверяет, действительно ли файл соответствует всем требованиям для получения сертификата.

Но вот в чем особенность: метаданные, вставленные на этапе преобразования, являются утверждением, а не доказательством. В метаданных файла может содержаться информация о том, что он совместим с PDF/A-2b, но он не может пройти проверку PDF/A-2b.

Что еще хуже, многие бесплатные и с открытым исходным кодом Валидаторы PDF/A используйте эвристику, а не построчное сравнение со всей спецификацией. Это означает, что они часто заявляют, что документ «вероятно» действителен, что на первый взгляд может показаться хорошей новостью, но это определенно не так. Другой способ проверки соответствия — визуальный, когда кто-то просто открывает документ и проверяет, правильно ли он выглядит.

Как минимум, каждый файл PDF/A должен:

• •Встраивайте все шрифты, изображения и контент напрямую, без каких-либо внешних ссылок.
• •Полностью избегайте форм аудио, видео, JavaScript и XFA.
• •Пропустить сжатие LZW, шифрование и защиту паролем.
• •Дайте каждому полю интерактивной формы словарь правильного внешнего вида.
• •Храните метаданные, используя стандарт XMP.

Пропустите проверку, и вы поверите, что каждый из этих флажков отмечен правильно, даже не подтвердив это.

Уровни соответствия не являются взаимозаменяемыми

Еще одним скрытым источником неудачных проверок является несоответствие уровня соответствия, когда файл заявляет уровень соответствия, которому он на самом деле не соответствует.

Здесь стоит понять две вещи:

Сами стандарты отличаются друг от друга. PDF/A-1, PDF/A-2 и PDF/A-3 были опубликованы с разницей в несколько лет и не имеют одинаковых правил. PDF/A-1, например, не поддерживает прозрачность или слои и предлагает только уровни соответствия A и B. В PDF/A-2 добавлена ​​поддержка прозрачности, слоев и даже встраивания других файлов PDF/A, а также новый уровень U.

Уровни соответствия дополняют друг друга. Уровень U включает все необходимое для уровня B, а уровень A включает все необходимое для уровня U и многое другое. Выбор правильного уровня — это не просто техническая деталь, это решение, имеющее реальные последствия для того, насколько пригодным к использованию ваш архив будет через несколько лет. Например, архив претензий, в котором документы должны оставаться доступными для поиска и извлечения текста, требует как минимум уровня U. Сам по себе уровень B не может этого гарантировать.

Уровень U конкретно касается целостности текста. Это гарантирует, что базовый текст в формате Unicode в документе может быть надежно извлечен или найден позже, что имеет огромное значение для любого архива, который может потребоваться просмотреть или найти спустя годы после подачи.

Как на самом деле выглядит защищенный от аудита конвейер PDF/A

Защищенный процесс архивирования обычно имеет следующую форму:

Нормализовать исходный документ → Конвертировать в PDF/A → Проверить независимо → Архивировать файл.

Это шаг, который большинство организаций обычно пропускают, но это самый важный шаг. Если программное обеспечение, преобразующее файл в другую форму, является программным обеспечением, проверяющим процесс преобразования, все, что вам нужно сделать, — это проверить выходные данные, сгенерированные программным обеспечением, на основе спецификации, которую понимает программное обеспечение. Неверные интерпретации спецификации, выполненные программным обеспечением, не будут обнаружены до тех пор, пока файл не будет проверен независимым валидатором.

Надежный аудиторский след должен включать:

• •Запись о том, кто конвертировал каждый файл и когда
• •Название и версия используемого инструмента
• •Независимый отчет о проверке, подтверждающий заявленный уровень соответствия, в идеале с отметкой времени и хранимый вместе с самим документом.

Ожидается, что генерация и проверка будут выполняться разными системами; отчеты о валидации должны быть машиночитаемыми и сохраняться в качестве аудиторских доказательств; и соответствие между заявленным и фактическим содержанием должно быть реальным. Согласно GDPR и MiFID II, ответственность за обеспечение доказательства целостности полностью лежит на держателе архива, а не на поставщике программного обеспечения.

Заключение

Файл PDF/A, который не прошел независимую проверку, на самом деле является просто файлом, который надеется, что он соответствует требованиям. Это может быть нормально в течение многих лет, вплоть до тех пор, пока регулирующий орган не попросит просмотреть архив. Здание PDF/A проверка в конвейер как отдельный, независимый шаг — это то, что превращает обнадеживающий архив в защищенный, и создать привычку сейчас гораздо дешевле, чем заплатить штраф позже.

---