В зависимости от требований к механике импорта контента сайт/программа покупателя может не поддерживать формат документов XLS не взирая на сложность структуры данных. Для приведения файла к соответствующему виду и структуре применяем открытый пакет LibreOffice или Apache OpenOffice (для преобразования в CSV подойдут оба и окна одинаковые, для преобразования в XML рекомендуется второй вариант). Ниже представлены варианты, как преобразовать данные из документа XLS в нужный вид.

Скачиваем контент в XLS

1. Формируем выборку. Выгрузка с сайта ограничена 1500 позициями за раз, так что рекомендуется скачивать контент в несколько итераций. Для этого необходимо либо воспользоваться фильтрами из правой колонки, либо зайти в категорию. Цель: при ограничении выборки список товаров должен иметь не более 93 страниц включительно при отображении "16 товаров на страницу" в селекторе товаров
2. Скачиваем документ нажав кнопку Скачать контент в XLS
3. Открываем документ в libreOffice.

Для начала определяем, в каком виде нужен документ и зачем? от этого зависит - употребит ли документ целевая система или нет.

В какой формат преобразовывать?

• в СSV
• в XML-подобные форматы

Что такое XML, чем он отличается от YML, KML и других подобных форматов данных.

И YML, и KML и даже HTML можно интерпретировать, как XML, ведь по сути они являются языками одного семейства SGML. XML предназначался, как свободно расширяемый язык для передачи структурированных данных, достаточно понятный как людям, так и машинам, когда в период бурного развития Web вылезла боком ограниченность HTML. Но и HTML и KML и YML объединяет то, что вне зависимости от своего предназначения, в каждом из трёх есть известный набор тегов со своими параметрами и требованиями к содержанию. У XML ограничения в тегах и их комбинировании нет, есть лишь ограничения в синтаксисе языка, таким образом с помощью алгоритма формирующего данные в формате XML-документа, можно создать любой из выше перечисленных документов, просто имея понимание, какой вид каждого поля нужен программе, что будет принимать на вход этот файл.

Преобразование в структуру XML

Табличный документ можно преобразовать в XML дерево данных, для систем, что требуют сразу структурированные данные. Однако требования для реализации подобной задачи намного выше, чем просто взять и сохранить файл в нужном формате и с необходимым разделителем (ведь XML сам по себе не знает, в каком виде нужны данные на выходе). Ниже будет описан метод создания механизма, позволяющего создать XML при помощи Apache OpenOffice и созданного шаблона XSLT (он описывает структуру получаемого документа).

Для реализации этого метода необходимо "объяснить" программе, какие данные и в каком виде вносить. Для этой цели и существует XSLT-файл. Он в сути себя "трафарет", на заготовленные места которого выводятся данные. Впрочем, алгоритм действий по-порядку:

1. Скачиваем файл XLS
2. Определяем те данные, что нужны в выходном файле
3. Создаём образцовый XML выходного файла, который бы получился имей таблица всего одну строку с информацией
4. Копируем образец XML сохраняя его с расширением *.xsl
5. Создаём "Фильтр XML"
6. Подключаем xsl файл, как фильтр экспорта
7. Проверяем возможность экспорта в данный формат.
8. Заменяем статичные конструкции макросами.
9. Проверяем работоспособность получившегося модуля.
10. Исправляем ошибки.
11. Повторяем предыдущие два пункта.

Основные структуры и конструкции в XSLT

Как и в программировании, шаблон XML файла может иметь довольно развитую структуру, что позволяет использовать один и тот же шаблон для более широкого круга задач, в сравнении с полностью статичным шаблоном подстановки. Да и шаблон в такой ситуации мог быть соразмерен с выходным документом, что порождает очень много мест для возникновения "механических ошибок", которые довольно трудно вычислить. Ниже будут рассмотрены шаблоны возможных паттернов программирования.

Подробная информация о шаблонах XSLT доступна по ссылке ниже, а в данной инструкции будут рассмотрены только базовые элементы в той форме, в которой они применяются для данной задачи:
https://xsltdev.ru/xslt/

Заголовок файла XSLT

Пример:

С подобного текста начинаются все файлы XSLT. Первая строка хранит в себе информацию о версии документа (1.0) и его кодировке (UTF-8).
Корневым элементом XSLT-документа всегда является элемент xsl:stylesheet .
Строки с третьей по седьмую отвечают за подключение данных из документа OpenOffice в соответствующие переменные. Рекомендуется оставить эту всю конструкцию как есть в шаблоне файла.

Элемент xsl:output позволяет указывать, каким образом должно быть выведено результирующее дерево.
Атрибут method указывает, каким образом будет выводиться выходной документ. В текущем разборе используется метод вывода "xml", однако доступны такие методы, как "html" и "text".
Атрибут indent включает или выключает отступы. Без отступов файл будет занимать меньше памяти, но удобен только для машинной обработки. С отступами файл будет занимать больше места из-за большого количества пробельных знаков и переносов строки, но при этом неоспоримым плюсом будет возможность проанализировать его вручную. Может принимать значения "yes" или "no".
Атрибут encoding указывает кодировку выходного файла. Этот параметр должен совпадать с указанным в первой строке. В противном случае - имеем шанс получить "кракозябры".
Атрибут omit-xml-declaration определяет, нужно ли включать декларацию XML (первая строка) в выходящий документ или нет. Значением этого атрибута должно быть либо "yes" (пропустить декларацию), либо "no" (включить декларацию в выходящий документ).
Атрибут doctype-system определяет системный идентификатор, который должен быть использован в декларации типа документа (DTD).

Элемент верхнего уровня xsl:template определяет в преобразовании шаблонное правило, или просто шаблон.
Атрибут match задает паттерн — образец узлов дерева, для преобразования которых следует применять этот шаблон. В нашем случае он подключается к блоку "table", чтобы можно было получать данные из таблицы.

Элемент xsl:attribute добавляет в текущий элемент дерева XML атрибут.
Атрибут name задает название атрибута, а в тело тега вносится его значение.

Элемент xsl:element добавляет в текущий элемент дерева XML вложенный элемент.
Атрибут name задает название элемента, а в тело тега вносится его значение.

Элемент xsl:variable используется для создания переменных.
Атрибут name задает имя переменной, а select принимает присваемое переменной значение.

Элемент xsl:if позволяет создавать простые условия типа "если-то".

Элемент xsl:for-each позволяет создавать циклы с перебором массивов.

Элемент xsl:when позволяет создавать циклы с условным оператором.

Дополнительные данные можно найти по ссылкам ниже:

• Описание синтаксиса XSLT
• А тут ищем структуру документа Описание формата OpenDocument
• Полезные плюшки по работе со строками и массивами шпаргалка по функциям XSLT и XPath

Механизмы адресации в XSLT или "Как сказать, что куда вставлять?"

По сути есть два основных метода адресации в шаблонах XSLT (говорю основных, ибо больше как-то не придумалось). Первый - это адресация данных по номерам столбцов. Проще говоря, за определённым номером столбца закреплены свои данные. Если таблица собирается не руками, а какой-нибудь программой - вполне себе жизнеспособный вариант. Также, поскольку у нас в выгружаемой табличке есть первая строка с заголовками столбцов (она же "индексная строка"), мы можем использовать эти заголовки в качестве подсказок, что делать с той ячейкой, на которой мы сейчас стоим. Ниже, в качестве примера, была приложена табличка с контентом, которую можно получить, отфильтровав ряд товаров и нажав кнопку:

Ниже пример таблицы:

Теперь мы сделаем код который сделает из этой таблички дерево данных, которое нам нужно в конечном итоге. Ниже я буду прикладывать блоки кода с объяснениями принципа их работы в той форме, с которыми можно работать просто собирая их как кубики.

Создаём шаблон:

Первым делом создаём файл, который будет хранить наш шаблон. Я назвал его "DD_XML_EXPORT_TEMPLATE.xsl" (назвать файл можно как угодно в пределах требований операционной системы вашего ПК, но расширение обязательно .XSL). На этом этапе это просто пустой документ. Заполнять мы его будем дальше, а сейчас просто поясним программе OpenOffice Calc, что ей надо будет использовать этот файл, как шаблон при экспорте в созданный нами формат.

Теперь в OpenOffice Calc переходим в меню Сервис/Настройка фильтров XML... и создаём профиль экспорта. Да, экспорта, а не сохранения, т. к. мы создаём совсем свой формат документа. Получаем список поддерживаемых форматов файлов (на скриншоте профиль уже создан, а нам надо его ещё только создать). Нажимаем кнопку "Создать".

Нам открывается окно в котором мы описываем то, как называется наш "новый формат" документа и теперь стоит задача его заполнить. Заполняем имя фильтра (используется в списке с предыдущей иллюстрации). Указываем в выпадающем списке, что работать этот фильтр будет с табличным редактором "OpenOffice Calc (.ods)". Указываем подсказку к типу файла в диалоге сохранения, например "DD XML". И в завершение этого этапа указываем расширение файла "xml". Т. к. вывод файла у нас будет иметь структуру соответствующую языку разметки XML, то и расширение я ввёл соответствующее. Также надо об этом задуматься по той причине, что у ряда механизмов импорта стоит фильтр на попытки скормить им файл с неверным типом.

Что же, профиль экспорта мы заполнили, теперь надо объяснить программе, что при экспорте в формат "DD XML (*.xml)" мы хотим, чтоб OpenOffice руководствовался шаблоном, документ которого мы создали. Переходим на вкладку трансформация и в указании "XSLT для экспорта" указываем путь к созданному ранее файлу шаблона. Желательно конечно его хранить вместе с подобными (C:\Program Files (x86)\OpenOffice 4\share\xslt\export\"формат файла"\шаблон.xsl), но для примера я его просто кинул в директорию поближе к корню диска.

Ура! Теперь при экспорте табличного документа OpenOffice будет предлагать нам сохранить его в нашем формате! Проверить, что формат доступен можно в меню "Файл\Экспорт..."

Пора писать код!

С помощью текстового редактора c подсветкой синтаксиса (Notepad++, Atom, VSCode, jEdit или аналог) открываем созданный ранее файл. И добавляем в него шапку.

Далее перед закрывающим тегом </xsl:stylesheet> добавляем "шаблон" с параметром match - равным корневому параметру. Далее будем его называть входным шаблоном.

Внутрь входного шаблона добавляем основной костяк документа (основные теги и прочие элементы структуры, можно просто скопировать кусок образцового документа с минимальным наполнением). После чего пробуем экспортировать документ. Если ошибок нет - при экспорте будет получен файл с заголовком XML и тем, что было помещено во входной шаблон. Если где-то есть опечатка или неверный порядок закрытия тегов - будет вылезать ошибка экспорта, как ниже.

Для примера будем рассматривать за основу YML-документ, собственно из него и возьмём костяк. Его код будет ниже с комментариями, что находится где находится и как.

Для начала у нас есть корневой тег <yml_catalog> у которого есть атрибут "date", в котором хранится дата сохранения. Внутри него есть тег <shop> - который отделяет информацию об одном отдельном магазине. Внутри этого тега есть данные о самом магазине и есть список из товаров в теге <offers>. Каждый отдельный товар находится в своём теге <offer>, но об этом мы будем говорить, когда дело дойдёт именно до описания карточки каждого отдельного товара. На текущий момент у нас есть основа выходного файла. Проверяем, что всё выводится как надо, и далее пробуем наполнять эту структуру данными.

Параметры магазина

Параметры магазина - не самая важная вещь, когда дело касается импорта одного набора контента в один свой магазин собранный на CMS OpenCart или аналоге. Но если нужно передавать какую-то служебную информацию, или наборы данных по товарам собираются воедино из или для нескольких магазинов сразу. Например на одном сайте есть ряд магазинов, каждому свой ассортимент. Для этого и нужны свойства магазина. В данном вопросе есть два варианта: или захардкодить (вписать блок текста, как есть и изменить эти данные можно только отредактировав шаблон, и для каждого набора данных - делать свой файл экспорта), или же сделать выгрузку из пользовательских свойств документа. Для первого варианта - не делаем ничего вообще. У нас этот блок текста находится уже в коде. Для второго - воспользуемся следующим блоком кода. Ниже расскажу, как он работает.

У формата OpenDocument есть набор свойств документа, или как в оригинальной документации указано, метаданных. Они описывают все данные об авторе документа, дате создания и последнего изменения, а также произвольные данные. Вот этой функцией мы и воспользовались. Код выше получает из блока метаданных раздел пользовательских и далее создаёт для каждого свойства свой тег, внутрь которого помещает значение этого свойства. Таким образом для того, чтоб изменить какое-либо свойство из набора - нужно просто зайти в свойства документа и сделать правку. Снимок слева отображает данные, которые были бы введены в свойства документа, чтоб получить текст такой же, как и в шаблоне документа описанном ранее. Но указывать можно произвольный набор полей.

А теперь самое весёлое - разбираем табличку!

Для начала в входном шаблоне пропишем ссылку на шаблон обрабатывающий таблицу. Для этого внутрь тега <offers> вставляем код:

Таким образом при обработке табличной части документа обработчик экспорта будет вносить данные шаблона работающего с таблицей. Ниже - после закрытия входного шаблона, создаём шаблон, который мы вызвали предыдущей строкой, и сразу же описываем механизм перебора строк и ячеек строки.

Данный шаблон - это классический обход массива массивов. Если говорить терминами объектно-ориентированного программирования, таблица - это массив объектов типа "строка", а каждый объект типа "строка" - массив объектов типа "ячейка". Проведём аналогию с книжной полкой на которой стоит сборник томиков Артура Конан-Дойля. Для того, чтоб прочитать информацию с третьего томика на 86-й странице, нужно сначала взять книгу №3, открыть её и пролистать до 86-й страницы. Сначала идёт перебор строк ("томиков"). Начиная со второй строки, каждая строка перебирается по ячейкам. Если порядковый номер ячейки или название столбца проходит по условию - берём содержимое этой ячейки и определённым образом обрабатываем. Ниже мы разберём основную конструкцию для выбора и два основных варианта определить, что делать с полученным элементом, то есть два основных метода адресации.

When - индексное условие для инструкции селектора choose, некий аналог switch-case из более широко известных языков программирования. В отличие от стандартного case -условия, в when - условия можно комбинировать, как в обычном условном операторе с помощью инструкций OR (или), AND (и) и NOT (не).

Виды адресации

В рамках работы с таблицей, я могу выделить два основных варианта определения типа содержания, это или работа с номером столбца или же работа по индексной строке. Работа с номером столбца - проще, но при изменении структуры таблицы - файл получается кривым. Ведь в обработчик, который написан под один тип данных - скармливают совсем другие. И эффект от такого неизвестен. Вариант с работой с индексной строкой - лучше, т. к. он универсален. Отсутствие данных по какому-либо блоку можно просто игнорировать. Также выделение обработчиков по виду данных в ячейке экономит код простым перечислением условий через инструкцию ИЛИ.

Адресация по номеру столбца

Как говорилось ранее - просто вбиваем номер столбца считая от 1 слева-направо. Если информация хранится в нескольких столбцах перебираем все через OR (или). Выглядит это следующим образом:

Или

Если столбцы расположены рядом, то можно задать диапазон значками "больше", "меньше", "больше или равно", "меньше или равно", указав набор условий через "И".

Естественно условия можно комбинировать в более замысловатые конструкции. В зависимости от требований и решений, таким образом можно легко и изящно завернуть в один обработчик данные из множества столбцов, а это избавляет нас от спагетти-кода. Главное не забывать комментировать, что есть что.

Параметрическая адресация или же адресация по "индексной строке".

Как ясно из названия, то, как мы будем обрабатывать тот или иной столбец - зависит от неких "параметров". В коде ниже в роли параметров будут использованы заголовки столбцов. Этот метод немножечко сложнее, но он и в разы лучше и вот почему:

1. Порядок столбцов не важен от слова "совсем".
2. Если во входном документе добавился новый столбец - шаблон править не нужно.
3. Шаблон становится более понятным и лёгким в редактировании.
4. Можно изменять наполнение выходного файла в соответствии с желаниями пользователя без правки кода шаблона.

В принципе всё усложнение кода заключается в добавлении одной переменной, в которую выгружается значение названия столбца (другими словами значение "индекса"). Дальше всё просто сводится к сравнению не чисел, а текстовых строк заключенных в одинарные кавычки. Вот пример этой переменной.

Дальше используем сравнение строковых констант, которые можно собирать через логические операторы.

Но можно также работать и с подстроками, Например: есть столбцы называющиеся "Специальные характеристики" и "Подробные характеристики". Второе слово у них совпадает, плюс сами характеристики структурированные (при заполнении работал шаблон "Название характеристики": "Значение характеристики") - так что можно их обработать одним махом. Таким образом вместо перебора каждого условия,запишем в коде contains($colName, "характеристики") и под условие попадут оба варианта, но не попадёт вариант "Характеристики" из-за первой большой буквы. Для того, чтоб сработало условие и на него - либо оборачиваем $colName в функцию lower-case(). Получается конструкция contains(lower-case($colName), "характеристики").

Обработчики ячеек

Разобравшись с вопросом "Что может лежать в ячейке, на которой я сейчас нахожусь?", зададимся вопросом того "как это вывести в выходной файл?". Ниже я прилагаю примеры кода, используемые для вывода информации о товаре. Далее по тексту руководствуемся таким порядком: краткое название, пример(ы) кода и как оно работает. Так будет проще всего понять суть. Для копипаста - суть важно, что куски кода будут отображаться с рассчётом на то, что вставлять их надо будет внутрь блока <when> с условием выбора, методы сборки которых были рассмотрены выше.

Добавить атрибут тегу, внутри которого находимся

Шаблон:

Пример:

Тут всё просто. Тег xsl:attribute говорит обработчику, что надо в тег, внутри которого находится этот тег, добавить атрибут с именем "id" и передать ему тегущее значение ячейки.

Создать самостоятельный тег

Тут есть два варианта. Можно просто написать тег, как есть, а можно вызвать метод xsl:element и передать ему значение.

Шаблон:

Пример:

Варианты выбора того или иного метода зависят от стиля написания и динамичности тега. Например если значение ячейки требуется преобразовать в тег - то лучше использовать спец-тег. А в случае прямого вывода - можно указать тег нативно.

ПОЛУЧИТЬ ПРЕДЛОЖЕНИЕ ОТ ДРОПШИППИНГ ПОСТАВЩИКА ИГРУШЕК "ПРЯМЫЕ ДИСТРИБЬЮЦИИ"