Эльбрус/llvm

LLVM

В современных версиях ОС Эльбрус имеется LLVM 9 (начиная с OSL 7.2 -- и llvm13), который может собирать код не только для платформ AMDGPU и с недавнего времени NVPTX (nVidia), но и для e2k. К примеру, для ОС Эльбрус 6.0.1:

   molchan_i@yukari ~ $ head -n1 /etc/mcst_version
   6.0.1
   molchan_i@yukari ~ $ llvm-config --version
   9.0.1
   molchan_i@yukari ~ $ llvm-config --targets-built
   Elbrus AMDGPU NVPTX

clang

В состав ОС Эльбрус также входит clang как экспериментальная альтернатива lcc, который также в некотором смысле умеет собирать ПО под Эльбрус. На данный момент он не считается доведённым до финала разработки и может быть использован на собственный страх и риск пользователя, но в некоторых случаях может оказаться предпочтителен (например, telegram-desktop 3.2 не удалось собрать lcc 1.25, в отличие от clang 9.0.1; при этом версию 4.3 собрали lcc 1.26).

Для примера - сборка архиватора plzip:

1. Выкачиваем исходники и распаковываем их:

   wget http://download.savannah.gnu.org/releases/lzip/lzlib/lzlib-1.12.tar.gz
   wget http://download.savannah.gnu.org/releases/lzip/plzip/plzip-1.9.tar.gz
   tar xf plzip-1.9.tar.gz
   tar xf lzlib-1.12.tar.gz

2. Создаём тестовый файл (заполненный рандомными значениями)

   dd if=/dev/urandom of=testfile count=1k bs=1k

3.1. Сборка (-O2):

   cd lzlib-1.12
   ./configure CC=clang
   make -j4
   cd ../plzip-1.9
   ./configure CXX=clang++ CXXFLAGS="-O2 -I../lzlib-1.12" LDFLAGS=-L../lzlib-1.12
   make -j8

3.2. Запуск (-O2):

   molchan_i@yukari ~/clang-demo/plzip-1.9 $ time ./plzip -fvk9 ../testfile
     ../testfile:  0.987:1, 101.36% ratio, -1.36% saved, 1048576 in, 1062887 out.
   
   real    0m2,165s
   user    0m2,071s
   sys     0m0,101s

Потом делаем cd ...

4.1. Сборка (-O4):

   cd lzlib-1.12
   ./configure CC=clang CFLAGS="-O4"
   make -j4
   cd ../plzip-1.9
   ./configure CXX=clang++ CXXFLAGS="-O4 -I../lzlib-1.12" LDFLAGS=-L../lzlib-1.12
   make -j8

4.2. Запуск (-O4):

   molchan_i@yukari ~/clang-demo/plzip-1.9 $ time ./plzip -fvk9 ../testfile
     ../testfile:  0.987:1, 101.36% ratio, -1.36% saved, 1048576 in, 1062887 out.
   
   real    0m2,390s
   user    0m2,308s
   sys     0m0,091s

Потом делаем cd ...

Вывод: указание оптимизаций не влияет на быстродействие (результат на -O4 оказался даже хуже).

Для сравнения, тот же plzip, но собранный без указания CC=clang и CXX=clang++ (то есть, штатным lcc):

В режиме -O2:

   molchan_i@yukari ~/clang-demo/plzip-1.9-lcc $ time ./plzip -fvk9 ../testfile
     ../testfile:  0.987:1, 101.36% ratio, -1.36% saved, 1048576 in, 1062887 out.
   
   real    0m0,811s
   user    0m0,743s
   sys     0m0,070s

В режиме -O4:

   molchan_i@yukari ~/clang-demo/plzip-1.9-lcc $ time ./plzip -fvk9 ../testfile
     ../testfile:  0.987:1, 101.36% ratio, -1.36% saved, 1048576 in, 1062887 out.
   
   real    0m0,692s
   user    0m0,598s
   sys     0m0,101s

Видно, что из коробки без настроек lcc даёт код, работающий быстрее в 2,7-3,5 раза, но когда что-то не собирается lcc (но при этом собирается clang-ом) - это хотя бы может дать возможность собрать и запустить что-то, что хочется запустить на эльбрусе.

llvm-cbe

Была попытка для сравнения использовать C-backend для LLVM - llvm-cbe.

Суть в том, что если штатный компилятор не может собрать исходный код (например, он ломается на этом коде, либо вообще нет компилятора для этого языка), мы преобразовываем исходный код в LLVM-IR, его с помощью llvm-cbe - в С-код (который сгенерён из LLVM-представления), а потом получившийся код собираем уже штатным С-компилятором.

Это выглядит примерно так:

   clang -S -emit-llvm -g входной_файл.c -o файл_llvm_представления.ll # Здесь может быть любой компилятор, генерирующий LLVM-IR-выхлоп (.ll-файл)
   llvm-cbe файл_llvm_представления.ll # Из *.ll будет создан *.cbe.c
   gcc -c -o выходной_объектный_файл.o файл_llvm_представления.cbe.c

На Intel-машине выяснено, что нынешний вариант умеет собираться только под LLVM 8, 9, 10 и 11 (6 и 7 слишком старые). Изначально он умел только в LLVM 10 и 11, но после принятия PR #131 LLVM 8-9 также починились. К счастью, на Эльбрусе есть LLVM 9.0.1, так что нам этого достаточно.

1. Выкачиваем исходники:

   git clone https://github.com/JuliaComputing/llvm-cbe
   cd llvm-cbe

2. Собираем для каждого из возможных LLVM и прогоняем unit-тесты

   for i in 8 9 10 11
   do
       echo -e "\n\e[1;33m************** $i ***************\n\e[0m"
       mkdir -p build-$i
       pushd build-$i
       cmake .. -DLLVM_DIR=/usr/lib/llvm-$i/cmake -DLLVM_INCLUDE_TESTS=1 && make -j16 llvm-cbe CBEUnitTests
       pushd unittests
       ./CWriterTest 
       popd
       popd
   done

3. Пробуем собрать и выполнить один из примеров (в ./main.cbe нужно будет ввести количество элементов и собственно сами элементы для сортировки):

   for i in 8 9 10 11
   do
       echo -e "\n\e[1;33m************** $i ***************\n\e[0m"
       pushd build-$i
       clang-$i -S -emit-llvm -g ../test/selectionsort/main.c
       tools/llvm-cbe/llvm-cbe main.ll
       gcc-10 -Wno-builtin-declaration-mismatch -o main.cbe main.cbe.c
       ./main.cbe
       rm -f main.ll main.cbe main.cbe.c
       popd
   done

4. Попытка собрать lzlib и plzip

   for i in 8 9 10 11
   do
       echo -e "\n\e[1;33m************** $i ***************\n\e[0m"
       pushd build-$i
   
       # Собираем объектник lzlib:
       clang-$i -S -emit-llvm -g ../lzlib-1.12/lzlib.c -I../lzlib-1.12 -o lzlib.ll
       tools/llvm-cbe/llvm-cbe lzlib.ll
       gcc-10 -Wno-builtin-declaration-mismatch -c -o lzlib.o lzlib.cbe.c
   
       # Собираем plzip (вручную):
       for src in arg_parser lzip_index list compress dec_stdout dec_stream decompress main
       do
   #        Увы, из-за issue-в, указанных ниже, собрать через llvm-cbe нельзя - собираем с помощью gcc
   #        clang++-$i -S -emit-llvm -g -I../plzip-1.9 -I../lzlib-1.12 -DPROGVERSION='"1.9-llvm-cbe"' -o $src.ll ../plzip-1.9/$src.cc
   #        tools/llvm-cbe/llvm-cbe $src.ll
   #        gcc-10 -Wno-builtin-declaration-mismatch -Wno-address-of-packed-member -c -o $src.o $src.cbe.c
           gcc -I./plzip-1.9 -I../lzlib-1.12 -DPROGVERSION='"1.9-llvm-cbe"' -c -o $src.o ../plzip-1.9/$src.cc
       done
   
       # Линкуемся с в том числе lzlib.o:
       g++ arg_parser.o lzip_index.o list.o compress.o dec_stdout.o dec_stream.o decompress.o main.o lzlib.o -lpthread -o plzip
       ./plzip -kv ../testfile -o testfile-$i.lz
       ./plzip -tv testfile-$i.lz
       popd
   done

Из за нескольких проблем (issue 132, 133, 134, 138) llvm-cbe не может собрать всё целиком, поэтому для исходников plzip приходится использовать обычный gcc/lcc.

Видим, что все собранные plzip-ы отработали нормально.

5. И наконец, с учётом полученной информации, собираем под эльбрус. LCC не понимает комментария препроцессора "line 0", поэтому в CBE-выхлопе его надо заменять:

   git clone https://github.com/JuliaComputing/llvm-cbe
   cd llvm-cbe
   mkdir -p build
   cd build
   cmake .. && make -j16 llvm-cbe
   
   wget http://download.savannah.gnu.org/releases/lzip/lzlib/lzlib-1.12.tar.gz
   wget http://download.savannah.gnu.org/releases/lzip/plzip/plzip-1.9.tar.gz
   tar xf plzip-1.9.tar.gz
   tar xf lzlib-1.12.tar.gz
   
   dd if=/dev/urandom of=testfile count=1k bs=1k
   
   export OPT=-O2
   
   clang -S -emit-llvm -g lzlib-1.12/lzlib.c -Ilzlib-1.12 -o lzlib.ll
   tools/llvm-cbe/llvm-cbe lzlib.ll
   sed -i 's/#line 0/#line 1/' lzlib.cbe.c
   lcc $OPT -c -o lzlib.o lzlib.cbe.c
   
   for src in arg_parser lzip_index list compress dec_stdout dec_stream decompress main
   do
       l++ $OPT -Iplzip-1.9 -Ilzlib-1.12 -DPROGVERSION='"1.9-llvm-cbe"' -c -o $src.o plzip-1.9/$src.cc
   done
   
   l++ $OPT arg_parser.o lzip_index.o list.o compress.o dec_stdout.o dec_stream.o decompress.o main.o lzlib.o -lpthread -o plzip
   time ./plzip -fvk9 testfile

Результаты (-O2):

   molchan_i@yukari ~/clang-demo/llvm-cbe/build $ time ./plzip -fvk9 testfile
     testfile:  0.987:1, 101.36% ratio, -1.36% saved, 1048576 in, 1062887 out.
   
   real    0m1,412s
   user    0m1,338s
   sys     0m0,081s

Результаты (-O4; для этого заменяем export OPT=-O2 на export OPT=-O4):

   molchan_i@yukari ~/clang-demo/llvm-cbe/build $ time ./plzip -fvk9 testfile
     testfile:  0.987:1, 101.36% ratio, -1.36% saved, 1048576 in, 1062887 out.
   
   real    0m1,385s
   user    0m1,293s
   sys     0m0,081s

Результаты (без указания оптимизаций; для этого заменяем export OPT=-O2 на export OPT=):

   molchan_i@yukari ~/clang-demo/llvm-cbe/build $ time ./plzip -fvk9 testfile
     testfile:  0.987:1, 101.36% ratio, -1.36% saved, 1048576 in, 1062887 out.
   
   real    0m7,569s
   user    0m7,517s
   sys     0m0,062s

Внезапно, с оптимизациями получилось даже быстрее, чем если собирать нативным clang-ом. А вот без оптимизаций результат в 10 раз медленнее нативного lcc.