私はjqを使ってjsonファイルを読み込み、ファイルのきれいなバージョンを書くシェルスクリプトを書いています。 cat input.json | jq . > pretty.json cp pretty.json ./input.json rm pretty.json 2行と3行が必要な理由は次のとおりです。 cat input.json | jq . > input.json ファイルを空白のままにすると、一時ファイルを使用せずにshell / jqを使用してファイルを美しくする方法はありますか？
私は現在私のプログラムの1つで大容量ログファイルを処理するbashスクリプトを作成しています。初めて起動したときにスクリプトが完成するのに15秒ほどかかりましたが、悪くないレベルなのに改善したいと思います。キューを実装しmkfifo、解析時間を6秒に短縮しました。スクリプトの解析速度を向上させる方法があるかどうかを尋ねたいと思います。 現在のスクリプトバージョン： #!/usr/bin/env bash
# $1 is server log file
# $2 is client logs file directory
declare -A orders_array
fifo=$HOME/.fifoDate-$$
mkfifo $fifo
# Queue for time conversion
exec 5> >(exec stdbuf -o0 date -f - +%s%3N >$fifo)
exec 6< $fifo
# Queue for ID extraction
exec 7> >(exec stdbuf -o0 grep -oP '[0-9a-f]*-[0-9a-f]*-[0-9a-f]*-[0-9a-f]*-[0-9a-f]*' >$fifo)
exec 8< $fifo
rm $fifo
while read line; do
order_id=${line:52:36};
echo >&5 "${line:1:26}"
read -t 1 -u6 converted_time
orders_array[$order_id]=$converted_time
done < <(grep -ah 'MarketOrderTransitions.*\[MarketMessages::OrderExecuted\]' $1)
while read line; do
echo >&7 "$line"
read -t 1 -u8 id
echo >&5 "${line:1:26}"
read -t 1 -u6 converted_time
time_diff="$(($converted_time - orders_array[$id]))"
echo "$id -> $time_diff ms"
done < <(grep -ah 'Event received (OrderExecuted)' $2/*market*.log)
このスクリプトの基本的な作業は、クライアントとサーバーのログファイルからメッセージのタイムスタンプを抽出し、一致するメッセージIDを見つけて、メッセージを送信するサーバーとメッセージを受信するクライアントの間の経過時間（ミリ秒）を計算することです。 最初のwhileループはかなり速く（1.5秒）完了しますが、2番目の部分（私の推測ではgrep）は時間がかかります。 テスト中のエンジンファイルの長さは約500,000行です。また、約700個のクライアントログファイル（合計130万行）があります。 注文IDはサーバーファイルの固定場所にありますが、クライアントログでそれを見つけるにはgrepする必要があります。 編集する： 提案どおりに入力ファイルの例を追加します。サーバー： [2022-12-07 07:36:18.209496] [MarketOrderTransitionsa4ec2abf-059f-4452-b503-ae58da2ce1ff] [info] [log_process_event] [MarketMessages::OrderExecuted]
[2022-12-07 07:36:18.209558] [MarketOrderTransitionsa4ec2abf-059f-4452-b503-ae58da2ce1ff] [info] [log_guard] [[True] (lambda at ../subprojects/market_session/private_include/MarketSession/MarketOrderTransitions.hpp:81:24)]
[2022-12-07 07:36:18.209564] [MarketOrderTransitionsa4ec2abf-059f-4452-b503-ae58da2ce1ff] [info] [log_state_change] [GatewayCommon::States::New --> GatewayCommon::States::Executed]
[2022-12-07 07:36:18.209567] [MarketOrderTransitionsa4ec2abf-059f-4452-b503-ae58da2ce1ff] [info] [log_action] [(lambda at ../subprojects/market_session/private_include/MarketSession/MarketOrderTransitions.hpp:57:25) for event: MarketMessages::OrderExecuted]
[2022-12-07 07:36:18.209574] [MarketOrderTransitionsa4ec2abf-059f-4452-b503-ae58da2ce1ff] [info] [log_process_event] [boost::sml::v1_1_0::back::on_entry
mycomp.com私は、Debian 11サーバー（BIND 9.16.33-Debian）に次の（配信された）ゾーンファイル（もちろん実際の名前ではない）を使用して会社のLAN用のDNSサービスを設定しました。 # cat forward.mycomp.com.db ; ; BIND data file for local loopback interface ; $TTL 604800 @ IN SOA ns1.mycomp.com. root.ns1.mycomp.com. ( 2 ; Serial 604800 ; Refresh 86400 ; Retry 2419200 ; Expire 604800 ) ; Negative Cache TTL ; ;@ IN NS localhost. ;@ IN A 127.0.0.1 ;@ IN AAAA ::1 @ IN NS ns1.mycomp.com. ns1 IN A 192.168.50.9 www IN A 77.66.11.123 bonsai IN A 192.168.50.149 ... すべてのPCは内部DNSを指します。 # cat /etc/resolv.conf # Generated by NetworkManager search mycom.com nameserver 192.168.50.9 今問題は、会社のウェブサイトも呼び出されることです。これを含めてmycomp.comみましたが、正しいアドレスで確認されているために動作しますが、エイリアスにすぎないため、まだLAN内からWebサイトにアクセスできません。検索で正しい方向に行っていることがわかりますが、ブラウザで。wwwforward.mycomp.com.dbwww.mycomp.commycomp.commycomp.commycomp.com
単一のIPアドレスがsshすぐにエラーを返す最も奇妙なエラーが発生しました。 arthur@arthur-laptop:~$ ssh 192.168.1.85 tilde_expand: No such user .ssh オートコンプリートやそのような問題だと思います。この問題を解決するには、どこに行くべきかわかりません。 いくつかの情報ポイント： rootでコマンドを実行してもエラーは表示されません 別のIPアドレスを使用している場合、このエラーは発生しません（192.168.1.85でのみ失敗します）。 which ssh返品/usr/bin/ssh .bash_aliases、または.bash_profileに奇妙なエイリアスはありません。bash_logout 私は何も知らない。どうやらどこかに奇妙なエイリアスが設定されていますが、どこを見るべきかわかりません。どんな手がかりがありますか？
私はSSHログインにYubikeyを使い始めました。これガイド。 うまくいきますが、YubikeyがOTPを実行できる場合にのみ可能です。私は何度も誤ってキーを押して不要な場所にランダムな文字列を振りかけた後にPIVのみを使用しているので、OTPを無効にできると思いました。 証明書/キーが存在し、動作しています。 $ ykman --version YubiKey Manager (ykman) version: 5.1.0 $ cat /etc/fedora-release Fedora release 38 (Thirty Eight) $ ykman piv info PIV version: 5.4.3 PIN tries remaining: 3/3 Management key algorithm: TDES CHUID: No data available CCC: No data available Slot 9A (AUTHENTICATION): Algorithm: ECCP256 Subject DN: CN=SSH key Issuer DN: CN=SSH key Serial: 14009452700000000000 Fingerprint: 1fa375971a89c6f82f3b73218f717cb1d031fbd61c94965qqqqqqqqqqqqqqqqq Not before: 2023-03-10T10:02:12 Not after: 2024-03-09T10:02:12 OTPを無効にできます。 $ ykman config usb --list OTP FIDO U2F FIDO2 OATH PIV OpenPGP $ ykman config usb --disable OTP USB configuration changes: Disable OTP The YubiKey will reboot Proceed? [y/N]: y $ ykman config usb --list FIDO U2F FIDO2 OATH PIV OpenPGP ただし、これを実行すると、SSHは機能しなくなり、予想されるキーベースのログインではなくパスワードを入力するように求められます。 OTPを再度有効にできます。 $ ykman config usb --enable OTP USB configuration changes: Enable OTP The YubiKey will reboot Proceed? [y/N]: y これにより、SSH機能が復元されます。 PIVが機能するためになぜOTPを有効にする必要があるのですか？
私はすでに1つのマスター（192.168.130.32）、4つのスレーブ（192.168.130.35）、および2つの特権サーバー（192.168.130.33）を持っています。 私のポイントは、外部DNSサーバーからRPZ（192.168.130.37）をインポートすることですが、この構成を次のように分割したいと思います。 2つのACL（最初の192.168.1.0/24と2番目の192.168.2.0/24）があります。最初のACLのみがRPZゾーンを使用するように有効にし、2番目のACLはインターネットと同じようにアクセスできる必要があります。すべてのコンテンツ。 私の基本設定： acl "sleivai" { 192.168.130.33; 192.168.130.35; }; masters "notify_slaves" { 192.168.130.33; 192.168.130.35; }; options { directory "/var/cache/bind/"; query-source address 192.168.130.32; notify-source 192.168.130.32; transfer-source 192.168.130.32; port 53; allow-new-zones yes; pid-file "named.pid"; listen-on { 192.168.130.32; }; listen-on-v6 { none; }; recursion no; allow-transfer { "sleivai"; }; notify explicit; version none; also-notify { "notify_slaves"; }; response-policy { zone "filter.local"; }; }; //These are default zones for every BIND server. Root hints are commented out: include "/etc/bind/named.conf.default-zones"; zone "filter.local" { type slave; file "/var/cache/bind/filter.local.db"; allow-transfer { "sleivai"; }; notify explicit; masters { 192.168.130.37; }; allow-query { "sleivai"; localhost; }; }; zone "catalog.forward" { type master; file "/etc/bind/zonesforward/catalog.forward.db"; also-notify { "notify_slaves"; }; allow-transfer { "sleivai"; }; notify explicit; allow-query { "sleivai"; localhost; }; }; これは私のスレーブ構成です。 acl "trusted" { localhost; 192.168.0.0/16; }; acl "blocked" { 192.168.1.0/24 }; acl "not_blocked" { 192.168.2.0/24 }; //Global BIND options. options { directory "/var/cache/bind/"; memstatistics-file "/var/cache/bind/mem.stats"; max-cache-size 2000m; query-source address 192.168.130.35; notify-source 192.168.130.35; transfer-source 192.168.130.35; port 53; pid-file "named.pid"; listen-on { 192.168.130.35; }; listen-on-v6 { none; }; notify no; allow-recursion { "trusted"; }; allow-transfer { none;}; allow-notify { 192.168.130.32; }; version none; disable-empty-zone "10.IN-ADDR.ARPA"; response-policy { zone "filter.local"; }; catalog-zones { zone "catalog.forward." zone-directory "/var/cache/bind" in-memory no default-masters { 192.168.130.32; }; }; }; //These are default zones for every BIND server. Root hints are commented out: include "/etc/bind/named.conf.default-zones"; zone "filter.local" { type slave; file "/var/cache/bind/filter.local.db"; masters { 192.168.130.32; }; allow-query { 192.168.130.32; localhost; }; //This is the forward/advertising catalog. It contains all name to IP address mapping zone "catalog.forward" { type slave; file "/var/cache/bind/catalog.forward.db"; masters { 192.168.130.32; }; allow-query { 192.168.130.32; localhost; }; };
ドッカーファイルは次のとおりです。 FROM jenkins:2.60.3 ENV DEBIAN_FRONTEND=noninteractive USER root ARG DOCKER_GID=497 RUN groupadd -g ${DOCKER_GID:-497} docker ARG DOCKER_ENGINE=1.10.2 ARG DOCKER_COMPOSE=1.6.2 # Install base packages for docker, docker-compose & ansible RUN apt-get update -y && \ apt-get install apt-transport-https curl python-dev python-setuptools gcc make libssl-dev -y && \ easy_install pip # Install docker engine RUN apt-key adv --keyserver hkp://p80.pool.sks-keyservers.net:80 --recv-keys 58118E89F3A912897C070ADBF76221572C52609D && \ echo "deb https://apt.dockerproject.org/repo ubuntu-trusty main" | tee /etc/apt/sources.list.d/docker.list && \ apt-get update -y && \ apt-get purge lxc-docker* -y && \ apt-get install docker-engine=${DOCKER_ENGINE:-1.10.2}-0~trusty -y && \ usermod -aG docker jenkins && \ usermod -aG users jenkins # Install docker compose RUN pip install docker-compose==${DOCKER_COMPOSE:-1.6.2} && \ pip install ansible boto boto3 # Change to jenkins user USER jenkins # Add jenkins plugin COPY plugins.txt /usr/share/jenkins/plugins.txt RUN /usr/local/bin/plugins.sh /usr/share/jenkins/plugins.txt 次のエラーが発生します。 Step 9/14 : RUN apt-get update -y && apt-get install apt-transport-https curl python-dev python-setuptools gcc make libssl-dev -y && easy_install pip ---> Using cache ---> 297087071292 Step 10/14 : RUN apt-key adv --keyserver hkp://p80.pool.sks-keyservers.net:80 --recv-keys 58118E89F3A912897C070ADBF76221572C52609D && echo "deb https://apt.dockerproject.org/repo ubuntu-trusty main" | tee /etc/apt/sources.list.d/docker.list && apt-get update -y && apt-get purge lxc-docker* -y && apt-get install docker-engine=${DOCKER_ENGINE:-1.10.2}-0~trusty -y && usermod -aG docker jenkins && usermod -aG users jenkins ---> Running in 10daeb70c472 Warning: apt-key output should not be parsed (stdout is not a terminal) Executing: /tmp/apt-key-gpghome.ls7Ck5WuuS/gpg.1.sh --keyserver hkp://p80.pool.sks-keyservers.net:80 --recv-keys 58118E89F3A912897C070ADBF76221572C52609D gpg: key F76221572C52609D: public key "Docker Release Tool (releasedocker) <[email protected]>" imported gpg: Total number processed: 1 gpg: imported: 1 deb https://apt.dockerproject.org/repo ubuntu-trusty main Get:1 http://security.debian.org/debian-security stretch/updates InRelease [94.3 kB] Ign:2 http://deb.debian.org/debian stretch InRelease Get:3 http://deb.debian.org/debian stretch-updates InRelease [91.0 kB] Hit:4 http://deb.debian.org/debian stretch Release Get:5 http://security.debian.org/debian-security stretch/updates/main amd64 Packages [500 kB] Get:6 https://apt.dockerproject.org/repo ubuntu-trusty InRelease [48.7 kB] Get:8 https://apt.dockerproject.org/repo ubuntu-trusty/main amd64 Packages [7033 B] Fetched 741 kB in 1s (606 kB/s) Reading package lists... Reading package lists... Building dependency tree... Reading state information... Package 'lxc-docker' is not installed, so not removed Package 'lxc-docker-virtual-package' is not installed, so not removed 0 upgraded, 0 newly installed, 0 to remove and 57 not upgraded. Reading package lists... Building dependency tree... Reading state information... Some packages could not be installed. This may mean that you have requested an impossible situation or if you are using the unstable distribution that some required packages have not yet been created or been moved out of Incoming. The following information may help to resolve the situation: The following packages have unmet dependencies: docker-engine : Depends: libsystemd-journal0 (>= 201) but it is not installable Recommends: aufs-tools but it is not going to be installed Recommends: cgroupfs-mount but it is not going to be installed or cgroup-lite but it is not installable Recommends: apparmor but it is not going to be installed Recommends: yubico-piv-tool (>= 1.1.0~) but it is not going to be installed E: Unable to correct problems, you have held broken packages. ERROR: Service 'jenkins' failed to build: The command '/bin/sh -c apt-key adv --keyserver hkp://p80.pool.sks-keyservers.net:80 --recv-keys 58118E89F3A912897C070ADBF76221572C52609D && echo "deb https://apt.dockerproject.org/repo ubuntu-trusty main" | tee /etc/apt/sources.list.d/docker.list && apt-get update -y && apt-get purge lxc-docker* -y && apt-get install docker-engine=${DOCKER_ENGINE:-1.10.2}-0~trusty -y && usermod -aG docker jenkins && usermod -aG users jenkins' returned a non-zero code: 100 次のガイドラインが原因でこのエラーが発生します。 apt-get install docker-engine=${DOCKER_ENGINE:-1.10.2}-0~trusty -y deb https://apt.dockerproject.org/repo ubuntu-trusty main 1) 満たされていない依存関係を解決する方法は? 2）どのバージョンのJenkinsをお勧めしますか？現在、基本画像を使用しています。2.60.3
/etc/shadow私のパスワードハッシュがSHAなのか、MDなのか、それとも別のものなのか知りたいのです。私が知る限り、それはflagsに関連していますが、$ドル記号はありません。 Ubuntu 16を使用しています 例: user:0.7QYSH8yshtus8d:18233:0:99999:7:::
DSLRで使用しているSDカードのファイルシステムをマウント解除するたびに、コマンドが完了するまで数秒待つ必要がありますumount。 FSを読み取り専用でマウントしてすぐにマウント解除した場合も同様です。マウントコマンドは簡単です。 mount /dev/sdd1 /mnt/tmp -oro 私は何が起こっているかを確認するために設定しようとしましたが、vm.block_dump=1これが私が発行したときに見ましたumount /mnt/tmp： $ tail -n9999 /var/log/kern.log | grep sdd1 <...> Jul 7 16:56:42 IntegralH kernel: [143924.204781] umount(16203): READ block 1635 on sdd1 (1 sectors) Jul 7 16:56:42 IntegralH kernel: [143924.210786] umount(16203): READ block 1636 on sdd1 (1 sectors) Jul 7 16:56:42 IntegralH kernel: [143924.216805] umount(16203): READ block 1637 on sdd1 (1 sectors) Jul 7 16:56:42 IntegralH kernel: [143924.222841] umount(16203): READ block 1638 on sdd1 (1 sectors) Jul 7 16:56:42 IntegralH kernel: [143924.228867] umount(16203): READ block 1639 on sdd1 (1 sectors) <...> Jul 7 16:57:34 IntegralH kernel: [143976.105848] umount(16203): READ block 9006 on sdd1 (1 sectors) Jul 7 16:57:34 IntegralH kernel: [143976.111932] umount(16203): READ block 9007 on sdd1 (1 sectors) Jul 7 16:57:34 IntegralH kernel: [143976.117915] umount(16203): READ block 9008 on sdd1 (1 sectors) ブロック１６３９の後のスキップされた部分は、１６３９と９００６の間の各ブロックに対する単一のブロック読み取りから構成される。私の疑いが正しいことを確認するために、FSの最初のセクターをチェックしました。 $ sudo head -c 40 /dev/sdd1 | xxd -g1 0000000: eb 00 90 43 41 4e 4f 4e 45 4f 53 00 02 40 62 06 ...CANONEOS..@b. 0000010: 02 00 00 00 00 f8 00 00 3f 00 ff 00 00 20 00 00 ........?.... .. 0000020: 00 18 9a 03 cf 1c 00 00 ........ 予約されたセクタ（FATの最初のセクタを表す、オフセット0x0Eの2バイト）の数が0x662、つまり1634であることがわかります。 FATのサイズ（オフセット0x24から4バイト）は0x1ccf、つまり7375 = 9008 + 1-1634です。つまり、ドライバは最初のセクタを除くFAT全体を読み込みます。 今、ドライバがファイルシステムをアンマウントするためにFAT全体を読む必要があるのはなぜですか？このように時間がかかる作業を避ける方法は？
파이프 라우팅을 사용한 후 이러한 출력을 파일로 보낼 수 없는 이유는 무엇입니까? 이 예를 통해 내가 의미하는 바를 더 잘 이해할 수 있습니다. 내 예에서는 명령 대신 라우팅 연산자(" >") 를 사용하여 cat출력을 라우팅할 수 없는 이유는 무엇입니까? 사용 cat명령: └─$ whoami | cat > out.txt └─$ cat out.txt testter 명령 없음 cat: └─$ whoami | > out1.txt └─$ cat out1.txt #no any content in file.. └─$ whoami | >> out2.txt └─$ cat out2.txt #no any content in file.. 명령 대신 대체 도구를 사용할 수도 있습니다 cat. cat여기서 중요한 것은 도구가 아닙니다. 내가 묻고 싶은 것은 >파이프에서 직접 데이터를 라우팅하기 위해 라우팅 연산자 " "를 사용할 수 없는 이유는 무엇입니까?
試した4番目の列に基づいて日付を並べ替えたいと思いますsort -k4。動作しません。入力ファイルの例： | 2021-02-17T15:38:53.000Z | | 83027fed-1570-4b39-ab4e-3f75f126cf1c | 2021-02-17T16:02:32.000Z | active | | 2020-10-20T05:52:44.000Z | | 8cbd06fa-c24e-4e72-be1e-3340d0ea0bd5 | 2020-10-20T06:32:41.000Z | active | | 2021-01-22T07:14:01.000Z | | c6df951e-3aea-4f34-9fc7-d6a077b7f369 | 2021-01-22T07:37:11.000Z | active | | 2020-10-20T05:46:28.000Z | | eb82a308-543b-4e1a-8f08-e17d2655e5c7 | 2020-10-20T06:26:00.000Z | active | | 2021-02-10T05:31:48.000Z | | ed09b1d9-4a72-436f-9830-237798774cdf | 2021-02-10T05:55:28.000Z | active |