.csvファイルの一部の行に列がない問題を修正

考える最も簡単な方法は、行をカンマで分割し、2つのカンマしかない場所に追加のコンマを挿入することです。明らかな制限は、実際の値にカンマが含まれているとこれが壊れることです。

$ cat test.csv | sed -r 's/^([^,]*),([^,]*),([^,]*)$/\1,\2, ,\3, /g'
"var1", "var2", "var3", "var4", "var5"
"2001", "yellow", "123", "abc", "bcdefg"
"2002", "yellow", "123", "abw", "asdfkl"
"2001", "green", , "abe", 
"2002", "green", , "abp", 
"2001", "blue", "324", "abx", "badsf"
"2002", "blue", "231", "abl", "cpq"

より一般的な内容のためにPythonスクリプトを書くこともできます（CSV機能組み込み）。たとえば、stdinからCSVを読み込み、stdoutに出力するには、次のようにします。

#!/usr/bin/env python
import sys
import csv

missing = [3, 5]  # 1-indexed positions of missing values
missing.sort()  # enforce the increasing order
reader = csv.reader(sys.stdin, delimiter=',', skipinitialspace=True)
writer = csv.writer(sys.stdout)
header = next(reader)  # get first row (header)
writer.writerow(header)  # write it back
for row in reader:
    if len(row) < len(header):
        # row shorter than header -> insert empty strings
        # inserting changes indices so `missing` must be sorted
        for idx in missing:
            row.insert(idx - 1, '')
    writer.writerow(row)

実際のCSVパーサーを使用すると、値やその他の極端な場合にコンマまたは引用符を正しく処理するという利点があります。出力形式も正しいCSVですが、ユーザーの形式とは若干異なります。

$ cat test.csv | python test.py 
var1,var2,var3,var4,var5
2001,yellow,123,abc,bcdefg
2002,yellow,123,abw,asdfkl
2001,green,,abe,
2002,green,,abp,
2001,blue,324,abx,badsf
2002,blue,231,abl,cpq

ご覧のとおり、カンマの後に余分な引用符やスペースはありません。本当に必要な場合は、作成者のためにCSV言語を設定することを考えてみましょう。